トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 画像処理装置、画像処理プログラム、画像処理方法
【発明者】 【氏名】佐々木 寛
【要約】 【課題】ＲＧＢベイヤ配列画像における欠落色信号を、偽色の発生および解像度の低下を十分に抑制しながら、彩度を低下させることなく補間する画像処理装置等を提供する。

【構成】Ｇ画素欠落位置のＸ（ＸはＲまたはＢ）画素に対して複数種類のＧ補間候補Ｇtを算出する各補間Ｇ算出部２０３，２０４，２０５と、算出されたＧ補間候補Ｇtに基づき複数種類の色差候補Ｘ−Ｇtを算出する減算部２０９，２１０，２１１と、算出された色差候補Ｘ−Ｇtと、同一種類ｔのＧ補間候補Ｇtに基づき周辺位置に対して算出されたＸの色差候補Ｘ−Ｇtとに基づいて色差類似度を算出し、この色差類似度に応じて複数種類の該Ｇ補間候補Ｇtの内の１つのＧ補間候補Ｇpに基づき算出された色差候補Ｘ−Ｇpを色差として選択する周辺類似度算出部２１５，２１６，２１７、判定部２１８、および色差選択部２１９と、を備えた画像処理装置。
【特許請求の範囲】
【請求項１】
Ｇ（緑）画素のサンプリング密度が、Ｒ（赤）画素のサンプリング密度およびＢ（青）画素のサンプリング密度よりも高く、かつそれぞれのサンプリング位置が異なるＲＧＢベイヤ配列画像から、サンプリング位置を同時化したカラー画像を生成する画像処理装置であって、
上記ＲＧＢベイヤ配列画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、Ｇ画素が欠落している位置（ｘ0，ｙ0）のＲ画素またはＢ画素をＸ（ｘ0，ｙ0）としたときに、このＸ（ｘ0，ｙ0）に対して、Ｍ種類（Ｍは２以上の整数）のＧ補間候補Ｇt（ｘ0，ｙ0）（ここに、ｔ＝１，…，Ｍ）を算出する補間候補算出手段と、
算出されたＭ種類のＧ補間候補Ｇt（ｘ0，ｙ0）に基づいて、複数種類の色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する色差候補算出手段と、
上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いたＧ補間候補Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧ補間候補Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、Ｍ種類の色差類似度を算出し、この算出したＭ種類の色差類似度に基づいて、Ｍ種類の該Ｇ補間候補Ｇt（ｘ0，ｙ0）の内の１つのＧ補間候補Ｇp（ｘ0，ｙ0）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ）を色差として選択する最適色差選択手段と、
を具備したことを特徴とする画像処理装置。
【請求項２】
上記最適色差選択手段は、上記色差類似度を、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）に対する同一色Ｘの色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0+n，ｙ0+m）と、の類似度に基づいて算出するものであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記最適色差選択手段は、選択した色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）に対応するＧ補間候補Ｇp（ｘ0，ｙ0）を、該位置（ｘ0，ｙ0）のＧ画素値として出力するＧ補間値出力手段を有して構成されたものであることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記最適色差選択手段によっては色差が算出されない位置の色差を、該最適色差選択手段により算出された該位置の周辺の同一色の色差に基づいて補間する処理を、該位置がＲＧＢベイヤ配列画像におけるＧ画素である場合にはＲ画素に係る色差およびＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＲ画素である場合にはＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＢ画素である場合にはＲ画素に係る色差について、それぞれ行う色差補間手段と、
上記最適色差選択手段または上記色差補間手段により算出された色差と、この色差と同一位置のＧ画素と、に基づいて、Ｒ画素、Ｇ画素、およびＢ画素を算出するＲＧＢ画素算出手段と、
をさらに具備したことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
上記補間候補算出手段は、
上記Ｘ画素の上下に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第１の補間算出手段と、
該Ｘ画素の左右に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第２の補間算出手段と、
該Ｘ画素の上下左右に隣接する４つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第３の補間算出手段と、
を有して構成されたものであることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
上記補間候補算出手段は、上記Ｘ（ｘ0，ｙ0）の近傍に位置する１２個のＧ画素Ｇ（ｘ0−１，ｙ0）、Ｇ（ｘ0＋１，ｙ0）、Ｇ（ｘ0，ｙ0−１）、Ｇ（ｘ0，ｙ0＋１）、Ｇ（ｘ0−２，ｙ0−１）、Ｇ（ｘ0−２，ｙ0＋１）、Ｇ（ｘ0＋２，ｙ0−１）、Ｇ（ｘ0＋２，ｙ0＋１）、Ｇ（ｘ0−１，ｙ0−２）、Ｇ（ｘ0−１，ｙ0＋２）、Ｇ（ｘ0＋１，ｙ0−２）、Ｇ（ｘ0＋１，ｙ0＋２）を用いて、以下の数式、
Ｇt（ｘ0，ｙ0）＝｛Ｇ（ｘ0−１，ｙ0）＋Ｇ（ｘ0＋１，ｙ0）＋Ｇ（ｘ0，ｙ0−１）
＋Ｇ（ｘ0，ｙ0＋１）｝×α
−｛Ｇ（ｘ0−２，ｙ0−１）＋Ｇ（ｘ0−２，ｙ0＋１）
＋Ｇ（ｘ0＋２，ｙ0−１）＋Ｇ（ｘ0＋２，ｙ0＋１）
＋Ｇ（ｘ0−１，ｙ0−２）＋Ｇ（ｘ0−１，ｙ0＋２）
＋Ｇ（ｘ0＋１，ｙ0−２）＋Ｇ（ｘ0＋１，ｙ0＋２）｝×β
（ここに、αとβとは、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である）に基づき、上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補Ｇt（ｘ0，ｙ0）を算出する第４の補間算出手段をさらに有して構成されたものであることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
上記色差候補算出手段は、Ｘ画素を周辺の同一色Ｘを用いて帯域制限した修正画素ＸLを算出する帯域制限手段を有して構成され、上記第３の補間算出手段により算出されたＧ補間候補に基づいて色差候補を算出する際には、該修正画素ＸLを用いるものであることを特徴とする請求項５に記載の画像処理装置。
【請求項８】
上記最適色差選択手段は、
Ｇ画素欠落位置の周辺のＧ画素値の変動量を算出して、該変動量に基づいた重み係数を算出するＧ画素変動量算出手段と、
上記第３の補間算出手段により算出されたＧ補間候補に基づいて算出された上記Ｇ画素欠落位置の色差候補の周辺色差候補との類似度に、上記重み係数を乗算する乗算手段と、
を有して構成されたものであることを特徴とする請求項５に記載の画像処理装置。
【請求項９】
上記最適色差選択手段は、
上記第１の補間算出手段により算出されたＧ補間候補に基づいて算出されたＧ画素欠落位置の色差候補の周辺色差候補との類似度として、
該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補との間で重み付けすることなく算出した類似度と、
該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補の内の、上下に位置する２つの色差候補に重み付けして算出した類似度と、
の内の類似性が低くない方の類似度を選択する選択手段を有して構成されたものであることを特徴とする請求項５に記載の画像処理装置。
【請求項１０】
上記最適色差選択手段は、
上記第２の補間算出手段により算出されたＧ補間候補に基づいて算出されたＧ画素欠落位置の色差候補の周辺色差候補との類似度として、
該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補との間で重み付けすることなく算出した類似度と、
該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補の内の、左右に位置する２つの色差候補に重み付けして算出した類似度と、
の内の類似性が低くない方の類似度を選択する選択手段を有して構成されたものであることを特徴とする請求項５に記載の画像処理装置。
【請求項１１】
上記類似度は、Ｇ画素欠落位置の色差候補と、該Ｇ画素欠落位置の周辺に位置する１つ以上の同一色Ｘかつ同一種類ｔの色差候補と、の差分絶対値和であり、
上記最適色差選択手段は、Ｍ種類の該類似度の内の最小値を与える類似度の１つに対応する色差候補を１つ選択する選択手段を含み、該選択手段により選択された色差候補を色差とするものであることを特徴とする請求項２に記載の画像処理装置。
【請求項１２】
上記Ｘ（ｘ0，ｙ0）に対して周辺の同一色Ｘを用いて帯域制限したＸL（ｘ0，ｙ0）を算出する帯域制限手段をさらに具備し、
上記色差候補算出手段は、算出されたＭ種類のＧ補間候補Ｇt（ｘ0，ｙ0）に基づいて、複数種類の色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出するものであり、
上記最適色差選択手段は、上記類似度に基づいて、Ｍ種類の該Ｇ補間候補Ｇt（ｘ0，ｙ0）の内の１つのＧ補間候補Ｇp（ｘ0，ｙ0）またはＧq（ｘ0，ｙ0）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ、１≦ｑ≦Ｍ）を色差として選択するものであることを特徴とする請求項２に記載の画像処理装置。
【請求項１３】
上記最適色差選択手段は、選択した色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）に対応するＧ補間候補Ｇp（ｘ0，ｙ0）またはＧq（ｘ0，ｙ0）を、該位置（ｘ0，ｙ0）のＧ画素値として出力するＧ補間値出力手段を有して構成されたものであることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
上記最適色差選択手段によっては色差が算出されない位置の色差を、該最適色差選択手段により算出された該位置の周辺の同一色の色差に基づいて補間する処理を、該位置がＲＧＢベイヤ配列画像におけるＧ画素である場合にはＲ画素に係る色差およびＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＲ画素である場合にはＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＢ画素である場合にはＲ画素に係る色差について、それぞれ行う色差補間手段と、
上記最適色差選択手段または上記色差補間手段により算出された色差と、この色差と同一位置のＧ画素と、に基づいて、Ｒ画素、Ｇ画素、およびＢ画素を算出するＲＧＢ画素算出手段と、
をさらに具備したことを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
上記補間候補算出手段は、
上記Ｘ画素の上下に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第１の補間算出手段と、
該Ｘ画素の左右に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第２の補間算出手段と、
該Ｘ画素の上下左右に隣接する４つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第３の補間算出手段と、
を有して構成されたものであることを特徴とする請求項１２に記載の画像処理装置。
【請求項１６】
上記補間候補算出手段は、
上記Ｘ（ｘ0，ｙ0）の近傍に位置する１２個のＧ画素Ｇ（ｘ0−１，ｙ0）、Ｇ（ｘ0＋１，ｙ0）、Ｇ（ｘ0，ｙ0−１）、Ｇ（ｘ0，ｙ0＋１）、Ｇ（ｘ0−２，ｙ0−１）、Ｇ（ｘ0−２，ｙ0＋１）、Ｇ（ｘ0＋２，ｙ0−１）、Ｇ（ｘ0＋２，ｙ0＋１）、Ｇ（ｘ0−１，ｙ0−２）、Ｇ（ｘ0−１，ｙ0＋２）、Ｇ（ｘ0＋１，ｙ0−２）、Ｇ（ｘ0＋１，ｙ0＋２）を用いて、以下の数式、
Ｇt（ｘ0，ｙ0）＝｛Ｇ（ｘ0−１，ｙ0）＋Ｇ（ｘ0＋１，ｙ0）＋Ｇ（ｘ0，ｙ0−１）
＋Ｇ（ｘ0，ｙ0＋１）｝×α
−｛Ｇ（ｘ0−２，ｙ0−１）＋Ｇ（ｘ0−２，ｙ0＋１）
＋Ｇ（ｘ0＋２，ｙ0−１）＋Ｇ（ｘ0＋２，ｙ0＋１）
＋Ｇ（ｘ0−１，ｙ0−２）＋Ｇ（ｘ0−１，ｙ0＋２）
＋Ｇ（ｘ0＋１，ｙ0−２）＋Ｇ（ｘ0＋１，ｙ0＋２）｝×β
（ここに、αとβとは、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である）に基づき、上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補Ｇt（ｘ0，ｙ0）を算出する第４の補間算出手段をさらに有して構成されたものであることを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
上記最適色差選択手段は、
Ｇ画素欠落位置の周辺のＧ画素値の変動量を算出して、該変動量に基づいた重み係数を算出するＧ画素変動量算出手段と、
上記第３の補間算出手段により算出されたＧ補間候補に基づいて算出された上記Ｇ画素欠落位置の色差候補の周辺色差候補との類似度に、上記重み係数を乗算する乗算手段と、
を有して構成されたものであることを特徴とする請求項１５に記載の画像処理装置。
【請求項１８】
上記最適色差選択手段は、
上記第１の補間算出手段により算出されたＧ補間候補に基づいて算出されたＧ画素欠落位置の色差候補の周辺色差候補との類似度として、
該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補との間で重み付けすることなく算出した類似度と、
該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補の内の、上下に位置する２つの色差候補に重み付けして算出した類似度と、
の内の類似性が低くない方の類似度を選択する選択手段を有して構成されたものであることを特徴とする請求項１５に記載の画像処理装置。
【請求項１９】
上記最適色差選択手段は、
上記第２の補間算出手段により算出されたＧ補間候補に基づいて算出されたＧ画素欠落位置の色差候補の周辺色差候補との類似度として、
該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補との間で重み付けすることなく算出した類似度と、
該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補の内の、左右に位置する２つの色差候補に重み付けして算出した類似度と、
の内の類似性が低くない方の類似度を選択する選択手段を有して構成されたものであることを特徴とする請求項１５に記載の画像処理装置。
【請求項２０】
上記類似度は、Ｇ画素欠落位置の色差候補と、該Ｇ画素欠落位置の周辺に位置する１つ以上の同一色Ｘかつ同一種類ｔの色差候補と、の差分絶対値和であり、
上記最適色差選択手段は、Ｍ種類の該類似度の内の最小値を与える類似度の１つに対応する色差候補を１つ選択する選択手段を含み、該選択手段により選択された色差候補を色差とするものであることを特徴とする請求項１２に記載の画像処理装置。
【請求項２１】
Ｇ（緑）画素のサンプリング密度が、Ｒ（赤）画素のサンプリング密度およびＢ（青）画素のサンプリング密度よりも高く、かつそれぞれのサンプリング位置が異なるＲＧＢベイヤ配列画像から、サンプリング位置を同時化したカラー画像を生成する処理を、コンピュータに実行させるための画像処理プログラムであって、
コンピュータに、
上記ＲＧＢベイヤ配列画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、Ｇ画素が欠落している位置（ｘ0，ｙ0）のＲ画素またはＢ画素をＸ（ｘ0，ｙ0）としたときに、このＸ（ｘ0，ｙ0）に対して、Ｍ種類（Ｍは２以上の整数）のＧ補間候補Ｇt（ｘ0，ｙ0）（ここに、ｔ＝１，…，Ｍ）を算出する補間候補算出ステップと、
算出されたＭ種類のＧ補間候補Ｇt（ｘ0，ｙ0）に基づいて、複数種類の色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する色差候補算出ステップと、
上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いたＧ補間候補Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧ補間候補Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、Ｍ種類の色差類似度を算出し、この算出したＭ種類の色差類似度に基づいて、Ｍ種類の該Ｇ補間候補Ｇt（ｘ0，ｙ0）の内の１つのＧ補間候補Ｇp（ｘ0，ｙ0）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ）を色差として選択する最適色差選択ステップと、
を実行させるための画像処理プログラム。
【請求項２２】
Ｇ（緑）画素のサンプリング密度が、Ｒ（赤）画素のサンプリング密度およびＢ（青）画素のサンプリング密度よりも高く、かつそれぞれのサンプリング位置が異なるＲＧＢベイヤ配列画像から、サンプリング位置を同時化したカラー画像を生成するための画像処理方法であって、
上記ＲＧＢベイヤ配列画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、Ｇ画素が欠落している位置（ｘ0，ｙ0）のＲ画素またはＢ画素をＸ（ｘ0，ｙ0）としたときに、このＸ（ｘ0，ｙ0）に対して、Ｍ種類（Ｍは２以上の整数）のＧ補間候補Ｇt（ｘ0，ｙ0）（ここに、ｔ＝１，…，Ｍ）を算出する補間候補算出ステップと、
算出されたＭ種類のＧ補間候補Ｇt（ｘ0，ｙ0）に基づいて、複数種類の色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する色差候補算出ステップと、
上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いたＧ補間候補Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧ補間候補Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、Ｍ種類の色差類似度を算出し、この算出したＭ種類の色差類似度に基づいて、Ｍ種類の該Ｇ補間候補Ｇt（ｘ0，ｙ0）の内の１つのＧ補間候補Ｇp（ｘ0，ｙ0）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ）を色差として選択する最適色差選択ステップと、
を含むことを特徴とする画像処理方法。
【請求項２３】
上記最適色差選択手段は、上記色差類似度を、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）に対する同一色Ｘの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）とに基づいた類似度と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とは異なる色Ｘ^の複数の色差候補Ｘ^（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づいた類似度と、に基づき算出するものであることを特徴とする請求項１に記載の画像処理装置。
【請求項２４】
上記最適色差選択手段は、選択した色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）に対応するＧ補間候補Ｇp（ｘ0，ｙ0）を、該位置（ｘ0，ｙ0）のＧ画素値として出力するＧ補間値出力手段を有して構成されたものであることを特徴とする請求項２３に記載の画像処理装置。
【請求項２５】
上記最適色差選択手段によっては色差が算出されない位置の色差を、該最適色差選択手段により算出された該位置の周辺の同一色の色差に基づいて補間する処理を、該位置がＲＧＢベイヤ配列画像におけるＧ画素である場合にはＲ画素に係る色差およびＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＲ画素である場合にはＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＢ画素である場合にはＲ画素に係る色差について、それぞれ行う色差補間手段と、
上記最適色差選択手段または上記色差補間手段により算出された色差と、この色差と同一位置のＧ画素と、に基づいて、Ｒ画素、Ｇ画素、およびＢ画素を算出するＲＧＢ画素算出手段と、
をさらに具備したことを特徴とする請求項２４に記載の画像処理装置。
【請求項２６】
上記補間候補算出手段は、
上記Ｘ画素の上下に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第１の補間算出手段と、
該Ｘ画素の左右に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第２の補間算出手段と、
該Ｘ画素の上下左右に隣接する４つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第３の補間算出手段と、
を有して構成されたものであることを特徴とする請求項２３に記載の画像処理装置。
【請求項２７】
上記補間候補算出手段は、上記Ｘ（ｘ0，ｙ0）の近傍に位置する１２個のＧ画素Ｇ（ｘ0−１，ｙ0）、Ｇ（ｘ0＋１，ｙ0）、Ｇ（ｘ0，ｙ0−１）、Ｇ（ｘ0，ｙ0＋１）、Ｇ（ｘ0−２，ｙ0−１）、Ｇ（ｘ0−２，ｙ0＋１）、Ｇ（ｘ0＋２，ｙ0−１）、Ｇ（ｘ0＋２，ｙ0＋１）、Ｇ（ｘ0−１，ｙ0−２）、Ｇ（ｘ0−１，ｙ0＋２）、Ｇ（ｘ0＋１，ｙ0−２）、Ｇ（ｘ0＋１，ｙ0＋２）を用いて、以下の数式、
Ｇt（ｘ0，ｙ0）＝｛Ｇ（ｘ0−１，ｙ0）＋Ｇ（ｘ0＋１，ｙ0）＋Ｇ（ｘ0，ｙ0−１）
＋Ｇ（ｘ0，ｙ0＋１）｝×α
−｛Ｇ（ｘ0−２，ｙ0−１）＋Ｇ（ｘ0−２，ｙ0＋１）
＋Ｇ（ｘ0＋２，ｙ0−１）＋Ｇ（ｘ0＋２，ｙ0＋１）
＋Ｇ（ｘ0−１，ｙ0−２）＋Ｇ（ｘ0−１，ｙ0＋２）
＋Ｇ（ｘ0＋１，ｙ0−２）＋Ｇ（ｘ0＋１，ｙ0＋２）｝×β
（ここに、αとβとは、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である）に基づき、上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補Ｇt（ｘ0，ｙ0）を算出する第４の補間算出手段をさらに有して構成されたものであることを特徴とする請求項２６に記載の画像処理装置。
【請求項２８】
上記色差候補算出手段は、Ｘ画素を周辺の同一色Ｘを用いて帯域制限した修正画素ＸLを算出する帯域制限手段を有して構成され、上記第３の補間算出手段により算出されたＧ補間候補に基づいて色差候補を算出する際には、該修正画素ＸLを用いるものであることを特徴とする請求項２６に記載の画像処理装置。
【請求項２９】
上記最適色差選択手段は、
Ｇ画素欠落位置の周辺のＧ画素値の変動量を算出して、該変動量に基づいた重み係数を算出するＧ画素変動量算出手段と、
上記第３の補間算出手段により算出されたＧ補間候補に基づいて算出された上記Ｇ画素欠落位置の色差候補の周辺色差候補との類似度に、上記重み係数を乗算する乗算手段と、
を有して構成されたものであることを特徴とする請求項２６に記載の画像処理装置。
【請求項３０】
上記類似度は、同一色Ｘかつ同一種類ｔの色差候補同士の差分絶対値の和であり、
上記最適色差選択手段は、Ｍ種類の該類似度の内の最小値を与える類似度の１つに対応する色差候補を１つ選択する選択手段を含み、該選択手段により選択された色差候補を色差とするものであることを特徴とする請求項２３に記載の画像処理装置。
【請求項３１】
上記Ｘ（ｘ0，ｙ0）に対して周辺の同一色Ｘを用いて帯域制限したＸL（ｘ0，ｙ0）を算出する帯域制限手段をさらに具備し、
上記色差候補算出手段は、算出されたＭ種類のＧ補間候補Ｇt（ｘ0，ｙ0）に基づいて、複数種類の色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出するものであり、
上記最適色差選択手段は、上記類似度に基づいて、Ｍ種類の該Ｇ補間候補Ｇt（ｘ0，ｙ0）の内の１つのＧ補間候補Ｇp（ｘ0，ｙ0）またはＧq（ｘ0，ｙ0）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ、１≦ｑ≦Ｍ）を色差として選択するものであることを特徴とする請求項２３に記載の画像処理装置。
【請求項３２】
上記最適色差選択手段は、選択した色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）に対応するＧ補間候補Ｇp（ｘ0，ｙ0）またはＧq（ｘ0，ｙ0）を、該位置（ｘ0，ｙ0）のＧ画素値として出力するＧ補間値出力手段を有して構成されたものであることを特徴とする請求項３１に記載の画像処理装置。
【請求項３３】
上記最適色差選択手段によっては色差が算出されない位置の色差を、該最適色差選択手段により算出された該位置の周辺の同一色の色差に基づいて補間する処理を、該位置がＲＧＢベイヤ配列画像におけるＧ画素である場合にはＲ画素に係る色差およびＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＲ画素である場合にはＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＢ画素である場合にはＲ画素に係る色差について、それぞれ行う色差補間手段と、
上記最適色差選択手段または上記色差補間手段により算出された色差と、この色差と同一位置のＧ画素と、に基づいて、Ｒ画素、Ｇ画素、およびＢ画素を算出するＲＧＢ画素算出手段と、
をさらに具備したことを特徴とする請求項３２に記載の画像処理装置。
【請求項３４】
上記補間候補算出手段は、
上記Ｘ画素の上下に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第１の補間算出手段と、
該Ｘ画素の左右に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第２の補間算出手段と、
該Ｘ画素の上下左右に隣接する４つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第３の補間算出手段と、
を有して構成されたものであることを特徴とする請求項３１に記載の画像処理装置。
【請求項３５】
上記補間候補算出手段は、
上記Ｘ（ｘ0，ｙ0）の近傍に位置する１２個のＧ画素Ｇ（ｘ0−１，ｙ0）、Ｇ（ｘ0＋１，ｙ0）、Ｇ（ｘ0，ｙ0−１）、Ｇ（ｘ0，ｙ0＋１）、Ｇ（ｘ0−２，ｙ0−１）、Ｇ（ｘ0−２，ｙ0＋１）、Ｇ（ｘ0＋２，ｙ0−１）、Ｇ（ｘ0＋２，ｙ0＋１）、Ｇ（ｘ0−１，ｙ0−２）、Ｇ（ｘ0−１，ｙ0＋２）、Ｇ（ｘ0＋１，ｙ0−２）、Ｇ（ｘ0＋１，ｙ0＋２）を用いて、以下の数式、
Ｇt（ｘ0，ｙ0）＝｛Ｇ（ｘ0−１，ｙ0）＋Ｇ（ｘ0＋１，ｙ0）＋Ｇ（ｘ0，ｙ0−１）
＋Ｇ（ｘ0，ｙ0＋１）｝×α
−｛Ｇ（ｘ0−２，ｙ0−１）＋Ｇ（ｘ0−２，ｙ0＋１）
＋Ｇ（ｘ0＋２，ｙ0−１）＋Ｇ（ｘ0＋２，ｙ0＋１）
＋Ｇ（ｘ0−１，ｙ0−２）＋Ｇ（ｘ0−１，ｙ0＋２）
＋Ｇ（ｘ0＋１，ｙ0−２）＋Ｇ（ｘ0＋１，ｙ0＋２）｝×β
（ここに、αとβとは、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である）に基づき、上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補Ｇt（ｘ0，ｙ0）を算出する第４の補間算出手段をさらに有して構成されたものであることを特徴とする請求項３４に記載の画像処理装置。
【請求項３６】
上記最適色差選択手段は、
Ｇ画素欠落位置の周辺のＧ画素値の変動量を算出して、該変動量に基づいた重み係数を算出するＧ画素変動量算出手段と、
上記第３の補間算出手段により算出されたＧ補間候補に基づいて算出された上記Ｇ画素欠落位置の色差候補の周辺色差候補との類似度に、上記重み係数を乗算する乗算手段と、
を有して構成されたものであることを特徴とする請求項３４に記載の画像処理装置。
【請求項３７】
上記類似度は、同一色Ｘかつ同一種類の色差候補同士の差分絶対値の和であり、
上記最適色差選択手段は、Ｍ種類の該類似度の内の最小値を与える類似度の１つに対応する色差候補を１つ選択する選択手段を含み、該選択手段により選択された色差候補を色差とするものであることを特徴とする請求項３１に記載の画像処理装置。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、ＲＧＢベイヤ配列画像からサンプリング位置を同時化したカラー画像を生成する画像処理装置、画像処理プログラム、画像処理方法に関する。
【背景技術】
【０００２】
光学像を撮像して電気的なカラー画像を取得する撮像装置は、１つの画素位置において３つの色（例えば、ＲＧＢ３原色）信号を得ることができる３板撮像素子構成のものと、１つの画素位置毎に３つの色信号の内の１つの色信号しか得ることができない単板撮像素子構成のものと、に大別される。
【０００３】
現在市販されているデジタルカメラは、単板撮像素子構成のものが一般的である。一方、現在市販されているデジタルビデオカメラについては、３板撮像素子構成のものと、単板撮像素子構成のものと、が混在した状態にある。
【０００４】
撮像装置を３板撮像素子構成にすると、撮像時点で撮像画像の各画素位置において３つの色信号を得ることができるために、一般的に高画質であるが、構造が複雑となって部品点数も多くなるために高価格となる。
【０００５】
一方、撮像装置を単板撮像素子構成にすると、３板撮像素子構成に比して構造が簡単となる利点があるが、３種類の色信号を得るためには画素毎にＲ，Ｇ，Ｂフィルタをモザイク状（本発明の図５に示すようなベイヤ配列参照）に配置する必要があり、撮像画像の各画素位置において単一色の信号だけしか得ることができない。そこで、このようなベイヤ配列の単板撮像素子構成の撮像素子では、各画素位置において欠落している色信号を周辺の画素位置の色信号を用いて補間することにより、画素当り３つの色信号を得るようにしている。
【０００６】
ところで、上述したようなベイヤ配列は、２×２画素を画素配列の基本単位として、この２×２画素中の一方の対角方向にＧフィルタを２画素分、他方の対角方向にＲフィルタとＢフィルタとを１画素ずつ、ぞれぞれ配置したものとなっている。従って、Ｇ画素のサンプリング密度は、Ｒ画素のサンプリング密度およびＢ画素のサンプリング密度の２倍の密度である。このような、色信号によってサンプリング密度の異なる撮像素子を用いて撮像を行うと、エッジなどの高い空間周波数を持った撮像領域においては、Ｇ信号で表現可能な高い空間周波数が、Ｒ信号とＢ信号とでは低周波数側に折り返してしまうことになる。従って、それぞれの色信号毎に補間処理を行うと、エッジ部およびその近傍等において、偽色（本来は存在しない色）が発生する場合があることが知られている。
【０００７】
こうした偽色を低減する最も簡単な手段は、ベイヤ配列のＲ信号またはＢ信号のサンプリング間隔を再現することができる空間周波数まで、レンズまたは光学ローパスフィルタの特性を落として、該空間周波数の光学像を撮像素子上に結像させることである。ただし、この手段を採用すると、再現可能な空間周波数の半分の空間周波数の撮像画像しか得ることができず、解像度の低いボケた画像となってしまうことになる。そこで、撮像素子上に結像させる光学像の解像度が、Ｇ信号のサンプリング間隔において折り返し歪みによるモワレが発生しない空間周波数特性となるように、光学系を設計するのが一般的である。
【０００８】
このように設計された光学系を用いて、かつ偽色低減を行う技術は、従来より種々のものが提案されている。
【０００９】
例えば特開平８−２３７６７２号公報には、３つの色（ＲとＧとＢ）信号の補間位置を、水平方向および垂直方向ともに画素同士の中間の位置とする補間処理を施す技術が記載されている。この技術は、上記位置への補間処理を行うと、ナイキスト周波数の半分の周波数でＲ，Ｇ，Ｂの各周波数特性を近似させることができることに着目したものである。該公報に記載の技術は、このようにして偽色低減を図っているものの、ナイキスト周波数に近い周波数成分を含んだエッジ領域での偽色抑圧は十分とはいえなかった。さらに、該公報に記載の技術は、水平、垂直共に半画素位置に画素を補間するものとなっているために、この補間フィルタの周波数特性に依存した高周波成分の減衰が生じるのは避けられず、解像度が低下してしまっていた。
【００１０】
また、上述した特開平８−２３７６７２号公報のような各色信号の補間処理を画像内で均一の特性のフィルタで実現するのとは異なる、他の偽色低減の技術としては、画像の局所領域のＧ信号類似度、Ｇ信号とＲ信号の色信号間類似度、Ｇ信号とＢ信号の色信号間類似度、の内の少なくとも１つの方向依存に適応して、補間フィルタを切り替える方法が提案されている。
【００１１】
例えば米国特許第５，３８２，９７６号には、欠落しているＧ信号に対して、該Ｇ信号の画素位置の周辺の４つのＧ信号間の水平方向の類似度および垂直方向の類似度（本発明に係る図８〜図１０を参照して説明すると、垂直類似度＝｜Ｇ1−Ｇ2｜、および水平類似度＝｜Ｇ3−Ｇ4｜）を算出して、より類似度が高い方向の画素のみを使用して補間を行う技術が記載されている。そして、算出された類似度に応じて、本発明に係る図８〜図１０に示すようなＧ信号を用いた３つの線形補間方法により得られるＧ補間候補｛（Ｇ1＋Ｇ2）／２、（Ｇ3＋Ｇ4）／２、（Ｇ1＋Ｇ2＋Ｇ3＋Ｇ4）／４｝の中から、１つのＧ補間候補を欠落しているＧ信号の補間値として選択するものとなっている。
【００１２】
ただし、この技術では、例えば特開平１１−２７５３７３号公報に記載されているように、水平方向と垂直方向のＧ信号の類似度が同じ場合に最適な補間選択がなされることなく（Ｇ1＋Ｇ2＋Ｇ3＋Ｇ4）／４が選択されることがあり、このときには補間誤差が発生するという課題があった。
【００１３】
そして、この課題を改善する技術が、上述した特開平１１−２７５３７３号公報に記載されている。すなわち、該公報に記載の技術は、補間Ｇ信号を作成する画素位置のＲ信号またはＢ信号と、周辺の４つのＧ信号（本発明に係る図８〜図１０に示すようなＧ1、Ｇ2、Ｇ3、Ｇ4）と、の類似度（垂直類似度＝｜Ｘ−Ｇ1｜＋｜Ｘ−Ｇ2｜、水平類似度＝｜（Ｘ−Ｇ3｜＋｜Ｘ−Ｇ4｜、（ここに、Ｘは、Ｒ信号またはＢ信号である。））に応じて、垂直補間と、水平補間と、これら２つの補間を重み付け平均した補間と、の中から１つを選択するものとなっている。この技術を用いると、無彩色のエッジ領域の偽色を効果的に低減することができる利点がある一方で、彩度が高い領域では彩度が低下する場合がある。
【００１４】
偽色は、無彩色のエッジ領域において、より目立って検知されるものである。無彩色領域は、Ｒ信号とＧ信号とＢ信号とがほぼ同じ値をとる領域であり、Ｇ信号に対するＲ信号の比、およびＧ信号に対するＢ信号の比が、ほぼ１となる領域を意味している。偽色は、これらＲ信号とＧ信号とＢ信号との比が、補間処理を行った結果、本来とるべき比である１と異なってしまう（離れてしまう）ことにより発生するものである。
【００１５】
上記特開平１１−２７５３７３号公報に記載された技術は、Ｇ信号に対するＲ信号の比、またはＧ信号に対するＢ信号の比を、１に近付ける補間を、複数用意された補間候補の中から選択する技術であるといえるために、無彩色領域での偽色の発生は必然的に抑制される。
【００１６】
しかしこの技術を用いると、Ｇ信号に対するＲ信号の比、またはＧ信号に対するＢ信号の比が元来１とは異なる有彩色領域についても、無彩色領域と同様に、Ｇ信号に対するＲ信号の比、またはＧ信号に対するＢ信号の比を、１に近付ける補間が選択されてしまうために、有彩色領域では本来再現されるべき彩度が低下してしまうという課題がある。
【００１７】
この課題について、簡単な例を挙げて説明する。すなわち、ここでは、水平方向の色は同一であって、垂直方向には色が変化するような領域について考えるものとする。
【００１８】
ベイヤ配列におけるＲ信号を含むある１ラインについて、Ｒ信号の値が全て２００、Ｇ信号の値が全て１０の一定値をとるものとする。さらに、この着目ラインの上のラインに位置するＧ信号の値が全て５の一定値をとり、該着目ラインの下のラインに位置するＧ信号の値が全て４５の一定値をとるものとする。なお、着目ラインの上下のラインにおけるＢ信号については、説明を簡単にするために考慮しない。
【００１９】
このような具体的な数値例に対して、上記特開平１１−２７５３７３号公報に記載された技術を適用すると、垂直類似度が｜２００−５｜＋｜２００−４５｜＝３５０、水平類似度が｜２００−１０｜＋｜２００−１０｜＝３８０となり、垂直類似度の方が水平類似度よりも高いと判定される。従って、本来は水平補間が選択されるべきであるにも関わらず、垂直補間が選択されることになってしまい、着目ラインのＲ信号位置において得られるＧ信号補間値は（５＋４５）／２＝２５となってしまう。この場合には、この着目ラインの色差Ｒ−Ｇは２００−２５＝１７５となり、本来再現されるべき色差Ｒ−Ｇ＝２００−１０＝１９０に対して小さい値となるために、彩度が低下してしまうことになる。
【特許文献１】特開平８−２３７６７２号公報
【特許文献２】米国特許第５，３８２，９７６号
【特許文献３】特開平１１−２７５３７３号公報
【発明の開示】
【発明が解決しようとする課題】
【００２０】
上述したような従来の技術では、単板撮像素子により撮像された各画素１色のベイヤ配列画像に対して、欠落色信号を周辺の色信号に基づき補間し、各画素について複数色の色信号を備えるカラー画像を生成する際に、エッジ部分において偽色が発生したり、この偽色を低減しようとして解像度の低下が生じたり、これら偽色や解像度低下を抑制するための画素相関を利用した適応補間方法を適用するときに適応誤りによる画質劣化が生じたりすることがあった。こうして、従来の技術は、偽色の発生、解像度の低下、および彩度の低下を抑制するについては不十分なものであった。
【００２１】
本発明は上記事情に鑑みてなされたものであり、ＲＧＢベイヤ配列画像における欠落色信号の補間を、偽色の発生および解像度の低下を十分に抑制しながら、彩度を低下させることなく行うことができる画像処理装置、画像処理プログラム、画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【００２２】
上記の目的を達成するために、第１の発明による画像処理装置は、Ｇ（緑）画素のサンプリング密度が、Ｒ（赤）画素のサンプリング密度およびＢ（青）画素のサンプリング密度よりも高く、かつそれぞれのサンプリング位置が異なるＲＧＢベイヤ配列画像から、サンプリング位置を同時化したカラー画像を生成する画像処理装置であって、上記ＲＧＢベイヤ配列画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、Ｇ画素が欠落している位置（ｘ0，ｙ0）のＲ画素またはＢ画素をＸ（ｘ0，ｙ0）としたときに、このＸ（ｘ0，ｙ0）に対して、Ｍ種類（Ｍは２以上の整数）のＧ補間候補Ｇt（ｘ0，ｙ0）（ここに、ｔ＝１，…，Ｍ）を算出する補間候補算出手段と、算出されたＭ種類のＧ補間候補Ｇt（ｘ0，ｙ0）に基づいて、複数種類の色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する色差候補算出手段と、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いたＧ補間候補Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧ補間候補Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、Ｍ種類の色差類似度を算出し、この算出したＭ種類の色差類似度に基づいて、Ｍ種類の該Ｇ補間候補Ｇt（ｘ0，ｙ0）の内の１つのＧ補間候補Ｇp（ｘ0，ｙ0）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ）を色差として選択する最適色差選択手段と、を具備したものである。
【００２３】
第１の発明によれば、単板撮像素子により撮像されたベイヤ配列等の複数色信号から、欠落色信号の補間に伴って発生する偽色を抑制して本来再現されるべき彩度を保ったカラー画像を得ることができる。
【００２４】
また、第２の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記最適色差選択手段が、上記色差類似度を、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）に対する同一色Ｘの色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0+n，ｙ0+m）と、の類似度に基づいて算出するものである。
【００２５】
第２の発明によれば、単板撮像素子により撮像されたベイヤ配列等の複数色信号から、欠落色信号の補間に伴って発生する偽色を抑制して本来再現されるべき彩度を保ったカラー画像を得ることができる。
【００２６】
さらに、第３の発明による画像処理装置は、上記第２の発明による画像処理装置において、上記最適色差選択手段が、選択した色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）に対応するＧ補間候補Ｇp（ｘ0，ｙ0）を、該位置（ｘ0，ｙ0）のＧ画素値として出力するＧ補間値出力手段を有して構成されたものである。
【００２７】
第３の発明によれば、単板撮像素子により撮像されたベイヤ配列等の複数色信号から、欠落色信号の補間に伴って発生する偽色を抑制して本来再現されるべき彩度を保った高解像度のカラー画像を得ることができる。
【００２８】
第４の発明による画像処理装置は、上記第３の発明による画像処理装置において、上記最適色差選択手段によっては色差が算出されない位置の色差を、該最適色差選択手段により算出された該位置の周辺の同一色の色差に基づいて補間する処理を、該位置がＲＧＢベイヤ配列画像におけるＧ画素である場合にはＲ画素に係る色差およびＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＲ画素である場合にはＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＢ画素である場合にはＲ画素に係る色差について、それぞれ行う色差補間手段と、上記最適色差選択手段または上記色差補間手段により算出された色差と、この色差と同一位置のＧ画素と、に基づいて、Ｒ画素、Ｇ画素、およびＢ画素を算出するＲＧＢ画素算出手段と、をさらに具備したものである。
【００２９】
第４の発明によれば、単板撮像素子により撮像されたベイヤ配列等の複数色信号から、欠落色信号の補間に伴って発生する偽色を抑制して本来再現されるべき彩度を保った高解像度のカラー画像を得ることができる。
【００３０】
第５の発明による画像処理装置は、上記第２の発明による画像処理装置において、上記補間候補算出手段が、上記Ｘ画素の上下に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第１の補間算出手段と、該Ｘ画素の左右に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第２の補間算出手段と、該Ｘ画素の上下左右に隣接する４つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第３の補間算出手段と、を有して構成されたものである。
【００３１】
第５の発明によれば、水平エッジ、垂直エッジ、それ以外の領域について適用される補間候補が用意されるために、画像に適応した補間を選択することができるとともに、エッジの方向に依存することなく偽色を低減することができ、水平、垂直方向の解像度低下を抑制することができる。
【００３２】
第６の発明による画像処理装置は、上記第５の発明による画像処理装置において、上記補間候補算出手段が、上記Ｘ（ｘ0，ｙ0）の近傍に位置する１２個のＧ画素Ｇ（ｘ0−１，ｙ0）、Ｇ（ｘ0＋１，ｙ0）、Ｇ（ｘ0，ｙ0−１）、Ｇ（ｘ0，ｙ0＋１）、Ｇ（ｘ0−２，ｙ0−１）、Ｇ（ｘ0−２，ｙ0＋１）、Ｇ（ｘ0＋２，ｙ0−１）、Ｇ（ｘ0＋２，ｙ0＋１）、Ｇ（ｘ0−１，ｙ0−２）、Ｇ（ｘ0−１，ｙ0＋２）、Ｇ（ｘ0＋１，ｙ0−２）、Ｇ（ｘ0＋１，ｙ0＋２）を用いて、以下の数式、
Ｇt（ｘ0，ｙ0）＝｛Ｇ（ｘ0−１，ｙ0）＋Ｇ（ｘ0＋１，ｙ0）＋Ｇ（ｘ0，ｙ0−１）
＋Ｇ（ｘ0，ｙ0＋１）｝×α
−｛Ｇ（ｘ0−２，ｙ0−１）＋Ｇ（ｘ0−２，ｙ0＋１）
＋Ｇ（ｘ0＋２，ｙ0−１）＋Ｇ（ｘ0＋２，ｙ0＋１）
＋Ｇ（ｘ0−１，ｙ0−２）＋Ｇ（ｘ0−１，ｙ0＋２）
＋Ｇ（ｘ0＋１，ｙ0−２）＋Ｇ（ｘ0＋１，ｙ0＋２）｝×β
（ここに、αとβとは、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である）に基づき、上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補Ｇt（ｘ0，ｙ0）を算出する第４の補間算出手段をさらに有して構成されたものである。
【００３３】
第６の発明によれば、斜め方向のエッジ領域について適用される補間候補が用意されるために、斜め方向のエッジに対しても更なる偽色の発生を低減することができ、斜め方向の解像度低下を抑制することができる。
【００３４】
第７の発明による画像処理装置は、上記第５の発明による画像処理装置において、上記色差候補算出手段が、Ｘ画素を周辺の同一色Ｘを用いて帯域制限した修正画素ＸLを算出する帯域制限手段を有して構成され、上記第３の補間算出手段により算出されたＧ補間候補に基づいて色差候補を算出する際には、該修正画素ＸLを用いるものである。
【００３５】
第７の発明によれば、Ｒ画素またはＢ画素に対する周波数特性を、隣接４画素によるＧ画素補間の周波数特性に近似するように修正した後に色差を算出するようにしたために、周波数特性の違いに起因して発生する偽色を低減することができる。
【００３６】
第８の発明による画像処理装置は、上記第５の発明による画像処理装置において、上記最適色差選択手段が、Ｇ画素欠落位置の周辺のＧ画素値の変動量を算出して、該変動量に基づいた重み係数を算出するＧ画素変動量算出手段と、上記第３の補間算出手段により算出されたＧ補間候補に基づいて算出された上記Ｇ画素欠落位置の色差候補の周辺色差候補との類似度に、上記重み係数を乗算する乗算手段と、を有して構成されたものである。
【００３７】
第８の発明によれば、画像平坦部において、複数のＧ補間候補がノイズ等により頻繁に切り替わる誤選択によって発生し得る不自然な歪み模様を、抑制することができる。
【００３８】
第９の発明による画像処理装置は、上記第５の発明による画像処理装置において、上記最適色差選択手段が、上記第１の補間算出手段により算出されたＧ補間候補に基づいて算出されたＧ画素欠落位置の色差候補の周辺色差候補との類似度として、該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補との間で重み付けすることなく算出した類似度と、該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補の内の、上下に位置する２つの色差候補に重み付けして算出した類似度と、の内の類似性が低くない方の類似度を選択する選択手段を有して構成されたものである。
【００３９】
第９の発明によれば、急峻な垂直エッジ部において上下隣接Ｇ画素補間をより確実に選択することができるために、該エッジ境界部において誤選択された場合に生じ得る補間に伴う画像の劣化を、抑制することができる。
【００４０】
第１０の発明による画像処理装置は、上記第５の発明による画像処理装置において、上記最適色差選択手段が、上記第２の補間算出手段により算出されたＧ補間候補に基づいて算出されたＧ画素欠落位置の色差候補の周辺色差候補との類似度として、該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補との間で重み付けすることなく算出した類似度と、該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補の内の、左右に位置する２つの色差候補に重み付けして算出した類似度と、の内の類似性が低くない方の類似度を選択する選択手段を有して構成されたものである。
【００４１】
第１０の発明によれば、急峻な水平エッジ部において左右隣接Ｇ画素補間をより確実に選択することができるために、該エッジ境界部において誤選択された場合に生じ得る補間に伴う画像の劣化を、抑制することができる。
【００４２】
第１１の発明による画像処理装置は、上記第２の発明による画像処理装置において、上記類似度が、Ｇ画素欠落位置の色差候補と、該Ｇ画素欠落位置の周辺に位置する１つ以上の同一色Ｘかつ同一種類ｔの色差候補と、の差分絶対値和であり、上記最適色差選択手段は、Ｍ種類の該類似度の内の最小値を与える類似度の１つに対応する色差候補を１つ選択する選択手段を含み、該選択手段により選択された色差候補を色差とするものである。
【００４３】
第１１の発明によれば、ハード化を行う際の回路規模を小さく抑制しつつ、最適な色差とＧ画素補間とを決定することが可能となる。
【００４４】
第１２の発明による画像処理装置は、上記第２の発明による画像処理装置において、上記Ｘ（ｘ0，ｙ0）に対して周辺の同一色Ｘを用いて帯域制限したＸL（ｘ0，ｙ0）を算出する帯域制限手段をさらに具備し、上記色差候補算出手段は、算出されたＭ種類のＧ補間候補Ｇt（ｘ0，ｙ0）に基づいて、複数種類の色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出するものであり、上記最適色差選択手段は、上記類似度に基づいて、Ｍ種類の該Ｇ補間候補Ｇt（ｘ0，ｙ0）の内の１つのＧ補間候補Ｇp（ｘ0，ｙ0）またはＧq（ｘ0，ｙ0）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ、１≦ｑ≦Ｍ）を色差として選択するものである。
【００４５】
第１２の発明によれば、単板撮像素子により撮像されたベイヤ配列等の複数色信号から、欠落色信号の補間に伴って発生する偽色を抑制して本来再現されるべき彩度を保ったカラー画像を得ることができる。
【００４６】
第１３の発明による画像処理装置は、上記第１２の発明による画像処理装置において、上記最適色差選択手段が、選択した色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）に対応するＧ補間候補Ｇp（ｘ0，ｙ0）またはＧq（ｘ0，ｙ0）を、該位置（ｘ0，ｙ0）のＧ画素値として出力するＧ補間値出力手段を有して構成されたものである。
【００４７】
第１３の発明によれば、単板撮像素子により撮像されたベイヤ配列等の複数色信号から、欠落色信号の補間に伴って発生する偽色を抑制して本来再現されるべき彩度を保った高解像度のカラー画像を得ることができる。
【００４８】
第１４の発明による画像処理装置は、上記第１３の発明による画像処理装置において、上記最適色差選択手段によっては色差が算出されない位置の色差を、該最適色差選択手段により算出された該位置の周辺の同一色の色差に基づいて補間する処理を、該位置がＲＧＢベイヤ配列画像におけるＧ画素である場合にはＲ画素に係る色差およびＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＲ画素である場合にはＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＢ画素である場合にはＲ画素に係る色差について、それぞれ行う色差補間手段と、上記最適色差選択手段または上記色差補間手段により算出された色差と、この色差と同一位置のＧ画素と、に基づいて、Ｒ画素、Ｇ画素、およびＢ画素を算出するＲＧＢ画素算出手段と、をさらに具備したものである。
【００４９】
第１４の発明によれば、単板撮像素子により撮像されたベイヤ配列等の複数色信号から、欠落色信号の補間に伴って発生する偽色を抑制して本来再現されるべき彩度を保った高解像度のカラー画像を得ることができる。
【００５０】
第１５の発明による画像処理装置は、上記第１２の発明による画像処理装置において、上記補間候補算出手段が、上記Ｘ画素の上下に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第１の補間算出手段と、該Ｘ画素の左右に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第２の補間算出手段と、該Ｘ画素の上下左右に隣接する４つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第３の補間算出手段と、を有して構成されたものである。
【００５１】
第１５の発明によれば、水平エッジ、垂直エッジ、それ以外の領域について適用される補間候補が用意されるために、画像に適応した補間を選択することができるとともに、エッジの方向に依存することなく偽色を低減することができ、水平、垂直方向の解像度低下を抑制することができる。
【００５２】
第１６の発明による画像処理装置は、上記第１５の発明による画像処理装置において、上記補間候補算出手段が、上記Ｘ（ｘ0，ｙ0）の近傍に位置する１２個のＧ画素Ｇ（ｘ0−１，ｙ0）、Ｇ（ｘ0＋１，ｙ0）、Ｇ（ｘ0，ｙ0−１）、Ｇ（ｘ0，ｙ0＋１）、Ｇ（ｘ0−２，ｙ0−１）、Ｇ（ｘ0−２，ｙ0＋１）、Ｇ（ｘ0＋２，ｙ0−１）、Ｇ（ｘ0＋２，ｙ0＋１）、Ｇ（ｘ0−１，ｙ0−２）、Ｇ（ｘ0−１，ｙ0＋２）、Ｇ（ｘ0＋１，ｙ0−２）、Ｇ（ｘ0＋１，ｙ0＋２）を用いて、以下の数式、
Ｇt（ｘ0，ｙ0）＝｛Ｇ（ｘ0−１，ｙ0）＋Ｇ（ｘ0＋１，ｙ0）＋Ｇ（ｘ0，ｙ0−１）
＋Ｇ（ｘ0，ｙ0＋１）｝×α
−｛Ｇ（ｘ0−２，ｙ0−１）＋Ｇ（ｘ0−２，ｙ0＋１）
＋Ｇ（ｘ0＋２，ｙ0−１）＋Ｇ（ｘ0＋２，ｙ0＋１）
＋Ｇ（ｘ0−１，ｙ0−２）＋Ｇ（ｘ0−１，ｙ0＋２）
＋Ｇ（ｘ0＋１，ｙ0−２）＋Ｇ（ｘ0＋１，ｙ0＋２）｝×β
（ここに、αとβとは、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である）に基づき、上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補Ｇt（ｘ0，ｙ0）を算出する第４の補間算出手段をさらに有して構成されたものである。
【００５３】
第１６の発明によれば、斜め方向のエッジ領域について適用される補間候補が用意されるために、斜め方向のエッジに対しても更なる偽色の発生を低減することができ、斜め方向の解像度低下を抑制することができる。
【００５４】
第１７の発明による画像処理装置は、上記第１５の発明による画像処理装置において、上記最適色差選択手段が、Ｇ画素欠落位置の周辺のＧ画素値の変動量を算出して、該変動量に基づいた重み係数を算出するＧ画素変動量算出手段と、上記第３の補間算出手段により算出されたＧ補間候補に基づいて算出された上記Ｇ画素欠落位置の色差候補の周辺色差候補との類似度に、上記重み係数を乗算する乗算手段と、を有して構成されたものである。
【００５５】
第１７の発明によれば、画像平坦部において、複数のＧ補間候補がノイズ等により頻繁に切り替わる誤選択によって発生し得る不自然な歪み模様を、抑制することができる。
【００５６】
第１８の発明による画像処理装置は、上記第１５の発明による画像処理装置において、上記最適色差選択手段が、上記第１の補間算出手段により算出されたＧ補間候補に基づいて算出されたＧ画素欠落位置の色差候補の周辺色差候補との類似度として、該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補との間で重み付けすることなく算出した類似度と、該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補の内の、上下に位置する２つの色差候補に重み付けして算出した類似度と、の内の類似性が低くない方の類似度を選択する選択手段を有して構成されたものである。
【００５７】
第１８の発明によれば、急峻な垂直エッジ部において上下隣接Ｇ画素補間をより確実に選択することができるために、該エッジ境界部において誤選択された場合に生じ得る補間に伴う画像の劣化を、抑制することができる。
【００５８】
第１９の発明による画像処理装置は、上記第１５の発明による画像処理装置において、上記最適色差選択手段が、上記第２の補間算出手段により算出されたＧ補間候補に基づいて算出されたＧ画素欠落位置の色差候補の周辺色差候補との類似度として、該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補との間で重み付けすることなく算出した類似度と、該Ｇ画素欠落位置の周囲最近傍に位置する８つの同一色Ｘかつ同一種類ｔの色差候補の内の、左右に位置する２つの色差候補に重み付けして算出した類似度と、の内の類似性が低くない方の類似度を選択する選択手段を有して構成されたものである。
【００５９】
第１９の発明によれば、急峻な水平エッジ部において左右隣接Ｇ画素補間をより確実に選択することができるために、該エッジ境界部において誤選択された場合に生じ得る補間に伴う画像の劣化を、抑制することができる。
【００６０】
第２０の発明による画像処理装置は、上記第１２の発明による画像処理装置において、上記類似度が、Ｇ画素欠落位置の色差候補と、該Ｇ画素欠落位置の周辺に位置する１つ以上の同一色Ｘかつ同一種類ｔの色差候補と、の差分絶対値和であり、上記最適色差選択手段は、Ｍ種類の該類似度の内の最小値を与える類似度の１つに対応する色差候補を１つ選択する選択手段を含み、該選択手段により選択された色差候補を色差とするものである。
【００６１】
第２０の発明によれば、ハード化を行う際の回路規模を小さく抑制しつつ、最適な色差とＧ画素補間とを決定することが可能となる。
【００６２】
第２１の発明による画像処理プログラムは、Ｇ（緑）画素のサンプリング密度が、Ｒ（赤）画素のサンプリング密度およびＢ（青）画素のサンプリング密度よりも高く、かつそれぞれのサンプリング位置が異なるＲＧＢベイヤ配列画像から、サンプリング位置を同時化したカラー画像を生成する処理を、コンピュータに実行させるための画像処理プログラムであって、コンピュータに、上記ＲＧＢベイヤ配列画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、Ｇ画素が欠落している位置（ｘ0，ｙ0）のＲ画素またはＢ画素をＸ（ｘ0，ｙ0）としたときに、このＸ（ｘ0，ｙ0）に対して、Ｍ種類（Ｍは２以上の整数）のＧ補間候補Ｇt（ｘ0，ｙ0）（ここに、ｔ＝１，…，Ｍ）を算出する補間候補算出ステップと、算出されたＭ種類のＧ補間候補Ｇt（ｘ0，ｙ0）に基づいて、複数種類の色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する色差候補算出ステップと、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いたＧ補間候補Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧ補間候補Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、Ｍ種類の色差類似度を算出し、この算出したＭ種類の色差類似度に基づいて、Ｍ種類の該Ｇ補間候補Ｇt（ｘ0，ｙ0）の内の１つのＧ補間候補Ｇp（ｘ0，ｙ0）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ）を色差として選択する最適色差選択ステップと、を実行させるためのプログラムである。
【００６３】
第２１の発明によれば、単板撮像素子により撮像されたベイヤ配列等の複数色信号から、欠落色信号の補間に伴って発生する偽色を抑制して本来再現されるべき彩度を保ったカラー画像を得ることができる。
【００６４】
第２２の発明による画像処理方法は、Ｇ（緑）画素のサンプリング密度が、Ｒ（赤）画素のサンプリング密度およびＢ（青）画素のサンプリング密度よりも高く、かつそれぞれのサンプリング位置が異なるＲＧＢベイヤ配列画像から、サンプリング位置を同時化したカラー画像を生成するための画像処理方法であって、上記ＲＧＢベイヤ配列画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、Ｇ画素が欠落している位置（ｘ0，ｙ0）のＲ画素またはＢ画素をＸ（ｘ0，ｙ0）としたときに、このＸ（ｘ0，ｙ0）に対して、Ｍ種類（Ｍは２以上の整数）のＧ補間候補Ｇt（ｘ0，ｙ0）（ここに、ｔ＝１，…，Ｍ）を算出する補間候補算出ステップと、算出されたＭ種類のＧ補間候補Ｇt（ｘ0，ｙ0）に基づいて、複数種類の色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する色差候補算出ステップと、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いたＧ補間候補Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧ補間候補Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、Ｍ種類の色差類似度を算出し、この算出したＭ種類の色差類似度に基づいて、Ｍ種類の該Ｇ補間候補Ｇt（ｘ0，ｙ0）の内の１つのＧ補間候補Ｇp（ｘ0，ｙ0）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ）を色差として選択する最適色差選択ステップと、を含む方法である。
【００６５】
第２２の発明によれば、単板撮像素子により撮像されたベイヤ配列等の複数色信号から、欠落色信号の補間に伴って発生する偽色を抑制して本来再現されるべき彩度を保ったカラー画像を得ることができる。
【００６６】
第２３の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記最適色差選択手段が、上記色差類似度を、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）に対する同一色Ｘの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）とに基づいた類似度と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とは異なる色Ｘ^の複数の色差候補Ｘ^（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づいた類似度と、に基づき算出するものである。
【００６７】
第２３の発明によれば、色差周辺類似度の算出領域内における任意の空間周波数の画素値変化に対して色差周辺類似度の判定エラーをより低減し、偽色の発生をさらに抑制することが可能となる。
【００６８】
第２４の発明による画像処理装置は、上記第２３の発明による画像処理装置において、上記最適色差選択手段が、選択した色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）に対応するＧ補間候補Ｇp（ｘ0，ｙ0）を、該位置（ｘ0，ｙ0）のＧ画素値として出力するＧ補間値出力手段を有して構成されたものである。
【００６９】
第２４の発明によれば、第２３の発明に対して、さらに第３の発明と同様の効果を奏することができる。
【００７０】
第２５の発明による画像処理装置は、上記第２４の発明による画像処理装置において、上記最適色差選択手段によっては色差が算出されない位置の色差を、該最適色差選択手段により算出された該位置の周辺の同一色の色差に基づいて補間する処理を、該位置がＲＧＢベイヤ配列画像におけるＧ画素である場合にはＲ画素に係る色差およびＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＲ画素である場合にはＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＢ画素である場合にはＲ画素に係る色差について、それぞれ行う色差補間手段と、上記最適色差選択手段または上記色差補間手段により算出された色差と、この色差と同一位置のＧ画素と、に基づいて、Ｒ画素、Ｇ画素、およびＢ画素を算出するＲＧＢ画素算出手段と、をさらに具備したものである。
【００７１】
第２５の発明によれば、第２３の発明に対して、さらに第４の発明と同様の効果を奏することができる。
【００７２】
第２６の発明による画像処理装置は、上記第２３の発明による画像処理装置において、上記補間候補算出手段が、上記Ｘ画素の上下に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第１の補間算出手段と、該Ｘ画素の左右に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第２の補間算出手段と、該Ｘ画素の上下左右に隣接する４つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第３の補間算出手段と、を有して構成されたものである。
【００７３】
第２６の発明によれば、第２３の発明に対して、さらに第５の発明と同様の効果を奏することができる。
【００７４】
第２７の発明による画像処理装置は、上記第２６の発明による画像処理装置において、上記補間候補算出手段が、上記Ｘ（ｘ0，ｙ0）の近傍に位置する１２個のＧ画素Ｇ（ｘ0−１，ｙ0）、Ｇ（ｘ0＋１，ｙ0）、Ｇ（ｘ0，ｙ0−１）、Ｇ（ｘ0，ｙ0＋１）、Ｇ（ｘ0−２，ｙ0−１）、Ｇ（ｘ0−２，ｙ0＋１）、Ｇ（ｘ0＋２，ｙ0−１）、Ｇ（ｘ0＋２，ｙ0＋１）、Ｇ（ｘ0−１，ｙ0−２）、Ｇ（ｘ0−１，ｙ0＋２）、Ｇ（ｘ0＋１，ｙ0−２）、Ｇ（ｘ0＋１，ｙ0＋２）を用いて、以下の数式、
Ｇt（ｘ0，ｙ0）＝｛Ｇ（ｘ0−１，ｙ0）＋Ｇ（ｘ0＋１，ｙ0）＋Ｇ（ｘ0，ｙ0−１）
＋Ｇ（ｘ0，ｙ0＋１）｝×α
−｛Ｇ（ｘ0−２，ｙ0−１）＋Ｇ（ｘ0−２，ｙ0＋１）
＋Ｇ（ｘ0＋２，ｙ0−１）＋Ｇ（ｘ0＋２，ｙ0＋１）
＋Ｇ（ｘ0−１，ｙ0−２）＋Ｇ（ｘ0−１，ｙ0＋２）
＋Ｇ（ｘ0＋１，ｙ0−２）＋Ｇ（ｘ0＋１，ｙ0＋２）｝×β
（ここに、αとβとは、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である）に基づき、上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補Ｇt（ｘ0，ｙ0）を算出する第４の補間算出手段をさらに有して構成されたものである。
【００７５】
第２７の発明によれば、第２３の発明に対して、さらに第６の発明と同様の効果を奏することができる。
【００７６】
第２８の発明による画像処理装置は、上記第２６の発明による画像処理装置において、上記色差候補算出手段が、Ｘ画素を周辺の同一色Ｘを用いて帯域制限した修正画素ＸLを算出する帯域制限手段を有して構成され、上記第３の補間算出手段により算出されたＧ補間候補に基づいて色差候補を算出する際には、該修正画素ＸLを用いるものである。
【００７７】
第２８の発明によれば、第２３の発明に対して、さらに第７の発明と同様の効果を奏することができる。
【００７８】
第２９の発明による画像処理装置は、上記第２６の発明による画像処理装置において、上記最適色差選択手段が、Ｇ画素欠落位置の周辺のＧ画素値の変動量を算出して、該変動量に基づいた重み係数を算出するＧ画素変動量算出手段と、上記第３の補間算出手段により算出されたＧ補間候補に基づいて算出された上記Ｇ画素欠落位置の色差候補の周辺色差候補との類似度に、上記重み係数を乗算する乗算手段と、を有して構成されたものである。
【００７９】
第２９の発明によれば、第２３の発明に対して、さらに第８の発明と同様の効果を奏することができる。
【００８０】
第３０の発明による画像処理装置は、上記第２３の発明による画像処理装置において、上記類似度が、同一色Ｘかつ同一種類ｔの色差候補同士の差分絶対値の和であり、上記最適色差選択手段は、Ｍ種類の該類似度の内の最小値を与える類似度の１つに対応する色差候補を１つ選択する選択手段を含み、該選択手段により選択された色差候補を色差とするものである。
【００８１】
第３０の発明によれば、第２３の発明に対して、さらに第１１の発明とほぼ同様の効果を奏することができる。
【００８２】
第３１の発明による画像処理装置は、上記第２３の発明による画像処理装置において、上記Ｘ（ｘ0，ｙ0）に対して周辺の同一色Ｘを用いて帯域制限したＸL（ｘ0，ｙ0）を算出する帯域制限手段をさらに具備し、上記色差候補算出手段は、算出されたＭ種類のＧ補間候補Ｇt（ｘ0，ｙ0）に基づいて、複数種類の色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出するものであり、上記最適色差選択手段は、上記類似度に基づいて、Ｍ種類の該Ｇ補間候補Ｇt（ｘ0，ｙ0）の内の１つのＧ補間候補Ｇp（ｘ0，ｙ0）またはＧq（ｘ0，ｙ0）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ、１≦ｑ≦Ｍ）を色差として選択するものである。
【００８３】
第３１の発明によれば、第２３の発明に対して、さらに第１２の発明と同様の効果を奏することができる。
【００８４】
第３２の発明による画像処理装置は、上記第３１の発明による画像処理装置において、上記最適色差選択手段が、選択した色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）またはＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）に対応するＧ補間候補Ｇp（ｘ0，ｙ0）またはＧq（ｘ0，ｙ0）を、該位置（ｘ0，ｙ0）のＧ画素値として出力するＧ補間値出力手段を有して構成されたものである。
【００８５】
第３２の発明によれば、第２３の発明に対して、さらに第１３の発明と同様の効果を奏することができる。
【００８６】
第３３の発明による画像処理装置は、上記第３２の発明による画像処理装置において、上記最適色差選択手段によっては色差が算出されない位置の色差を、該最適色差選択手段により算出された該位置の周辺の同一色の色差に基づいて補間する処理を、該位置がＲＧＢベイヤ配列画像におけるＧ画素である場合にはＲ画素に係る色差およびＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＲ画素である場合にはＢ画素に係る色差について、該位置がＲＧＢベイヤ配列画像におけるＢ画素である場合にはＲ画素に係る色差について、それぞれ行う色差補間手段と、上記最適色差選択手段または上記色差補間手段により算出された色差と、この色差と同一位置のＧ画素と、に基づいて、Ｒ画素、Ｇ画素、およびＢ画素を算出するＲＧＢ画素算出手段と、をさらに具備したものである。
【００８７】
第３３の発明によれば、第２３の発明に対して、さらに第１４の発明と同様の効果を奏することができる。
【００８８】
第３４の発明による画像処理装置は、上記第３１の発明による画像処理装置において、上記補間候補算出手段が、上記Ｘ画素の上下に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第１の補間算出手段と、該Ｘ画素の左右に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第２の補間算出手段と、該Ｘ画素の上下左右に隣接する４つのＧ画素の平均を上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補として算出する第３の補間算出手段と、を有して構成されたものである。
【００８９】
第３４の発明によれば、第２３の発明に対して、さらに第１５の発明と同様の効果を奏することができる。
【００９０】
第３５の発明による画像処理装置は、上記第３４の発明による画像処理装置において、上記補間候補算出手段が、上記Ｘ（ｘ0，ｙ0）の近傍に位置する１２個のＧ画素Ｇ（ｘ0−１，ｙ0）、Ｇ（ｘ0＋１，ｙ0）、Ｇ（ｘ0，ｙ0−１）、Ｇ（ｘ0，ｙ0＋１）、Ｇ（ｘ0−２，ｙ0−１）、Ｇ（ｘ0−２，ｙ0＋１）、Ｇ（ｘ0＋２，ｙ0−１）、Ｇ（ｘ0＋２，ｙ0＋１）、Ｇ（ｘ0−１，ｙ0−２）、Ｇ（ｘ0−１，ｙ0＋２）、Ｇ（ｘ0＋１，ｙ0−２）、Ｇ（ｘ0＋１，ｙ0＋２）を用いて、以下の数式、
Ｇt（ｘ0，ｙ0）＝｛Ｇ（ｘ0−１，ｙ0）＋Ｇ（ｘ0＋１，ｙ0）＋Ｇ（ｘ0，ｙ0−１）
＋Ｇ（ｘ0，ｙ0＋１）｝×α
−｛Ｇ（ｘ0−２，ｙ0−１）＋Ｇ（ｘ0−２，ｙ0＋１）
＋Ｇ（ｘ0＋２，ｙ0−１）＋Ｇ（ｘ0＋２，ｙ0＋１）
＋Ｇ（ｘ0−１，ｙ0−２）＋Ｇ（ｘ0−１，ｙ0＋２）
＋Ｇ（ｘ0＋１，ｙ0−２）＋Ｇ（ｘ0＋１，ｙ0＋２）｝×β
（ここに、αとβとは、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である）に基づき、上記Ｍ種類のＧ補間候補の内の１種類のＧ補間候補Ｇt（ｘ0，ｙ0）を算出する第４の補間算出手段をさらに有して構成されたものである。
【００９１】
第３５の発明によれば、第２３の発明に対して、さらに第１６の発明と同様の効果を奏することができる。
【００９２】
第３６の発明による画像処理装置は、上記第３４の発明による画像処理装置において、上記最適色差選択手段が、Ｇ画素欠落位置の周辺のＧ画素値の変動量を算出して、該変動量に基づいた重み係数を算出するＧ画素変動量算出手段と、上記第３の補間算出手段により算出されたＧ補間候補に基づいて算出された上記Ｇ画素欠落位置の色差候補の周辺色差候補との類似度に、上記重み係数を乗算する乗算手段と、を有して構成されたものである。
【００９３】
第３６の発明によれば、第２３の発明に対して、さらに第１７の発明と同様の効果を奏することができる。
【００９４】
第３７の発明による画像処理装置は、上記第３１の発明による画像処理装置において、上記類似度が、同一色Ｘかつ同一種類の色差候補同士の差分絶対値の和であり、上記最適色差選択手段は、Ｍ種類の該類似度の内の最小値を与える類似度の１つに対応する色差候補を１つ選択する選択手段を含み、該選択手段により選択された色差候補を色差とするものである。
【００９５】
第３７の発明によれば、第２３の発明に対して、さらに第２０の発明とほぼ同様の効果を奏することができる。
【発明の効果】
【００９６】
本発明の画像処理装置、画像処理プログラム、画像処理方法によれば、ＲＧＢベイヤ配列画像における欠落色信号の補間を、偽色の発生および解像度の低下を十分に抑制しながら、彩度を低下させることなく行うことが可能となる。
【発明を実施するための最良の形態】
【００９７】
以下、図面を参照して本発明の実施の形態を説明する。
【００９８】
［実施形態１］
図１から図１５は本発明の実施形態１を示したものであり、図１は画像処理装置の全体的な構成を示すブロック図である。
【００９９】
この画像処理装置は、図１に示すように、撮像部１０１と、Ｇ補間色差算出部１０２と、色差補間処理部１０３と、ＲＧＢ算出部１０４と、圧縮記録部１０５と、を有している。
【０１００】
撮像部１０１は、図示はしないが、レンズと、ＩＲカットフィルタと、光学ローパスフィルタと、単板撮像素子（以下では単に「撮像素子」などと省略する。）と、増幅器と、Ａ／Ｄ変換器と、撮像素子コントローラと、を有して構成されている。ここに、レンズは、被写体の光学像を撮像素子上に結像するためのものである。ＩＲカットフィルタは、レンズを通過する光束から赤外領域の光をカットするためのものである。光学ローパスフィルタは、レンズにより撮像素子上に結像される光学像の解像度が、Ｇ信号のサンプリング間隔において折り返し歪みによるモワレが許容レベル以上に発生しない空間周波数特性となるように帯域制限を行う光学フィルタである。撮像素子は、図５に示すようなベイヤ配列のカラーフィルタを備える単板式の撮像素子であり、例えばＣＣＤやＣＭＯＳ等により構成されている。ここに図５は、撮像部１０１の単板撮像素子により撮像された色信号のベイヤ配列を示す図である。増幅器は、この撮像素子から出力される信号をアナログ的に増幅するものである。Ａ／Ｄ変換器は、この増幅器により増幅されたアナログ信号をデジタル信号に変換するものである。撮像素子コントローラは、撮像素子を制御しながら駆動して撮像を行わせ、撮像後にＡ／Ｄ変換器から出力されるデジタル信号を色成分に応じてＧ補間色差算出部１０２へ後述するように出力するものである。
【０１０１】
このような構成において、レンズ、ＩＲカットフィルタ、光学ローパスフィルタを介して単板撮像素子上に結像した光は、図５に示すようにベイヤ配列された色フィルタ付き画素により光電変換される。こうして光電変換された各画素の電気信号は、増幅器によって増幅され、Ａ／Ｄ変換器によってデジタル信号に変換されて、デジタルの色信号Ｒs，Ｇs，Ｂsとして出力される。撮像素子コントローラは、Ａ／Ｄ変換器から出力される色信号Ｒs，Ｇs，Ｂsを、ＲsおよびＢsと、Ｇsと、にそれぞれ分けて、Ｇ補間色差算出部１０２へ出力する。さらに、撮像素子コントローラは、各色信号Ｒs，Ｇs，Ｂsに対するノイズ低減処理機能およびホワイトバランス処理機能等を備えており、Ｇ補間色差算出部１０２へ出力されるＲs，Ｇs，Ｂsにはこれらの処理が施されている。
【０１０２】
Ｇ補間色差算出部１０２は、入力された色信号Ｒs，Ｂsの画素位置に対応する補間Ｇ画素であるＧiと、この画素位置における色差信号Ｒ−Ｇi，Ｂ−Ｇiと、を算出する。そして、Ｇ補間色差算出部１０２は、色差信号Ｒ−Ｇi，Ｂ−Ｇiについては図７に示すような２次元配列として、この２次元配列の色差信号をラスタスキャン順に色差補間処理部１０３へ出力する。ここに図７は、Ｇ補間色差算出部１０２から出力されるＸ−Ｇi信号の２次元配列を示す図である。また、Ｇ補間色差算出部１０２は、Ｇ信号については図６に示すような２次元配列として、この２次元配列のＧ信号をラスタスキャン順にＲＧＢ算出部１０４へ出力する。ここに図６は、Ｇ補間色差算出部１０２から出力されるＧ信号の２次元配列を示す図である。このＧ補間色差算出部１０２については、後でより詳しく説明する。
【０１０３】
色差補間処理部１０３は、色差補間手段であって、図７に示すような２次元配列中において、全画素の中で欠落している色差Ｒ−Ｇ、および全画素の中で欠落している色差Ｂ−Ｇを、周辺の同一色に係る色差Ｒ−ＧiまたはＢ−Ｇiを用いてそれぞれ補間し、補間して得られた全画素位置の色差Ｒ−Ｇと全画素位置の色差Ｂ−Ｇとを、ＲＧＢ算出部１０４へそれぞれ出力する。
【０１０４】
ＲＧＢ算出部１０４は、ＲＧＢ画素算出手段であって、色差補間処理部１０３から入力される２種類の色差信号Ｒ−Ｇ，Ｂ−Ｇと、Ｇ補間色差算出部１０２から入力されるＧ信号と、に基づいて、ＲＧＢ信号を算出し、該算出したＲＧＢ信号に対してカラーマッチング処理とγ補正処理とを行ってＲγ，Ｇγ，Ｂγ信号を算出し、算出したＲγ，Ｇγ，Ｂγ信号を圧縮記録部１０５へ出力する。
【０１０５】
圧縮記録部１０５は、ＲＧＢ算出部１０４から入力されたＲγ，Ｇγ，Ｂγ信号をＹ，Ｕ，Ｖ信号に変換し、さらに、このＹ，Ｕ，Ｖ信号をＪＰＥＧやＭＰＥＧ等の高能率圧縮符号化処理がなされた圧縮データに変換して、この圧縮データを記録媒体に保存する。
【０１０６】
次に、図２は、Ｇ補間色差算出部１０２の構成を示すブロック図である。
【０１０７】
このＧ補間色差算出部１０２は、メモリ２０１と、メモリ２０２と、縦補間Ｇ算出部２０３と、横補間Ｇ算出部２０４と、４画素補間Ｇ算出部２０５と、メモリ２０６と、メモリ２０７と、メモリ２０８と、減算部２０９と、減算部２１０と、減算部２１１と、メモリ２１２と、メモリ２１３と、メモリ２１４と、周辺類似度算出部２１５と、周辺類似度算出部２１６と、周辺類似度算出部２１７と、判定部２１８と、色差選択部２１９と、補間Ｇ選択部２２０と、メモリ２２１と、を有している。
【０１０８】
撮像部１０１から出力された色信号Ｒs、Ｂsはメモリ２０１に、色信号Ｇsはメモリ２０２に、欠落Ｇ画素位置の２次元的な補間処理を実施可能とする画素が揃うまでの遅延を得るために、所定ライン分だけ格納される。図２に示す例においては、メモリ２０１およびメモリ２０２に格納されるライン数は、少なくとも３ラインである。
【０１０９】
ここで、欠落Ｇ画素位置にはＲ画素またはＢ画素が配置されていることになるが、これら２つの色信号をまとめてＸ、あるいはＸ画素などと記載して、以後は説明することにする。
【０１１０】
縦補間Ｇ算出部２０３は、図８に示すような縦方向の近傍Ｇ画素を用いて、補間式Ｇv＝（Ｇ1＋Ｇ2）／２によりＧ補間候補を算出し、メモリ２０６へ出力して記憶させるとともに、減算部２０９へ出力する補間候補算出手段、第１の補間算出手段である。ここに図８は、欠落Ｇ信号位置の縦方向補間として用いる上下方向の隣接Ｇ信号のベイヤ配列上における位置を示す図である。
【０１１１】
横補間Ｇ算出部２０４は、図９に示すような横方向の近傍Ｇ画素を用いて、補間式Ｇh＝（Ｇ3＋Ｇ4）／２によりＧ補間候補を算出し、メモリ２０７へ出力して記憶させるとともに、減算部２１０へ出力する補間候補算出手段、第２の補間算出手段である。ここに図９は、欠落Ｇ信号位置の横方向補間として用いる左右方向の隣接Ｇ信号のベイヤ配列上における位置を示す図である。
【０１１２】
４画素補間Ｇ算出部２０５は、図１０に示すような縦横４方向の近傍Ｇ画素を用いて、補間式Ｇa＝（Ｇ1＋Ｇ2＋Ｇ3＋Ｇ4）／４によりＧ補間候補を算出し、メモリ２０８へ出力して記憶させるとともに、減算部２１１へ出力する補間候補算出手段、第３の補間算出手段である。ここに図１０は、欠落Ｇ信号位置の隣接４画素補間として用いる上下左右方向の隣接Ｇ信号のベイヤ配列上における位置を示す図である。
【０１１３】
減算部２０９は、欠落Ｇ画素と同一位置にあるＸ画素をメモリ２０１から入力し、色差信号（色差候補）Ｘ−Ｇvを算出して、メモリ２１２へ出力し記憶させる色差候補算出手段である。
【０１１４】
減算部２１０は、欠落Ｇ画素と同一位置にあるＸ画素をメモリ２０１から入力し、色差信号（色差候補）Ｘ−Ｇhを算出して、メモリ２１３へ出力し記憶させる色差候補算出手段である。
【０１１５】
減算部２１１は、欠落Ｇ画素と同一位置にあるＸ画素をメモリ２０１から入力し、色差信号（色差候補）Ｘ−Ｇaを算出して、メモリ２１４へ出力し記憶させる色差候補算出手段である。
【０１１６】
なお、メモリ２１２，２１３，２１４に格納される色差信号は、後で周辺類似度算出部２１５，２１６，２１７により周辺類似度を算出する際に用いられる。そして、周辺類似度算出部２１５，２１６，２１７は、図１１〜図１３に示すような同種色差信号（すなわち、色差候補を算出する際に用いるＧ補間候補Ｇv，Ｇh，Ｇaの種類が同一であって、かつ同一色Ｘの色差信号。従って、例えばＲ−ＧvとＢ−Ｇvとは、同種色差信号ではない。）が３行３列分含まれる近傍領域における、色差信号の類似度を算出するようになっている。従って、メモリ２１２，２１３，２１４、さらにメモリ２０６，２０７，２０８は、周辺類似度算出部２１５，２１６，２１７が類似度の算出を実施可能な遅延を得るために、それぞれ、少なくとも５ライン分のデータを格納することができるものとなっている。
【０１１７】
こうして、メモリ２１２，２１３，２１４に色差の周辺類似度算出処理を実行可能なだけの色差信号が格納された時点で、メモリ２１２，２１３，２１４から色差信号Ｘ−Ｇv，Ｘ−Ｇh，Ｘ−Ｇaが周辺類似度算出部２１５，２１６，２１７へそれぞれ出力される。
【０１１８】
周辺類似度算出部２１５は、最適色差選択手段、選択手段であって、Ｇ画素位置（ｋ，ｌ）における色差周辺類似度Ｓｖ（ｋ，ｌ）を次のように算出する。
【０１１９】
すなわち、周辺類似度算出部２１５は、まず図１１に示すように、中央の色差信号（Ｘ−Ｇv）k,l（ここに、「（Ｘ−Ｇv）k,l」は、「Ｘ（ｋ，ｌ）−Ｇv（ｋ，ｌ）」を省略して記載したものである。以下同様。）と、その周辺位置の８つの色差信号（Ｘ−Ｇv）k-2,l-2、（Ｘ−Ｇv）k,l-2、（Ｘ−Ｇv）k+2,l-2、（Ｘ−Ｇv）k-2,l、（Ｘ−Ｇv）k+2,l、（Ｘ−Ｇv）k-2,l+2、（Ｘ−Ｇv）k,l+2、（Ｘ−Ｇv）k+2,l+2と、を用いて、第１の色差周辺類似度候補Ｓｖ1（ｋ，ｌ）を次のように算出する。ここに図１１は、縦方向補間に基づき算出した欠落Ｇ信号位置の色差の内の、周辺類似度算出に使用する色差信号のベイヤ配列上における位置を示す図である。
Ｓｖ1（ｋ，ｌ）＝｜（Ｘ−Ｇv）k-2,l-2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k,l-2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k+2,l-2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k-2,l−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k+2,l−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k-2,l+2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k,l+2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k+2,l+2−（Ｘ−Ｇv）k,l｜
【０１２０】
さらに、周辺類似度算出部２１５は、図１１において太線で囲んだ部分における、中央の色差信号（Ｘ−Ｇv）k,lと、その周辺位置の２つの色差信号（Ｘ−Ｇv）k,l-2、（Ｘ−Ｇv）k,l+2と、を用いて差分絶対値和を算出し、他の色差信号を用いて他の差分絶対値和を算出し、さらにこれらの差分絶対値和に以下に示すように重み付けを行って、第２の色差周辺類似度候補Ｓｖ2（ｋ，ｌ）を算出する。
Ｓｖ2（ｋ，ｌ）＝｛｜（Ｘ−Ｇv）k,l-2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k,l+2−（Ｘ−Ｇv）k,l｜｝×Ｐ
＋｛｜（Ｘ−Ｇv）k-2,l-2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k+2,l-2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k-2,l−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k+2,l−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k-2,l+2−（Ｘ−Ｇv）k,l｜
＋｜（Ｘ−Ｇv）k+2,l+2−（Ｘ−Ｇv）k,l｜｝×Ｑ
ここに、ＰとＱとは、２Ｐ＋６Ｑ＝８を満たし、かつ、４≧Ｐ＞１、１＞Ｑ≧０となる任意定数である。
【０１２１】
そして、周辺類似度算出部２１５は、上述したように算出された第１の色差周辺類似度候補Ｓｖ1（ｋ，ｌ）と第２の色差周辺類似度候補Ｓｖ2（ｋ，ｌ）とを比較して、値が大きくない方（同値でない場合には、値が小さい方）、つまり類似度が低くない方（同一類似度でない場合には、類似度が高い方）を、色差周辺類似度Ｓｖ（ｋ，ｌ）として採用する。
【０１２２】
このように、２つの色差周辺類似度候補Ｓｖ1（ｋ，ｌ）、Ｓｖ2（ｋ，ｌ）の内の、値が大きくない方を色差周辺類似度Ｓｖ（ｋ，ｌ）とすることにより、急峻な縦エッジ境界部と緩やかに変化する縦エッジ境界との両方に対応することができ、判定エラーを低減することが可能となる。
【０１２３】
同様にして、周辺類似度算出部２１６は、最適色差選択手段、選択手段であって、欠落Ｇ画素位置（ｋ，ｌ）における色差周辺類似度Ｓｈ（ｋ，ｌ）を次のように算出する。
【０１２４】
すなわち、周辺類似度算出部２１６は、まず図１２に示すように、中央の色差信号（Ｘ−Ｇh）k,lと、その周辺位置の８つの色差信号（Ｘ−Ｇh）k-2,l-2、（Ｘ−Ｇh）k,l-2、（Ｘ−Ｇh）k+2,l-2、（Ｘ−Ｇh）k-2,l、（Ｘ−Ｇh）k+2,l、（Ｘ−Ｇh）k-2,l+2、（Ｘ−Ｇh）k,l+2、（Ｘ−Ｇh）k+2,l+2と、を用いて、第１の色差周辺類似度候補Ｓｈ1（ｋ，ｌ）を次のように算出する。ここに図１２は、横方向補間に基づき算出した欠落Ｇ信号位置の色差の内の、周辺類似度算出に使用する色差信号のベイヤ配列上における位置を示す図である。
Ｓｈ1（ｋ，ｌ）＝｜（Ｘ−Ｇh）k-2,l-2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k,l-2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k+2,l-2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k-2,l−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k+2,l−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k-2,l+2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k,l+2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k+2,l+2−（Ｘ−Ｇh）k,l｜
【０１２５】
さらに、周辺類似度算出部２１６は、図１２において太線で囲んだ部分における、中央の色差信号（Ｘ−Ｇh）k,lと、その周辺位置の２つの色差信号（Ｘ−Ｇh）k-2,l、（Ｘ−Ｇh）k+2,lと、を用いて差分絶対値和を算出し、他の色差信号を用いて他の差分絶対値和を算出し、さらにこれらの差分絶対値和に以下に示すように重み付けを行って、第２の色差周辺類似度候補Ｓｈ2（ｋ，ｌ）を算出する。
Ｓｈ2（ｋ，ｌ）＝｛｜（Ｘ−Ｇh）k-2,l−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k+2,l−（Ｘ−Ｇh）k,l｜｝×Ｐ
＋｛｜（Ｘ−Ｇh）k-2,l-2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k,l-2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k+2,l-2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k-2,l+2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k,l+2−（Ｘ−Ｇh）k,l｜
＋｜（Ｘ−Ｇh）k+2,l+2−（Ｘ−Ｇh）k,l｜｝×Ｑ
ここに、ＰとＱとは、２Ｐ＋６Ｑ＝８を満たし、かつ、４≧Ｐ＞１、１＞Ｑ≧０となる任意定数である。
【０１２６】
そして、周辺類似度算出部２１６は、上述したように算出された第１の色差周辺類似度候補Ｓｈ1（ｋ，ｌ）と第２の色差周辺類似度候補Ｓｈ2（ｋ，ｌ）とを比較して、値が大きくない方（同値でない場合には、値が小さい方）、つまり類似度が低くない方（同一類似度でない場合には、類似度が高い方）を、色差周辺類似度Ｓｈ（ｋ，ｌ）として採用する。
【０１２７】
このように、２つの色差周辺類似度候補Ｓｈ1（ｋ，ｌ）、Ｓｈ2（ｋ，ｌ）の内の、値が大きくない方を色差周辺類似度Ｓｈ（ｋ，ｌ）とすることにより、急峻な横エッジ境界部と緩やかに変化する横エッジ境界との両方に対応することができ、判定エラーを低減することが可能となる。
【０１２８】
また、周辺類似度算出部２１７は、最適色差選択手段であって、欠落Ｇ画素位置（ｋ，ｌ）における色差周辺類似度Ｓａ（ｋ，ｌ）を次のように算出する。
【０１２９】
すなわち、周辺類似度算出部２１７は、図１３に示すように、中央の色差信号（Ｘ−Ｇa）k,lと、その周辺位置の８つの色差信号（Ｘ−Ｇa）k-2,l-2、（Ｘ−Ｇa）k,l-2、（Ｘ−Ｇa）k+2,l-2、（Ｘ−Ｇa）k-2,l、（Ｘ−Ｇa）k+2,l、（Ｘ−Ｇa）k-2,l+2、（Ｘ−Ｇa）k,l+2、（Ｘ−Ｇa）k+2,l+2と、を用いて、以下に示すように差分絶対値和を算出することにより、色差周辺類似度Ｓａ（ｋ，ｌ）を算出する。ここに図１３は、欠落Ｇ信号位置の隣接４画素補間に基づき算出した色差の内の、周辺類似度算出に使用する色差信号のベイヤ配列上における位置を示す図である。
Ｓａ（ｋ，ｌ）＝｜（Ｘ−Ｇa）k-2,l-2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k,l-2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k+2,l-2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k-2,l−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k+2,l−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k-2,l+2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k,l+2−（Ｘ−Ｇa）k,l｜
＋｜（Ｘ−Ｇa）k+2,l+2−（Ｘ−Ｇa）k,l｜
【０１３０】
このようにして周辺類似度算出部２１５，２１６，２１７により各算出された色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）は、最適色差選択手段たる判定部２１８に入力される。なお、ここでは色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）を注目色差と周辺色差との差分絶対値和として定義したが、この定義に代えて、差分２乗和として定義するようにしても良い。
【０１３１】
判定部２１８は、これら３つの色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）の値を比較して、最小となる色差周辺類似度を与えるＧ補間方法を１つ選択し、選択した補間方法に対応する選択信号を、色差選択部２１９と補間Ｇ選択部２２０とへそれぞれ出力する。なお、最小となる色差周辺類似度が複数存在する場合には、判定部２１８は、例えばＳａ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓｖ（ｋ，ｌ）の順番で優先順位の高さを決めて、この優先順位に沿ってＧ補間方法を１つ選択するようになっている。
【０１３２】
色差選択部２１９は、最適色差選択手段、選択手段であって、判定部２１８から入力される選択信号に基づいて、該選択信号に対応する１つの欠落Ｇ画素位置（ｋ，ｌ）の色差候補、すなわち、メモリ２１２に記憶されている色差候補（Ｘ−Ｇv）k,l、メモリ２１３に記憶されている色差候補（Ｘ−Ｇh）k,l、メモリ２１４に記憶されている色差候補（Ｘ−Ｇa）k,lの何れかを選択して入力し、色差補間処理部１０３へ色差として出力する。より具体的には、色差選択部２１９は、色差周辺類似度Ｓｖ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇv）k,lを、Ｓｈ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇh）k,lを、Ｓａ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇa）k,lを、色差補間処理部１０３へ出力するようになっている。なお、色差信号は、図７に示したような２次元配列における左上から右下へのラスタスキャン順で、色差補間処理部１０３へ出力される。
【０１３３】
また、補間Ｇ選択部２２０は、最適色差選択手段、Ｇ補間値出力手段であって、判定部２１８から入力される選択信号に基づいて、該選択信号に対応する１つの欠落Ｇ画素位置（ｋ，ｌ）のＧ補間候補、すなわち、メモリ２０６に記憶されているＧ補間候補Ｇv（ｋ，ｌ）、メモリ２０７に記憶されているＧ補間候補Ｇh（ｋ，ｌ）、メモリ２０８に記憶されているＧ補間候補Ｇa（ｋ，ｌ）の何れかを選択して入力し、ＲＧＢ算出部１０４へ出力する。より具体的には、補間Ｇ選択部２２０は、色差周辺類似度Ｓｖ（ｋ，ｌ）が最小である場合にはＧv（ｋ，ｌ）を、色差周辺類似度Ｓｈ（ｋ，ｌ）が最小である場合にはＧh（ｋ，ｌ）を、色差周辺類似度Ｓａ（ｋ，ｌ）が最小である場合にはＧa（ｋ，ｌ）を、ＲＧＢ算出部１０４へ出力するようになっている。
【０１３４】
また、メモリ２２１は、撮像画素として得られるＧs画素のデータを一時的に記憶するためのものである。Ｇ補間色差算出部１０２は、図６に示すような欠落のない２次元配列のＧ信号を、左上から右下へのラスタスキャン順でＲＧＢ算出部１０４へ出力するようになっている。従って、ラスタスキャン順で読み出されるタイミングがくるまで、メモリ２２１はＧs画素のデータを記憶し、該タイミングになったところでＧs画素のデータをＲＧＢ算出部１０４へ出力するようになっている。
【０１３５】
次に、図３は、色差補間処理部１０３の構成を示すブロック図である。
【０１３６】
色差補間処理部１０３は、色差選別部３０１と、メモリ３０２と、メモリ３０３と、補間処理部３０４と、補間処理部３０５と、を有している。
【０１３７】
Ｇ補間色差算出部１０２からの色差信号Ｘ−Ｇiは、色差補間処理部１０３の色差選別部３０１に入力されるようになっている。色差選別部３０１は、色差信号Ｘ−Ｇiが入力されると、該色差信号Ｘ−ＧiがＲ−Ｇiである場合にはメモリ３０２へ、色差信号Ｘ−ＧiがＢ−Ｇiである場合にはメモリ３０３へ、それぞれ分けて出力する。
【０１３８】
メモリ３０２は、色差選別部３０１から色差信号Ｒ−Ｇiが入力されると、それを記憶する。このとき、メモリ３０２は、色差信号Ｒ−Ｇiの欠落画素部分を補間処理するために必要なライン数分を記憶することができるようなメモリ容量のものとなっている。
【０１３９】
同様に、メモリ３０３は、色差選別部３０１から色差信号Ｂ−Ｇiが入力されると、それを記憶する。このとき、メモリ３０３は、色差信号Ｂ−Ｇiの欠落画素部分を補間処理するために必要なライン数分を記憶することができるようなメモリ容量のものとなっている。
【０１４０】
こうして、補間処理が開始可能となった時点で、メモリ３０２，３０３から、補間処理に必要な画素データが、補間処理部３０４，３０５へそれぞれ出力される。
【０１４１】
補間処理部３０４は、例えば次に示すような線形補間式を用いることにより色差信号Ｒ−Ｇの補間を行い、全ての画素位置における色差信号Ｒ−Ｇを生成して、ＲＧＢ算出部１０４へ出力する。


ここに、Ｎｏは、上述した３×３行列内における非欠落画素Ｒ−Ｇiの数である。
【０１４２】
同様に、補間処理部３０５は、例えば次に示すような線形補間式を用いることにより色差信号Ｂ−Ｇの補間を行い、全ての画素位置における色差信号Ｂ−Ｇを生成して、ＲＧＢ算出部１０４へ出力する。


ここに、Ｎｏは、上述した３×３行列内における非欠落画素Ｂ−Ｇiの数である。
【０１４３】
次に、図４は、ＲＧＢ算出部１０４の構成を示すブロック図である。
【０１４４】
ＲＧＢ算出部１０４は、メモリ４０１と、加算部４０２と、加算部４０３と、カラーマトリックス処理部４０４と、γ補正部４０５と、γ補正部４０６と、γ補正部４０７と、を有している。
【０１４５】
Ｇ補間色差算出部１０２からのＧ信号は、ＲＧＢ算出部１０４のメモリ４０１に入力されて格納される。このメモリ４０１は、色差補間処理部１０３からＧ信号と同一画素位置の色差信号Ｒ−Ｇ、および色差信号Ｂ−Ｇが入力されるまで、該Ｇ信号を保持しておくためのものである（つまり、遅延用として機能するものである）。
【０１４６】
また、色差補間処理部１０３からの色差信号Ｒ−Ｇは、ＲＧＢ算出部１０４の加算部４０２に入力される。すると、加算部４０２は、入力された色差信号Ｒ−Ｇと同一位置のＧ信号をメモリ４０１から読み出して、色差信号Ｒ−ＧとＧ信号とを加算することによりＲ信号を生成し、カラーマトリックス処理部４０４へ出力する。
【０１４７】
さらに、色差補間処理部１０３からの色差信号Ｂ−Ｇは、ＲＧＢ算出部１０４の加算部４０３に入力される。すると、加算部４０３は、入力された色差信号Ｂ−Ｇと同一位置のＧ信号をメモリ４０１から読み出して、色差信号Ｂ−ＧとＧ信号とを加算することによりＢ信号を生成し、カラーマトリックス処理部４０４へ出力する。
【０１４８】
そして、メモリ４０１は、加算部４０２により算出されたＲ信号および加算部４０３により算出されたＢ信号と同一画素位置のＧ信号を、カラーマトリックス処理部４０４へ出力する。
【０１４９】
このような処理を行うことにより、各画素位置におけるＲ信号、Ｇ信号、Ｂ信号が復元されることになる。
【０１５０】
カラーマトリックス処理部４０４は、復元されたＲ信号、Ｇ信号、およびＢ信号が入力されると、これらを例えばｓＲＧＢ空間の信号に変換する。そして、カラーマトリックス処理部４０４は、変換したＲ信号をγ補正部４０５へ、変換したＢ信号をγ補正部４０６へ、変換したＧ信号をγ補正部４０７へ、それぞれ出力する。
【０１５１】
γ補正部４０５，４０６，４０７は、カラーマトリックス処理部４０４から入力される変換後のＲ，Ｇ，Ｂ信号が例えば１２ビットの信号であるとすると、これらの信号をそれぞれγ補正して８ビットに変換されたＲγ信号、Ｇγ信号、Ｂγ信号をそれぞれ生成し、圧縮記録部１０５へ出力する。
【０１５２】
その後の圧縮記録部１０５による処理は、上述した通りである。
【０１５３】
次に、図１４は、Ｇ補間色差算出部１０２により行われる処理の概要を示すフローチャートである。この図１４を参照して説明する処理は、図２に示すような実施形態１におけるＧ補間色差算出部１０２の構成に対して適用されるだけでなく、後述する実施形態２の図１６に示すＧ補間色差算出部１０２の構成、実施形態３の図１９に示すＧ補間色差算出部１０２の構成、実施形態４の図２３に示すＧ補間色差算出部１０２の構成に対しても、共通して適用されるものとなっている。従って、必ずしも特定の実施形態にのみ依存するものではないために、この図１４の説明においては、参照符号の記載を適宜省略する。
【０１５４】
この処理を開始すると、まず、撮像部１０１により撮像してメモリに格納されラスタスキャン順にＧ補間色差算出部１０２に入力される単板ベイヤ配列画像における、Ｇ信号欠落位置のＧ補間候補信号を格納するためのメモリと、該Ｇ信号欠落位置の色差候補信号を格納するためのメモリと、のライン数Ｎを初期値にセットする（ステップＳ１４００）。
【０１５５】
続いて、Ｇ信号欠落位置（ｉ，ｊ）に対して、該欠落位置周辺のＧ信号を用いてＭ種類（Ｍは２以上の整数）のＧ補間候補Ｇt（ｉ，ｊ）（ここに、ｔ＝１，…，Ｍ）を算出するとともに、このＧ信号欠落位置（ｉ，ｊ）のＸ（ｉ，ｊ）信号（ここに、Ｘ信号は、上述したように、Ｒ信号またはＢ信号を示している。以下同様。）から上述したＭ種類のＧ補間候補Ｇt（ｉ，ｊ）を減算することにより、Ｍ種類の色差候補（Ｘ−Ｇt）i,jをそれぞれ算出して、メモリに格納する（ステップＳ１４０１）。
【０１５６】
なお、この実施形態１および次に説明する実施形態２においてはＭ＝３であり、後述する実施形態３および実施形態４においてはＭ＝４であるが、さらに多くの種類の補間候補を用意するようにしても良い。また、上述では補間方法として線形補間を採用しているが、これに限らず、キュービック補間やその他の非線形補間を採用するようにしても構わない。さらに、上述ではＧ信号欠落位置（ｉ，ｊ）の周辺のＧ信号を用いて補間を行うようにしているが、これだけでなく、周辺のＲ信号やＢ信号も用いて補間を行うようにしても良い。このように、補間方法は限定されるものではなく、任意の補間方法を採用することが可能である。
【０１５７】
次に、Ｎライン分の処理が終了したか否かを判定し（ステップＳ１４０２）、Ｎライン分の処理がまだ終了していないと判定された場合にはステップＳ１４０１に戻って、上述したような処理を行う。
【０１５８】
一方、ステップＳ１４０２において、Ｎライン分の処理が終了したと判定された場合には、ライン数Ｎを、以下のように補間Ｇ信号と色差信号とを決定するために必要な所定の処理ライン数にセットする（ステップＳ１４０３）。
【０１５９】
そして、メモリに格納されているＧ信号欠落位置（ｋ，ｌ）の同一補間種ｔにより算出された色差（Ｘ−Ｇt）k,lと、その近傍Ｄ方向（Ｄは１以上の整数であり、図１１〜図１３に示す例においては、Ｄ＝８、つまり近傍８方向となる。）の色差（Ｘ−Ｇt）k+n,l+m（この実施形態１および後述する実施形態２〜４においては、ｎ＝−２，０，２、ｍ＝−２，０，２であってかつｎとｍとは同時には０にならないものとしたが、さらに広い周辺領域の色差を用いるようにしても良い）と、の差分絶対値和（差分を算出する方向に応じて、重み付けを行うようにしても良い）に基づいて、周辺類似度Ｓt（ｋ，ｌ）を算出する（ステップＳ１４０４）。ここに、周辺類似度Ｓt（ｋ，ｌ）は、値が小さい程、類似性が高いことを示すものとなっている。
【０１６０】
こうして算出したＭ種類の周辺類似度Ｓt（ｋ，ｌ）（ここに、ｔ＝１，…，Ｍ）（なお、この実施形態１ではＭ＝３）の値を比較して、最小（最も類似性が高い）となる補間種インデックスｔminを選択する（ステップＳ１４０５）。
【０１６１】
次に、選択した補間種インデックスｔminに基づいて、Ｇ信号欠落位置（ｋ，ｌ）に対する補間Ｇ信号をＧtmin（ｋ，ｌ）に決定するとともに、該Ｇ信号欠落位置（ｋ，ｌ）に対する色差信号を（Ｘ−Ｇtmin）k,lに決定し、これらをメモリに格納する（ステップＳ１４０６）。
【０１６２】
ここでＮライン分の処理が終了したか否かを判定し（ステップＳ１４０７）、Ｎライン分の処理がまだ終了していないと判定された場合には、ステップＳ１４０４に戻って上述したような処理を行う。
【０１６３】
また、ステップＳ１４０７において、Ｎライン分の処理が終了したと判定された場合には、さらに、出力画像としての総ライン数分の処理を終了したか否かを判定する（ステップＳ１４０８）。
【０１６４】
ここで、総ライン数分の処理がまだ終了していないと判定された場合には、ステップＳ１４０１に戻って、メモリに格納されている不必要となった所定ライン数分のＧt、（Ｘ−Ｇt）、Ｓtを新しく算出される値により置き換えながら、上述したような処理を行う。
【０１６５】
一方、ステップＳ１４０８において、総ライン数分の処理が終了したと判定された場合には、このＧ補間色差算出処理を終了する。
【０１６６】
次に、図１５は、図２に示す構成のＧ補間色差算出部１０２の処理を示すフローチャートである。
【０１６７】
このＧ補間色差算出部１０２には、撮像部１０１により撮像されてメモリに格納されている単板ベイヤ配列画像が、ラスタスキャン順に入力されるようになっている。そして、Ｇ補間色差算出部１０２は、上述したように、ラスタスキャン順に入力される単板ベイヤ配列画像の内の、Ｒs信号およびＢs信号をメモリ２０１に、Ｇs信号をメモリ２０２に、所定データ分だけそれぞれ格納するようになっている。
【０１６８】
このように、メモリ２０１，２０２に所定データ分が格納されている状態において、欠落Ｇ信号のＧ補間候補値を格納するメモリ２０６〜２０８のライン数Ｎと、欠落Ｇ信号の色差候補値を格納するメモリ２１２〜２１４のライン数Ｎと、を所定の初期値（この実施形態１においてはＮ＝５）にセットする（ステップＳ１５００）。
【０１６９】
次に、Ｇ信号欠落位置（ｉ，ｊ）に対して、縦補間Ｇ算出部２０３により図８に示すような上下に隣接するＧ信号の平均値を算出して、補間候補Ｇv（ｉ，ｊ）としてメモリ２０６に格納し（ステップＳ１５０１）、さらに、減算部２０９によりＧ信号欠落位置（ｉ，ｊ）のＸ（ｉ，ｊ）から補間候補Ｇv（ｉ，ｊ）を減算することにより、色差候補（Ｘ−Ｇv）i,jを算出して、メモリ２１２に格納する（ステップＳ１５０２）。
【０１７０】
続いて、Ｇ信号欠落位置（ｉ，ｊ）に対して、図９に示すような左右に隣接するＧ信号の平均値を算出して、補間候補Ｇh（ｉ，ｊ）としてメモリ２０７に格納し（ステップＳ１５０３）、さらに、減算部２１０によりＧ信号欠落位置（ｉ，ｊ）のＸ（ｉ，ｊ）から補間候補Ｇh（ｉ，ｊ）を減算することにより、色差候補（Ｘ−Ｇh）i,jを算出して、メモリ２１３に格納する（ステップＳ１５０４）。
【０１７１】
そして、Ｇ信号欠落位置（ｉ，ｊ）に対して、図１０に示すような上下左右に隣接するＧ信号の平均値を算出して、補間候補Ｇa（ｉ，ｊ）としてメモリ２０８に格納し（ステップＳ１５０５）、さらに、減算部２１１によりＧ信号欠落位置（ｉ，ｊ）のＸ（ｉ，ｊ）から補間候補Ｇa（ｉ，ｊ）を減算することにより、色差候補（Ｘ−Ｇa）i,jを算出して、メモリ２１４に格納する（ステップＳ１５０６）。
【０１７２】
次に、この時点でＮライン分の処理が終了したか否かを判定し（ステップＳ１５０７）、Ｎライン分の処理がまだ終了していないと判定された場合には、ステップＳ１５０１に戻って上述したような処理を行う。
【０１７３】
こうして、ステップＳ１５０７において、Ｎライン分の処理が終了したと判定された場合には、Ｎを１にセットする（ステップＳ１５０８）。
【０１７４】
続いて、周辺類似度算出部２１５が、メモリ２１２に格納されているＧ信号欠落位置（ｋ，ｌ）の同一補間種（Ｘが同一色であって、Ｇの種類が同一のＧvである）により算出された色差（Ｘ−Ｇv）k,lと、その近傍８方向の同種色差（Ｘ−Ｇv）k+n,l+m（ここに、ｎ＝−２，０，２、ｍ＝−２，０，２であってかつｎとｍとは同時には０にならない。）と、の差分絶対値和を色差周辺類似度候補Ｓｖ1（ｋ，ｌ）として算出する。さらに、周辺類似度算出部２１５は、近傍８方向の同種色差（Ｘ−Ｇv）k+n,l+mの内の、上下近傍の同種色差（Ｘ−Ｇv）k+n,l+m（ここに、ｎ＝０、ｍ＝−２，２）に対して大きな重み付けを行って差分絶対値和をとり、色差周辺類似度候補Ｓｖ2（ｋ，ｌ）を算出する。そして、周辺類似度算出部２１５は、算出した色差周辺類似度候補Ｓｖ1（ｋ，ｌ）と色差周辺類似度候補Ｓｖ2（ｋ，ｌ）とに基づいて、周辺類似度Ｓｖ（ｋ，ｌ）を算出する（ステップＳ１５０９）。
【０１７５】
同様に、周辺類似度算出部２１６が、メモリ２１３に格納されているＧ信号欠落位置（ｋ，ｌ）の同一補間種（Ｘが同一色であって、Ｇの種類が同一のＧhである）により算出された色差（Ｘ−Ｇh）k,lと、その近傍８方向の同種色差（Ｘ−Ｇh）k+n,l+m（ここに、ｎ＝−２，０，２、ｍ＝−２，０，２であってかつｎとｍとは同時には０にならない。）と、の差分絶対値和を色差周辺類似度候補Ｓｈ1（ｋ，ｌ）として算出する。さらに、周辺類似度算出部２１６は、近傍８方向の同種色差（Ｘ−Ｇh）k+n,l+mの内の、左右近傍の同種色差（Ｘ−Ｇh）k+n,l+m（ここに、ｎ＝−２，２、ｍ＝０）に対して大きな重み付けを行って差分絶対値和をとり、色差周辺類似度候補Ｓｈ2（ｋ，ｌ）を算出する。そして、周辺類似度算出部２１６は、算出した色差周辺類似度候補Ｓｈ1（ｋ，ｌ）と色差周辺類似度候補Ｓｈ2（ｋ，ｌ）とに基づいて、周辺類似度Ｓｈ（ｋ，ｌ）を算出する（ステップＳ１５１０）。
【０１７６】
さらに同様に、周辺類似度算出部２１７が、メモリ２１４に格納されているＧ信号欠落位置（ｋ，ｌ）の同一補間種（Ｘが同一色であって、Ｇの種類が同一のＧaである）により算出された色差（Ｘ−Ｇa）k,lと、その近傍８方向の色差（Ｘ−Ｇa）k+n,l+m（ここに、ｎ＝−２，０，２、ｍ＝−２，０，２であってかつｎとｍとは同時には０にならない。）と、の差分絶対値和を周辺類似度Ｓａ（ｋ，ｌ）として算出する（ステップＳ１５１１）。
【０１７７】
このようにして算出される各周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）は、上述したように、値が小さい程、類似性が高いことを示すものとなっている。
【０１７８】
こうして３つの周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）が算出されたところで、まず、周辺類似度Ｓｖ（ｋ，ｌ）と周辺類似度Ｓｈ（ｋ，ｌ）とを比較する（ステップＳ１５１２）。
【０１７９】
ここで、周辺類似度Ｓｖ（ｋ，ｌ）が周辺類似度Ｓｈ（ｋ，ｌ）よりも小さいと判定された場合には、さらに、周辺類似度Ｓｖ（ｋ，ｌ）と周辺類似度Ｓａ（ｋ，ｌ）とを比較する（ステップＳ１５１４）。
【０１８０】
一方、ステップＳ１５１２において、周辺類似度Ｓｖ（ｋ，ｌ）が周辺類似度Ｓｈ（ｋ，ｌ）以上であると判定された場合には、さらに、周辺類似度Ｓｈ（ｋ，ｌ）と周辺類似度Ｓａ（ｋ，ｌ）とを比較する（ステップＳ１５１３）。
【０１８１】
そして、上述したステップＳ１５１４において、周辺類似度Ｓｖ（ｋ，ｌ）が周辺類似度Ｓａ（ｋ，ｌ）よりも小さいと判定された場合には、Ｇ信号欠落位置（ｋ，ｌ）の、信号補間値をＧv（ｋ，ｌ）に、色差を（Ｘ−Ｇv）k,lに、それぞれ決定して、これらをメモリに格納する（ステップＳ１５１５）。
【０１８２】
また、上述したステップＳ１５１４において周辺類似度Ｓｖ（ｋ，ｌ）が周辺類似度Ｓａ（ｋ，ｌ）以上であると判定された場合、または、上述したステップＳ１５１３において周辺類似度Ｓｈ（ｋ，ｌ）が周辺類似度Ｓａ（ｋ，ｌ）以上であると判定された場合には、Ｇ信号欠落位置（ｋ，ｌ）の、信号補間値をＧa（ｋ，ｌ）に、色差を（Ｘ−Ｇa）k,lに、それぞれ決定して、これらをメモリに格納する（ステップＳ１５１６）。
【０１８３】
さらに、上述したステップＳ１５１３において周辺類似度Ｓｈ（ｋ，ｌ）が周辺類似度Ｓａ（ｋ，ｌ）よりも小さいと判定された場合には、Ｇ信号欠落位置（ｋ，ｌ）の、信号補間値をＧh（ｋ，ｌ）に、色差を（Ｘ−Ｇh）k,lに、それぞれ決定して、これらをメモリに格納する（ステップＳ１５１７）。
【０１８４】
こうして、ステップＳ１５１５、ステップＳ１５１６、またはステップＳ１５１７の何れかの処理を行った後に、Ｎライン分の処理が終了したか否かを判定して（ステップＳ１５１８）、処理がまだ終了していないと判定された場合には、ステップＳ１５０９に戻って上述したような処理を行う。
【０１８５】
一方、ステップＳ１５１８において、Ｎライン分の処理が終了したと判定された場合には、さらに、出力画像としての総ライン数分の処理を終了したか否かを判定する（ステップＳ１５１９）。
【０１８６】
ここで、総ライン数分の処理がまだ終了していないと判定された場合には、ステップＳ１５０１に戻って、メモリに格納されている不必要となったラインのＧv、Ｇh、Ｇa、（Ｘ−Ｇv）、（Ｘ−Ｇh）、（Ｘ−Ｇa）、Ｓｖ、Ｓｈ、Ｓａを新しく算出される値により置き換えながら、上述したような処理を行う。
【０１８７】
また、ステップＳ１５１９において、総ライン数分の処理が終了したと判定された場合には、このＧ補間色差算出処理を終了する。
【０１８８】
このような実施形態１によれば、色差を算出するときの未確定パラメータである欠落Ｇ画素を、色差信号は局所的に相関性が高いという前提条件に基づいた最も確からしいものとして、複数種類のＧ補間候補の中から１つ選択することができる。その結果として、画像の局所的なエッジに最適な欠落Ｇ画素が補間されるために、偽色の発生を抑制することができるとともに、さらに、垂直方向および水平方向のエッジ部の解像度劣化を抑制することができる。
【０１８９】
そして、周辺類似度の算出を、色差に基づいて行っているために、彩度が低下することがなく、また偽色も有効に低減することができる。
【０１９０】
［実施形態２］
図１６から図１８は本発明の実施形態２を示したものであり、図１６はＧ補間色差算出部の構成を示すブロック図、図１７はＧ変動量算出部により使用するＧ信号のベイヤ配列上における位置を示す図、図１８はＧ変動量算出部により算出するＧ変動量と隣接４画素補間を用いて算出した周辺類似度に対する重み係数との関係を示す線図である。
【０１９１】
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１９２】
この実施形態２は、上述した実施形態１に対して、撮像画像の平坦部における画質の改善をさらに図るようにしたものとなっている。
【０１９３】
すなわち、実施形態１において説明した欠落Ｇ画素に対する３つの補間切換判定は、画像平坦部において、画像の局所相関性に伴う色差周辺類似度の３つの差（画像平坦部においては、この差が本来的に小さい）よりも撮像素子固有のノイズ量に伴う変化量が優勢になると、色差類似度の最小値判定において誤判定が発生し、ノイズの空間的な発生パターンに依存して縦補間、横補間、４画素補間が、ランダム性またはある周期性を持って頻繁に切り替わる可能性がある。そして、これに伴って、不自然な模様が現れるような画質劣化が発生する場合があり得る。
【０１９４】
そこで、本実施形態においては、このような画質劣化の発生を抑制するために、画像変動量を定量化することによる該変動量の検出処理と、検出した該変動量に適応して４画素補間の優先度を向上させる重み付け処理と、をさらに行うようにしたものである。
【０１９５】
すなわち、本実施形態のＧ補間色差算出部１０２は、上述した実施形態１のＧ補間色差算出部１０２に対して、Ｇ変動量算出部１６０１と、メモリ１６０２と、乗算部１６０３と、をさらに追加したものとなっている。ここに、上述したメモリ２０２はＧ変動量算出部１６０１に接続され、このＧ変動量算出部１６０１は最適色差選択手段たるメモリ１６０２に接続され、メモリ１６０２は乗算部１６０３に接続され、乗算部１６０３は判定部２１８へ接続されている。さらに、乗算部１６０３は、周辺類似度算出部２１７とも接続されている。
【０１９６】
この図１６に示したようなＧ補間色差算出部１０２の作用の内の、図２に示したＧ補間色差算出部１０２の作用と異なる部分についてを主として説明する。ここに、異なる作用部分は、主に、Ｇ変動量算出部１６０１と乗算部１６０３とに係る部分である。
【０１９７】
Ｇ変動量算出部１６０１は、最適色差選択手段、Ｇ画素変動量算出手段であって、メモリ２０２に格納されているＧs信号の内の、図１７に示すような欠落Ｇ画素位置（ｉ，ｊ）の周辺に配置されたＧs信号を読み込んで、次に示すようにＧ変動量（ｉ，ｊ）を算出する。
Ｇ変動量（ｉ，ｊ）＝Ｄc（ｉ，ｊ）／Ｐ
＋｛Ｄr1（ｉ，ｊ）＋Ｄr2（ｉ，ｊ）＋Ｄr3（ｉ，ｊ）＋Ｄr4（ｉ，ｊ）｝／Ｑ
ここに、ＰとＱはＰ＞０、Ｑ＞０を満たす任意の定数であり、
Ｄc（ｉ，ｊ）＝｜Ｇs（ｉ−１，ｊ）−Ｇs（ｉ，ｊ−１）
＋Ｇs（ｉ＋１，ｊ）−Ｇs（ｉ，ｊ＋１）｜
＋｜Ｇs（ｉ−１，ｊ）＋Ｇs（ｉ，ｊ−１）
−Ｇs（ｉ＋１，ｊ）−Ｇs（ｉ，ｊ＋１）｜
＋｜Ｇs（ｉ−１，ｊ）−Ｇs（ｉ，ｊ−１）
−Ｇs（ｉ＋１，ｊ）＋Ｇs（ｉ，ｊ＋１）｜
Ｄr1（ｉ，ｊ）＝｜Ｇs（ｉ−２，ｊ−１）−Ｇs（ｉ−１，ｊ−２）
＋Ｇs（ｉ，ｊ−１）−Ｇs（ｉ−１，ｊ）｜
＋｜Ｇs（ｉ−２，ｊ−１）＋Ｇs（ｉ−１，ｊ−２）
−Ｇs（ｉ，ｊ−１）−Ｇs（ｉ−１，ｊ）｜
＋｜Ｇs（ｉ−２，ｊ−１）−Ｇs（ｉ−１，ｊ−２）
−Ｇs（ｉ，ｊ−１）＋Ｇs（ｉ−１，ｊ）｜
Ｄr2（ｉ，ｊ）＝｜Ｇs（ｉ，ｊ−１）−Ｇs（ｉ＋１，ｊ−２）
＋Ｇs（ｉ＋２，ｊ−１）−Ｇs（ｉ＋１，ｊ）｜
＋｜Ｇs（ｉ，ｊ−１）＋Ｇs（ｉ＋１，ｊ−２）
−Ｇs（ｉ＋２，ｊ−１）−Ｇs（ｉ＋１，ｊ）｜
＋｜Ｇs（ｉ，ｊ−１）−Ｇs（ｉ＋１，ｊ−２）
−Ｇs（ｉ＋２，ｊ−１）＋Ｇs（ｉ＋１，ｊ）｜
Ｄr3（ｉ，ｊ）＝｜Ｇs（ｉ，ｊ＋１）−Ｇs（ｉ＋１，ｊ）
＋Ｇs（ｉ＋２，ｊ＋１）−Ｇs（ｉ＋１，ｊ＋２）｜
＋｜Ｇs（ｉ，ｊ＋１）＋Ｇs（ｉ＋１，ｊ）
−Ｇs（ｉ＋２，ｊ＋１）−Ｇs（ｉ＋１，ｊ＋２）｜
＋｜Ｇs（ｉ，ｊ＋１）−Ｇs（ｉ＋１，ｊ）
−Ｇs（ｉ＋２，ｊ＋１）＋Ｇs（ｉ＋１，ｊ＋２）｜
Ｄr4（ｉ，ｊ）＝｜Ｇs（ｉ−２，ｊ＋１）−Ｇs（ｉ−１，ｊ）
＋Ｇs（ｉ，ｊ＋１）−Ｇs（ｉ−１，ｊ＋２）｜
＋｜Ｇs（ｉ−２，ｊ＋１）＋Ｇs（ｉ−１，ｊ）
−Ｇs（ｉ，ｊ＋１）−Ｇs（ｉ−１，ｊ＋２）｜
＋｜Ｇs（ｉ−２，ｊ＋１）−Ｇs（ｉ−１，ｊ）
−Ｇs（ｉ，ｊ＋１）＋Ｇs（ｉ−１，ｊ＋２）｜
である。
【０１９８】
Ｇ変動量算出部１６０１は、このように算出したＧ変動量（ｉ，ｊ）に基づいて、図１８に示すような形状の関数を用いて、重み係数ｗ（ｉ，ｊ）を算出する。ここに、図１８に示す関数は、Ｇ変動量が所定の閾値Ｔｈ以上である場合には重みを１とし、Ｇ変動量がこの閾値Ｔｈ未満である場合にはＧ変動量に比例するような（つまり、Ｇ変動量が小さくなるに従って、重みが小さくなるような）、関数となっている。このようなＧ変動量に対する重み係数ｗ（ｉ，ｊ）の関係は、所定の計算式に基づき算出されるか、あるいは予め記憶されているルックアップテーブルを参照することにより変換されるようになっている。また、閾値Ｔｈは、撮像部１０１の増幅器の増幅量（ＩＳＯ感度に対応）に応じて変更することができるようになっていても良い。
【０１９９】
Ｇ変動量算出部１６０１が算出した重み係数ｗ（ｉ，ｊ）は、メモリ１６０２に出力されて格納される。
【０２００】
次に、乗算部１６０３は、最適色差選択手段、乗算手段であって、周辺類似度算出部２１７から出力された４画素補間Ｇaに係る色差Ｘ−Ｇaの周辺類似度Ｓａと、メモリ１６０２に格納されている重み係数ｗの内のこの周辺類似度Ｓａと同一画素位置に対応する重み係数ｗと、を乗算することによりＳａ×ｗを算出し、算出したＳａ×ｗを判定部２１８へ出力する。
【０２０１】
その後の判定部２１８による判定処理、あるいはそれ以降の処理は、上述した実施形態１と同様である。
【０２０２】
このような処理を行うと、Ｇ変動量が所定閾値Ｔｈ未満の場合（すなわち、ｗ＜１の場合）にはＳａ×ｗはＳａ単体よりも小さい値となるために、判定部２１８の判定においてＳａ×ｗが最小値となる可能性が増大することになる。つまり、Ｇ変動量が小さい平坦な領域においては、縦補間Ｇや横補間Ｇが選択される可能性が低減され、４画素補間Ｇがより高い確率で選択されて、ノイズによる影響がキャンセルされるようになっている。
【０２０３】
このような実施形態２によれば、エッジ部分においては上述した実施形態１とほぼ同様に偽色の発生を抑制することができるとともに、さらに、平坦な領域における不自然な模様状のノイズの発生を抑制することが可能となる。
【０２０４】
［実施形態３］
図１９から図２２は本発明の実施形態３を示したものであり、図１９はＧ補間色差算出部の構成を示すブロック図、図２０は欠落Ｇ信号位置の斜め方向補間として用いる周辺１２画素のＧ信号のベイヤ配列上における位置を示す図、図２１は周辺１２画素補間に基づき算出した欠落Ｇ信号位置の色差の内の、周辺類似度算出に使用する色差信号のベイヤ配列上における位置を示す図、図２２は光学ローパスフィルタを介して得られる撮像画像等の斜め４５度方向の周波数帯域特性を示す線図である。
【０２０５】
この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０２０６】
この実施形態３は、上述した実施形態２に対して、斜め方向の解像度をさらに改善するようにしたものである。
【０２０７】
上述した実施形態１，２においては、欠落Ｇ画素の補間を、縦方向、横方向、周辺４画素を用いた線形補間により行っていた。これらの内の縦方向補間は縦方向エッジに、横方向補間は横方向エッジに、それぞれ沿って適用された場合には、該エッジに直交する方向の周波数特性は補間によって変化することはない。つまり、エッジは鈍らされることなく保存される。これに対して、斜め方向のエッジは、実施形態１，２においては対応する方向の補間が存在せず、周辺色差類似度が最小となる補間方法としては主に周辺４画素補間が選択されることになる。
【０２０８】
図２２における周波数特性ｆaは、撮像部１０１の光学ローパスフィルタを介して得られる撮像画像の、水平方向に対して斜め４５度方向の周波数特性を示し、つまり、光学ローパスフィルタの斜め４５度方向の周波数特性を略示している。
【０２０９】
この光学ローパスフィルタの斜め方向の周波数特性ｆaは、図示のように、空間周波数がナイキスト周波数ＮＦへ向かうにつれて緩やかなカーブを描きながら単調減少する特性となっている。
【０２１０】
撮像画像の周波数特性は、この光学ローパスフィルタの斜め方向の周波数特性ｆaに、さらに、レンズのＭＴＦと、撮像素子の開口率に伴う周波数特性と、の積をとったトータルの周波数特性となる。ここで、レンズの周波数特性および開口率の周波数特性の寄与率は、上述したような光学ローパスフィルタの周波数特性に比べて無視することができる程度であるために、図２２に示す周波数特性ｆaが、撮像画像の斜め４５度方向の周波数特性であるものと近似的に見なすことができる。
【０２１１】
次に、図２２における周波数特性ｆbは、上述した周波数特性ｆaと、周辺４画素補間により得られる補間Ｇ画素の斜め４５度方向の周波数特性と、を乗算した結果の周波数特性を示している。
【０２１２】
この周辺４画素補間により作成する補間Ｇ画素の斜め方向の周波数特性ｆbは、補間フィルタの周波数特性と、光学ローパスフィルタの周波数特性と、の積となっている。
【０２１３】
そして、この周波数特性ｆbは、図示のように、空間周波数が０から増加するに従って単調に減少し、ナイキスト周波数の半分（ＮＦ／２）においてゲインが一旦０となり、その後に増加し小ピークを経てナイキスト周波数ＮＦにおいてゲインが再び０となる特性のものとなっている。こうして周波数特性ｆbは、上述した周波数特性ｆaに比して、高周波成分が落ち込んだ特性となり、斜め方向のエッジが鈍る特性であることが分かる。
【０２１４】
このような斜め方向のエッジの鈍りを改善するために、この実施形態３においては、斜め方向における高周波数成分の低下が少ない特性を備えた斜め補間処理をさらに追加するようにしたものとなっている。
【０２１５】

このような斜め補間機能を備えたＧ補間色差算出部１０２の構成について、図１９を参照して説明する。
【０２１６】
本実施形態のＧ補間色差算出部１０２は、上述した実施形態２のＧ補間色差算出部１０２に対して、斜め補間Ｇ算出部１９０１と、メモリ１９０２と、減算部１９０３と、メモリ１９０４と、周辺類似度算出部１９０５と、をさらに追加し、判定部２１８に代えて最適色差選択手段たる判定部１９０６を、色差選択部２１９に代えて最適色差選択手段、選択手段たる色差選択部１９０７を、補間Ｇ選択部２２０に代えて最適色差選択手段、Ｇ補間値出力手段たる補間Ｇ選択部１９０８を、それぞれ設けたものとなっている。
【０２１７】
ここに、上述したメモリ２０２は斜め補間Ｇ算出部１９０１に接続され、この斜め補間Ｇ算出部１９０１はメモリ１９０２と減算部１９０３とへ接続されている。また、メモリ１９０２および上述したメモリ２０６，２０７，２０８は、補間Ｇ選択部１９０８へそれぞれ接続されている。一方、減算部１９０３は、色差候補算出手段であって、メモリ２０１と接続されるとともに、メモリ１９０４を介して周辺類似度算出部１９０５へ接続されている。この周辺類似度算出部１９０５および上述した周辺類似度算出部２１５，２１６は、判定部１９０６へ接続されてるとともに、上述した周辺類似度算出部２１７は、乗算部１６０３を介して判定部１９０６へ接続されている。この判定部１９０６は、色差選択部１９０７および補間Ｇ選択部１９０８へ接続されている。また、色差選択部１９０７には、メモリ１９０４および上述したメモリ２１２，２１３，２１４が接続されている。
【０２１８】
この図１９に示したようなＧ補間色差算出部１０２の作用の内の、図１６に示したＧ補間色差算出部１０２の作用と異なる部分についてを主として説明する。ここに、異なる作用部分は、主に、斜め補間Ｇ算出部１９０１、メモリ１９０２、減算部１９０３、メモリ１９０４、周辺類似度算出部１９０５、判定部１９０６、色差選択部１９０７、補間Ｇ選択部１９０８に係る部分である。
【０２１９】
撮像部１０１から出力される色信号Ｒsおよび色信号Ｂsはメモリ２０１に、該撮像部１０１から出力される色信号Ｇsはメモリ２０２に、欠落Ｇ画素位置の２次元的な補間処理が実施可能となる画素が揃うまでの遅延を得るために所定ライン分だけ格納される。この図１９に示す例においては、メモリ２０１に格納されるライン数、および２０２に格納されるライン数は、最低５ラインである。
【０２２０】
欠落Ｇ画素の補間方法としては、図８、図９、図１０、図２０に示した４種類のＧ画素の配置を使用する。
【０２２１】
すなわち、縦補間Ｇ算出部２０３が、図８に示す配置のＧ画素を用いて、補間式Ｇv＝（Ｇ1＋Ｇ2）／２により欠落Ｇ画素の補間候補を算出するのは上述と同様である。
【０２２２】
また、横補間Ｇ算出部２０４が、図９に示す配置のＧ画素を用いて、補間式Ｇh＝（Ｇ3＋Ｇ4）／２により欠落Ｇ画素の補間候補を算出するのも上述と同様である。
【０２２３】
さらに、４画素補間Ｇ算出部２０５が、図１０に示す配置のＧ画素を用いて、補間式Ｇa＝（Ｇ1＋Ｇ2＋Ｇ3＋Ｇ4）／４により欠落Ｇ画素の補間候補を算出するのも上述と同様である。
【０２２４】
そして、本実施形態の斜め補間Ｇ算出部１９０１は、補間候補算出手段、第４の補間算出手段であって、図２０に示す配置のＧ画素を用いて、補間式Ｇd＝（Ｇ1＋Ｇ2＋Ｇ3＋Ｇ4）×α−（Ｇ5＋Ｇ6＋Ｇ7＋Ｇ8＋Ｇ9＋Ｇ10＋Ｇ11＋Ｇ12）×βにより欠落Ｇ画素の補間候補を算出するようになっている。ここに、αとβとは、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である。
【０２２５】
縦補間Ｇ算出部２０３、横補間Ｇ算出部２０４、４画素補間Ｇ算出部２０５、斜め補間Ｇ算出部１９０１によって各算出された補間候補は、それぞれ、メモリ２０６，２０７，２０８，１９０２に格納されると共に、減算部２０９，２１０，２１１，１９０３へ出力される。
【０２２６】
減算部２０９，２１０，２１１，１９０３は、メモリ２０１から欠落Ｇ画素と同一位置にあるＸ画素を読み込んで、上述したＧ補間候補をそれぞれ減算することにより、色差候補Ｘ−Ｇv，Ｘ−Ｇh，Ｘ−Ｇa，Ｘ−Ｇdをそれぞれ算出する。
【０２２７】
こうして算出された色差候補Ｘ−Ｇv，Ｘ−Ｇh，Ｘ−Ｇa，Ｘ−Ｇdは、メモリ２１２，２１３，２１４，１９０４にそれぞれ格納される。
【０２２８】
なお、メモリ２１２，２１３，２１４，１９０４に格納される色差信号は、後で周辺類似度算出部２１５，２１６，２１７，１９０５により周辺類似度を算出する際に用いられる。そして、周辺類似度算出部２１５，２１６，２１７，１９０５は、図１１、図１２、図１３、図２１に示すような同種色差信号（すなわち、色差候補を算出する際に用いるＧ補間候補Ｇv，Ｇh，Ｇa，Ｇdの種類が同一であって、かつ同一色Ｘの色差信号。従って、例えばＲ−ＧvとＢ−Ｇvとは、同種色差信号ではない。）が３行３列分含まれる近傍領域における、色差信号の類似度を算出するようになっている。従って、メモリ２１２，２１３，２１４，１９０４、さらにメモリ２０６，２０７，２０８，１９０２は、周辺類似度算出部２１５，２１６，２１７，１９０５が類似度の算出を実施可能な遅延を得るために、それぞれ、少なくとも５ライン分のデータを格納することができるものとなっている。
【０２２９】
こうして、メモリ２１２，２１３，２１４，１９０４に色差の周辺類似度算出処理を実行可能なだけの色差信号が格納された時点で、メモリ２１２，２１３，２１４，１９０４から色差信号Ｘ−Ｇv，Ｘ−Ｇh，Ｘ−Ｇa，Ｘ−Ｇdが周辺類似度算出部２１５，２１６，２１７，１９０５へそれぞれ出力される。
【０２３０】
周辺類似度算出部１９０５は、最適色差選択手段であって、実施形態１，２において説明したＳｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）と同様に、図２１に示すように、中央の色差信号（Ｘ−Ｇd）k,lと、その周辺位置の８つの色差（Ｘ−Ｇd）k-2,l-2、（Ｘ−Ｇd）k,l-2、（Ｘ−Ｇd）k+2,l-2、（Ｘ−Ｇd）k-2,l、（Ｘ−Ｇd）k+2,l、（Ｘ−Ｇd）k-2,l+2、（Ｘ−Ｇd）k,l+2、（Ｘ−Ｇd）k+2,l+2と、を用いて、以下の差分絶対値和を算出することにより、欠落Ｇ画素位置（ｋ，ｌ）における色差周辺類似度Ｓｄ（ｋ，ｌ）を算出する。
Ｓｄ（ｋ，ｌ）＝｜（Ｘ−Ｇd）k-2,l-2−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k,l-2−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k+2,l-2−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k-2,l−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k+2,l−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k-2,l+2−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k,l+2−（Ｘ−Ｇd）k,l｜
＋｜（Ｘ−Ｇd）k+2,l+2−（Ｘ−Ｇd）k,l｜
【０２３１】
このようにして算出される４つの色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）、Ｓｄ（ｋ，ｌ）の内の、４画素補間時の色差周辺類似度Ｓａ（ｋ，ｌ）は、上述した実施形態２と同様に、乗算部１６０３により、Ｇ変動量算出部１６０１によって算出されてメモリ１６０２に格納されている重み係数ｗ（ｋ，ｌ）と乗算される。
【０２３２】
こうして、４つの色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓｄ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）が、判定部１９０６に入力される。
【０２３３】
判定部１９０６は、これら４つの色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓｄ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）の値を比較して、最小となる色差周辺類似度を与えるＧ補間方法を１つ選択し、選択した補間方法に対応する選択信号を、色差選択部１９０７と補間Ｇ選択部１９０８とへそれぞれ出力する。なお、最小となる色差周辺類似度が複数存在する場合には、判定部１９０６は、例えばＳａ（ｋ，ｌ）×ｗ（ｋ，ｌ）、Ｓｄ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓｖ（ｋ，ｌ）の順番で優先順位の高さを決めて、この優先順位に沿ってＧ補間方法を１つ選択するようになっている。
【０２３４】
色差選択部１９０７は、判定部１９０６から入力される選択信号に基づいて、該選択信号に対応する１つの欠落Ｇ画素位置（ｋ，ｌ）の色差候補、すなわち、メモリ２１２に記憶されている色差候補（Ｘ−Ｇv）k,l、メモリ２１３に記憶されている色差候補（Ｘ−Ｇh）k,l、メモリ２１４に記憶されている色差候補（Ｘ−Ｇa）k,l、メモリ１９０４に記憶されている色差候補（Ｘ−Ｇd）k,lの何れかを選択して入力し、色差補間処理部１０３へ色差として出力する。より具体的には、色差選択部１９０７は、色差周辺類似度Ｓｖ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇv）k,lを、Ｓｈ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇh）k,lを、Ｓｄ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇd）k,lを、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇa）k,lを、色差補間処理部１０３へ出力するようになっている。
【０２３５】
また、補間Ｇ選択部１９０８は、判定部１９０６から入力される選択信号に基づいて、該選択信号に対応する１つの欠落Ｇ画素位置（ｋ，ｌ）のＧ補間候補、すなわち、メモリ２０６に記憶されているＧ補間候補Ｇv（ｋ，ｌ）、メモリ２０７に記憶されているＧ補間候補Ｇh（ｋ，ｌ）、メモリ２０８に記憶されているＧ補間候補Ｇa（ｋ，ｌ）、メモリ１９０２に記憶されているＧ補間候補Ｇd（ｋ，ｌ）の何れかを選択して入力し、ＲＧＢ算出部１０４へ出力する。より具体的には、補間Ｇ選択部１９０８は、色差周辺類似度Ｓｖ（ｋ，ｌ）が最小である場合にはＧv（ｋ，ｌ）を、Ｓｈ（ｋ，ｌ）が最小である場合にはＧh（ｋ，ｌ）を、Ｓｄ（ｋ，ｌ）が最小である場合にはＧd（ｋ，ｌ）を、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）が最小である場合にはＧa（ｋ，ｌ）を、ＲＧＢ算出部１０４へ出力するようになっている。
【０２３６】
このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、色差を算出するときの未確定パラメータである欠落Ｇ画素を、色差信号は局所的に相関性が高いという前提条件に基づいた最も確からしいものとして、４種類のＧ補間候補の中から１つ選択することができる。その結果として、画像の局所的なエッジに最適な欠落Ｇ画素が補間されるために、偽色の発生を抑制することができるとともに、さらに、水平方向および垂直方向のエッジ部のみならず、斜め方向のエッジ部の解像度劣化を抑制することができる。
【０２３７】
［実施形態４］
図２３から図２６は本発明の実施形態４を示したものであり、図２３はＧ補間色差算出部の構成を示すブロック図、図２４はローパスフィルタ処理部においてローパスフィルタを構成するために使用する色信号Ｘのベイヤ配列上における位置を示す図、図２５はＧ補間色差算出部の処理の一部を示すフローチャート、図２６はＧ補間色差算出部の処理の他の一部を示すフローチャートである。
【０２３８】
この実施形態４において、上述の実施形態１〜３と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０２３９】
この実施形態４は、上述した実施形態３に対して、さらに、斜め方向の偽色を改善するようにしたものである。
【０２４０】
まず、上述した実施形態３における欠落Ｇ画素の補間は、縦方向、横方向、周辺４画素、周辺１２画素を用いた補間であった。そして、縦方向の補間は縦方向エッジ領域に、横方向の補間は横方向エッジ領域に、周辺１２画素の補間は斜め方向エッジ領域に、周辺４画素の補間はその他の領域に、それぞれ適用されるようになっていた。ここで、縦方向補間Ｇvが適用される縦方向エッジ、または横方向補間Ｇhが適用される横方向エッジは、エッジに沿った補間となるために、エッジと直交する方向の空間周波数特性の劣化は発生せず、色差Ｘ−Ｇv，Ｘ−Ｇhに関しては補間選択にエラーが発生しない限り補間Ｇ画素とＸ画素との周波数特性の違いによる誤差は発生しない。これに対して、斜め方向補間Ｇdの空間周波数特性の１例を図２２のｆdに示す。ここに、周波数特性ｆdは、上述した周波数特性ｆaと、周辺１２画素補間により得られる補間Ｇ画素の斜め４５度方向の周波数特性と、を乗算した結果の周波数特性を示している。この周波数特性ｆdは、撮像素子によりサンプリングされた画素の斜め方向の空間周波数特性ｆa（図２２参照）と近似しているとはいえない。したがって、色差Ｘ−Ｇdに、周波数特性の違いによる誤差が発生することになる。このような誤差は、高周波数成分を含む斜めエッジ領域で顕著になり、具体的には偽色となって現れる。このような斜め方向のエッジ領域における偽色を低減するためには、補間Ｇ画素の周波数特性と、この補間Ｇ画素との間で色差を算出しようとするＸ画素（Ｒ画素またはＢ画素）の周波数特性と、を一致させることが必要になる。そこで、斜め方向の色差算出を、４画素補間Ｇ信号と、ＸL画素と、を用いて行うようにした。ここに、ＸL画素は、Ｘ画素（Ｒ画素またはＢ画素）に対してローパスフィルタ処理を施すことにより、該ＸL画素の斜め方向の空間周波数特性が、４画素補間Ｇ信号の斜め方向の空間周波数特性ｆb（図２２参照）に近似した空間周波数特性ｆc（図２２参照）となるようにしたものである。すなわち、周波数特性ｆcは、上述した周波数特性ｆaと、欠落Ｇ信号位置の色信号Ｘに対して周辺の同一色信号を用いて構成したローパスフィルタにより帯域制限した周波数特性と、を乗算した結果の周波数特性を示している。
【０２４１】
このような処理を行うことにより、色差候補ＸL−Ｇaは、空間周波数特性の相違による誤差が他の色差候補Ｘ−ＧdやＸ−Ｇaに準じて小さくなり、上述した実施形態３に比して偽色低減を行うことが可能となる。なお、こうして算出される色差候補ＸL−Ｇaは、斜めエッジ以外の領域に適用されたとしても当然にして問題はない。
【０２４２】
図２４は、欠落Ｇ画素位置（ｉ，ｊ）におけるＸ画素に施すローパスフィルタに使用する画素を示している。すなわち、Ｘ（ｉ，ｊ）、Ｘ（ｉ−２，ｊ）、Ｘ（ｉ，ｊ−２）、Ｘ（ｉ＋２，ｊ）、Ｘ（ｉ，ｊ＋２）の５つの画素が、ローパスフィルタに使用される画素に該当している。これら５つの画素を用いて構成するローパスフィルタは、次に示すようになっている。
ＸL（ｉ，ｊ）＝ａ×Ｘ（ｉ，ｊ）
＋ｂ×｛Ｘ（ｉ−２，ｊ）＋Ｘ（ｉ，ｊ−２）
＋Ｘ（ｉ＋２，ｊ）＋Ｘ（ｉ，ｊ＋２）｝
ここに、ａとｂとは、ａ＋４ｂ＝１を満たし、かつ、１＞ａ＞０、（１／４）＞ｂ＞０となる所定定数である。
【０２４３】
このように、この実施形態４においては、Ｘ画素の周波数特性をＧ画素の補間特性に合わせた後に色差算出を行う処理と、この処理に伴って算出された色差の選択処理と、をさらに追加したものとなっている。
【０２４４】
このようなローパスフィルタ機能を備えたＧ補間色差算出部１０２の構成について、図２３を参照して説明する。
【０２４５】
本実施形態のＧ補間色差算出部１０２は、上述した実施形態３のＧ補間色差算出部１０２に対して、帯域制限手段たるローパスフィルタ処理部２３０１と、減算部２３０２と、メモリ２３０３と、をさらに追加し、色差選択部１９０７に代えて最適色差選択手段、選択手段たる色差選択部２３０４を設けたものとなっている。
【０２４６】
ここに、上述したメモリ２０１はローパスフィルタ処理部２３０１へも接続され、このローパスフィルタ処理部２３０１は減算部２３０２へ接続されている。また、減算部２３０２は、色差候補算出手段であって、４画素補間Ｇ算出部２０５へも接続されるとともに、メモリ２３０３を介して色差選択部２３０４へ接続されている。この色差選択部２３０４は、さらに、メモリ２１２，２１３および判定部１９０６と接続されている。従って、色差選択部２３０４は、上述した実施形態３とは異なり、メモリ２１４，１９０４とは接続されていない。
【０２４７】
この図２３に示したようなＧ補間色差算出部１０２の作用の内の、図１９に示したＧ補間色差算出部１０２の作用と異なる部分についてを主として説明する。ここに、異なる作用部分は、主に、ローパスフィルタ処理部２３０１、減算部２３０２、メモリ２３０３、色差選択部２３０４に係る部分である。
【０２４８】
撮像部１０１から出力される色信号Ｒsおよび色信号Ｂsはメモリ２０１に、該撮像部１０１から出力される色信号Ｇsはメモリ２０２に、欠落Ｇ画素位置の２次元的な補間処理が実施可能となる画素が揃うまでの遅延を得るために所定ライン分だけ格納される。この図２３に示す例においては、メモリ２０１に格納されるライン数、および２０２に格納されるライン数は、最低５ラインである。
【０２４９】
欠落Ｇ画素の補間方法としては、図８、図９、図１０、図２０に示した４種類のＧ画素の配置を使用する。
【０２５０】
すなわち、縦補間Ｇ算出部２０３が、図８に示す配置のＧ画素を用いて、補間式Ｇv＝（Ｇ1＋Ｇ2）／２により欠落Ｇ画素の補間候補を算出するのは上述と同様である。
【０２５１】
また、横補間Ｇ算出部２０４が、図９に示す配置のＧ画素を用いて、補間式Ｇh＝（Ｇ3＋Ｇ4）／２により欠落Ｇ画素の補間候補を算出するのも上述と同様である。
【０２５２】
さらに、４画素補間Ｇ算出部２０５が、図１０に示す配置のＧ画素を用いて、補間式Ｇa＝（Ｇ1＋Ｇ2＋Ｇ3＋Ｇ4）／４により欠落Ｇ画素の補間候補を算出するのも上述と同様である。
【０２５３】
そして、斜め補間Ｇ算出部１９０１が、図２０に示す配置のＧ画素を用いて、補間式Ｇd＝（Ｇ1＋Ｇ2＋Ｇ3＋Ｇ4）×α−（Ｇ5＋Ｇ6＋Ｇ7＋Ｇ8＋Ｇ9＋Ｇ10＋Ｇ11＋Ｇ12）×βにより欠落Ｇ画素の補間候補を算出するのも上述と同様である。ここに、αとβとは、上述したように、α×４−β×８＝１を満たし、かつ、α＞（１／４）、β＞０となる任意定数である。
【０２５４】
縦補間Ｇ算出部２０３、横補間Ｇ算出部２０４、４画素補間Ｇ算出部２０５、斜め補間Ｇ算出部１９０１によって各算出された補間候補は、それぞれ、メモリ２０６，２０７，２０８，１９０２に格納されると共に、減算部２０９，２１０，２１１，１９０３へ出力される。
【０２５５】
減算部２０９，２１０，２１１，１９０３は、メモリ２０１から欠落Ｇ画素と同一位置にあるＸ画素を読み込んで、上述したＧ補間候補をそれぞれ減算することにより、色差候補Ｘ−Ｇv，Ｘ−Ｇh，Ｘ−Ｇa，Ｘ−Ｇdをそれぞれ算出する。
【０２５６】
こうして算出された色差候補Ｘ−Ｇv，Ｘ−Ｇh，Ｘ−Ｇa，Ｘ−Ｇdは、メモリ２１２，２１３，２１４，１９０４にそれぞれ格納される。
【０２５７】
さらに、ローパスフィルタ処理部２３０１は、メモリ２０１からＸ画素を読み込んで、上述したようなローパスフィルタ処理を行い、ＸL画素を算出する。
【０２５８】
減算部２３０２は、ローパスフィルタ処理部２３０１により算出されたＸL画素と、４画素補間Ｇ算出部２０５により算出された該４画素補間Ｇaと、を読み込んで、色差ＸL−Ｇaを算出する。
【０２５９】
こうして算出された色差ＸL−Ｇaは、メモリ２３０３に格納される。
【０２６０】
なお、メモリ２１２，２１３，２１４，１９０４に格納される色差信号は、後で周辺類似度算出部２１５，２１６，２１７，１９０５により周辺類似度を算出する際に用いられる。そして、周辺類似度算出部２１５，２１６，２１７，１９０５は、図１１、図１２、図１３、図２１に示すような同種色差信号（すなわち、色差候補を算出する際に用いるＧ補間候補Ｇv，Ｇh，Ｇa，Ｇdの種類が同一であって、かつ同一色Ｘの色差信号。従って、例えばＲ−ＧvとＢ−Ｇvとは、同種色差信号ではない。）が３行３列分含まれる近傍領域における、色差信号の類似度を算出するようになっている。従って、メモリ２１２，２１３，２１４，１９０４、さらにメモリ２０６，２０７，２０８，１９０２は、周辺類似度算出部２１５，２１６，２１７，１９０５が類似度の算出を実施可能な遅延を得るために、それぞれ、少なくとも５ライン分のデータを格納することができるものとなっている。
【０２６１】
こうして、メモリ２１２，２１３，２１４，１９０４に色差の周辺類似度算出処理を実行可能なだけの色差信号が格納された時点で、メモリ２１２，２１３，２１４，１９０４から色差信号Ｘ−Ｇv，Ｘ−Ｇh，Ｘ−Ｇa，Ｘ−Ｇdが周辺類似度算出部２１５，２１６，２１７，１９０５へそれぞれ出力される。
【０２６２】
周辺類似度算出部２１５，２１６，２１７，１９０５は、実施形態３において説明したのと同様に、色差信号の周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）、Ｓｄ（ｋ，ｌ）をそれぞれ算出する。
【０２６３】
このようにして算出される４つの色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）、Ｓｄ（ｋ，ｌ）の内の、４画素補間時の色差周辺類似度Ｓａ（ｋ，ｌ）は、上述した実施形態２と同様に、乗算部１６０３により、Ｇ変動量算出部１６０１によって算出されてメモリ１６０２に格納されている重み係数ｗ（ｋ，ｌ）と乗算される。
【０２６４】
こうして、４つの色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓｄ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）が、判定部１９０６に入力される。
【０２６５】
判定部１９０６は、これら４つの色差周辺類似度Ｓｖ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓｄ（ｋ，ｌ）、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）の値を比較して、最小となる色差周辺類似度を与えるＧ補間方法を１つ選択し、選択した補間方法に対応する選択信号を、色差選択部２３０４と補間Ｇ選択部１９０８とへそれぞれ出力する。なお、最小となる色差周辺類似度が複数存在する場合には、判定部１９０６は、例えば、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）、Ｓｄ（ｋ，ｌ）、Ｓｈ（ｋ，ｌ）、Ｓｖ（ｋ，ｌ）の順番で優先順位の高さを決めて、この優先順位に沿ってＧ補間方法を１つ選択するようになっている。
【０２６６】
色差選択部２３０４は、判定部１９０６から入力される選択信号に基づいて、該選択信号に対応する１つの欠落Ｇ画素位置（ｋ，ｌ）の色差候補、すなわち、メモリ２１２に記憶されている色差候補（Ｘ−Ｇv）k,l、メモリ２１３に記憶されている色差候補（Ｘ−Ｇh）k,l、メモリ２３０３に記憶されている色差候補（ＸL−Ｇa）k,lの何れかを選択して入力し、色差補間処理部１０３へ色差として出力する。より具体的には、色差選択部２３０４は、色差周辺類似度Ｓｖ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇv）k,lを、Ｓｈ（ｋ，ｌ）が最小である場合には（Ｘ−Ｇh）k,lを、Ｓｄ（ｋ，ｌ）またはＳａ（ｋ，ｌ）×ｗ（ｋ，ｌ）が最小である場合には（ＸL−Ｇa）k,lを、色差補間処理部１０３へ出力するようになっている。
【０２６７】
また、補間Ｇ選択部１９０８は、判定部１９０６から入力される選択信号に基づいて、該選択信号に対応する１つの欠落Ｇ画素位置（ｋ，ｌ）のＧ補間候補、すなわち、メモリ２０６に記憶されているＧ補間候補Ｇv（ｋ，ｌ）、メモリ２０７に記憶されているＧ補間候補Ｇh（ｋ，ｌ）、メモリ２０８に記憶されているＧ補間候補Ｇa（ｋ，ｌ）、メモリ１９０２に記憶されているＧ補間候補Ｇd（ｋ，ｌ）の何れかを選択して入力し、ＲＧＢ算出部１０４へ出力する。より具体的には、補間Ｇ選択部１９０８は、色差周辺類似度Ｓｖ（ｋ，ｌ）が最小である場合にはＧv（ｋ，ｌ）を、Ｓｈ（ｋ，ｌ）が最小である場合にはＧh（ｋ，ｌ）を、Ｓｄ（ｋ，ｌ）が最小である場合にはＧd（ｋ，ｌ）を、Ｓａ（ｋ，ｌ）×ｗ（ｋ，ｌ）が最小である場合にはＧa（ｋ，ｌ）を、ＲＧＢ算出部１０４へ出力するようになっている。
【０２６８】
これ以降の処理については、上述した実施形態３と同様である。
【０２６９】
次に、本実施形態におけるＧ補間色差算出処理の手順について、図２５および図２６を参照して説明する。なお、これら図２５と図２６とは、本来は１つの図面として記載されるべきであるが、紙面の都合上から２つの図面に分割したものである。
【０２７０】
このＧ補間色差算出部１０２には、撮像部１０１により撮像されてメモリに格納されている単板ベイヤ配列画像が、ラスタスキャン順に入力されるようになっている。そして、Ｇ補間色差算出部１０２は、上述したように、ラスタスキャン順に入力される単板ベイヤ配列画像の内の、Ｒs信号およびＢs信号をメモリ２０