トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 画像処理装置、方法、及びコンピュータプログラム
【発明者】 【氏名】北島 光太郎
【要約】 【課題】光源を推定し、その推定した光源に応じてホワイトバランス制御を行うに際して、その精度を向上させる。

【構成】ホワイトバランス増幅部１０６では、ホワイトバランスゲイン制御部１１０から出力されるホワイトバランスゲインに基づいて色信号（R，G，B）を増幅し、増幅色信号（R',G',B'）を色差信号生成部１０７に出力する。この場合に、光源推定部１２０では、明るさ検出部１１１から出力される被写体照度、及び、輝度・色信号生成部１０５から出力される色信号（R，G，B）を利用して光源を推定する。そして、ホワイトバランスゲイン制御部１１０では、光源推定部１２０からの光源情報に応じてホワイトバランスゲインを決定し、ホワイトバランス増幅部１０６に出力して、ホワイトバランス増幅部１０６において次の入力画像信号に対してホワイトバランス増幅が行われる。
【特許請求の範囲】
【請求項１】
撮像素子から出力される画像信号に含まれる色信号を、ホワイトバランスゲインに応じて増幅するホワイトバランス増幅手段と、
前記ホワイトバランス増幅手段により増幅する前の第１の色信号情報を取得する第１の色信号情報取得手段と、
前記ホワイトバランス増幅手段により増幅した後の第２の色信号情報と、前記第１の色信号情報により決定されるパラメータとに基づいてホワイトバランスゲインを算出し、前記ホワイトバランス増幅手段にフィードバックするホワイトバランスゲイン制御手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記第１の色信号情報を用いて光源の種類或いは光源の温度を推定し、その光源情報に基づいて、前記パラメータを決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の色信号情報を用いてホワイトバランスゲインの目標値を設定し、そのホワイトバランスゲインの目標値に基づいて、前記パラメータを決定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１の色信号情報を用いて撮影シーンを推定し、その撮影シーンに基づいて、前記パラメータを決定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記パラメータとは、前記第２の色信号情報を取得するための色信号範囲を指定するパラメータ、前記ホワイトバランスゲインの制御パラメータ、ホワイトバランス制御の動作及び停止パラメータのうち少なくともいずれか一つ以上を含むことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第２の色信号情報を取得するための色信号範囲を指定するパラメータとは、所定の色範囲に含まれる色信号を取得する際の色範囲の閾値であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記ホワイトバランスゲインの制御パラメータとは、ホワイトバランスゲインの可変範囲、ホワイトバランスゲインの変化量、ホワイトバランスゲインの初期値のうち少なくともいずれか一つ以上を含むことを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
前記第１の色信号情報を、前記第２の色信号情報から算出する色信号算出手段を備えることを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
撮像素子から出力される画像信号に含まれる色信号を、ホワイトバランスゲインに応じて増幅するホワイトバランス増幅手段と、
被写体照度を検出する被写体照度検出手段と、
前記ホワイトバランス増幅手段により増幅する前の第１の色信号情報を取得する第１の色信号情報取得手段と、
前記被写体照度検出手段により検出された被写体照度と、前記第１の色信号情報とに基づいて光源を推定する光源推定手段と、
前記ホワイトバランス増幅手段により増幅した後の第２の色信号情報と、前記光源推定手段により推定された光源とに基づいてホワイトバランスゲインを算出し、前記ホワイトバランス増幅手段にフィードバックするホワイトバランスゲイン制御手段とを備えることを特徴とする画像処理装置。
【請求項１０】
撮像素子から出力される画像信号に含まれる色信号を、ホワイトバランスゲインに応じて増幅するホワイトバランス増幅手段と、
被写体照度を検出する被写体照度検出手段と、
前記ホワイトバランス増幅手段により増幅した後の色信号情報から、前記ホワイトバランス増幅手段により増幅する前の色信号情報を算出する色信号情報算出手段と、
前記被写体照度検出手段により検出された被写体照度と、前記色信号情報算出手段により算出された色信号情報とに基づいて光源を推定する光源推定手段と、
前記ホワイトバランス増幅手段により増幅した後の色信号情報と、前記光源推定手段により推定された光源とに基づいてホワイトバランスゲインを算出し、前記ホワイトバランス増幅手段にフィードバックするホワイトバランスゲイン制御手段とを備えることを特徴とする画像処理装置。
【請求項１１】
撮像素子から出力される画像信号に含まれる色信号を、ホワイトバランスゲインに応じて増幅するホワイトバランス増幅手段と、
前記ホワイトバランス増幅手段により増幅する前の第１の色信号情報を取得する第１の色信号情報取得手段と、
前記第１の色信号情報を基づいて光源情報を推定する第１の光源推定手段と、
前記ホワイトバランス増幅手段により増幅した後の第２の色信号情報を取得する第２の色信号情報取得手段と、
前記第２の色信号情報に基づいて光源情報を推定する第２の光源推定手段と、
前記第１の光源推定手段により推定した光源情報と、前記第２の光源推定手段により推定した光源情報との少なくともいずれか一つに基づいてホワイトバランスゲインを算出し、前記ホワイトバランス増幅手段にフィードバックするホワイトバランスゲイン制御手段とを備えることを特徴とする画像処理装置。
【請求項１２】
前記ホワイトバランスゲイン制御手段は、前記第１の光源推定手段により推定した光源情報と、前記第２の光源推定手段により推定した光源情報とから予め定められた条件に従っていずれか一方を選択し、その選択された光源情報に基づいてホワイトバランスゲインを算出することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記ホワイトバランスゲイン制御手段は、前記第１の光源推定手段により推定した光源情報を用いて前記第２の光源推定手段により推定した光源情報を補正し、その補正された光源情報に基づいてホワイトバランスゲインを算出することを特徴とする請求項１１に記載の画像処理装置。
【請求項１４】
前記ホワイトバランスゲイン制御手段は、前記第１の光源推定手段により推定した光源情報と、前記第２の光源推定手段により推定した光源情報とに基づいて第３の光源情報を推定し、その推定された第３の光源情報に基づいて、ホワイトバランスゲインを算出することを特徴とする請求項１１に記載の画像処理装置。
【請求項１５】
撮像素子から出力される画像信号に含まれる色信号を、ホワイトバランスゲインに応じて増幅するホワイトバランス増幅手段と、
前記ホワイトバランス増幅手段により増幅する前の第１の色信号情報を取得する第１の色信号取得手段と、
前記第１の色信号情報に基づいて第１のホワイトバランスゲインを算出する第１のホワイトバランスゲイン算出手段と、
前記ホワイトバランス増幅手段により増幅した後の第２の色信号情報を取得する第２の色信号取得手段と、
前記第２の色信号情報に基づいて第２のホワイトバランスゲインを算出する第２のホワイトバランスゲイン算出手段と、
前記第１のホワイトバランスゲインと前記第２のホワイトバランスゲインとに基づいて第３のホワイトバランスゲインを決定し、前記ホワイトバランス増幅手段にフィードバックするホワイトバランスゲイン制御手段とを備えることを特徴とする画像処理装置。
【請求項１６】
前記ホワイトバランスゲイン制御手段は、前記第１のホワイトバランス制御ゲインを用いて前記第２のホワイトバランス制御ゲインを補正して、前記第３のホワイトバランスゲインとすることを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記ホワイトバランスゲイン制御手段は、前記第１のホワイトバランスゲインと前記第２のホワイトバランスゲインとからいずれか一方を選択して、それを前記第３のホワイトバランスゲインとすることを特徴とする請求項１５に記載の画像処理装置。
【請求項１８】
前記撮像素子からの出力画像が動画像であるか、静止画像であるかの情報を取得する出力形式取得手段を備え、
前記ホワイトバランスゲイン制御手段は、前記撮像素子からの出力画像が静止画像の場合、前記第１のホワイトバランス制御ゲインを選択して、それを前記第３のホワイトバランスゲインとすることを特徴とする請求項１７に記載の画像処理装置。
【請求項１９】
撮像素子から出力される画像信号に含まれる色信号を、ホワイトバランス増幅手段によりホワイトバランスゲインに応じて増幅する画像処理方法であって、
前記ホワイトバランス増幅手段により増幅する前の第１の色信号情報を取得する手順と、
前記ホワイトバランス増幅手段により増幅した後の第２の色信号情報と、前記第１の色信号情報により決定されるパラメータとに基づいてホワイトバランスゲインを算出し、前記ホワイトバランス増幅手段にフィードバックする手順とを有することを特徴とする画像処理方法。
【請求項２０】
撮像素子から出力される画像信号に含まれる色信号を、ホワイトバランス増幅手段によりホワイトバランスゲインに応じて増幅する画像処理方法であって、
被写体照度を検出する手順と、
前記ホワイトバランス増幅手段により増幅する前の第１の色信号情報を取得する手順と、
前記検出された被写体照度と、前記第１の色信号情報とに基づいて光源を推定する手順と、
前記ホワイトバランス増幅手段により増幅した後の第２の色信号情報と、前記推定された光源とに基づいてホワイトバランスゲインを算出し、前記ホワイトバランス増幅手段にフィードバックする手順とを有することを特徴とする画像処理方法。
【請求項２１】
撮像素子から出力される画像信号に含まれる色信号を、ホワイトバランス増幅手段によりホワイトバランスゲインに応じて増幅する画像処理方法であって、
被写体照度を検出する手順と、
前記ホワイトバランス増幅手段により増幅した後の色信号情報から、前記ホワイトバランス増幅手段により増幅する前の色信号情報を算出する手順と、
前記検出された被写体照度と、前記算出された増幅前の色信号情報とに基づいて光源を推定する手順と、
前記ホワイトバランス増幅手段により増幅した後の色信号情報と、前記推定された光源とに基づいてホワイトバランスゲインを算出し、前記ホワイトバランス増幅手段にフィードバックする手順とを有することを特徴とする画像処理方法。
【請求項２２】
撮像素子から出力される画像信号に含まれる色信号を、ホワイトバランス増幅手段によりホワイトバランスゲインに応じて増幅する画像処理方法であって、
前記ホワイトバランス増幅手段により増幅する前の第１の色信号情報を取得する手順と、
前記第１の色信号情報を基づいて光源情報を推定する手順と、
前記ホワイトバランス増幅手段により増幅した後の第２の色信号情報を取得する手順と、
前記第２の色信号情報に基づいて光源情報を推定する手順と、
前記第１の色信号情報に基づいて推定した光源情報と、前記第２の色信号情報に基づいて推定した光源情報との少なくともいずれか一つに基づいてホワイトバランスゲインを算出し、前記ホワイトバランス増幅手段にフィードバックする手順とを有することを特徴とする画像処理方法。
【請求項２３】
撮像素子から出力される画像信号に含まれる色信号を、ホワイトバランス増幅手段によりホワイトバランスゲインに応じて増幅する画像処理方法であって、
前記ホワイトバランス増幅手段により増幅する前の第１の色信号情報を取得する手順と、
前記第１の色信号情報に基づいて第１のホワイトバランスゲインを算出する手順と、
前記ホワイトバランス増幅手段により増幅した後の第２の色信号情報を取得する手順と、
前記第２の色信号情報に基づいて第２のホワイトバランスゲインを算出する手順と、
前記第１のホワイトバランスゲインと前記第２のホワイトバランスゲインとに基づいて第３のホワイトバランスゲインを決定し、前記ホワイトバランス増幅手段にフィードバックする手順とを有することを特徴とする画像処理方法。
【請求項２４】
撮像素子から出力される画像信号に含まれる色信号を、ホワイトバランスゲインに応じて増幅するホワイトバランス増幅手段を備えた画像処理装置を制御するコンピュータプログラムであって、
前記ホワイトバランス増幅手段により増幅する前の第１の色信号情報を取得する処理と、
前記ホワイトバランス増幅手段により増幅した後の第２の色信号情報と、前記第１の色信号情報により決定されるパラメータとに基づいてホワイトバランスゲインを算出し、前記ホワイトバランス増幅手段にフィードバックする処理とをコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項２５】
撮像素子から出力される画像信号に含まれる色信号を、ホワイトバランスゲインに応じて増幅するホワイトバランス増幅手段を備えた画像処理装置を制御するコンピュータプログラムであって、
被写体照度を検出する処理と、
前記ホワイトバランス増幅手段により増幅する前の第１の色信号情報を取得する処理と、
前記検出された被写体照度と、前記第１の色信号情報とに基づいて光源を推定する処理と、
前記ホワイトバランス増幅手段により増幅した後の第２の色信号情報と、前記推定された光源とに基づいてホワイトバランスゲインを算出し、前記ホワイトバランス増幅手段にフィードバックする処理とをコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項２６】
撮像素子から出力される画像信号に含まれる色信号を、ホワイトバランスゲインに応じて増幅するホワイトバランス増幅手段を備えた画像処理装置を制御するコンピュータプログラムであって、
被写体照度を検出する処理と、
前記ホワイトバランス増幅手段により増幅した後の色信号情報から、前記ホワイトバランス増幅手段により増幅する前の色信号情報を算出する処理と、
前記検出された被写体照度と、前記算出された増幅前の色信号情報とに基づいて光源を推定する処理と、
前記ホワイトバランス増幅手段により増幅した後の色信号情報と、前記推定された光源とに基づいてホワイトバランスゲインを算出し、前記ホワイトバランス増幅手段にフィードバックする処理とをコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項２７】
撮像素子から出力される画像信号に含まれる色信号を、ホワイトバランスゲインに応じて増幅するホワイトバランス増幅手段を備えた画像処理装置を制御するコンピュータプログラムであって、
前記ホワイトバランス増幅手段により増幅する前の第１の色信号情報を取得する処理と、
前記第１の色信号情報を基づいて光源情報を推定する処理と、
前記ホワイトバランス増幅手段により増幅した後の第２の色信号情報を取得する処理と、
前記第２の色信号情報に基づいて光源情報を推定する処理と、
前記第１の色信号情報に基づいて推定した光源情報と、前記第２の色信号情報に基づいて推定した光源情報との少なくともいずれか一つに基づいてホワイトバランスゲインを算出し、前記ホワイトバランス増幅手段にフィードバックする処理とをコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項２８】
撮像素子から出力される画像信号に含まれる色信号を、ホワイトバランスゲインに応じて増幅するホワイトバランス増幅手段を備えた画像処理装置を制御するコンピュータプログラムであって、
前記ホワイトバランス増幅手段により増幅する前の第１の色信号情報を取得する処理と、
前記第１の色信号情報に基づいて第１のホワイトバランスゲインを算出する処理と、
前記ホワイトバランス増幅手段により増幅した後の第２の色信号情報を取得する処理と、
前記第２の色信号情報に基づいて第２のホワイトバランスゲインを算出する処理と、
前記第１のホワイトバランスゲインと前記第２のホワイトバランスゲインとに基づいて第３のホワイトバランスゲインを決定し、前記ホワイトバランス増幅手段にフィードバックする処理とをコンピュータに実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、光源を推定し、その推定した光源に応じて適切なホワイトバランス制御を行う画像処理装置、方法、及びコンピュータプログラムに関する。
【背景技術】
【０００２】
近年のビデオカメラ等で利用されるオートホワイトバランス制御は、外部センサを使用せず、撮像素子の出力を用いて行うものが主流となっている。例えば、赤(R)、緑(G)、青(B)の色信号から色差信号（R−Y、B−Y）、輝度信号（Y）を得るとともに、画像データを細かなブロックに分割し、各分割ブロック内で信号を平均する。そして、それらブロック平均値から白に近い色信号成分を抽出し、抽出した白に近い色信号の平均値が目標とする白色と等しくなるように制御する（例えば、特許文献１を参照）。
【０００３】
このようにオートホワイトバランス制御を行うに際して、動画像の場合は急激なホワイトバランスの変化は違和感を伴うため、時間とともに徐々にホワイトバランスゲインを変更する必要がある。そのため、動画像の場合にはホワイトバランス増幅後の色データを利用し、制御結果を確認しながら制御できるフィードバック型のホワイトバランス制御が適していると考えられる。
【０００４】
また、特許文献２では、白の抽出をさらに精度良く行う方法が開示されている。上述の白抽出範囲では蛍光灯の緑色も白として抽出するために、緑色の領域も白抽出範囲に含んでいる。そのため、芝生や木の緑色も白として抽出してしまい、芝生や木の緑を白に近づけるため色が褪色してしまうという問題があった。そこで、特許文献２では、白抽出範囲に含まれる信号の中でさらに緑色の信号を検出し、緑色の信号で輝度が低い信号については、白として抽出し難くする制御を行っている。これにより、輝度の低い芝生や木の緑色に関しては白として抽出することなく、ホワイトバランスによって褪色させないで、蛍光灯等の光源の緑は適切に無彩色にすることが可能となる。
【０００５】
【特許文献１】特開平５−６４２１９号公報
【特許文献２】特開平８−７９７８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示された発明では、被写体の明るさ（被写体照度）を用いて光源が屋内光であるか屋外光であるかの判断をしているが、被写体照度だけで光源を判断することは難しい。例えば、日陰では被写体照度は低くなるため、屋内光と誤判断してしまうおそれがある。
【０００７】
また、特許文献２に開示された発明では、色信号の中で緑色の信号を抽出している。しかしながら、フィードバック型のホワイトバランス制御においては、ホワイトバランスゲインの状態によって被写体の色が大きく変化するため、所望の色信号のみを抽出することが困難であるという問題があった。
【０００８】
この問題について以下で詳しく説明する。図１６は色差平面（R'-Y，B'-Y）における、緑色の領域と色信号データの分布を示している。なお、R'，B'はホワイトバランスゲインに従って増幅された色信号である。即ち、図１６は、ホワイトバランス増幅後の色信号データの分布を示している。図１６において、１７００、１７０１は緑色の領域（緑領域）を示しており、１７０２、１７０３は色信号の分布を示している。
【０００９】
図１６（ａ）では、多くの色信号データ１７０２が緑領域１７００に含まれている状態を示している。図１６（ｂ）は、図１６（ａ）の状態からホワイトバランスゲインが変化した状態を示している。図１６（ｂ）では、図１６（ａ）の状態で緑色と判断された信号が無彩色に近い状態に変化しているため、緑領域１７０１にはあまり色信号データ１７０３が含まれていない。そのため、図１６（ｂ）の状態において、被写体の画像信号から緑の信号を抽出することが困難となる。
【００１０】
このように、フィードバック型のホワイトバランス制御を用いた場合、ホワイトバランス増幅後の色信号を検波するため、同一の被写体であってもホワイトバランスゲインの状態により色分布が変化してしまう。そのため、緑色だけ等の特定の色信号を抽出することが困難となる場合があった。
【００１１】
本発明は上記のような点に鑑みてなされたものであり、光源を推定し、その推定した光源に応じてホワイトバランス制御を行うに際して、その精度を向上させることを目的とする。
【課題を解決するための手段】
【００１２】
本発明による画像処理装置は、撮像素子から出力される画像信号に含まれる色信号を、ホワイトバランスゲインに応じて増幅するホワイトバランス増幅手段と、前記ホワイトバランス増幅手段により増幅する前の第１の色信号情報を取得する第１の色信号情報取得手段と、前記ホワイトバランス増幅手段により増幅した後の第２の色信号情報と、前記第１の色信号情報により決定されるパラメータとに基づいてホワイトバランスゲインを算出し、前記ホワイトバランス増幅手段にフィードバックするホワイトバランスゲイン制御手段とを備える点に特徴を有する。
本発明による他の画像処理装置は、撮像素子から出力される画像信号に含まれる色信号を、ホワイトバランスゲインに応じて増幅するホワイトバランス増幅手段と、被写体照度を検出する被写体照度検出手段と、前記ホワイトバランス増幅手段により増幅する前の第１の色信号情報を取得する第１の色信号情報取得手段と、前記被写体照度検出手段により検出された被写体照度と、前記第１の色信号情報とに基づいて光源を推定する光源推定手段と、前記ホワイトバランス増幅手段により増幅した後の第２の色信号情報と、前記光源推定手段により推定された光源とに基づいてホワイトバランスゲインを算出し、前記ホワイトバランス増幅手段にフィードバックするホワイトバランスゲイン制御手段とを備える点に特徴を有する。
本発明による他の画像処理装置は、撮像素子から出力される画像信号に含まれる色信号を、ホワイトバランスゲインに応じて増幅するホワイトバランス増幅手段と、被写体照度を検出する被写体照度検出手段と、前記ホワイトバランス増幅手段により増幅した後の色信号情報から、前記ホワイトバランス増幅手段により増幅する前の色信号情報を算出する色信号情報算出手段と、前記被写体照度検出手段により検出された被写体照度と、前記色信号情報算出手段により算出された色信号情報とに基づいて光源を推定する光源推定手段と、前記ホワイトバランス増幅手段により増幅した後の色信号情報と、前記光源推定手段により推定された光源とに基づいてホワイトバランスゲインを算出し、前記ホワイトバランス増幅手段にフィードバックするホワイトバランスゲイン制御手段とを備える点に特徴を有する。
本発明による他の画像処理装置は、撮像素子から出力される画像信号に含まれる色信号を、ホワイトバランスゲインに応じて増幅するホワイトバランス増幅手段と、前記ホワイトバランス増幅手段により増幅する前の第１の色信号情報を取得する第１の色信号情報取得手段と、前記第１の色信号情報を基づいて光源情報を推定する第１の光源推定手段と、前記ホワイトバランス増幅手段により増幅した後の第２の色信号情報を取得する第２の色信号情報取得手段と、前記第２の色信号情報に基づいて光源情報を推定する第２の光源推定手段と、前記第１の光源推定手段により推定した光源情報と、前記第２の光源推定手段により推定した光源情報との少なくともいずれか一つに基づいてホワイトバランスゲインを算出し、前記ホワイトバランス増幅手段にフィードバックするホワイトバランスゲイン制御手段とを備える点に特徴を有する。
本発明による他の画像処理装置は、撮像素子から出力される画像信号に含まれる色信号を、ホワイトバランスゲインに応じて増幅するホワイトバランス増幅手段と、前記ホワイトバランス増幅手段により増幅する前の第１の色信号情報を取得する第１の色信号取得手段と、前記第１の色信号情報に基づいて第１のホワイトバランスゲインを算出する第１のホワイトバランスゲイン算出手段と、前記ホワイトバランス増幅手段により増幅した後の第２の色信号情報を取得する第２の色信号取得手段と、前記第２の色信号情報に基づいて第２のホワイトバランスゲインを算出する第２のホワイトバランスゲイン算出手段と、前記第１のホワイトバランスゲインと前記第２のホワイトバランスゲインとに基づいて第３のホワイトバランスゲインを決定し、前記ホワイトバランス増幅手段にフィードバックするホワイトバランスゲイン制御手段とを備える点に特徴を有する。
【発明の効果】
【００１３】
本発明によれば、ホワイトバランス増幅前の色信号情報に基づいて光源を推定することにより、高い精度での光源推定が可能である。
また、ホワイトバランス増幅後の色信号情報を用いたフィードバック制御を行うことにより、安定した精度の高いホワイトバランス制御が可能となる。
また、ホワイトバランス増幅前の色信号情報に基づいてホワイトバランスゲインの目標値を推定し、ホワイトバランス増幅後の色信号情報に基づいて算出したホワイトバランスゲインを補正することにより、精度の高いホワイトバランス制御を実現することが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。各実施形態では、フィードバック制御によるオートホワイトバランス機能を備えた撮像装置を例に説明する。
【００１５】
（第１の実施形態）
図１は第１の実施形態に係るオートホワイトバランス機能を備えた撮像装置の構成を示すブロック図である。図１において、１０１は被写体の光束を結像するレンズである。１０２はアイリスである。１０３は入射した光を光電変換する撮像素子である。１０４はＡＧＣアンプであり、撮像素子１０３からの信号を適正レベルに増幅する。
【００１６】
１０５は輝度・色信号生成部であり、撮像素子１０３で生成された信号を輝度信号（Y）及び色信号（R，G，B）に変換する。１０６はホワイトバランス増幅部であり、輝度・色信号生成部１０５から出力される色信号（R，G，B）をホワイトバランスゲインに従って増幅し、増幅色信号（R',G',B'）を生成する。１０７は色差信号生成部であり、色差信号（R'-Y，B'-Y）を生成する。１０８は標準テレビ信号等に変換するエンコーダである。
【００１７】
１０９は信号分割部であり、輝度信号（Y）、色差信号（R'-Y，B'-Y）を所定の領域ごとに分割する。１１１は被写体の明るさ（被写体照度）を検出する明るさ検出部である。１２０は光源推定部であり、明るさ検出部１１１から出力される被写体照度、及び、輝度・色信号生成部１０５から出力される色信号（R，G，B）を利用して、被写体の光源を推定する。
【００１８】
１１０はホワイトバランスゲイン制御部であり、信号分割部１０９から得られた信号及び光源推定部１２０から得られた光源情報に基づいて、ホワイトバランス増幅部１０６のホワイトバランスゲインを決定する。
【００１９】
次に、第１の実施形態に係る撮像装置の処理動作について説明する。撮像素子１０３に入射した光は、光電変換され、ＡＧＣアンプ１０４で適正レベルに増幅された後、輝度・色信号生成部１０５に出力される。輝度・色信号生成部１０５では、輝度信号（Y）及び色信号（R，G，B）を生成し、このうち色信号（R，G，B）をホワイトバランス増幅部１０６及び光源推定部１２０に出力する。
【００２０】
ホワイトバランス増幅部１０６では、ホワイトバランスゲイン制御部１１０から出力されるホワイトバランスゲインに基づいて色信号（R，G，B）を増幅し、増幅色信号（R',G',B'）を色差信号生成部１０７に出力する。色差信号生成部１０７では、色信号（R',G',B'）から色差信号（R'-Y，B'-Y）を生成し、エンコーダ１０８及び信号分割部１０９に出力する。エンコーダ１０８では、輝度信号（Y）及び色差信号（R'-Y，B'-Y）からＮＴＳＣ等の標準テレビジョン信号を生成し、出力する。
【００２１】
信号分割部１０９では、画像信号を図１４に示すようなブロック（８×８ブロック）に分割し、ブロック毎の輝度信号（Y）、色差信号（R'-Y，B'-Y）の平均値を算出し、ホワイトバランスゲイン制御部１１０に出力する。なお、ここでは、信号分割部１０９が８×８ブロックに画像信号を分割する例を説明したが、どのような分割数であってもかまわない。
【００２２】
明るさ検出部１１１には、アイリス１０２の解放状態を示す信号、撮像素子１０３の電子シャッタの制御状態を示す信号、ＡＧＣアンプ１０４のゲイン状態を示す信号がそれぞれ入力される。明るさ検出部１１１では、前述の輝度信号、アイリス、ＡＧＣ、撮像素子１０３の電子シャッタの状態から被写体の明るさ（被写体照度）を検出し、光源推定部１２０に出力する。
【００２３】
光源推定部１２０では、明るさ検出部１１１から出力される被写体照度、及び、輝度・色信号生成部１０５から出力される色信号（R，G，B）を利用して光源を推定する。図２に光源推定部１２０での光源の推定処理のフローチャートを示す。ステップＳ２０１では、輝度・色信号生成部１０５から出力される色信号（R，G，B）から輝度信号（Y）及び色差信号（R-Y，B-Y）を生成する。
【００２４】
ステップＳ２０２では、生成した色差信号（R-Y，B-Y）から緑の色相に属する色信号を取得する。図３は色差（R-Y,B-Y）平面を示しており、３０１は黄色〜緑の色相にあたる領域（緑領域）を示している。入力される色信号が色差平面上の緑領域３０１に含まれるかどうかをチェックし、緑領域３０１に含まれる信号（緑信号）を抽出する。
【００２５】
ステップＳ２０３では、上記ステップＳ２０２において抽出した緑信号の平均彩度を算出する。ステップＳ２０４では、明るさ検出部１１１から出力される被写体照度と上記ステップＳ２０３において算出した緑信号の彩度情報の関係から、図４に示す分布に基づいて光源を推定する。図４は、被写体の明るさ（被写体照度）と緑の彩度を軸に光源の分布を示した図である。図４において、４０１は太陽光（屋外光）の分布、４０２は蛍光灯（室内光）の分布を示している。この分布では、光源が太陽光の場合は照度が高く、蛍光灯の場合は照度が低いことを示している。また、照度が低い場合であっても、緑の彩度が高い場合は太陽光となっている。これは、照度が低く、緑の彩度が高い場合は、抽出した緑信号は蛍光灯の緑色ではなく、太陽光下での芝生や木の緑色であることが多いためである。
【００２６】
光源推定部１２０では、以上述べたステップに従い判定した光源情報（屋外光／屋内光）をホワイトバランスゲイン制御部１１０に出力する。
【００２７】
ホワイトバランスゲイン制御部１１０では、輝度信号（Y）、色差信号（R'-Y，B'-Y）から白に近い信号を抽出し、抽出した白に近い信号を目標の白（例えば、R'-Y，B'-Y平面の原点）に近づけるようにホワイトバランスゲインを制御する。図１５は色差（R'-Y，B'-Y）平面と、色差平面上で白に近い色信号を抽出するための白抽出範囲１６００を示す図である。図１５（ａ）は光源が太陽光の場合の白抽出範囲１６００を示しており、図１５（ｂ）は光源が人工灯の場合の白抽出範囲１６００を示している。
【００２８】
ホワイトバランスゲイン制御部１１０では、光源推定部１２０からの光源情報に応じて白抽出範囲１６００を適応的に変更する。白抽出範囲１６００は、光源推定部１２０からの光源情報が屋外光であった場合には、太陽光の色を抽出するために、図１５（ａ）に示すように高色温度側の色を白として抽出するように設定する（白抽出範囲の青側の領域を広げ、赤側の領域を狭くする）。一方、光源情報が屋内灯であった場合には、蛍光灯の低色温度の色を抽出するために、図１５（ｂ）に示すように赤色及び緑色の領域を含む範囲に設定する（青側の領域を狭くする）。
【００２９】
ホワイトバランスゲイン制御部１１０では、このようにして設定された白抽出範囲１６００に基づいて画像信号から白に近い信号を抽出し、抽出した白に近い信号を目標の白に近づけるようにホワイトバランスゲインを決定する。決定したホワイトバランスゲインはホワイトバランス増幅部１０６に出力され、ホワイトバランス増幅部１０６において、次の入力画像信号に対してホワイトバランス増幅が行われる。
【００３０】
以上述べたように、光源の推定にはホワイトバランス増幅部１０６に入力される前の色信号（R，G，B）を利用することで、ホワイトバランスのゲイン状態に左右されずに色を抽出することができるので、精度の高い光源推定が実現できる。
【００３１】
また、ホワイトバランス自体の制御にはホワイトバランス増幅後の色信号を抽出するフィードバック型のホワイトバランス制御を行っているので、大きく破綻することのない動画像に適した安定したホワイトバランス制御が可能となる。
【００３２】
上記実施形態では、ホワイトバランスゲイン制御部１１０において光源推定結果を利用して白抽出範囲１６００を制御したが、それに限られない。光源推定結果を利用してホワイトバランスゲイン決定のためのパラメータを設定するものであれば、どのような実施形態であってもかまわない。以下では、図５を参照して、光源推定結果を利用して白色抽出範囲１６００を変更する以外の例として、光源推定結果に応じてホワイトバランスゲインの制御範囲を変更する場合について説明する。
【００３３】
図５はホワイトバランスゲイン制御部１１０におけるホワイトバランスゲインの制御範囲を示した図である。図５において、横軸はホワイトバランスのＲゲイン、縦軸はＢゲインを示している。また、曲線５０１は黒体放射軸を示しており、ホワイトバランスゲイン制御部１１０ではこの黒体放射軸に沿ってホワイトバランスゲインを調節する。点５０２は色温度が３０００Ｋの低色温度の光源にホワイトバランスを合わせた場合のホワイトバランスゲインの状態を示している。同様に、点５０３は６０００Ｋ、点５０４は８０００Ｋの高色温度の光源にホワイトバランスを合わせた場合のホワイトバランスゲインの状態を示している。
【００３４】
ここで、ホワイトバランスゲイン制御部１１０は、光源推定部１２０から出力される光源情報が屋外光である場合、日陰のシーン等の光源が高色温度である場合も想定される。そこで、ホワイトバランスゲインの制御範囲を８０００Ｋの点５０４まで制御することを許可する。一方、光源推定部１２０から出力される光源情報が屋内光である場合には、光源が８０００Ｋほどの高色温度である場合はない。そこで、６０００Ｋの点５０３を上限とし、それ以上の色温度に対応するようにホワイトバランスゲインを変更しないように制御する。
【００３５】
以上、光源推定結果を用いて、ホワイトバランスゲインの可変範囲を制御する手法について述べた。その他にも、光源推定結果によって、電源投入時のホワイトバランスゲイン初期状態の制御、ホワイトバランスゲインを変化させる場合の変化量や変化速度の算出、ホワイトバランス制御の停止／動作の判定、等を行う実施形態であってもよい。
【００３６】
また、上記実施形態では、被写体照度と緑信号の彩度との関係から光源を推定したが、本発明は光源推定手法をこれに限定するものではない。要するに、少なくともホワイトバランス増幅前の色信号を利用して光源を推定する手法であれば、どのようなものを用いてもかまわない。例えば、色情報として、緑信号以外の例えば赤信号の情報を用いて光源を推定する手法であってもよい。また、ホワイトバランス増幅前の色信号（R，G，B）と被写体照度だけを用いて光源を推定するのではなく、ホワイトバランス増幅後の信号分割部１０９から出力される色・輝度信号（Y，R'-Y，B'-Y）も併せて用いて総合的に光源を推定する手法を用いてもよい。
【００３７】
また、光源推定結果として、屋外の太陽光と屋内の蛍光灯の推定結果をホワイトバランスゲイン制御部１１０に出力したが、光源推定結果はこれに限定するものではない。例えば、白熱灯等の低色温度の光源であることを示す情報や、色温度の推定値をホワイトバランスゲイン制御部１１０に出力するようにしてもよい。
【００３８】
また、光源推定は入力映像１フレーム分の色信号から推定することに限定するものではなく、複数フレームの色信号の平均値を利用してもよい。また、１フレーム毎に光源を推定し、各推定した複数フレーム分の光源推定結果の中から、光源推定の代表値を算出し、その光源推定の代表値をホワイトバランスゲイン制御部１１０に出力するようにしてもよい。これにより、１フレームの被写体の光源状態に左右されない、より正確な光源推定結果を利用したホワイトバランス制御を行うことが可能となる。
【００３９】
また、光源推定部１２０では、ホワイトバランス増幅前の色信号を用いて撮影シーンを推定し、該撮影シーンに基づいて光源を推定する実施形態であってもよい。例えば、撮影した画像の上部から青の色信号を抽出し、撮影シーンが空のシーンであるか日陰のシーンであるかを判断する。判断手法は、例えば抽出した青色の彩度が高く、照度も高い場合は空のシーンと判断し、青色の彩度が低いか、照度が低い場合は日陰のシーンと判断する。空のシーンと判断した場合は光源の色温度を約５０００Ｋと判定する。一方、日陰のシーンと判断した場合は光源の色温度を６０００〜７０００Ｋと推定する。そして、この光源の色温度情報をホワイトバランスゲイン制御部１１０に出力し、推定した色温度情報に基づいてホワイトバランスゲインを決定もしくは補正する。このように構成することにより、撮影シーンに応じたホワイトバランス制御が可能となる。
【００４０】
（第２の実施形態）
第２の実施形態として、ホワイトバランス増幅前の色信号をホワイトバランス増幅後の色信号から生成して利用する場合を説明する。
【００４１】
図６は第２の実施形態に係るホワイトバランス機能を備えた撮像装置の構成を示すブロック図である。図１に示した構成要素と同様の構成要素には同一の符号を付し、その詳細な説明は省略する。第１の実施形態では、光源推定部１２０に、輝度・色信号生成１０５から色信号（R，G，B）を入力していた。それに対して、第２の実施形態では、ホワイトバランス前色特徴量算出部６２１が新たに追加されており、光源推定部１２０に、ホワイトバランス前色特徴量算出部６２１から後述するＲＧＢ信号の推定値（R"，G"，B"）を入力する。
【００４２】
次に、第２の実施形態に係る撮像装置の処理動作について説明する。撮像素子１０３で生成される画像信号がブロック毎の輝度信号（Y）、色差信号（R'-Y、B'-Y）の平均値として信号分割部１０９から出力されるまで、及び、明るさ検出部１１１において被写体照度が検出されるまでの処理は第１の実施形態と同様である。したがって、ここではその詳細な説明は省略する。
【００４３】
本実施形態では、以上の動作に加えて、信号分割部１０９からブロック毎の輝度信号（Y）、色差信号（R'-Y、B'-Y）の平均値がホワイトバランスゲイン制御部１１０及びホワイトバランス前色特徴量算出部６２１に出力される。
【００４４】
ホワイトバランス前色特徴量算出部６２１は、信号分割部１０９からの８×８ブロック毎の輝度信号（Y）、色差信号（R'-Y，B'-Y）の平均値が入力される。また、現在処理対象の画像フレームに対して用いられたホワイトバランスゲインがホワイトバランスゲイン制御部１１０から入力される。そして、入力されたホワイトバランス増幅後の輝度信号（Y）と色差信号（R'-Y，B'-Y）から、ＲＧＢ信号（R'，G'，B'）を生成する。さらに、このＲＧＢ信号にホワイトバランスゲイン制御部１１０から出力されたホワイトバランスゲインを逆算することにより、ホワイトバランス増幅前のＲＧＢ信号（R，G，B）の推定値（R"，G"，B"）を算出する。この処理を８×８ブロックそれぞれの信号について行い、生成したホワイトバランス増幅前のＲＧＢ信号（R，G，B）の推定値（R"，G"，B"）を光源推定部１２０に出力する。
【００４５】
光源推定部１２０では、明るさ検出部１１１から出力される被写体照度、及び、ホワイトバランス前色特徴量算出部６２１から出力されるホワイトバランス増幅前のＲＧＢ信号の推定値（R"，G"，B"）を利用して光源を推定する。光源の推定手法は第１の実施形態で説明したとおりであり、ここではその詳細な説明は省略する。
【００４６】
また、光源推定部１２０では、推定した被写体の光源情報をホワイトバランスゲイン制御部１１０に出力する。ホワイトバランスゲイン制御部１１０では、第１の実施形態と同様にゲイン算出処理を行い、ホワイトバランスゲインをホワイトバランス増幅部１０６及びホワイトバランス前色特徴量算出部６２１に出力する。
【００４７】
（第３の実施形態）
第３の実施形態として、第１の実施形態の手法による光源推定結果と、ホワイトバランス増幅後の画像信号から推定した光源推定結果との２つの光源推定結果を用いてホワイトバランスゲイン制御を行う例を説明する。
【００４８】
図７は第３の実施形態に係るオートホワイトバランス機能を備えた撮像装置の構成を示すブロック図である。図１に示した構成要素と同様の構成要素には同一の符号を付し、その詳細な説明は省略する。本実施形態では、ホワイトバランスゲイン制御部１１０に代えて光源推定部７２１を備えたホワイトバランスゲイン制御部７１０を、また、光源推定部１２０に代えて光源推定部７２０を備えている。
【００４９】
次に、第３の実施形態に係る撮像装置の処理動作について説明する。撮像素子１０３で生成される画像信号がブロック毎の輝度信号（Y）、色差信号（R'-Y、B'-Y）の平均値として信号分割部１０９から出力されるまで、及び、明るさ検出部１１１において被写体照度が検出されるまでの処理は第１の実施形態と同様である。したがって、ここではその詳細な説明は省略する。
【００５０】
また、光源推定部７２０では、第１の実施形態における光源推定部１２０と同様の手法により光源を推定する。
【００５１】
本実施形態では、以上の動作に加えて、光源推定部７２０では、光源推定結果の信頼度を算出し、光源推定結果と共にホワイトバランスゲイン制御部７１０に出力する。
【００５２】
以下、光源推定結果の信頼度について説明する。信頼度は、光源推定を行った結果がどの程度信頼できるデータであるかを示す値である。光源推定部７２０は、第１の実施形態で説明したように、図８の分布に基づき光源を推定する。図８は、図４と同様に被写体照度と緑の彩度を軸に光源の分布を示したものであり、４０１は太陽光（屋外光）の分布、４０２は蛍光灯（屋内光）の分布を示している。また、点８１１、８１２、８１３は、ある被写体を撮影したときの被写体照度と緑の彩度の状態を示している。
【００５３】
いま、光源推定部７２０において、点８１１及び点８１２の状態の光源を太陽光と推定し、点８１３の状態を蛍光灯と推定したものとする。光源推定部７２０では、これらの光源推定結果の信頼度を求める。信頼度とは光源推定部７２０における光源の推定結果の確かさを示す指標であり、図８の分布から明らかに太陽光、蛍光灯いずれの光源であるか判断できるものについては信頼度を高くする。
【００５４】
例えば、図８において点８１１は明らかに太陽光の分布エリア４０１にあるので、光源は太陽光の可能性が高く、光源推定結果の信頼度を高する。同様に、点８１３についても明らかに蛍光灯の分布エリア４０２にあるので、蛍光灯の可能性が高く、光源推定結果の信頼度は高くする。一方で、点８１２は太陽光の分布エリア４０１と蛍光灯の分布エリア４０２の重なる部分に位置する。本例の場合、点８１２の状態の光源を太陽光と推定したが、その結果の信頼度は低くする。
【００５５】
光源推定部７２０は、以上のようにして求めた光源推定結果及び信頼度をホワイトバランスゲイン制御部７１０に出力する。
【００５６】
ホワイトバランスゲイン制御部７１０では、第１の実施形態と同様に光源推定結果に基づいて制御を行い、ホワイトバランスゲインを決定するが、光源の決定の手法が第１の実施形態と異なる。図９にホワイトバランスゲイン制御部７１０での処理動作のフローチャートを示す。ステップＳ９０１では、光源推定部７２０から出力される光源推定結果の信頼度が閾値以上であるか否かをチェックする。信頼度が閾値以上の場合はステップＳ９０２へ、閾値よりも低い場合にはステップＳ９０３へ進む。
【００５７】
ステップＳ９０３では、光源推定部７２１で光源を推定する。光源推定部７２１は、光源推定部７２０と同様の手法を用いて明るさ情報や、ホワイトバランス増幅後の色差信号（R'-Y，B'-Y）に基づいて光源を推定する。また、光源推定部７２０と同様に、光源推定結果の信頼度も算出する。ステップＳ９０４では、光源推定部７２０による光源推定結果の信頼度と光源推定部７２１による光源推定結果の信頼度とを比較する。その結果、光源推定部７２０による光源推定結果の信頼度が高い場合はステップＳ９０２へ、光源推定部７２１による光源推定結果の信頼度の方が高い場合はステップＳ９０５へ進む。
ステップＳ９０２では、光源推定部７２０による光源推定結果を利用して、第１の実施形態と同様の手法でホワイトバランスゲインを算出する。ステップＳ９０５では、光源推定部７２１による光源推定結果を利用して、第１の実施形態と同様の手法でホワイトバランスゲインを算出する。
【００５８】
以上述べた構成とすることにより、光源推定部７２０の光源推定結果の信頼度が低い場合であっても、ホワイトバランス増幅後の画像データを用いて光源を推定した結果を用いることで、光源推定の精度を向上させ、より的確なホワイトバランス制御が可能となる。
【００５９】
また、上記実施形態では、２つの光源推定部による光源推定結果を選択的に用いたが、ホワイトバランス増幅前の画像データから推定される光源推定結果（フィードフォワードによる光源推定結果）と、ホワイトバランス増幅後の画像データから推定される光源推定結果（フィードバックによる光源推定結果）との２つの光源推定結果を利用してホワイトバランスゲインを制御するものであればどのような形式でもかまわない。例えば、フィードフォワードによる光源推定結果と、フィードバックによる光源推定結果との両方を考慮して（例えば混合して）、総合的な光源推定結果を求める手法を用いてもよいし、フィードフォワードによる光源推定結果によってフィードバックによる光源推定を補正する手法を用いてもよい。このように構成することでより精度の高い光源推定が実現でき、正確なホワイトバランス制御が可能となる。
【００６０】
（第４の実施形態）
第４の実施形態として、ホワイトバランス増幅前の色信号に基づいてホワイトバランスゲインの目標値を算出し、その目標値を利用してホワイトバランスゲインを制御する例を説明する。本実施形態では、動画像と静止画像を選択して撮影可能な撮像装置において、撮影画像の種類（静止画／動画）に応じたホワイトバランスゲインを設定することが可能である。
【００６１】
図１０は第４の実施形態に係るオートホワイトバランス機能を備えた撮像装置の構成を示すブロック図である。図１に示した構成要素と同様の構成要素には同一の符号を付し、その詳細な説明は省略する。本実施形態では、ホワイトバランスゲイン制御部１１０、光源推定部１２０に代えて、ホワイトバランスゲイン制御部１０１０、ホワイトバランスゲイン目標値算出部１０２０を備えている。
【００６２】
次に、第４の実施形態に係る撮像装置の処理動作について説明する。撮像素子１０３で生成される画像信号がブロック毎の輝度信号（Y）、色差信号（R'-Y、B'-Y）の平均値として信号分割部１０９から出力されるまで、及び、明るさ検出部１１１において被写体照度が検出されるまでの処理は第１の実施形態と同様である。したがって、ここではその詳細な説明は省略する。
【００６３】
本実施形態では、以上の動作に加えて、ホワイトバランスゲイン目標値算出部１０２０は、入力された色信号（R，G，B）から色差信号（R-Y，B-Y）を生成する。そして、図１１（ａ）に示すような色差（R−Y，B-Y）平面において、光源色と考えられる部分の白抽出範囲１１００の色信号を抽出する。例えば、抽出した色信号の平均値が図１１（ａ）の１１１０の位置にきた場合には、この位置１１１０の色が無彩色となるようなホワイトバランスゲインを算出する。そして、求めたホワイトバランスゲインを目標値としてホワイトバランスゲイン制御部１０１０に出力する。
【００６４】
図１２にホワイトバランスゲイン制御部１０１０での処理動作のフローチャートを示す。ここでは、図示しない静止画撮影ボタンにより、動画像の撮影中に静止画が撮影される場合を考える。ステップＳ１２０１では、ホワイトバランスを制御する画像フレームが静止画撮影されたフレームであるか否かをチェックする。静止画撮影されたフレームでない場合はステップＳ１２０２へ進み、静止画撮影されたフレームの場合にはステップＳ１２０４へ進む。
【００６５】
ステップＳ１２０２では、第１及び第２の実施形態と同様にホワイトバランス増幅後の色信号（R'-Y，B'-Y）から白色部分を抽出する。図１１（ｂ）は白色の抽出範囲を示した図であり、例えば図１１（ｂ）の白抽出範囲１１０１の色信号を抽出し、その平均値を算出する。図１１（ｂ）の１１１１は、このとき白として抽出した色の平均値を示している。
【００６６】
ステップＳ１２０３では、抽出した色信号１１１１を無彩色（R'-Y，B'-Y軸の原点）に近づけるような、ホワイトバランスゲインの変更量を算出する。この例の場合はＲゲインを上げ、Ｂゲインを下げるようなゲイン変更量を算出する。図１３はこのゲインの状態を示した図である。図１３において、横軸はＲゲイン、縦軸はＢゲインを示している。ゲインは黒体放射軸１３０１上で制御される。１３０２は現在の入力画像に対して施されたホワイトバランスゲインの値である。１３０４はホワイトバランスゲイン目標値算出部１０２０で算出したホワイトバランスゲインの目標値である。
【００６７】
この状態において、ホワイトバランスゲイン１３０２から白抽出した色（図１１（ｂ）の１１１１）を無彩色に近づけるために、徐々にＲゲインを上げて、Ｂゲインを下げていく。例えば、時間的に次に処理される画像フレームに対してはホワイトバランスゲイン１３０３を設定する。このとき、現在のホワイトバランスゲイン１３０２から目標値１３０４と反対方向（Ｒゲインを下げ、Ｂゲインを上げる）へゲインを変更することを禁止する制御を加えてもよい。これにより、動画像の場合はホワイトバランス増幅後の色データ（R'-Y，B'-Y）を監視しつつホワイトバランスゲインを徐々に目標値に近づけることが可能となる。
【００６８】
一方、ステップＳ１２０４では、現在のホワイトバランスゲイン１３０２から目標値１３０４に一気にホワイトバランスゲインを変更する。
【００６９】
ホワイトバランスゲイン制御部１０１０は、以上の動作により決定した新たなホワイトバランスゲインをホワイトバランス増幅部１０６に出力する。ホワイトバランス増幅部１０６では、ホワイトバランスゲイン制御部１０１０から出力されたホワイトバランスゲインに基づきホワイトバランス増幅を行う。このとき、静止画像の場合は現在処理している入力画像に対してホワイトバランス増幅を行い、動画像の場合は次のフレーム以降の画像に対してホワイトバランス増幅を行う。
【００７０】
このように、ホワイトバランス制御の対象が動画像の場合はホワイトバランス増幅後の色信号と現在のホワイトバランスゲインに基づき、徐々にフィードバック制御することで安定したホワイトバランス制御が可能となる。一方、ホワイトバランス制御の対象が静止画像の場合は、撮影対象の画像フレームの色信号を用いてホワイトバランスゲイン目標値を生成し、その目標値にホワイトバランスゲインを設定する。したがって、光源の色温度が急に変化した場合でもホワイトバランスが追従しない等のフィードバック制御における問題を解決し、適切なホワイトバランス制御が実現される。
【００７１】
なお、本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００７２】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７３】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００７４】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７５】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００７６】
【図１】第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】第１の実施形態における光源推定部での光源の推定処理を説明するためのフローチャートである。
【図３】色差（R-Y,B-Y）平面における緑領域を示す図である。
【図４】光源の分布を示す図である。
【図５】ホワイトバランスゲイン制御部におけるホワイトバランスゲインの制御範囲を示した図である。
【図６】第２の実施形態に係る撮像装置の構成を示すブロック図である。
【図７】第３の実施形態に係る撮像装置の構成を示すブロック図である。
【図８】光源の分布を示す図である。
【図９】第３の実施形態におけるホワイトバランスゲイン制御部での処理動作を説明するためのフローチャートである。
【図１０】第４の実施形態に係る撮像装置の構成を示すブロック図である。
【図１１】第４の実施形態に係る白色信号の位置を示す図である。
【図１２】第４の実施形態におけるホワイトバランスゲイン制御部での処理動作を説明するためのフローチャートである。
【図１３】ホワイトバランスゲインの状態を示した図である。
【図１４】信号分割部での分割枠を示す図である。
【図１５】色差（R'-Y，B'-Y）平面と、色差平面上で白に近い色信号を抽出するための白抽出範囲を示す図である。
【図１６】色差平面（R'-Y，B'-Y）における、緑色の領域と色信号データの分布を示す図である。
【符号の説明】
【００７７】
１０１ レンズ
１０２ アイリス
１０３ 撮像素子
１０４ ＡＧＣアンプ
１０５ 輝度・色信号生成部
１０６ ホワイトバランス増幅部
１０７ 色差信号生成部
１０８ エンコーダ
１０９ 信号分割部
１１０ ホワイトバランスゲイン制御部
１１１ 明るさ検出部
１２０ 光源推定部
６２１ ホワイトバランス前色特徴量算出部
７１０ ホワイトバランスゲイン制御部
７２０ 光源推定部
７２１ 光源推定部
１０１０ ホワイトバランスゲイン制御部
１０２０ ホワイトバランスゲイン目標値算出部
【出願人】 【識別番号】０００００１００７
【氏名又は名称】キヤノン株式会社
【出願日】 平成１８年９月１５日（２００６．９．１５）
【代理人】 【識別番号】１０００９０２７３
【弁理士】
【氏名又は名称】國分 孝悦
【公開番号】 特開２００８−７２５７５（Ｐ２００８−７２５７５Ａ）
【公開日】 平成２０年３月２７日（２００８．３．２７）
【出願番号】 特願２００６−２５０８４６（Ｐ２００６−２５０８４６）