撮像装置及びその制御方法

トップ :: H 電気 :: H04 電気通信技術

【発明の名称】	撮像装置及びその制御方法
【発明者】	【氏名】高橋賢司
【要約】	【課題】画像データから所定の条件を満たす被写体を検出し、検出した被写体に合わせて露出を調整する機能を有する撮像装置において、一時的に被写体の検出に失敗すると、急激な露出変化が起きてしまうことがあった。【構成】連続的に撮像を行って、複数の画像を入力する撮像装置であって、入力する各画像毎に、その画像データから、予め設定された条件を満たす被写体を検出するデジタル信号処理回路（１０７）と、画像データから第１露出値を演算する第１露出決定部（１００３）と、前記検出された被写体に基づいて第２露出値を演算する第２露出決定部（１００４）と、前記デジタル信号処理回路による被写体の検出結果に基づいて、次の撮像に用いる露出値として、前記第１露出値、前記第２露出値、現在設定されている露出値、または現在設定されている露出値を算出する際に参照した領域の輝度に基づき算出した露出値のいずれかを選択する露出制御値決定部（１００５）とを有する。

【特許請求の範囲】
【請求項１】
連続的に撮像を行って、複数の画像を入力する撮像装置であって、
入力する各画像毎に、その画像データから、予め設定された条件を満たす被写体を検出する検出手段と、
前記画像データから第１露出値を演算する第１露出値決定手段と、
前記画像データから前記検出手段により検出された被写体に基づいて第２露出値を演算する第２露出値決定手段と、
前記検出手段による被写体の検出結果に基づいて、次の撮像に用いる露出値として、前記第１露出値、前記第２露出値、現在設定されている露出値、または現在設定されている露出値を算出する際に参照した領域の輝度に基づき算出した露出値のいずれかを選択する選択手段と
を有することを特徴とする撮像装置。
【請求項２】
前記選択手段は、被写体が検出された場合に前記第２露出値を選択し、検出されなかった場合に前回被写体が検出されてから予め設定された時間が経過していれば前記第１露出値を選択し、経過していなければ前記現在設定されている露出値を選択することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記検出手段により被写体が検出された場合に、検出されてから予め設定された期間、前記検出された被写体を示す表示を前記入力画像上に重畳表示する表示制御手段を更に有し、
前記選択手段は、被写体が検出されなかった場合に、前記被写体を示す表示がされていれば、前回被写体が検出されてから予め設定された時間が経過していないと判断し、表示がされていなければ、前回被写体が検出されてから予め設定された時間が経過していると判断することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記選択手段は、被写体が検出された場合に前記第２露出値を選択し、検出されなかった場合に前回被写体が検出されてから予め設定された時間が経過していれば前記第１露出値を選択し、経過していなければ前記現在設定されている露出値を算出する際に、参照した領域の輝度に基づき算出した露出値を選択することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記選択手段は、前記検出手段により検出された前記画像データ内の被写体と、前回被写体が検出されてから予め設定された時間が経過していない被写体に基づき算出された露出値を選択することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記第２露出値決定手段は、前記前回被写体が検出されてから予め設定された時間が経過していない被写体と比べて前記検出された被写体の重みを付けを大きくし、前記選択手段は、前記検出された被写体と、前記前回被写体が検出されてから予め設定された時間が経過していない被写体に基づき算出された露出値を選択することを特徴とする請求項５に記載の撮像装置。
【請求項７】
連続的に撮像を行って、複数の画像を入力する撮像装置であって、
入力する各画像毎に、その画像データから、予め設定された条件を満たす被写体を検出する検出手段と、
前記入力する各画像と、当該画像の直前に入力した画像間でシーンが変化したかどうかを判断する判断手段と、
前記画像データから第１露出値を演算する第１露出値決定手段と、
前記画像データから前記検出手段により検出された被写体に基づいて第２露出値を演算する第２露出値決定手段と、
前記検出手段による被写体の検出結果及び前記判断手段によるシーンの変化の判断結果に基づいて、次の撮像に用いる露出値として、前記第１露出値、前記第２露出値、現在設定されている露出値、または現在設定されている露出値を算出する際に参照した領域の輝度に基づき算出した露出値のいずれかを選択する選択手段と
を有することを特徴とする撮像装置。
【請求項８】
前記選択手段は、被写体が検出された場合に前記第２露出値を選択し、検出されなかった場合には、前記判断手段によりシーンが変化したと判断され、且つ、前回被写体が検出されてからまたは前記判断手段によりシーンが変化していないと前回判断されてから予め設定された時間が経過していれば前記第１露出値を選択し、それ以外の場合に前記現在設定されている露出値を選択することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記検出手段により被写体が検出された場合に、検出されてから予め設定された期間、または、検出後、前記判断手段によりシーンが変化していないと判断されてから予め設定された期間、前記検出された被写体を示す表示を前記入力画像上に重畳表示する表示制御手段を更に有し、
前記選択手段は、被写体が検出されなかった場合に、前記被写体を示す表示がされていれば、前回被写体が検出されてからまたは前記判断手段によりシーンが変化していないと前回判断されてから、予め設定された時間を経過していないと判断することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記第２露出値決定手段は、前記画像データの内、前記検出手段により検出された被写体を含む部分範囲の画像データに基づいて第２露出値を演算することを特徴とする請求項１乃至９のいずれかに記載の撮像装置。
【請求項１１】
前記第２露出値決定手段は、前記画像データの内、前記検出手段により検出された被写体を含む部分範囲の画像データに対して、該部分範囲以外の画像データよりも高い重み付けを行うことを特徴とする請求項１乃至９のいずれかに記載の撮像装置。
【請求項１２】
連続的に撮像を行って、複数の画像を入力する撮像装置であって、
入力する各画像毎に、その画像データから、予め設定された条件を満たす被写体を検出する検出手段と、前記検出手段により検出された被写体の中から、主被写体を検出する主被写体検出手段と、
前記画像データから第１露出値を演算する第１露出値決定手段と、
前記画像データから前記検出手段により検出された被写体に基づいて第２露出値を演算する第２露出値決定手段と、
前記主被写体決定手段による結果に基づいて、次の撮像に用いる露出値として、前記第１露出値、前記第２露出値、現在設定されている露出値、または現在設定されている露出値を算出する際に参照した領域の輝度に基づき算出した露出値のいずれかを選択する選択手段と
を有することを特徴とする撮像装置。
【請求項１３】
前記主被写体検出手段は主被写体の画面内の位置を結果として出力することを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記選択手段は前記主被写体検出手段の結果を用いて、主被写体が検出された場合には、前記第２露出値を選択し、主被写体が検出されなかったと判断され、且つ、前回主被写体が検出されてから予め設定された時間が経過していれば前記第１露出値を選択し、それ以外の場合に前記現在設定されている露出値を選択することを特徴とする請求項１２に記載の撮像装置。
【請求項１５】
連続的に撮像を行って、複数の画像を入力する撮像装置の制御方法であって、
入力する各画像毎に、その画像データから、予め設定された条件を満たす被写体を検出する検出ステップと、
前記画像データから第１露出値を演算する第１露出値決定ステップと、
前記画像データから前記検出ステップにおいて検出された被写体に基づいて第２露出値を演算する第２露出値決定ステップと、
前記検出ステップにおける被写体の検出結果に基づいて、次の撮像に用いる露出値として、前記第１露出値、前記第２露出値、現在設定されている露出値または現在設定されている露出値を算出する際に参照した領域の輝度に基づき算出した露出値のいずれかを選択する選択ステップと
を有することを特徴とする制御方法。
【請求項１６】
前記選択ステップでは、被写体が検出された場合に前記第２露出値を選択し、検出されなかった場合に前回被写体が検出されてから予め設定された時間が経過していれば前記第１露出値を選択し、経過していなければ前記現在設定されている露出値を選択することを特徴とする請求項１５に記載の制御方法。
【請求項１７】
前記検出ステップにおいて被写体が検出された場合に、検出されてから予め設定された期間、前記検出された被写体を示す表示を前記入力画像上に重畳表示する表示制御ステップを更に有し、
前記選択ステップでは、被写体が検出されなかった場合に、前記被写体を示す表示がされていれば、前回被写体が検出されてから予め設定された時間が経過していないと判断し、表示がされていなければ、前回被写体が検出されてから予め設定された時間が経過していると判断することを特徴とする請求項１６に記載の制御方法。
【請求項１８】
前記選択ステップでは、被写体が検出された場合に前記第２露出値を選択し、検出されなかった場合に前回被写体が検出されてから予め設定された時間が経過していれば前記第１露出値を選択し、経過していなければ前記現在設定されている露出値を算出する際に、参照した領域の輝度に基づき算出した露出値を選択することを特徴とする請求項１５に記載の制御方法。
【請求項１９】
前記選択ステップでは、前記検出ステップにおいて検出された前記画像データ内の被写体と、前記前回被写体が検出されてから予め設定された時間が経過していない被写体に基づき算出された露出値を選択することを特徴とする請求項１５に記載の制御方法。
【請求項２０】
前記第２露出値決定ステップでは、前記前回被写体が検出されてから予め設定された時間が経過していない被写体と比べて前記検出された被写体の重みを付けを大きくし、前記選択ステップでは、前記検出された被写体と、前記前回被写体が検出されてから予め設定された時間が経過していない被写体に基づき算出された露出値を選択することを特徴とする請求項１９に記載の制御方法。
【請求項２１】
連続的に撮像を行って、複数の画像を入力する撮像装置の制御方法であって、
入力する各画像毎に、その画像データから、予め設定された条件を満たす被写体を検出する検出ステップと、
前記入力する各画像と、当該画像の直前に入力した画像間でシーンが変化したかどうかを判断する判断ステップと、
前記画像データから第１露出値を演算する第１露出値決定ステップと、
前記画像データから前記検出ステップにより検出された被写体に基づいて第２露出値を演算する第２露出値決定ステップと、
前記検出ステップにおける被写体の検出結果及び前記判断ステップにおけるシーンの変化の判断結果に基づいて、次の撮像に用いる露出値として、前記第１露出値、前記第２露出値、現在設定されている露出値、または現在設定されている露出値を算出する際に参照した領域の輝度に基づき算出した露出値のいずれかを選択する選択ステップと
を有することを特徴とする制御方法。
【請求項２２】
前記選択ステップでは、被写体が検出された場合に前記第２露出値を選択し、検出されなかった場合には、前記判断ステップによりシーンが変化したと判断され、且つ、前回被写体が検出されてからまたは前記判断ステップによりシーンが変化していないと前回判断されてから予め設定された時間が経過していれば前記第１露出値を選択し、それ以外の場合に前記現在設定されている露出値を選択することを特徴とする請求項２１に記載の制御方法。
【請求項２３】
前記検出ステップにおいて被写体が検出された場合に、検出されてから予め設定された期間、または、検出後、前記判断ステップにおいてシーンが変化していないと判断されてから予め設定された期間、前記検出された被写体を示す表示を前記入力画像上に重畳表示する表示制御ステップを更に有し、
前記選択ステップでは、被写体が検出されなかった場合に、前記被写体を示す表示がされていれば、前回被写体が検出されてからまたは前記判断ステップによりシーンが変化していないと前回判断されてから、予め設定された時間を経過していないと判断することを特徴とする請求項２２に記載の制御方法。
【請求項２４】
前記第２露出値決定ステップでは、前記画像データの内、前記検出ステップにおいて検出された被写体を含む部分範囲の画像データに基づいて第２露出値を演算することを特徴とする請求項１５乃至２３のいずれかに記載の制御方法。
【請求項２５】
前記第２露出値決定ステップでは、前記画像データの内、前記検出ステップにより検出された被写体を含む部分範囲の画像データに対して、該部分範囲以外の画像データよりも高い重み付けを行うことを特徴とする請求項１５乃至２３のいずれかに記載の制御方法。

【発明の詳細な説明】【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法に関し、更に詳しくは、所定の条件を満たす被写体に応じて露出を制御する撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
従来、画面全体を考慮して自動的に露出を決定する自動露出機能を備えた撮像装置がある。このような撮像装置では、シーンによっては主被写体の露出が適正な輝度にならない場合がある。主被写体の輝度が適正になるようにするために、ユーザーに主被写体が存在するエリアを指示させ、指示されたエリアに合わせて露出を調節するものもあるが、この方法ではユーザーの手間がかかってしまう。
【０００３】
一方、画像データから所定の条件を満たす対象を繰り返し検出する機能を有する装置がある。そこで、光電変換素子からなる固体撮像素子により画像データを得るカメラにおいて、得られた画像データの中から形状解析等の手法によって主被写体である顔を自動的に検出し、検出された顔が適正な露出になるように、露出制御を行うものが提案されている。（例えば、特許文献１を参照）。このカメラによれば、どのようなシーンにおいても、主被写体の輝度が適正になるように撮影を行うことができる。
【０００４】
なお、主被写体が顔の場合の検出動作としては、例えば、両目や鼻や口などの顔器官の配置に基づいて人物の正面顔や斜め顔を検出する方法が特許文献２に提案されている。
【０００５】
【特許文献１】特開２００３‐１０７５５５号公報
【特許文献２】特開２００２‐２５１３８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２の主被写体の検出方法では、図１５に示すように、主被写体が瞬きして目を閉じたり（図１５（ａ））、不意に余所見をして顔が横向きになったとき（図１５（ｂ））に得られた画像からは、両眼を認識することができない。その場合、主被写体の検出ができなくなってしまう。その結果、主被写体は画面内の同じ場所にあるにもかかわらず一時的に検出できなくなる場合が発生する。
【０００７】
例えば、じっとすることが苦手な子供を対象として上記特許文献２の方法で主被写体の検出を行った場合に、一時的に主被写体の検出に失敗する可能性が高い。
【０００８】
主被写体を検出してその輝度が適正となるように露出制御していると、主被写体が検出された場合と、主被写体の検出が失敗した場合とで、適正と判断される露出が異なる場合が生じる。すると、同じ被写体を撮像しているにもかかわらず、短期間に異なる輝度の画像が撮影されることになってしまう。
【０００９】
本発明は、画像データから特定の被写体を検出し、検出した被写体に合わせて露出を調整する機能を有する撮像装置において、一時的に目的とする被写体が検出できない場合に、急激な露出変化が起きないようにすることを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、連続的に撮像を行って、複数の画像を入力する本発明の撮像装置は、入力する各画像毎に、その画像データから、予め設定された条件を満たす被写体を検出する検出手段と、前記画像データから第１露出値を演算する第１露出値決定手段と、前記画像データから前記検出手段により検出された被写体に基づいて第２露出値を演算する第２露出値決定手段と、前記検出手段による被写体の検出結果に基づいて、次の撮像に用いる露出値として、前記第１露出値、前記第２露出値、現在設定されている露出値、または現在設定されている露出値を算出する際に参照した領域の輝度に基づき算出した露出値のいずれかを選択する選択手段とを有する。
【００１１】
また、連続的に撮像を行って、複数の画像を入力する撮像装置の本発明の制御方法は、入力する各画像毎に、その画像データから、予め設定された条件を満たす被写体を検出する検出ステップと、前記画像データから第１露出値を演算する第１露出値決定ステップと、前記画像データから前記検出ステップにおいて検出された被写体に基づいて第２露出値を演算する第２露出値決定ステップと、前記検出ステップにおける被写体の検出結果に基づいて、次の撮像に用いる露出値として、前記第１露出値、前記第２露出値、現在設定されている露出値、または現在設定されている露出値を算出する際に参照した領域の輝度に基づき算出した露出値のいずれかを選択する選択ステップとを有する。
【００１２】
また、別の構成によれば、連続的に撮像を行って、複数の画像を入力する本発明の撮像装置は、入力する各画像毎に、その画像データから、予め設定された条件を満たす被写体を検出する検出手段と、前記入力する各画像と、当該画像の直前に入力した画像間でシーンが変化したかどうかを判断する判断手段と、前記画像データから第１露出値を演算する第１露出値決定手段と、前記画像データから前記検出手段により検出された被写体に基づいて第２露出値を演算する第２露出値決定手段と、前記検出手段による被写体の検出結果及び前記判断手段によるシーンの変化の判断結果に基づいて、次の撮像に用いる露出値として、前記第１露出値、前記第２露出値、現在設定されている露出値、または現在設定されている露出値を算出する際に参照した領域の輝度に基づき算出した露出値のいずれかを選択する選択手段とを有する。
【００１３】
また、連続的に撮像を行って、複数の画像を入力する撮像装置の本発明の制御方法は、入力する各画像毎に、その画像データから、予め設定された条件を満たす被写体を検出する検出ステップと、前記入力する各画像と、当該画像の直前に入力した画像間でシーンが変化したかどうかを判断する判断ステップと、前記画像データから第１露出値を演算する第１露出値決定ステップと、前記画像データから前記検出ステップにより検出された被写体に基づいて第２露出値を演算する第２露出値決定ステップと、前記検出ステップにおける被写体の検出結果及び前記判断ステップにおけるシーンの変化の判断結果に基づいて、次の撮像に用いる露出値として、前記第１露出値、前記第２露出値、現在設定されている露出値、または現在設定されている露出値を算出する際に参照した領域の輝度に基づき算出した露出値のいずれかを選択する選択ステップとを有する。
【００１４】
また、別の構成によれば、連続的に撮像を行って、複数の画像を入力する本発明の撮像装置は、入力する各画像毎に、その画像データから、予め設定された条件を満たす被写体を検出する検出手段と、前記検出手段により検出された被写体の中から、主被写体を検出する主被写体検出手段と、前記画像データから第１露出値を演算する第１露出値決定手段と、前記画像データから前記検出手段により検出された被写体に基づいて第２露出値を演算する第２露出値決定手段と、前記主被写体決定手段による結果に基づいて、次の撮像に用いる露出値として、前記第１露出値、前記第２露出値、現在設定されている露出値、または現在設定されている露出値を算出する際に参照した領域の輝度に基づき算出した露出値のいずれかを選択する選択手段とを有する。
【発明の効果】
【００１５】
本発明によれば、画像データから所定の条件を満たす被写体を検出し、検出した被写体に合わせて露出を調整する機能を有する撮像装置において、一時的に目的とする被写体が検出できない場合に、急激な露出変化が起きないようにすることができる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００１７】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る撮像装置１００の構成を示すブロック図である。
【００１８】
図１において、１０１は撮像レンズ群、１０２は絞り装置及びシャッタ装置を備えた光量調節部である。シャッタ装置は２段階式のシャッタである。そして、不図示のシャッタボタンの途中操作（例えば半押し）でシャッタスイッチＳＷ１がオンとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。更に、不図示のシャッタボタンがシャッタスイッチＳＷ１のオン状態を経由して全操作（例えば全押し）されると、シャッタスイッチＳＷ２がオンとなり、露光処理及び現像処理からなる一連の処理の動作開始を指示する。１０３は撮像レンズ群１０１を通過した被写体像としての光束を電気信号に変換するＣＣＤやＣＭＯＳ等の撮像素子である。
【００１９】
１０４は撮像素子１０３から出力されるアナログ信号にクランプ処理、ゲイン処理等の信号処理を行うアナログ信号処理回路である。１０５はアナログ信号処理回路１０４の出力をデジタル信号に変換するアナログ／デジタル（Ａ／Ｄ）変換器である。１０７はデジタル信号処理回路であり、Ａ／Ｄ変換器１０５から出力されるデジタルデータ或いはメモリ制御回路１０６からのデータに対して所定の画素補間処理や色変換処理を行う。また、このデジタル信号処理回路１０７は、撮像した画像データを用いて所定の演算を行う。システム制御回路１１２はこの演算結果に基づいて露出制御回路１１３、焦点制御回路１１４に対する制御を実行するＴＴＬ（スルー・ザ・レンズ）方式のＡＦ処理、ＡＥ処理、ＥＦ処理を行う。また、デジタル信号処理回路１０７は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ処理も行う。更に、デジタル信号処理回路１０７は、撮像した画像データから、目、口等のエッジを検出して顔の特徴部を検出し、人間の顔が占める領域を検出する顔検出処理も実行する。なお、本第１の実施形態では、人物の顔を検出することによって、主被写体の存在する領域を検出するものとする。
【００２０】
メモリ制御回路１０６は、アナログ信号処理回路１０４、Ａ／Ｄ変換器１０５、デジタル信号処理回路１０７、メモリ１０８、デジタル／アナログ（Ｄ／Ａ）変換器１０９を制御する。これにより、Ａ／Ｄ変換器１０５でＡ／Ｄ変換されたデータはデジタル信号処理回路１０７、メモリ制御回路１０６を介して、或いはＡ／Ｄ変換器１０５でＡ／Ｄ変換されたデータが直接メモリ制御回路１０６を介して、メモリ１０８に書き込まれる。
【００２１】
メモリ１０８は表示部１１０に表示するデータを記憶しており、このメモリ１０８に記録されているデータはＤ／Ａ変換器１０９を介してＴＦＴ、ＬＣＤ等の表示部１１０に出力されて表示される。また、メモリ１０８は、所定枚数の静止画像や所定時間分の動画像を格納するのに十分な記憶量を備え、撮像した静止画像や動画像を格納する。これにより、複数枚の静止画像を連続して撮像する連写撮像やパノラマ撮像の場合にも、高速かつ大量の画像書き込みをメモリ１０８に対して行うことができる。また、メモリ１０８をシステム制御回路１１２の作業領域として使用することも可能である。
【００２２】
１１０は表示部であり、撮像した画像データを逐次表示すれば電子ファインダとしての機能を実現できる。また表示部１１０は、システム制御回路１１２の指示により任意に表示をオン／オフすることが可能であり、表示をオフにした場合は、オンにした場合に比較して、この撮像装置１００の電力消費を大幅に低減することができる。また、システム制御回路１１２でのプログラムの実行に応じて、文字、画像等を用いて動作状態やメッセージ等を表示する。
【００２３】
１１１はメモリカードやハードディスク等の記憶媒体とのインタフェースである。このインターフェース１１１をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続することができる。通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢ（Universal Serial Bus）カード、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４カードがある。他にも、Ｐ１２８４カード、ＳＣＳＩ（Small Computer System Interface）カード、ＰＨＳ等がある。これら各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
【００２４】
システム制御回路１１２は撮像装置１００全体の動作を制御する。システム制御回路１１２は、その内部メモリに動作用の定数、変数、プログラム等を記憶している。
【００２５】
露出制御回路１１３は、光量調節部１０２の絞り装置、シャッタ装置を制御する。焦点制御回路１１４は撮像レンズ群１０１のフォーカシング、ズーミングを制御する。露出制御回路１１３、焦点制御回路１１４はＴＴＬ方式を用いて制御されており、撮像した画像データをデジタル信号処理回路１０７によって演算した演算結果に基づき、システム制御回路１１２が露出制御回路１１３、焦点制御回路１１４に対して制御を行う。なお、システム制御回路１１２が行う露出制御についての詳細については後述する。
【００２６】
図２は、デジタル信号処理回路１０７の構成要素の一部を示すブロック図である。２０１はＡ／Ｄ変換器１０５から出力されたデータのＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ、Ｃｂを分離して生成する色変換回路である。２０２は色差信号Ｃｒ、Ｃｂに対してＡＷＢ処理、高輝度或いは低輝度の色を薄くする色消し処理を行う色処理回路である。２０３は輝度信号Ｙにフィルタ処理、輝度補正処理、ガンマ処理等を行う輝度処理回路である。２０４は輝度信号にフィルタ処理を施して輪郭強調を行う輪郭強調回路である。デジタル信号処理回路１０７は、輝度処理回路２０３及び色処理回路２０２でそれぞれ処理された輝度信号Ｙと色差信号Ｃｒ、Ｃｂを加算器２０５で合成したＹＣｒＣｂ信号を画像データとして出力する。
【００２７】
次に、図３乃至図６のフローチャートを参照して、本第１の実施形態に係る上記構成を有する撮像装置１００の動作を説明する。なお、この処理を実行するプログラムはシステム制御回路１１２の内部メモリに記憶されており、システム制御回路１１２の制御の下に実行される。
【００２８】
図３は本第１の実施形態に係る撮像装置１００におけるメイン処理ルーチンを示すフローチャートである。
【００２９】
この処理は、例えば電池交換後などの電源投入により開始され、まずステップＳ１０１で、システム制御回路１１２は、内部メモリの各種フラグや制御変数等を初期化する。ステップＳ１０２で、システム制御回路１１２は表示部１１０の画像表示をオフ状態に初期設定する。次にステップＳ１０３でシステム制御回路１１２は撮像装置１００のモード設定状態を検知し、電源オフに設定されていたならばステップＳ１０５に進む。ステップＳ１０５ではシステム制御回路１１２は各表示部の表示を終了状態に変更し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを内部メモリに記録する。そしてシステム制御回路１１２は表示部１１０を含む撮像装置１００の各部の不要な電源を遮断する等の所定の終了処理を行った後、このルーチンを終了する。
【００３０】
また、ステップＳ１０３でその他のモードに設定されていれば、ステップＳ１０４に進み、システム制御回路１１２は選択されたモードに応じた処理を実行し、処理を終えるとステップＳ１０３に戻る。
【００３１】
また、ステップＳ１０３で撮像モードが設定されている場合はステップＳ１０６に進み、システム制御回路１１２は、電源の残容量や動作情況が撮像装置１００の動作に問題があるか否かを判断する。システム制御回路１１２は、問題があると判断するとステップＳ１０８に進み、表示部１１０等を用いて、画像や音声により所定の警告を行い、その後、ステップＳ１０３に戻る。
【００３２】
ステップＳ１０６で電源に問題が無いと判断すると、ステップＳ１０７に進み、システム制御回路１１２は記憶媒体の動作状態が撮像装置１００の動作、特に記憶媒体に対する画像データの記録再生動作に問題があるか否かを判断する。問題があると判断するとステップＳ１０８に進み、表示部１１０等を用いて、画像や音声により所定の警告を行ってからステップＳ１０３に戻る。
【００３３】
ステップＳ１０７で問題がないと判断するとステップＳ１０９に進み、システム制御回路１１２は、画像や音声により撮像装置１００の各種設定状態のユーザーインターフェース（ＵＩ）表示を行う。なお、表示部１１０の画像表示がオンであったならば、表示部１１０も用いて画像により撮像装置１００の各種設定状態のＵＩ表示を行ってもよい。こうしてユーザによる各種設定がなされる。
【００３４】
次にステップＳ１１０で、システム制御回路１１２は表示部１１０の画像表示をオン状態に設定する。更に、ステップＳ１１１で、システム制御回路１１２は撮像した画像データを逐次表示するスルー表示状態に設定する。スルー表示とは、撮像素子１０３からの信号に基づいて生成される動画の表示であって、メモリ８等への記録を目的とせず、表示部１１０への表示を目的とした動画の表示を意味する。
【００３５】
ステップＳ１１２ではシステム制御回路１１２は、画像データから顔領域を検出する顔検出処理をデジタル信号処理回路１０７に行わせる。顔領域を検出する技術としては、様々な手法が公知となっている。例えば、ニューラルネットワークに代表される学習を用いた方法がある。また、目や鼻といった物理的な形状の特徴のある部位を画像領域から抽出するテンプレートマッチングを用いた手法がある。他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法があげられる（例えば、特開平１０‐２３２９３４号公報や特開２０００‐４８１８４号公報等を参照）。本第１の実施形態では、特許文献２に記載されているように、一対の目（両目）、鼻、口を検出し、これらの相対位置より人物の顔領域を決定する手法により顔検出処理を行うものとする。この場合、検出の対象となる人物が目を閉じていたり、不意に余所見をして横向きになった場合には、基準となる一対の目が存在しないために顔領域の検出ができなくなる。
【００３６】
ステップＳ１１３では、システム制御回路１１２はデジタル信号処理回路１０７に、ステップＳ１１２の顔検出結果を受けて、検出結果を示す枠を表示する枠表示処理を行わせる。
【００３７】
このステップＳ１１３で行われる枠表示処理の詳細を図４のフローチャートを用いて説明する。
【００３８】
まずステップＳ４０１において、デジタル信号処理回路１０７は、表示部１１０に検出された顔領域の位置を示す枠（以下、「顔検出枠」と呼ぶ。）が既に表示されているかを判断する。顔検出枠が表示されていなければステップＳ４０２に進む。
【００３９】
ステップＳ４０２では、デジタル信号処理回路１０７はステップＳ１１２で行われた顔検出結果を参照し、顔検出が成功していればステップＳ４０３に進み、成功していなければこの枠表示処理を終了する。このように、表示部１１０に顔検出枠が表示されていない場合は、顔検出結果をそのまま顔検出枠の表示に反映させる。
【００４０】
ステップＳ４０３では、表示部１１０は、ステップＳ１１２で検出された顔領域を囲う顔検出枠を被写体像に重畳表示する。その様子を図７（ａ）に示す。図７（ａ）は表示手段１１０の表示画面を示しており、検出された人物の頭部を囲う四角い顔検出枠が表示される。顔検出枠の表示を行うと、デジタル信号処理回路１０７はステップＳ４０９にてタイマを開始させ、このルーチンを終了する。
【００４１】
また、ステップＳ４０１において、顔検出枠がすでに表示されている場合はステップＳ４０４に進み、デジタル信号処理回路１０７はステップＳ１１２での顔検出結果を参照する。そして、顔検出が成功していればステップＳ４０５に進み、成功していなければステップＳ４１０に進む。
【００４２】
ステップＳ４０５では、デジタル信号処理回路１０７はタイマをリセットし、ステップＳ４０６において、最新の顔検出処理にて得られた顔領域の位置とすでに表示されている顔検出枠の位置とを比較する。
【００４３】
ステップＳ４０７では、デジタル信号処理回路１０７は、ステップＳ４０６での比較結果により、最新の顔検出処理にて得られた顔領域の位置と顔検出枠との位置の差が所定範囲内であるかを判断する。所定範囲内であると判断された場合、デジタル信号処理回路１０７は新たな位置に顔検出枠を設定することなく、表示部１１０に既に表示されている顔検出枠を継続して表示する。
【００４４】
一方、ステップＳ４０７で最新の顔検出処理にて得られた顔領域の位置と顔検出枠との位置の差が所定範囲内でないと判断した場合はステップＳ４０８に進む。ステップＳ４０８では、デジタル信号処理回路１０７は最新の顔検出処理にて新たに得られた顔領域の位置に基づいて、検出された人物の頭部を囲う四角い顔検出枠を設定し、表示部１１０上に画像データに重畳させて表示する。
【００４５】
このように、既に表示されている顔検出枠の位置と、新たな顔検出結果から得られた顔の位置が近ければ、顔検出枠を頻繁に移動させるとかえって見苦しくなるため、敢えて顔検出枠の位置は変化させない。反対に、既に表示されている顔検出枠の位置と、新たな顔検出結果から得られた顔の位置が近くなければ、被写体の顔の位置に追従させるために顔検出枠の位置を変化させるようにする。
【００４６】
そして、デジタル信号処理回路１０７はステップＳ４０９に進み、タイマを開始させ、このルーチンを終了する。
【００４７】
また、顔検出が成功していない場合（ステップＳ４０４でＮＯ）、ステップＳ４１０において、タイマが所定時間に達しているかを判断する。達していればステップＳ４１１にて表示部１１０は顔検出枠を消去し、タイマが所定時間に達していなければ、このままこのルーチンを終了する。
【００４８】
上述した枠表示処理ルーチンを終了後、図３のステップＳ１１４にて不図示のシャッタボタンが操作されてシャッタスイッチＳＷ１がオンされていなければ、再びステップＳ１０３に戻る。従って、シャッタスイッチＳＷ１がオンでなければ、ステップＳ１１１のスルー表示、ステップＳ１１２の顔検出処理、ステップＳ１１３の枠表示処理が繰り返されることになる。そのため、スルー表示している画像中の人物が動けば、検出された顔領域の位置も変化し、これに伴って顔検出枠も移動する。なお、顔検出枠の形状は楕円であっても、被写体の顔の輪郭に沿うものであってもよく、その形状は様々なものが適用できる。また、顔検出枠を表示しなくても、例えば顔領域の輪郭を強調する方法や、顔領域以外をぼかして表示する方法等、検出された顔領域が把握できる表示であればその形態は問わない。
【００４９】
上述したように、顔検出が成功すると（ステップＳ４０２またはＳ４０４でＹＥＳ）、タイマがスタートし（ステップＳ４０９）、その後、顔検出に失敗してもタイマが所定時間に達していなければ（ステップＳ４１０でＮＯ）、表示中の顔検出枠を表示し続ける。そして、顔検出に失敗してタイマが所定時間に達すると（ステップＳ４１０でＹＥＳ）、顔検出枠は消去される（ステップＳ４１１）。ここでタイマが計時する所定時間は、少なくとも顔検出に成功して顔検出枠が表示されている状態から、その次に行われた顔検出の結果を判断するために要する時間よりも長く設定する。つまり、連続して顔検出が成功しなくても、タイマが所定時間に達するまでは顔検出枠が消去されることはない。ただし、この所定時間をあまり長く設定してしまうと、主被写体が移動した場合に顔検出枠が素早く追従することができなくなる。そのため、タイマにて計時する所定時間は、顔検出を１回もしくは２回続けて失敗した場合に顔検出枠が消去されないような時間に設定することが望ましい。
【００５０】
このように、顔検出に失敗しても、前回に顔検出されてからある一定時間以内である場合は、顔検出に失敗した可能性が高いため、顔表示枠の表示と非表示とが短期間に繰り返されるという現象を抑制することができる。
【００５１】
図３に戻り、ステップＳ１１４において、システム制御回路１１２は、不図示のシャッタボタンが押されてシャッタスイッチＳＷ１がオンされているかどうかを調べ、オンでなければステップＳ１０３に戻る。シャッタスイッチＳＷ１がオンであればステップＳ１１５に進む。
【００５２】
ステップＳ１１５では、システム制御回路１１２は、ＡＥ処理を行って絞り値及びシャッタ速度を決定する。このＡＥ処理では、必要であればフラッシュの設定も行う。更に、ＡＷＢ処理、及び撮像レンズ１０１の焦点を被写体に合わせるＡＦ処理も行う。
【００５３】
このステップＳ１１５で行われるＡＥ、ＡＷＢ、ＡＦ処理の詳細を図５のフローチャートを用いて説明する。
【００５４】
まずステップＳ２０１で、撮像素子１０３から電荷信号を読み出し、Ａ／Ｄ変換器１０５を介してデジタルデータに変換し、そのデジタルデータをデジタル信号処理回路１０７に入力する。デジタル信号処理回路１０７はこの入力された画像データを用いて、デジタル信号処理回路１０７はＴＴＬ方式のＡＥ処理、ＥＦ処理、ＡＷＢ処理、ＡＦ処理に用いる所定の演算を行う。なお、ここでの各処理は、撮像した全画素数の内、ステップＳ１１２で検出された顔領域の画像データのみを用いて、あるいは、顔領域の画像データに対する重み付けを大きくして演算を行う。これにより、ＴＴＬ方式のＡＥ処理、ＥＦ処理、ＡＷＢ処理、ＡＦ処理の各処理において、検出された顔領域の画像データが好適となるように演算を行うことが可能となる。
【００５５】
ステップＳ２０１におけるデジタル信号処理回路１０７での演算結果から、システム制御回路１１２はステップＳ２０２において露出が適正かどうかを判断し、適正でない場合、露出制御回路１１３にＡＥ制御を行わせる。このＡＥ制御で得られた測定データを用いて、システム制御回路１１２はフラッシュが必要か否かを判断し、フラッシュが必要であれば、フラッシュフラグをセットし、不図示のフラッシュを充電してフラッシュ発光の準備を行う。
【００５６】
ステップＳ２０２が終了するとステップＳ２０３に進み、測定データ及び或いは設定パラメータをシステム制御回路１１２の内部メモリ或いはメモリ１０８に記憶させる。そしてシステム制御回路１１２はデジタル信号処理回路１０７での演算結果及びＡＥ制御で得られた測定データを用いて、デジタル信号処理回路１０７を用いて色処理のパラメータを調節してＡＷＢ制御を行って、ステップＳ２０４に進む。
【００５７】
ステップＳ２０４において、システム制御回路１１２はメモリ１０８の測定データ及び或いは設定パラメータをシステム制御回路１１２の内部メモリ或いはメモリ１０８に記憶させる。そしてＡＥ制御及びＡＷＢ制御で得られた測定データを用いて、システム制御回路１１２は焦点制御回路１１４にＡＦ制御を行わせて、ＡＦ、ＷＢ、ＡＥ処理を終了する。
【００５８】
ここで、ステップＳ２０２においてシステム制御回路１１２により行われるＡＥ制御について、図８を参照して更に詳細に説明するが、ここでは、図９のようなシーンを撮影する場合を例に挙げて説明を行う。
【００５９】
先ず、画像データ１００１は輝度ブロック計算部１００２により、８×８の６４のブロックに分割され、それぞれのブロックの平均輝度値が算出される。求められた各ブロックの平均輝度値である輝度ブロック値Ｙｉｊ（ｉ=１?８、ｊ＝１?８）は、第１露出決定部１００３と第２露出決定部１００４へそれぞれ送られる。第１露出決定部１００３は、画面全体の輝度ブロックに中央を重点とした図１０に示す重みをかけて加算平均し、第１輝度Ｙ１を求める。
Ｙ１＝ Σ（Ｙｉｊ×Ｗｉｊ）／ΣＷｉｊ
【００６０】
ここで求められた第１輝度Ｙ１が適正な輝度になるように、露出値Ｂｖ１が第１輝度Ｙ１から求められる。
【００６１】
また、第２露出決定部１４０４には、輝度ブロック値Ｙｉｊと顔検出情報１００６（ここでは、顔の座標位置と顔の大きさ）が送られる。そして、顔のエリアを含むブロックが求められ（図９中の顔検出エリア）、その輝度ブロック値の平均値である第２輝度Ｙ２が計算される。ここで求められた第２輝度Ｙ２が適正な輝度になる露出値Ｂｖ２をＹ２より求める。なお、画面中に顔がない場合、もしくは顔検出がうまくいかなかった場合は顔検出情報１００６が無いため、第１露出決定部１００３と同様に図１０の重みを用いて、画面全体の輝度を求める。
【００６２】
以下に露出値Ｂｖを求める式を示す。
Ｂｖ１＝ｌｏｇ２（Ｙ１／Ｙｒｅｆ）＋Ａｖ＋Ｔｖ‐Ｓｖ
Ｂｖ２＝ｌｏｇ２（Ｙ２／Ｙｒｅｆ）＋Ａｖ＋Ｔｖ‐Ｓｖ
【００６３】
ここで、Ｙｒｅｆは画面輝度の目標値、Ａｖ、Ｔｖ、Ｓｖは画像データを撮影したときの絞り値（Ａｖ）、シャッタースピード（Ｔｖ）、感度（Ｓｖ）である。
それぞれ求められた露出値Ｂｖ１とＢｖ２は露出制御値決定部１００５に送られる。露出制御値決定部１００５では、顔検出情報１００６と検出枠表示情報１００７を基にして、露出制御値を決定する。なお、検出枠表示情報とは、画面中に顔検出の枠が表示されている／表示されていないのどちらかの状態を示す信号である。
【００６４】
図１１に露出制御値決定部１００５により決定される露出値を示す。
【００６５】
「顔検出情報なし」で「枠表示されていない」場合には第１露出決定部１００３にて決定された画面全体に基づき求められた露出値Ｂｖ１に露出制御値が決定される。「顔検出情報あり」で「枠表示されている」場合には第２露出決定部１００４にて決定された枠内に表示されている顔に基づき求められた露出値Ｂｖ２に露出制御値が決定される。また、「顔検出情報なし」で「枠表示されている」場合には、現在設定されている前回ＡＥの時に使用した評価値である露出制御値Ｂｖ０をそのまま露出制御値として決定する。
【００６６】
即ち、露出の変更を行わない。このように制御することで、今回の顔検出処理で顔を検出できなかった場合でも、タイマにより測定される所定時間内に顔検出が行われていれば、その顔検出情報に基づいて決定された露出制御値が次の撮影に利用されることになる。従って、主被写体が横を向いたり、瞬きした時などに、一時的に顔検出に失敗しても、急激な露出の変動が短期間に繰り返されるのを防ぐことができる。
【００６７】
図３に戻り、ステップＳ１１６では、システム制御回路１１２はＡＦ・ＡＷＢ・ＡＥ処理後に再度スルー表示状態に設定する。
【００６８】
次にステップＳ１１７で、シャッタスイッチＳＷ２がオンとならずに、更にシャッタスイッチＳＷ１も解除されると、ステップＳ１０３に戻る。一方、ステップＳ１１７でシャッタスイッチＳＷ２がオンされるとステップＳ１１９に進む。
【００６９】
ステップＳ１１９において、システム制御回路１１２は、露光処理及び現像処理を含む一連の撮像処理の動作を制御する。まず、露光処理では、撮像素子１０３から読み出した信号をＡ／Ｄ変換器１０５、メモリ制御回路１０６を介して画像データをメモリ１０８に書き込む。そして、必要に応じてデジタル信号処理回路１０７やメモリ制御回路１０６での演算を用いた現像処理が行われる。
【００７０】
ここで、上述した撮像処理（ステップＳ１１９）における処理の詳細を図６のフローチャートを用いて説明する。
【００７１】
先ず、ステップＳ１１５のＡＥ処理で得られた測光データに従い、露出制御回路１１３は絞り値を設定する。それとともに、露出制御回路１１３はシャッタを開放して撮像素子１０３を露光する（ステップＳ３０１及びＳ３０２）。
【００７２】
次にステップＳ３０３で、システム制御回路１１２は、フラッシュフラグによりフラッシュが必要か否かを判断し、フラッシュが必要な場合はステップＳ３０４に進み、所定の発光量で不図示のフラッシュユニットをプリ発光させる。このプリ発光の光量は、絞り値と被写体までの距離と、設定された撮像素子１０３の感度とに基づいて決定される。ステップＳ３０５では、露出制御回路１１３は測光データに従って撮像素子１０３の露光終了を待ち、露光終了のタイミングになると、ステップＳ３０６でシャッタ１０２を閉じる。そしてシステム制御回路１１２はステップＳ３０７で、撮像素子１０３から電荷信号を読み出させる。そして、Ａ／Ｄ変換器１０５、デジタル信号処理回路１０７、メモリ制御回路１０６を介して、或いはＡ／Ｄ変換器１０５から直接メモリ制御回路１０６を介して、撮像画像のデータをメモリ１０８に書き込ませる。
【００７３】
次にステップＳ３０８に進み、システム制御回路１１２はプリ発光時の顔領域内の輝度の平均値を求め、顔領域内の輝度が適正輝度となる本発光量（実際の撮像時の発光量）を演算する。例えば、プリ発光によるプリ撮像の画像信号レベルが適正レベルである場合は、プリ発光と同じ発光量で良く、また例えば、プリ撮像の画像信号レベルが１段階下回っている場合は、プリ発光の２倍の発光量に設定すると言ったように本発光量を演算する。
【００７４】
次にステップＳ３０９で、システム制御回路１１２は、本撮像のために、再度露出制御回路１１３によってシャッタを開放させ、ステップＳ３１０で、撮像素子１０３を露光する。そしてステップＳ３１１に進み、ステップＳ３０８で求めた本発光量で、フラッシュユニットを発光させる。
【００７５】
ステップＳ３１２では、露出制御回路１１３は測光データに従って撮像素子１０３の露光が終了するまでの時間を待ち、ステップＳ３１３でシャッタを閉じる。そしてステップＳ３１４で、システム制御回路１１２は、撮像素子１０３から電荷信号を読み出させる。そして、Ａ／Ｄ変換器１０５、デジタル信号処理回路１０７、メモリ制御回路１０６を介して、或いはＡ／Ｄ変換器１０５から直接メモリ制御回路１０６を介して、メモリ１０８に撮像画像のデータを書き込ませる。ステップＳ３１５で、システム制御回路１１２は、メモリ制御回路１０６、そして必要に応じてデジタル信号処理回路１０７を用いて、メモリ１０８に書き込まれた画像データを読み出して垂直加算処理を実行させる。そして、システム制御回路１１２は、ステップＳ３１６で、色処理を順次行わせた後、ステップＳ３１７でその処理を終えた表示画像データをメモリ１０８に書き込ませ、撮像処理ルーチン（ステップＳ１１９）を終了する。
【００７６】
こうしてステップＳ１１９の撮像処理が実行されるとステップＳ１２０に進み、表示部１１０にて、ステップＳ１１９にて得られた画像データを基に表示を行うクイックレビュー表示を実行する。撮像中も表示部１１０には電子ファインダとして常に画像が表示された状態であり、撮像直後のクイックレビュー表示も行われる。
【００７７】
ステップＳ１２１では、システム制御回路１１２は、メモリ１０８に書き込まれた撮像した画像データを読み出して、メモリ制御回路１０６、及び必要に応じてデジタル信号処理回路１０７を用いて各種画像処理を実行させる。また、システム制御回路１１２は、画像圧縮処理を行わせた後、不図示の記憶媒体へ圧縮した画像データの書き込みを行う記録処理を実行する。
【００７８】
ステップＳ１２１の記録処理が終了した後、ステップＳ１２２で、シャッタスイッチＳＷ２がオンの状態かどうかを調べる。シャッタスイッチＳＷ２がオンの状態であればステップＳ１２３に進み、システム制御回路１１２は、システム制御回路１１３の内部メモリ或いはメモリ１０８に記憶される連写フラグの状態を判断する。ここで連写フラグがオンであれば、システム制御回路１１２は連続して撮像を行うためにステップＳ１１９に戻り、次の撮像を行う。一方、ステップＳ１２３で連写フラグがオンでなければ、システム制御回路１１２はステップＳ１２２に戻り、シャッタースイッチＳＷ２が放されるまでステップＳ１２２、Ｓ１２３の処理を繰り返す。
【００７９】
このように本第１の実施形態によれば、撮像直後にクイックレビュー表示を行う動作設定状態の場合に、記録処理（ステップＳ１２１）が終了した際にシャッタスイッチＳＷ２が押された状態であるかを判断する。シャッタスイッチＳＷ２がオンの状態であれば、シャッタスイッチＳＷ２が放されるまで表示部１１０におけるクイックレビュー表示を継続する。これにより、撮像画像の確認を入念に行うことができる。
【００８０】
こうしてステップＳ１２１の記録処理の後、直ぐにシャッタスイッチＳＷ２がオフされた場合はステップＳ１２２からステップＳ１２４に進む。また、ステップＳ１２１の後、シャッタスイッチＳＷ２をオンし続けてクイックレビュー表示を継続して撮像画像の確認を行った後にシャッタースイッチＳＷ２をオフにした場合は、ステップＳ１２２からステップＳ１２３を介してステップＳ１２４へ進む。そしてステップＳ１２４では所定のミニマムレビュー時間が経過するのを待ってからステップＳ１２５に進む。
【００８１】
ステップＳ１２５では、システム制御回路１１２は表示部１１０の表示状態をスルー表示状態に設定してステップＳ１２６に進む。これにより、表示部１１０でのクイックレビュー表示によって撮像画像を確認した後に、次の撮像のために撮像した画像データを逐次表示するスルー表示状態にすることができる。
【００８２】
ステップＳ１２６では、シャッタスイッチＳＷ１がオンされた状態かどうかを調べ、そうであればステップＳ１１７に進んで次の撮像に備える。またステップＳ１２６で、シャッタスイッチＳＷ１がオフされている場合は、一連の撮像動作を終えてステップＳ１０３に戻る。
【００８３】
以上説明したように、本第１の実施形態では、顔検出に失敗しても、前回に顔検出されてからある一定時間以内である場合は、元あった顔領域に基づいて露出制御値を決定している。
【００８４】
なお、本第１の実施形態では、「顔検出情報なし」で「枠表示されている」場合には現在設定されている前回露出制御時に使用した評価値である露出制御値Ｂｖ０をそのまま露出制御値としているが、現在枠表示されている領域の輝度に基づき評価値を算出しても良い。
【００８５】
これは、一時的に顔を見失った原因が、目つぶりや、顔が横向きになったことによるものであれば、枠表示されている領域に基づいて評価値を算出したとしても評価値としては正面向きの顔から得られる評価値と大した差はないと推定されるからである。
【００８６】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
【００８７】
本第２の実施形態は、図１２に示すように、第１の実施形態で図２を参照して説明したデジタル信号処理回路１０７の構成に、ＢＰＦ１３０５とシーン検出部１３０６を加えたものである。これ以外の構成は、図１及び図２を参照して説明した構成と同様であるので、同じ参照番号を付し、説明を省略する。また、第１の実施形態とは、図３のステップＳ１１３で行われる枠表示処理が図４を参照して説明したものと異なる。これ以外の処理は第１の実施形態で説明した処理と同様であるので、説明を省略し、以下、枠表示処理について図１３を参照して説明する。
【００８８】
図１３において、ステップＳ４０１からＳ４０９までは、図４を参照して説明したステップＳ４０１からＳ４０９までと同じであるため、ここでは説明を省略する。
【００８９】
本第２の実施形態では、ステップＳ４０４で、図３のステップＳ１１２で行われた顔検出結果を参照し、顔検出が成功していなければステップＳ１４１０に進む。ステップＳ１４１０において、デジタル信号処理回路１０７は被写体の状況が変化したかを判断するためのシーン検出処理を行う。
【００９０】
このステップＳ１４１０で行われるシーン検出処理の詳細を図１４のフローチャート、及び図７の分割領域を示す図を用いて説明する。
【００９１】
図７（ａ）は表示部１１０の表示画面を示しており、図７（ｂ）は撮像素子１０３の分割領域を示している。図７（ｂ）の鎖線が分割領域の境界を示しており、説明を容易にするため、図７（ａ）にも図７（ｂ）と同様の鎖線を示している。図７（ｂ）におて、図７（ａ）の顔検出枠がかかっている分割領域には斜線が引いてある。
【００９２】
ステップＳ１５０１では、１つ前に撮影された画像データから、デジタル信号処理回路１０７は顔検出枠がかかっていない分割領域毎（図７（ｂ）にて斜線がかかっていない領域）の輝度信号を検出する。そして、デジタル信号処理回路１０７は、この輝度信号と、顔検出に用いた最新の画像データにおける対応する領域の輝度信号とを比較し、その差ΔＹｎを演算する。
【００９３】
ステップＳ１５０２では、１つ前に撮影された画像データから、デジタル信号処理回路１０７は顔検出枠がかかっている分割領域毎に特定の周波数（本第２の実施形態ではナイキスト周波数の半分である（１／２）×ｆｎｎ）に変換する。そして、デジタル信号処理回路１０７は、この周波数と、顔検出に用いた最新の画像データにおける対応する領域において、同様の方法にて求めた周波数とを比較し、その差Δ（１／２）×ｆｎｎを演算する。
【００９４】
ステップＳ１５０３では、１つ前に撮影された画像データから、デジタル信号処理回路１０７は顔検出枠がかかっていない分割領域毎の色差信号を検出する。そして、デジタル信号処理回路１０７は、この色差信号と、顔検出に用いた最新の画像データにおける対応する領域の色差信号とを比較し、その差ΔＣｒｎ、ΔＣｂｎを演算する。
【００９５】
デジタル信号処理回路１０７は、ステップＳ１５０４にて、分割領域毎に、ステップＳ１５０１で演算したΔＹｎの絶対値が閾値Ｙｔｈ以下であるかを判断する。また、ステップＳ１５０５にて、分割領域ごとに、ステップＳ１５０２で演算したΔ（１／２）×ｆｎｎの絶対値が閾値ｆｎｔｈ以下であるかを判断する。また、ステップＳ１５０６にて、分割領域毎に、ステップＳ１５０３で演算したΔＣｒｎ、ΔＣｂｎの絶対値がそれぞれ閾値Ｃｒｔｈ、Ｃｂｔｈ以下であるかを判断する。
【００９６】
その結果、ステップＳ１５０４からステップＳ１５０６におけるすべての条件を満たす場合、デジタル信号処理回路１０７は、被写体の状況に生じた変化は小さいと判断する。そして、デジタル信号処理回路１０７はステップＳ１５０７にてシーン変化なしを示すフラグを設定する。
【００９７】
反対に、いずれかの条件が満たされなければ、被写体の状況の変化は小さくないと判断し、デジタル信号処理回路１０７はステップＳ１５０８にてシーン変化ありを示すフラグを設定する。
【００９８】
そしていずれかのフラグを設定すると、このルーチンを終了する。
【００９９】
図１３に戻り、デジタル信号処理回路１０７はステップＳ１４１１ではシーン変化ありを示すフラグが設定されているかを判断し、設定されていればステップＳ１４１３に進む。シーン変化ありを示すフラグが設定されていれば、被写体の状況の変化が小さくなく、被写体の顔検出枠が被写体の頭部を捕らえている可能性は低いと考えられる。そのため、ステップＳ１４１３にてタイマが所定時間に達しているかを判断し、達していればステップＳ１４１４にて表示部１１０は顔検出枠を消去する。ステップＳ１４１３にてタイマが所定時間に達していなければ、このルーチンを終了する。
【０１００】
また、ステップＳ１４１１でシーン変化ありを示すフラグが設定されていなければ、ステップＳ１４１２にてタイマをリセットする。そして、デジタル信号処理回路１０７は新たな位置に顔検出枠を設定することなく、表示部１１０は既に表示されている顔検出枠を継続して表示する。これはシーン変化ありを示すフラグが設定されていなければ、被写体の状況の変化が小さいと考えられるからである。すなわち、被写体が瞬きして目を閉じたり、不意に余所見をした結果として顔検出に失敗した可能性が高いと考えられる。そのため、顔検出には失敗したが被写体の頭部の位置に大きな変化はないと推定し、既に表示されている顔検出枠を継続して表示させる。
【０１０１】
そしてステップＳ１４０９でタイマを開始し、このルーチンを終了する。
【０１０２】
上述したように、本第２の実施形態では、顔検出が成功するか（ステップＳ４０２またはＳ４０４でＹＥＳ）、シーン変化が無いと判断されると（Ｓ１４１１でＮＯ）タイマを開始する（ステップＳ４０９）。その後、顔検出に失敗し、シーン検出処理の結果、被写体の状況変化が小さくないと推定され（ステップＳ１４１１でＹＥＳ）、かつ、タイマが所定時間に達していれば（ステップＳ１４１３でＹＥＳ）、顔検出枠は主被写体を捕らえていないと判断する。そして、顔検出枠を消去する（ステップＳ１４１４）。反対に、シーン検出処理の結果、被写体の状況変化が小さいと推定されると（ステップＳ１４１１でＮＯ）、顔検出には失敗したが主被写体の位置は変化していないと判断し、顔検出枠の表示をそのまま継続し、タイマもリセット（ステップＳ１４１２）する。
【０１０３】
ここでタイマが計時する所定時間は、少なくとも顔検出に成功して顔検出枠が表示されている状態から、その次に行われた顔検出の結果を判断するために要する時間よりも長く設定する。つまり、連続して顔検出が成功しなくても、タイマが所定時間に達するまでは顔検出枠が消去されることはない。ただし、この所定時間をあまり長く設定してしまうと、主被写体が移動した場合に顔検出枠が素早く追従することができなくなる。そのため、タイマにて計時する所定時間は、顔検出を１回もしくは２回続けて失敗した場合に顔検出枠が消去されないような時間に設定することが望ましい。
【０１０４】
このように、顔検出には失敗したが被写体の状況変化が小さいと推定された場合は、顔検出に成功した場合と同様に、顔検出枠の表示が継続されるとともにタイマのリセット及び開始が行われる。つまり、顔検出に失敗したとしても、被写体の状況変化が小さいと推定されれば、そうでない場合に比較して顔検出枠の表示時間が長くなる。よって、被写体が瞬きして目を閉じたり不意に余所見をした程度では顔検出枠が消去される可能性が低くなり、表示と非表示とが短期間に繰り返されるという現象を抑制することができる。
【０１０５】
また、この顔検出枠の表示にリンクして、ＡＥ制御が行われるため、露出が短期間に変動が繰り返されるという現象を抑制することができる。
【０１０６】
なお、本第２の実施形態では、顔検出枠を表示させた後にステップＳ４０９でタイマを開始し、また、ステップＳ１４１４ではタイマが所定時間を経過したことを検出して顔検出枠を消去している。しかしながら、顔検出に失敗し、かつ、シーン検出処理によって被写体の状況変化が小さくないと推定された場合にすぐさま顔検出枠を消去する構成とすれば、タイマ自体が不要となる。
【０１０７】
また、本第２の実施形態では、シーン変化ありを示すフラグの設定の判断基準として、分割領域毎の輝度信号の差（ΔＹｎ）、特定の周波数に変換した値の差（Δ（１／２）×ｆｎｎ）、色差信号の差（ΔＣｒｎ、ΔＣｂｎ）を用いた。しかしながら、判断基準としてはこれらの全ての信号を用いても、一部の信号のみを用いても構わない。また、分割領域毎に得られた信号の差を求めずとも、複数の分割領域で得られた信号や、全ての領域で得られた信号を平均化したり、重み付けしても構わない。
【０１０８】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。
【０１０９】
本第３の実施形態は、複数の顔が検出されている点で第１の実施形態と異なる。また、それに伴い、図５のステップＳ２０２において、システム制御回路１１２により行われるＡＥ制御の為の露出制御値取得方法が、第１の実施形態で説明したものと異なる。これ以外の処理は第１の実施形態で説明した処理と同様であるので、説明を省略し、以下、ＡＥ制御の為の露出制御値取得方法について、顔検出枠の表示の様子について図１６から図１９を参照して説明する。なお、図１６から図１９は連続的に撮影されているシーンであるとする。また、タイマに設定されている所定時間を０．６秒、連続的に撮影されているシーンの間隔を０．２秒、顔検出１回につき０．２秒かかるものとする。なお、タイマに設定されている所定時間、連続的に撮影されているシーンの間隔、顔検出の処理時間は上記した時間に限られるものではない。また、撮影の度に露出制御値を取得して、ＡＥ制御を行うものとする。
【０１１０】
図１６において、３人の被写体から顔領域Ａ，Ｂ，Ｃがそれぞれ検出されている。したがって、図１６における露出制御値Ｂｖ１は、顔領域Ａ，Ｂ，Ｃの輝度値に基づき、第２露出決定部１４０４によって算出される。
【０１１１】
次に、図１７（図１６より０．２秒後）では、顔領域Ｂ、Ｃに関して顔検出は成功しているが、顔領域Ａは顔が横を向いているので検出に失敗している。しかし、顔領域Ａの検出が失敗しても、タイマによる計時時間が所定時間に達するまでは、表示部１１０は顔領域Ａの顔検出枠を表示しつづける。
【０１１２】
つまり、顔領域Ａの検出が成功して（図１６の時点）から顔検出を失敗した図１７の時点までの計時時間は０．２秒であるため、図１７の時点においても表示部１１０は顔検出枠を表示しつづける。
【０１１３】
したがって、図１７における露出制御値Ｂｖ２は、図１６における顔領域Ａの輝度値と最新の顔検出情報である図１７における顔領域Ｂ，Ｃの輝度値に基づき第２露出決定部１４０４によって算出される。
【０１１４】
また、図１７において顔領域Ａは顔検出を失敗しているので、図１６における顔領域Ａの輝度値に比べて、図１７において顔検出が成功している顔領域Ｂ，Ｃの輝度値の方が信頼性が高いとみなして、大きく重み付けするようにしてもよい。
【０１１５】
次に図１８（図１７より０．２秒後）では、顔領域Ａは図１７の時点から継続して検出できていない状態（前回顔検出成功後０．４秒経過）であり、加えて顔領域Ｃも顔検出ができない状態（前回顔検出成功後０．２秒経過）になっている。
【０１１６】
顔領域Ａ，Ｃは顔検出が失敗しているが、ともに前回顔検出が成功してから図１８までの計時時間が、タイマに設定されている所定時間である０．６秒よりも短いため、図１８の時点においても表示部１１０は顔領域Ａ，Ｃの顔検出枠を表示しつづける。したがって、図１８における露出制御値Ｂｖ３は、図１６における顔領域Ａの輝度値と図１７における顔領域Ｃの輝度値と図１８において顔検出が成功している顔領域Ｂの輝度値に基づき第２露出決定部１４０４によって算出される。
【０１１７】
また、図１８における顔領域Ａ，Ｃは顔検出を失敗しているので、図１６における顔領域Ａの輝度値と図１７における顔領域Ｃの輝度値に比べて、図１８において顔検出が成功している顔領域Ｂの輝度値の方が信頼性が高いとみなして、大きく重み付けしてもよい。
【０１１８】
さらに、図１６における顔領域Ａと図１７における顔領域Ｃでは、図１７における顔領域Ｃの方が時間的に新しいので信頼性が高いとみなして、図１６における顔領域Ａよりも図１７における顔領域Ｃの重みづけを重くするようにしてもよい。
【０１１９】
次に図１９（図１８より０．２秒後）では、顔領域Ａ，Ｃは図１８の時点から継続して検出できていない状態（顔領域Ａは前回顔検出成功後０．６秒経過、顔領域Ｃは前回顔検出成功後０．４秒経過）である。
【０１２０】
顔領域Ａに関しては、前回顔検出が成功してから図１８までの計時時間が、タイマに設定されている所定時間である０．６秒に達した為、顔検出枠を消去する。
【０１２１】
顔領域Ｃは顔検出が失敗しているが、前回顔検出が成功してから図１８までの計時時間が、タイマに設定されている所定時間である０．６秒よりも短いため、図１９の時点においても表示部１１０は顔領域Ｃの顔検出枠を表示しつづける。
【０１２２】
したがって、図１９における露出制御値Ｂｖ４は、図１７における顔領域Ｃの輝度値と図１９において顔検出が成功している顔領域Ｂの輝度値に基づき第２露出決定部１４０４によって算出される。
【０１２３】
また、図１９において顔領域Ｃは顔検出を失敗しているので、図１７における顔領域Ｃの輝度値に比べて、図１９において顔検出が成功している顔領域Ｂの輝度値の方が信頼性が高いとみなして、大きく重み付けするようにしてもよい。
【０１２４】
以上説明したように、本第３の実施形態では、複数の顔領域が検出された際は、顔検出が失敗している領域であっても、前回顔検出が成功してから所定時間内である領域と顔検出が成功している領域を露出制御の際に加味する領域としている。
【０１２５】
なお、本第３の実施形態では、前回顔検出成功時の顔領域の輝度値に基づき露出制御値を決定しているが、顔検出が失敗しても前回顔検出が成功してから所定時間内の領域であるならば、現在枠表示されている領域の輝度に基づき露出制御値を決定してもよい。
【０１２６】
また、本実施形態では、顔検出に失敗しているが前回顔検出時より所定時間以内の顔領域は破線で表示しているが表示部１１０における表示形態としては、顔検出が成功している領域の枠と同様の表示形態にしてもよい。
【０１２７】
＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。
【０１２８】
本第４の実施形態においては、複数の検出された顔の中から、主被写体となる１つの顔を選択し、その主被写体の顔検出結果により露出制御が行われる点が特徴となる。以下に詳細な説明を示す。
【０１２９】
ここでタイマに設定されている所定時間を０．３秒、連続的に撮影されているシーンの間隔を０．２秒、顔検出１回につき０．２秒かかるものとする。
【０１３０】
図２０に示されるように、３つの顔Ａ、Ｂ、Ｃが検出されると、３つの顔の中から、主被写体となる顔が検出される。この主被写体検出は、それぞれの顔の信頼度ＦＲ、顔の大きさＦＳ、画面上における中心からの距離ＦＤを用いて、以下の式により評価値ＦＶが求められ、評価値が一番大きいものを主被写体とする。また、一番大きい評価値を持つ被写体に対して表示枠を表示するものとする。
ＦＶ＝ＦＲ×ＦＳ／ＦＤ
【０１３１】
例えば、図２０のシーンにおいては、Ｂの顔が主被写体として認識される（ここで画面上に枠が表示されるのはＢだけであり、Ａ、Ｃは顔検出に成功しているが、画面上に枠は表示されない）。ここでの露出Ｂｖ０は、それぞれＡ，Ｂ，Ｃの顔の明るさをＹＡ、ＹＢ，ＹＣとした場合以下の式で求められる。
Ｙ０＝（ＹＡ＋２×ＹＢ＋ＹＣ）／４
Ｂｖ０＝ｌｏｇ２（Ｙ０／Ｙｒｅｆ）＋Ａｖ＋Ｔｖ‐Ｓｖ
【０１３２】
図２１（図２０より０．２秒後）では主被写体が横を向いており、顔検出に失敗しているものの、所定時間を経過していないため、枠は表示されたままの状態となっている。この場合、主被写体の顔は検出されておらず、枠が表示されている状態となるため、露出は更新されないためＢｖ０がこの画面の露出となる。
【０１３３】
次に図２２（図２１より０．２秒後）のようにＢが横を向いていた場合は、主被写体が検出されない時間が所定時間を越えるため、枠表示が消去され、主被写体としてＡが選択されることとなる。このときの露出は以下のようになる。
Ｙ１＝（２×ＹＡ＋ＹＣ）／３
Ｂｖ１＝ｌｏｇ２（Ｙ１／Ｙｒｅｆ）＋Ａｖ＋Ｔｖ‐Ｓｖ
【０１３４】
次に図２３（図２２より０．２秒後）のように、Ｂの顔が正面を向き検出された場合は、主被写体としてＢが設定され、露出は以下のように求められる。
Ｙ２＝（ＹＡ＋２×ＹＢ＋ＹＣ）／４
Ｂｖ２＝ｌｏｇ２（Ｙ２／Ｙｒｅｆ）＋Ａｖ＋Ｔｖ‐Ｓｖ
【０１３５】
ただしここでは、ＹＡ、ＹＢ、ＹＣが図２０と同じ値であるため、Ｂｖ２＝Ｂｖ０となる。
なお、上述した第１、第２、第３及び第４の実施形態では、被写体として顔を検出する場合について説明したが、本発明は顔に限るものではなく、予め設定された条件を満たす被写体を検出するものであれば、本発明を適用可能である。
【０１３６】
なお、上記第１、第２及び第３の実施形態では、露出制御値決定部１００５は、顔検出情報１００６と検出枠表示情報１００７とに基づいて、露出値Ｂｖ０、Ｂｖ１、Ｂｖ２のいずれかを露出制御値として決定するものとして説明した。しかしながら、露出制御値の決定と顔検出枠を表示することとは互いに独立した制御であり、本発明における露出制御値は、顔検出結果と、顔検出に関わる精度や条件との兼ね合いにより決定すればよい。上述した第１、第２及び第３の実施形態では、この顔検出に関わる精度や条件の判断の一例として、顔検出枠の表示を行うか否かの判断を流用し、検出枠表示情報１００７を利用している。従って、図４及び図１３の処理において、顔検出枠の表示・消去処理の代わりまたは追加処理として条件内・条件外を示す情報を保持し、当該情報を検出枠表示情報１００７の代わりに露出制御値決定部１００５に供給するようにしてもよい。
【図面の簡単な説明】
【０１３７】
【図１】本発明の第１の実施形態における撮像装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態における撮像装置のデジタル信号処理回路の構成要素の一部を示すブロック図である。
【図３】本発明の第１の実施形態におけるメイン処理ルーチンを示すフローチャートである。
【図４】本発明の第１の実施形態における枠表示処理ルーチンを示すフローチャートである。
【図５】本発明の第１の実施形態におけるＡＥ、ＡＷＢ、ＡＦ処理ルーチンを示すフローチャートである。
【図６】本発明の第１の実施形態における撮像処理ルーチンを示すフローチャートである。
【図７】本発明の第１の実施形態における顔検出枠と分割領域の対応を説明するための図である。
【図８】本発明の第１の実施形態におけるＡＥ制御を説明するためのブロック図である。
【図９】本発明の第１の実施形態におけるＡＥ制御における顔検出枠と分割領域の対応を説明するための図である。
【図１０】本発明の第１の実施形態におけるＡＥ処理時の画面輝度算出時の重みテーブルを説明するための図である。
【図１１】本発明の第１の実施形態におけるＡＥ処理時の枠表示状態と顔検出情報の関係で決定される露出制御値を説明するための図である。
【図１２】本発明の第２の実施形態における撮像装置のデジタル信号処理回路の構成要素の一部を示すブロック図である。
【図１３】本発明の第２の実施形態における枠表示処理ルーチンを示すフローチャートである。
【図１４】本発明の第２の実施形態におけるシーン検出処理ルーチンを示すフローチャートである。
【図１５】従来の顔検出枠の表示形態の一例を示す図である。
【図１６】本発明の第３の実施形態における撮影シーン１の説明である。
【図１７】本発明の第３の実施形態における撮影シーン２の説明である。
【図１８】本発明の第３の実施形態における撮影シーン３の説明である。
【図１９】本発明の第３の実施形態における撮影シーン４の説明である。
【図２０】本発明の第４の実施形態における撮影シーン１の説明である。
【図２１】本発明の第４の実施形態における撮影シーン２の説明である。
【図２２】本発明の第４の実施形態における撮影シーン３の説明である。
【図２３】本発明の第４の実施形態における撮影シーン４の説明である。
【符号の説明】
【０１３８】
１００撮像装置
１０１撮像レンズ群
１０２光量調節部
１０３撮像素子
１０４アナログ信号処理回路
１０５アナログ／デジタル（Ａ／Ｄ）変換器
１０６メモリ制御回路
１０７デジタル信号処理回路
１０８メモリ
１０９デジタル／アナログ（Ｄ／Ａ）変換器
１１０表示部
１１１インタフェース
１１２システム制御回路
１１３露出制御回路
１１４焦点制御回路
２０１色変換回路
２０２色処理回路
２０３輝度処理回路
２０４輪郭強調回路
２０５加算器
１３０５ＢＰＦ
１３０６シーン検出部

【出願人】	【識別番号】０００００１００７【氏名又は名称】キヤノン株式会社
【出願日】	平成１８年７月３１日（２００６．７．３１）
【代理人】	【識別番号】１０００７６４２８【弁理士】【氏名又は名称】大塚康徳【識別番号】１００１１２５０８【弁理士】【氏名又は名称】高柳司郎【識別番号】１００１１５０７１【弁理士】【氏名又は名称】大塚康弘【識別番号】１００１１６８９４【弁理士】【氏名又は名称】木村秀二
【公開番号】	特開２００８－３５４１５（Ｐ２００８－３５４１５Ａ）
【公開日】	平成２０年２月１４日（２００８．２．１４）
【出願番号】	特願２００６－２０８９３２（Ｐ２００６－２０８９３２）