トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 電子カメラ
【発明者】 【氏名】李 世文
【要約】 【課題】被写体認証の失敗時に次回の認証成功率を高める制御を行う電子カメラを提供する。

【構成】電子カメラは、撮像部と、ズーム調整部と、記録部と、被写体認証部と、制御部とを備える。撮像部は、撮影光学系による被写体像を撮像する。ズーム調整部は、被写体像の倍率を調整する。記録部は、認証対象の特徴点を示す登録データを予め記録している。被写体認証部は、登録データに基づいて、撮像部が撮像した被写体が認証対象に一致するか否かを判定する。制御部は、被写体が認証対象に一致しないと被写体認証部が判定した場合に、被写体像の倍率を拡大するとともに、被写体認証部に判定を再実行させる。
【特許請求の範囲】
【請求項１】
撮影光学系による被写体像を撮像する撮像部と、
前記被写体像の倍率を調整するズーム調整部と、
認証対象の特徴点を示す登録データを予め記録した記録部と、
前記登録データに基づいて、前記撮像部が撮像した前記被写体が前記認証対象に一致するか否かを判定する被写体認証部と、
前記被写体が前記認証対象に一致しないと前記被写体認証部が判定した場合に、前記被写体像の倍率を拡大するとともに、前記被写体認証部に前記判定を再実行させる制御部と、
を備えることを特徴とする電子カメラ。
【請求項２】
請求項１に記載の電子カメラにおいて、
前記認証対象が人物の顔であることを特徴とする電子カメラ。
【請求項３】
請求項２に記載の電子カメラにおいて、
撮影画面内から人物の顔を検出するとともに、該検出した人物の顔の特徴点を抽出して判定用データを生成する顔検出部をさらに備え、
前記被写体認証部は、特定の２つの前記特徴点を結ぶ基準距離を取得するとともに、前記特徴点の相対距離と前記基準距離との比を求める正規化処理を前記登録データおよび前記判定用データに対して実行し、該正規化処理後のデータに基づいて前記判定を実行することを特徴とする電子カメラ。
【請求項４】
請求項２に記載の電子カメラにおいて、
撮影画面内から人物の顔を検出する顔検出部と、
前記顔検出部が検出した顔を提示するモニタと、
前記判定の対象となる顔の指定を行う指定操作をユーザーから受け付ける操作部とをさらに備え、
前記被写体認証部は、前記指定操作で指定された顔に対して前記判定を行うことを特徴とする電子カメラ。
【請求項５】
請求項１に記載の電子カメラにおいて、
前記被写体が前記認証対象に一致しないと前記被写体認証部が判定した場合に、前記被写体に対して注意を喚起する第１報知部をさらに備えることを特徴とする電子カメラ。
【請求項６】
請求項１に記載の電子カメラにおいて、
前記被写体像の倍率の拡大によって、前記判定の対象となった前記被写体が撮影画角から外れる場合に、ユーザーに対して注意を喚起する第２報知部をさらに備えることを特徴とする電子カメラ。
【請求項７】
請求項１に記載の電子カメラにおいて、
記録部には、前記認証対象を説明するプロファイルデータが、前記登録データと対応付けされて記録されており、
前記制御部は、前記被写体が前記認証対象に一致すると前記被写体認証部が判定した場合に、前記認証対象が撮影された記録用画像を含む画像ファイルに対して、前記プロファイルデータに基づく付加データを付加することを特徴とする電子カメラ。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、被写体認証機能を備えた電子カメラに関する。
【背景技術】
【０００２】
従来から、カメラに記録された辞書データなどに基づいて、撮影時に人物などの被写体を認証する電子カメラが公知である。例えば、特許文献１には、被写体を認証したときにズーミングを行なうことで、認証された被写体の顔を好ましいサイズで撮影する電子カメラが開示されている。
【特許文献１】特開２００４−３２０２８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、被写体認証機能を備えた一般的な電子カメラにおいて、例えば、被写体が遠くに位置するシーンなどでは、１回目の撮像動作で被写体の特徴部位の情報を取得できずに認証が失敗する場合もある。このような場合において、被写体の特徴部位を自動的に検出し易い状態にして、次回の認証成功率を高めることのできる電子カメラが要望されていた。
【０００４】
本発明の目的は、被写体認証の失敗時に次回の認証成功率を高める制御を行う電子カメラを提供することである。
【課題を解決するための手段】
【０００５】
第１の発明に係る電子カメラは、撮像部と、ズーム調整部と、記録部と、被写体認証部と、制御部とを備える。撮像部は、撮影光学系による被写体像を撮像する。ズーム調整部は、被写体像の倍率を調整する。記録部は、認証対象の特徴点を示す登録データを予め記録している。被写体認証部は、登録データに基づいて、撮像部が撮像した被写体が認証対象に一致するか否かを判定する。制御部は、被写体が認証対象に一致しないと被写体認証部が判定した場合に、被写体像の倍率を拡大するとともに、被写体認証部に判定を再実行させる。
【０００６】
第２の発明では、第１の発明において、認証対象が人物の顔であることを特徴とする。
第３の発明では、第２の発明の電子カメラが顔検出部をさらに備える。顔検出部は、撮影画面内から人物の顔を検出するとともに、該検出した人物の顔の特徴点を抽出して判定用データを生成する。また、被写体認証部は、特定の２つの特徴点を結ぶ基準距離を取得するとともに、特徴点の相対距離と基準距離との比を求める正規化処理を登録データおよび判定用データに対して実行する。そして、被写体認証部は、該正規化処理後のデータに基づいて判定を実行する。
【０００７】
第４の発明では、第２の発明の電子カメラが、顔検出部と、モニタと、操作部とをさらに備える。顔検出部は、撮影画面内から人物の顔を検出する。モニタは、顔検出部が検出した顔を提示する。操作部は、判定の対象となる顔の指定を行う指定操作をユーザーから受け付ける。そして、被写体認証部は、指定操作で指定された顔に対して判定を行う。
第５の発明では、第１の発明の電子カメラが第１報知部をさらに備える。第１報知部は、被写体が認証対象に一致しないと被写体認証部が判定した場合に、被写体に対して注意を喚起する。
【０００８】
第６の発明では、第１の発明の電子カメラが第２報知部をさらに備える。第２報知部は、被写体像の倍率の拡大によって、判定の対象となった被写体が撮影画角から外れる場合に、ユーザーに対して注意を喚起する。
第７の発明では、第１の発明において、記録部には、認証対象を説明するプロファイルデータが、登録データと対応付けされて記録されている。また、制御部は、被写体が認証対象に一致すると被写体認証部が判定した場合に、認証対象が撮影された記録用画像を含む画像ファイルに対して、プロファイルデータに基づく付加データを付加する。
【発明の効果】
【０００９】
本発明の電子カメラでは、被写体認証の失敗時に被写体像の倍率をズーミングで拡大して、次回の認証成功率を高めることができる。
【発明を実施するための最良の形態】
【００１０】
（第１実施形態の説明）
図１は第１実施形態の電子カメラの構成を示すブロック図である。
電子カメラは、ズームレンズ１１と、第１レンズ駆動部１２と、フォーカシングレンズ１３と、第２レンズ駆動部１４と、撮像素子１５と、アナログ処理部１６と、Ａ／Ｄ変換部１７と、タイミングジェネレータ（ＴＧ）１８と、第１メモリ１９と、画像処理部２０と、記録Ｉ／Ｆ２１と、表示Ｉ／Ｆ２２と、モニタ２３と、レリーズ釦２４と、操作部２５と、スピーカー２６と、閃光発光部２７と、ＣＰＵ２８と、第２メモリ２９と、システムバス３０とを有している。なお、第１メモリ１９、画像処理部２０、記録Ｉ／Ｆ２１、表示Ｉ／Ｆ２２およびＣＰＵ２８はシステムバス３０を介して接続されている。
【００１１】
ズームレンズ１１は、撮像素子１５に結像する被写体像を拡大、縮小するためのレンズである。また、第１レンズ駆動部１２は、ズームレンズ１１の光軸方向位置を調整するためのモータと、モータを駆動させるドライバと、ズームレンズ１１の位置を検出するエンコーダとを有している。なお、第１レンズ駆動部１２の入出力はＣＰＵ２８に接続されている。
【００１２】
フォーカシングレンズ１３は被写体像の合焦状態を調整するためのレンズである。また、第２レンズ駆動部１４は、フォーカシングレンズ１３の光軸方向位置を調整するためのモータと、モータを駆動させるドライバと、フォーカシングレンズ１３の位置を検出するエンコーダとを有している。なお、第２レンズ駆動部１４の入出力はＣＰＵ２８に接続されている。
【００１３】
撮像素子１５は、ズームレンズ１１およびフォーカシングレンズ１３を通過した光束を光電変換して被写体像のアナログ画像信号を生成する。被写体の撮影を行う撮影モードにおいて、撮像素子１５は、レリーズ時に記録用画像（本画像）を撮影するとともに、撮影待機時にも所定間隔毎に間引き読み出しでスルー画像を出力する。上記のスルー画像のデータは、ＣＰＵ２８による各種の演算処理やモニタ２３での表示などに使用される。
【００１４】
アナログ処理部１６は、撮像素子１５の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このアナログ処理部１６はＣＤＳ回路やゲイン回路を内部に有している。アナログ処理部１６のＣＤＳ回路は、相関二重サンプリングによって撮像素子１５の出力のノイズ成分を低減する。アナログ処理部１６のゲイン回路は、ＣＰＵ２８の指示に基づいて入力信号の利得を増幅する。上記のゲイン回路では、ＩＳＯ感度に相当する撮像感度の調整を行うことができる。
【００１５】
Ａ／Ｄ変換部１７は、アナログ処理部１６から出力されたアナログの画像信号にＡ／Ｄ変換を行う。このＡ／Ｄ変換部１７の出力は第１メモリ１９に接続されている。
ＴＧ１８は、ＣＰＵ２８の指示に基づいて、撮像素子１５、アナログ処理部１６およびＡ／Ｄ変換部１７に対してタイミングパルスを供給する。撮像素子１５、アナログ処理部１６およびＡ／Ｄ変換部１７の駆動タイミングは、ＴＧ１８のタイミングパルスによって制御される。
【００１６】
第１メモリ１９は、後述の画像処理の前工程や後工程などで画像のデータを一時的に記録するためのバッファメモリである。
画像処理部２０は、上記の撮影モードにおいて本画像のデータに各種の画像処理を施す。さらに、画像処理部２０は、上記の撮影モードにおいて、ＣＰＵ２８の指示によりスルー画像の画像信号から表示用画像（ビュー画像）を生成する。なお、画像処理部２０は、本画像のデータをＪＰＥＧ形式などで圧縮する処理や、圧縮された本画像のデータを再生時に伸長復元する処理をも実行する。
【００１７】
記録Ｉ／Ｆ２１には記録媒体３１を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ２１は、コネクタに接続された記録媒体３１に対して本画像のデータの書き込み／読み込みを実行する。上記の記録媒体３１は、ハードディスクや半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記録媒体３１の一例としてメモリカードを図示する。
【００１８】
表示Ｉ／Ｆ２２はＣＰＵ２８の指示に基づいてモニタ２３の表示を制御する。モニタ２３は、ＣＰＵ２８および表示Ｉ／Ｆ２２の指示に応じて各種画像を表示する。本実施形態のモニタ２３は液晶モニタで構成されている。このモニタ２３には、撮影モードでの撮影待機時にビュー画像が動画表示される。また、モニタ２３は、オンスクリーン機能によって、撮影に必要となる各種情報の表示（例えば、撮影可能なフレーム数、焦点検出エリアの位置、後述の顔検出処理で検出された顔領域の枠表示など）をビュー画像に重畳表示させることもできる。さらに、モニタ２３には、本画像のデータに基づく再生画像や、ＧＵＩ(Graphical User Interface)形式の入力が可能なメニュー画面なども表示できる（なお、モニタ２３における再生画像およびメニュー画面の図示は省略する）。
【００１９】
レリーズ釦２４は露光動作開始の指示入力をユーザーから受け付ける。操作部２５は、例えば十字キーや決定釦などの複数の入力釦を有している。この操作部２５は各種の設定変更の入力をユーザーから受け付ける。
スピーカー２６は、撮影時などに電子カメラの外部に音声を出力するために設けられている。このスピーカー２６はＣＰＵ２８と接続されている。
【００２０】
閃光発光部２７は、例えば、キセノン発光管、発光のエネルギを蓄えるメインコンデンサ、閃光を被写体に効率良く照射するための反射傘やレンズ部材、発光制御回路などから構成されている。
ＣＰＵ２８は、不図示のＲＯＭに格納されたシーケンスプログラムに従って、電子カメラの各部動作を制御する。そして、ＣＰＵ２８は、オートフォーカス（ＡＦ）演算、自動露出（ＡＥ）演算、オートホワイトバランス（ＡＷＢ）演算などの各種演算を実行する。また、第１実施形態のＣＰＵ２８は、顔検出部２８ａ、顔認証部２８ｂとしても機能する。
【００２１】
顔検出部２８ａは、スルー画像または本画像のデータから特徴点を抽出して被写体の顔領域、顔の大きさ等を検出する。例えば、顔検出部２８ａは、特開２００１−１６５７３号公報などに記載された特徴点抽出処理によって顔領域を抽出する。また、上記の特徴点としては、例えば、眉、目、鼻、唇の各端点やその中間点などが挙げられる。図２（ａ）および図２（ｂ）に、本実施形態での一例として特徴点の位置を黒点で示す。なお、本明細書では、個々の特徴点についての説明は省略する。
【００２２】
顔認証部２８ｂは、顔検出部２８ａで検出した特徴点に基づいて顔認証データを生成する。例えば、顔認証部２８ｂは、検出した顔の特徴点の位置、各特徴点の相対距離などから認証対象となる登録人物の顔認証データを生成する。また、顔認証部２８ｂは、撮影画面内の人物の顔が顔認証データの人物の顔か否かを判定する顔認証処理を行う。なお、この顔認証処理の具体的内容については後述する。
【００２３】
第２メモリ２９はＣＰＵ２８と接続されている。第２メモリ２９には、顔認証部２８ｂで生成された顔認証データ（登録データ）が記録される。この第２メモリ２９には、上記の登録人物ごとにグループフォルダが生成されている。そのため、グループフォルダによって、同一の登録人物に関する複数の顔認証データがグループ化される。
また、第２メモリ２９の各グループフォルダには、登録人物のプロファイルデータがそれぞれ対応付けされて記録されている。このプロファイルデータには、例えば、登録人物の名称（例えば、氏名、ニックネームなど）や属性情報（性別、年齢、住所、電話番号、メールアドレス、所属する組織、その他のメモなど）がデータベース化されて記録されている。なお、登録人物の認証時に適用する電子カメラの各種設定（例えば、撮影時の露出補正や画像処理の設定など）を、プロファイルデータに含めるようにしてもよい。
【００２４】
次に、図３の流れ図を参照しつつ、第１実施形態の電子カメラでの撮影動作を説明する。なお、以下の説明では、メニュー画面などで顔認証機能がオンに設定されている状態を前提とする。
ステップ１０１：ＣＰＵ２８は、撮像素子１５を駆動させてスルー画像の取得を開始する。撮像素子１５は所定間隔毎に間引き読み出しでスルー画像の画像信号を取得する。画像処理部２０はスルー画像のデータに基づいてビュー画像を逐次生成する。そして、撮影待機時のモニタ２３にはビュー画像が動画表示される。したがって、ユーザーはモニタ２３のビュー画像によって、撮影構図を決定するためのフレーミングを行うことができる。
【００２５】
ステップ１０２：ＣＰＵ２８の顔検出部２８ａは、スルー画像のデータに顔検出処理を施して撮影画面内の顔領域を検出する。
ステップ１０３：ＣＰＵ２８は、Ｓ１０２での顔検出の結果をモニタ２３に表示するとともに、顔認証処理を行う人物を選択する入力をユーザーから受け付ける。
例えば、撮影画面内で人物の顔を検出した場合、ＣＰＵ２８はビュー画像上の顔領域の位置に矩形の枠を重畳させてモニタ２３に表示する（図４参照）。これにより、ユーザーはビュー画像で顔検出の結果を確認することができる。
【００２６】
また、ユーザーは、検出した顔のうちから顔認証処理を行いたい顔を操作部２５の操作で選択することができる。そして、ＣＰＵ２８は、検出された顔のうちで顔認証処理の対象となる顔領域を、操作部２５の入力に応じて指定する。なお、顔検出時にユーザーの指定入力の操作がない場合、ＣＰＵ２８は検出されたすべての顔領域を顔認証処理の対象に指定する。
【００２７】
ステップ１０４：ＣＰＵ２８はレリーズ釦２４が半押しされたか否かを判定する。レリーズ釦２４が半押しされた場合（ＹＥＳ側）にはＳ１０５に移行する。一方、レリーズ釦２４が半押しされていない場合（ＮＯ側）には、ＣＰＵ２８はＳ１０２に戻って上記動作を繰り返す。
ステップ１０５：ＣＰＵ２８は、顔認証処理の対象となる顔領域が指定されているか否かを判定する。顔認証処理の対象が指定されている場合（ＹＥＳ側）にはＳ１０６に移行する。一方、顔認証処理の対象が指定されていない場合（ＮＯ側）にはＳ１１５に移行する。
【００２８】
ステップ１０６：ＣＰＵ２８は、顔認証処理の対象に指定された顔領域に対して顔認証処理を実行する。この顔認証処理では、必要に応じてズームレンズ１１のズームアップを行って顔認証の成功率を増加させる。なお、Ｓ１０６での顔認証処理の詳細については後述する。
ステップ１０７：ＣＰＵ２８は、Ｓ１０６での顔認証処理の結果をモニタ２３に表示する。一例として、図５に顔認証結果の表示例を示す。図５では、図４で示したビュー画像の矩形の枠の太さや色を変えるなどの手段によって、ＣＰＵ２８が登録人物と認証した顔領域をモニタ２３上に示している。これにより、ユーザーはＳ１０６での顔認証処理の結果をビュー画像で確認できる。
【００２９】
ステップ１０８：ＣＰＵ２８は、上記のＳ１０５の顔認証処理でズームレンズ１１を移動させている場合には、第１レンズ駆動部１２を駆動させてズームレンズ１１を半押し時の状態に戻す。勿論、顔認証処理においてズーミングが行われていない場合にはこの工程は省略される。
ステップ１０９：ＣＰＵ２８は、コントラスト検出方式などによるＡＦを実行するとともに、ＡＥ演算およびＡＷＢ演算を実行して撮影条件（絞り値、露光時間、撮像感度）を調整する。
【００３０】
ここで、Ｓ１０６の顔認証処理で登録人物を検出している場合には、ＣＰＵ２８は登録人物の顔を基準としてＡＦを実行してもよい。また、Ｓ１０６の顔認証処理で登録人物を検出している場合には、ＣＰＵ２８は登録人物に対応するプロファイルデータを読み出して、登録人物に合わせて撮影条件を調整してもよい。
ステップ１１０：ＣＰＵ２８はレリーズ釦２４が全押しされたか否かを判定する。レリーズ釦２４が全押しされた場合（ＹＥＳ側）にはＳ１０５に移行する。一方、レリーズ釦２４が全押しされていない場合（ＮＯ側）には、ＣＰＵ２８はレリーズ釦２４の全押しを待機する。
【００３１】
ステップ１１１：ＣＰＵ２８は撮像素子１５を駆動させて本画像を撮影する。その後、画像処理部２０は本画像の画像データを生成する。なお、ＣＰＵ２８は、画像データをＥｘｉｆ（Exchangeable image file format for digital still cameras）規格に準拠したファイル形式で記録媒体３１に記録する。
ステップ１１２：ＣＰＵ２８は、Ｓ１０６の顔認証処理で登録人物を認証したか否かを判定する。登録人物を認証した場合（ＹＥＳ側）にはＳ１１３に移行する。一方、登録人物を認証していない場合（ＮＯ側）にはＳ１１４に移行する。
【００３２】
ステップ１１３：ＣＰＵ２８は、認証した登録人物のプロファイルデータに基づいて、画像データのファイルに付加データを付加する処理を実行する。Ｓ１１３での付加データの付加処理は、例えば以下のいずれかの手法で行われる。
第１に、ＣＰＵ２８は、画像データのファイルにプロファイルデータの一部または全部を付加データとして付加する。この場合には、画像ファイルの付加データに基づいて、撮影された登録人物の各種情報（名称など）を画像ファイルの閲覧者が取得できる。
【００３３】
ここで、プロファイルデータにおいてＣＰＵ２８が付加データとする項目は、メニュー画面などで予めユーザーがＣＰＵ２８に対して入力する。また、ＣＰＵ２８は、例えば、ＥｘｉｆのＭａｋｅｒＮｏｔｅタグを利用して付加データを画像ファイルに付加してもよい。あるいは、ＣＰＵ２８は電子透かしなどの手段で画像データに付加データを埋め込むようにしてもよい。
【００３４】
第２に、ＣＰＵ２８は、画像データのファイル名をプロファイルデータに基づいて設定する。例えば、ＣＰＵ２８は、画像ファイルに対して、認証された登録人物の名称を一部に含んだファイル名を付与する。この場合には、ファイル名を参照することで本画像に撮影されている登録人物を容易に検索できる。
ステップ１１４：ＣＰＵ２８は、Ｓ１０６の顔認証処理で使用した撮影人物の特徴点から顔認証データ（登録データ）を生成する。そして、ＣＰＵ２８はこの登録データを第２メモリ２９に記録する。なお、メニュー画面において、ＣＰＵ２８に対してユーザーが顔認証データの登録をオフに設定した場合には、この工程は省略される。
【００３５】
ここで、顔認証ができた既登録の人物の顔認証データについては、ＣＰＵ２８はその登録人物のグループフォルダに記録する。これにより、顔認証データのサンプル数が増えるため、次回からの顔認証の認証精度を向上することができる。
一方、未登録の人物の顔認証データについては、ＣＰＵ２８は新規のグループフォルダを生成し、そのグループフォルダに顔認証データを記録する。これにより、顔認証の対象とする人物を容易に登録することができる。なお、新規のグループフォルダについては、ユーザーはメニュー画面で後で改めてプロファイルデータを登録することができる。そして、ＣＰＵ２８は一連の撮影動作を終了する。
【００３６】
ステップ１１５：この場合には、ＣＰＵ２８は、顔認証を行わない通常の撮影モードの場合と同様のアルゴリズムでＡＦ演算およびＡＥ演算を実行する。そして、ＣＰＵ２８はレリーズ釦２４の全押しに応じて本画像を撮影する。その後、画像処理部２０は本画像の画像データを生成する。そして、画像データは最終的に記録媒体３１に記録される。なお、この場合にはプロファイルデータに基づく各種の処理や顔認証データの生成が行われることはない。以上で、図３の流れ図の説明を終了する。
【００３７】
次に、顔認証処理についてさらに詳細に説明する。図６は、上記のＳ１０６の顔認証処理でＣＰＵ２８が実行する制御を示す流れ図である。
ステップ２０１：ＣＰＵ２８は、顔認証処理の許容時間を計測するタイムカウントを開始する。
ステップ２０２：ＣＰＵ２８は、顔認証処理の対象となる顔領域について、顔認証処理を行う優先順位を設定する。
【００３８】
例えば、ＣＰＵ２８は、Ｓ１０３でユーザーが顔領域を指定した順に顔認証処理の優先順位を設定する。あるいは、ＣＰＵ２８は、撮影画面内での顔の大きさおよび顔の位置に基づいて優先順位を設定する。具体例としては、ＣＰＵ２８は撮影画面の中央に位置する人物の顔を主要被写体と見なして優先順位を高くする。また、ＣＰＵ２８は、顔が大きく至近側にいる人物の優先順位を高く設定する。この場合には、優先順位の高い人物については、ズーミングをしなくとも顔認証ができる可能性が高くなるので、一連の顔認証を効率的に行うことができる。あるいは、ＣＰＵ２８は合焦状態にある顔領域の優先順位を非合焦状態にある顔領域より高めるようにしてもよい。
【００３９】
ステップ２０３：ＣＰＵ２８は、Ｓ２０２の優先順位に基づいて、撮影画面において顔認証の判定を行う顔領域（判定対象の顔領域）を決定する。
ステップ２０４：ＣＰＵ２８は、第２メモリ２９の各々の登録人物について登録データの正規化処理を実行する。なお、登録データが予め正規化された状態で登録されている場合にはこの工程は省略される。
【００４０】
具体的には、Ｓ２０４での正規化処理は以下の手法で行われる。
第１に、ＣＰＵ２８は、第２メモリ２９の登録データが示す各々の特徴点において、各特徴点間の相対距離を複数箇所で求める。この特徴点間の相対距離をとる位置は任意に決定できる。なお、ここでは一例として、図２（ａ）に示す特徴点のうちで、口の両端間の距離（第１距離）、両目の瞳の距離（第２距離）、鼻の下から唇までの距離（第３距離）、眉間から鼻の下までの距離（第４距離）などを求めるものとする。
【００４１】
第２に、ＣＰＵ２８は、第１工程で求めた相対距離のうちから基準距離を決定する。この基準距離の位置は任意に決定できるが、比較時には基準距離の位置を同じに設定する必要がある。そのため、各々の登録人物の顔認証データを正規化する場合には、基準距離の位置を共通にすることが望ましい。なお、ここでは一例として、両目の瞳を結ぶ直線の長さ（第２距離）を基準距離として以下の説明を行う。
【００４２】
第３に、ＣＰＵ２８は、第１工程で求めた各々の相対距離と、第２工程で求めた基準距離との比をそれぞれ演算する。そして、ＣＰＵ２８は演算された比の値を正規化された認証用データとして扱う。すなわち、上記の例であれば、第１距離を第２距離で除した値や、第３距離を第２距離で除した値などが、正規化された登録データを構成する。
本実施形態では後述するように顔認証時にズーミングを実行する。上記第３工程で求まる比の値は、同じ顔であればズーミングの前後でもほぼ等しくなる。そのため、上記の正規化処理によればズーミングされた顔についても認証が可能となる。
【００４３】
ここで、上記の特徴点間の距離は顔の向きに応じて変化することがある。例えば、カメラに対して顔が横向きの場合には、撮影画面において顔の水平方向の特徴点の相対距離（上記の第１距離および第２距離）が変化する。また、カメラに対して顔が上向きまたは下向きの場合には、撮影画面において顔の垂直方向の特徴点の相対距離（上記の第３距離および第４距離）が変化する。そのため、上記の正規化処理を行う場合には、顔の異なる方向に複数の基準距離を設定するとともに、各々の基準距離ごとに上記の比の値を求めて複数方向に対応する登録データを生成することが好ましい。この場合には、撮影人物の顔の向きに関わらず、顔認証を行える可能性が向上する。
【００４４】
ステップ２０５：ＣＰＵ２８は、撮像素子１５のスルー画像によって、判定対象となっている顔領域の特徴点のデータ（判定用データ）を取得する。なお、顔領域の特徴点のデータについては、ＣＰＵ２８はＳ１０２の顔検出処理で取得したものをそのまま適用してもよい。
ステップ２０６：ＣＰＵ２８は、Ｓ２０５でスルー画像から取得した判定用データを正規化する。このＳ２０６での正規化処理の具体的手法はＳ２０４の場合と同様に行われるので重複説明を省略する。なお、この正規化処理において、特徴点間で相対距離をとる位置および基準距離をとる位置は、Ｓ２０４の場合とそれぞれ共通に設定される。
【００４５】
ここで、ＣＰＵ２８は、スルー画像から顔の特徴点が一部検出できない場合には、スルー画像から検出できた特徴点のみを用いて正規化処理を行うようにしてもよい。例えば、顔の半分が隠れている場合には、ＣＰＵ２８はその半分の顔データから取得した特徴点で正規化処理を実行する。なお、上記において基準距離の位置が検出できない場合には、ＣＰＵ２８は基準距離の位置を取り直して、登録データを再度正規化処理する必要がある。
【００４６】
ステップ２０７：ＣＰＵ２８は、Ｓ２０４で正規化された登録データと、Ｓ２０６で正規化された判定用データとを比較する。そして、ＣＰＵ２８は、判定対象となっている顔領域の人物が登録人物に該当する確率を示す尤度を、各々の登録人物ごとに演算する。
ステップ２０８：ＣＰＵ２８は、判定対象の顔領域の人物がいずれかの登録人物に該当するか否かを判定する。具体的には、Ｓ２０７で演算した尤度が最も高く、かつ尤度が閾値以上となる人物がいる場合には、ＣＰＵ２８は判定対象の顔領域の人物がその登録人物に該当するものと判定する。登録人物に該当する場合（ＹＥＳ側）にはＳ２０９に移行する。一方、登録人物に該当しない場合（ＮＯ側）にはＳ２１１に移行する。
【００４７】
ステップ２０９：ＣＰＵ２８は、Ｓ１０３で指定された顔領域のうち、顔認証処理が未処理の顔領域が存在するか（すなわち、判定対象の顔領域よりも優先順位が低く設定された顔領域があるか）否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２１０に移行する。一方、上記要件を満たさない場合（ＮＯ側）は、Ｓ１０３で指定された顔に対する顔認証処理がすべて終了した場合に相当する。この場合には、図６に示すサブルーチンの処理を終了してＳ１０７に復帰する。
【００４８】
ステップ２１０：ＣＰＵ２８は判定対象の顔領域を、現在処理中の顔領域から次の優先順位の顔領域に変更する。その後、ＣＰＵ２８はＳ２０５に戻る。
ステップ２１１：ＣＰＵ２８は、顔認証処理の許容時間のカウント（Ｓ２０１）が閾値以内か否かを判定する。閾値以内の場合（ＹＥＳ側）にはＳ２１２に移行する。一方、閾値を超える場合（ＮＯ側）には、ＣＰＵ２８は図６に示すサブルーチンの処理をタイムアウトで終了してＳ１０７に復帰する。この場合には、現在の判定対象となっている顔領域と、顔認証処理が未処理の顔領域については、ＣＰＵ２８は認証できない顔領域として扱う。
【００４９】
ステップ２１２：ＣＰＵ２８は、ズームレンズ１１を望遠側にズームできるか否かを判定する。望遠側にズームできる場合（ＹＥＳ側）にはＳ２１３に移行する。一方、望遠側にズームできない場合（ＮＯ側）は、ＣＰＵ２８は現在の判定対象の顔領域を認証できない顔領域として扱う。そして、ＣＰＵ２８はＳ２０９に移行する。
ステップ２１３：ＣＰＵ２８は、ズームレンズ１１を所定のステップ幅の分だけ望遠側に移動させる制御を行う。そして、ＣＰＵ２８はＳ２０５に戻って次回の顔認証の判定を行う。以上で、図６の流れ図の説明を終了する。
【００５０】
以下、第１実施形態の効果を説明する。
第１実施形態では、顔認証ができない場合にＣＰＵ２８はズームレンズ１１を駆動させてズームアップを実行する（Ｓ２０８、Ｓ２１３）。そのため、次回の顔認証の判定では、前回の判定よりも顔認証の成功率を高めることができる。
また、本画像の撮影時には、ズームレンズ１１を半押しの位置まで戻して撮影を実行する（Ｓ１０８）。そのため、集合写真や風景とともに人物を撮影するシーンでも、顔認証の高い精度を確保しつつ、ユーザーの意図に沿った本画像を取得できる。
【００５１】
さらに、第１実施形態では、登録データおよび判定用データが、各々の顔で共通する特徴点間の基準距離に基づいて正規化されている（Ｓ２０４〜Ｓ２０６）。そのため、ズーミングで倍率が異なる顔を比較する場合でも高い精度で顔認証を行うことができる。
（第２実施形態の説明）
以下、第２実施形態の電子カメラを説明する。ここで、以下の実施形態は第１実施形態の変形例であって、第１実施形態と電子カメラの構成は共通する。また、撮影動作の流れも図３に示す部分は共通する一方で、図６で説明した顔認証処理の動作のみが一部相違する。そのため、以下の実施形態では第１実施形態との相違点のみを説明し、第１実施形態との重複説明は省略する。
【００５２】
図７は第２実施形態の電子カメラにおいて、上記のＳ１０６の顔認証処理でＣＰＵ２８が実行する制御を示す流れ図である。なお、図７のＳ３０１〜Ｓ３１２は、第１実施形態における図６のＳ２０１〜Ｓ２１２にそれぞれ対応するので重複説明を省略する。
ステップ３１３：ＣＰＵ２８は、ズームレンズ１１を所定のステップ幅の分だけ望遠側に移動させる制御を行う。
【００５３】
ステップ３１４：ＣＰＵ２８は、現在の判定対象に対する処理時間が閾値以上となったか否かを判定する。閾値以上の場合（ＹＥＳ側）にはＳ３１５に移行する。一方、閾値未満の場合（ＮＯ側）には、ＣＰＵ２８はＳ３０５に戻って次回の顔認証の判定を行う。
ステップ３１５：ＣＰＵ２８は、被写体の注意をカメラに向けるために、閃光発光部２７を発光させるとともに、スピーカー２６から音声を出力する。その後、ＣＰＵ２８はＳ３０５に戻って次回の顔認証の判定を行う。なお、Ｓ３１５において、ＣＰＵ２８は閃光発光部２７の発光またはスピーカー２６からの音声出力の一方を省略してもよい。以上で、図７の流れ図の説明を終了する。
【００５４】
この第２実施形態によっても上記の第１実施形態とほぼ同様の効果を得ることができる。さらに第２実施形態では、音声などで被写体の顔をカメラに向けさせることで、顔認証の成功率を高めることが可能となる。
（第３実施形態の説明）
図８は第１実施形態の電子カメラにおいて、上記のＳ１０６の顔認証処理でＣＰＵ２８が実行する制御を示す流れ図である。なお、図７のＳ４０１〜Ｓ４１２は、第１実施形態における図６のＳ２０１〜Ｓ２１２にそれぞれ対応するので重複説明を省略する。
【００５５】
ステップ４１３：ＣＰＵ２８は、ズームレンズ１１をズームさせた場合に判定対象の顔領域が撮影画角から外れるか（フレームアウトするか）否かを判定する。例えば、判定対象の顔領域が撮影画面の外縁部にあるときに上記のズームを行おうとする場合、ＣＰＵ２８はフレームアウトするものと判定する。フレームアウトする場合（ＹＥＳ側）にはＳ４１４に移行する。一方、フレームアウトしない場合（ＮＯ側）はＳ４１６に移行する。
【００５６】
ステップ４１４：ＣＰＵ２８は、判定対象の顔領域がズームによってフレームアウトする旨の警告表示をモニタ２３のビュー画像上に重畳表示する。上記の警告表示は、アイコン化されたマークであってもよく、文字によるメッセージ表示であってもよい。
このＳ４１４の警告表示があった場合には、判定対象への顔認証を行うためにユーザーはカメラの向きや撮影位置を変えることもできる。この場合には、ＣＰＵ２８は操作部２５から顔認証再開の操作を受け付けた場合に撮影動作を再開する。なお、ＣＰＵ２８は上記の警告を音声で行うようにしてもよい。
【００５７】
ステップ４１５：ＣＰＵ２８は、ユーザーによる顔認証再開の操作を操作部２５から受け付けたか否かを判定する。顔認証再開の操作があった場合（ＹＥＳ側）にはＳ４１６に移行する。一方、顔認証再開の操作がない場合（ＮＯ側）には、ＣＰＵ２８はＳ４１１に戻って上記動作を繰り返す。
ステップ４１６：ＣＰＵ２８は、ズームレンズ１１を所定のステップ幅の分だけ望遠側に移動させる制御を行う。そして、ＣＰＵ２８はＳ４０５に戻って次回の顔認証の判定を行う。以上で、図８の流れ図の説明を終了する。なお、第３実施形態において、Ｓ４１４およびＳ４１５の間でユーザーがカメラの向きや撮影位置を変えた場合には、ユーザーはカメラの向きなどを半押し時と同じ状態に戻して本画像を撮影する。
【００５８】
この第３実施形態によっても上記の第１実施形態とほぼ同様の効果を得ることができる。さらに第３実施形態では、ズームアップで被写体の顔が撮影画角から外れる場合にはユーザーに注意を促して撮影画角を変更することで、顔認証の成功率を高めることができる。
（実施形態の補足事項）
（１）上記実施形態の電子カメラは人物の顔の認証を行う例を説明したが、本発明は例えば犬、猫、鳥などの動物の顔などの認証を含む一般的なパターン認証にも広く応用できる。また、上記実施形態において、ＣＰＵ２８は顔の全部の特徴点を用いて認証を行う必要はなく、人の顔の特定部位（例えば、目、鼻、口など）のみの特徴点で認証を行うようにしてもよい。
【００５９】
（２）上記実施形態において、ＣＰＵ２８は判定対象の人数に上限を設けてもよい。また、ＣＰＵ２８は認証時の判定回数に制限を設けてもよい。さらに、ＣＰＵ２８は、ズームアップによるフレームアウトを防止するために、撮影画面の外縁にいる人物の顔は判定対象の選択から除外するようにしてもよい。
（３）また、上記実施形態で判定対象の顔領域が複数設定されてある場合には、ＣＰＵ２８は１回の顔認証処理で複数の顔領域の認証処理を同時に行うようにしてもよい。この場合には、ズームレンズ１１の移動回数をより少なくすることができる。
【００６０】
（４）上記実施形態のようにズームレンズ１１を移動させる場合には、ズームアップによって判定対象の画像の情報量が増加するとともに、撮影画面内の輝度分布特性が変化するので顔認証の認証精度は向上する。しかし、ズームレンズ１１のズーミングに伴なう輝度の低下によって認証精度に悪影響が生じるおそれもある。そのため、ＣＰＵ２８はアナログ処理部１６や画像処理部２０でのゲインをズームレンズ１１のズームアップ量に応じて大きくして、認証精度への悪影響を除外するようにしてもよい。
【００６１】
（５）また、上記実施形態において、ＣＰＵ２８は顔認証の失敗時には、スルー画像の解像度を前回よりも高める設定を行うようにしてもよい。この場合には、判定対象の顔領域の情報量が前回の判定よりも増えるので、顔認証の精度が向上し易くなる。また、スルー画像の解像度を高める場合には、ＣＰＵ２８はズームレンズ１１によるズーミングを省略してもよい。さらに、ＣＰＵ２８は上記実施形態において、必要に応じて電子ズームを行うようにしてもよい。
【図面の簡単な説明】
【００６２】
【図１】第１実施形態の電子カメラの構成を示すブロック図
【図２】第１実施形態における特徴点の配置例を示す図
【図３】第１実施形態の電子カメラでの撮影動作を説明する流れ図
【図４】顔検出時におけるビュー画像の表示例を示す図
【図５】ビュー画像での顔認証結果の表示例を示す図
【図６】第１実施形態における顔認証処理の内容を説明する流れ図
【図７】第２実施形態における顔認証処理の内容を説明する流れ図
【図８】第３実施形態における顔認証処理の内容を説明する流れ図
【符号の説明】
【００６３】
１１…ズームレンズ、１２…第１レンズ駆動部、１５…撮像素子、２２…表示Ｉ／Ｆ、２３…モニタ、２５…操作部、２６…スピーカー、２７…閃光発光部、２８…ＣＰＵ、２８ａ…顔検出部、２８ｂ…顔認証部、２９…第２メモリ
【出願人】 【識別番号】０００００４１１２
【氏名又は名称】株式会社ニコン
【出願日】 平成１８年７月６日（２００６．７．６）
【代理人】 【識別番号】１０００７２７１８
【弁理士】
【氏名又は名称】古谷 史旺

【識別番号】１００１１６００１
【弁理士】
【氏名又は名称】森 俊秀
【公開番号】 特開２００８−１７１６９（Ｐ２００８−１７１６９Ａ）
【公開日】 平成２０年１月２４日（２００８．１．２４）
【出願番号】 特願２００６−１８６４５４（Ｐ２００６−１８６４５４）