トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
【発明者】 【氏名】高梨 豪也
【要約】 【課題】既に撮像した画像と比較する場合、新たに撮像する画像の特定の画像領域が、有効か無効を自動的に判断する。

【構成】顔検出技術を用いて、顔画像データを自動で抽出し、過去に撮像して蓄積したデータベースと照合することで被写体個人の認識を自動で行い、認識結果に基づきディスプレイに情報を表示する。この場合、新たに撮像する被写体が有効なものだけについて被写体個人の認識をおこなう。
【特許請求の範囲】
【請求項１】
被写体像を光電変換し画像データを得る撮像手段と、
前記撮像手段によって得た前記画像データを表示更新する表示手段と、
前記撮像手段によって得た前記画像データから特定の被写体領域を検出する被写体領域検出手段と、
前記被写体領域検出手段で検出された前記特定の被写体領域のそれぞれの特徴値を検出する特徴値検出手段と、
前記特徴値検出手段で検出された前記特定の被写体領域のそれぞれの前記特徴値を蓄積する蓄積手段と、
前記表示手段によって表示される画像データから、前記被写体領域検出手段及び前記特徴値検出手段によって新たに得られた前記特徴値と、前記蓄積手段に蓄積された前記特徴値を比較する比較手段と、
前記比較手段の結果に基づき、前記表示手段によって表示される画像データから検出された前記特定の被写体領域がすでに登録されたものか否かを判断する判断手段と、を備え、
前記判断手段の結果を認識可能に前記表示手段に表示させると共に、
前記表示手段によって表示される画像データから検出された前記特定の被写体領域が有効か否かを判断する有効被写体判定手段と、をさらに備え、
前記有効被写体判定手段の結果を認識可能に前記表示手段で表示する、ことを特徴とする撮像装置。
【請求項２】
被写体像を光電変換し画像データを得る撮像手段と、前記撮像手段によって得た前記画像データを表示更新する表示手段と、を備える撮像装置の制御方法であって、
前記撮像手段によって得た前記画像データから特定の被写体領域を検出する被写体領域検出工程と、
前記被写体領域検出工程で検出された前記特定の被写体領域のそれぞれの特徴値を検出する特徴値検出工程と、
前記特徴値検出工程で検出された前記特定の被写体領域のそれぞれの前記特徴値を蓄積する蓄積工程と、
前記表示手段によって表示される画像データから、前記被写体領域検出工程及び前記特徴値検出工程によって新たに得られた前記特徴値と、前記蓄積工程で蓄積された前記特徴値を比較する比較工程と、
前記比較工程の結果に基づき、前記表示手段によって表示される画像データから検出された前記特定の被写体領域がすでに登録されたものか否かを判断する判断工程と、を備え、
前記判断工程の結果を認識可能に前記表示手段に表示させると共に、
前記表示手段によって表示される画像データから検出された前記特定の被写体領域が有効か否かを判断する有効被写体判定工程と、をさらに備え、
前記有効被写体判定工程の結果を認識可能に前記表示手段で表示する、ことを特徴とする撮像装置の制御方法。
【請求項３】
前記有効被写体判定工程は、前記被写体領域検出工程によって検出された前記特定の被写体領域が、設定された有効被写体枠内に存在する場合は、前記検出された前記特定の被写体領域を有効と判断する、ことを特徴とする請求項２に記載の撮像装置の制御方法。
【請求項４】
前記有効被写体枠の大きさ及び位置を設定する有効被写体枠設定工程をさらに備える、ことを特徴とする請求項３に記載の撮像装置の制御方法。
【請求項５】
前記有効被写体判定工程は、前記被写体領域検出工程によって検出された前記特定の被写体領域が、予め定めた大きさを満たす場合は、前記検出された前記特定の被写体領域を有効と判断する、ことを特徴とする請求項２に記載の撮像装置の制御方法。
【請求項６】
前記有効被写体判定工程は、前記被写体領域検出工程によって検出された前記特定の被写体領域が、他の特定の被写体領域と比較して相対的に一定の大きさを満たしている場合は、前記検出された前記特定の被写体領域を有効と判断する、ことを特徴とする請求項２に記載の撮像装置の制御方法。
【請求項７】
前記有効被写体判定工程は、前記被写体領域検出工程によって検出された前記特定の被写体領域が、特徴値検出工程により前記特徴値のすくなくとも１部を抽出できる場合には、前記検出された前記特定の被写体領域を有効と判断する、ことを特徴とする請求項２に記載の撮像装置の制御方法。
【請求項８】
前記特徴値のすくなくとも１部を設定する特徴条件設定工程をさらに備える、ことを特徴とする請求項７に記載の撮像装置の制御方法。
【請求項９】
前記判断工程の結果を認識可能に前記表示手段に表示させか否か、さらに前記有効被写体判定工程の結果を認識可能に前記表示手段で表示させるか否かを設定する被写体情報表示設定工程をさらに備える、ことを特徴とする請求項２乃至８のいずれか１項に記載の撮像装置の制御方法。
【請求項１０】
前記判断手段の結果をカウントする計数工程をさらに設け、前記計数工程の計数結果を前記特徴値とともに前記蓄積工程で蓄積する、ことを特徴とする請求項２乃至９のいずれか１項に記載の撮像装置の制御方法。
【請求項１１】
前記比較工程の結果に基づき、前記表示手段によって表示される画像データから検出された前記特定の被写体領域がすでに登録されたものであった場合には、前記蓄積工程で蓄積された前記計数結果を呼び出し、前記表示手段で表示する、ことを特徴とする請求項２乃至１０のいずれか１項に記載の撮像装置の制御方法。
【請求項１２】
請求項２乃至１１のいずれか１項に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１３】
請求項２乃至１１のいずれか１項に記載の撮像装置の制御方法の手順が記述されたプログラムが記憶されたコンピュータ可読記憶媒体。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、撮像した画像データから特定の画像領域を抽出することが可能な撮像装置、撮像装置の制御方法、プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
撮像装置で撮像して得られた画像データから、被写体の顔の特徴的な部位を検出したり、肌色部分を検出することで顔領域を自動で検出する顔検出技術が知られている。この顔検出技術を利用して、得られた画像データから顔画像領域を抽出し、名前、生年月日等の付加情報と共に、参照画像データとして登録することが出来る。そして、新たに得られた画像データの中から参照画像データに合致する顔画像領域を検出する。そして、その顔画像領域をポインティングデバイス等でポインタを参照画像データの顔画像上に移動させると、参照画像データに登録されていた付加情報を表示等の技術が提案されている。
【０００３】
特開平５−８９２４４号公報には、撮像装置で撮像した画像データ中のナンバープレートの文字を認識する方法が提案されている。具体的には、数字や文字の輪郭を特徴値としてあらかじめシステム記憶部に記録しておく。次に撮影した静止画データにおいて、上記の特徴と一致する部分をサーチし、例えば撮影した静止画データがスポーツ選手のユニフォームの背番号を含む場合、その番号部分が検出される。そして、認識された背番号の数字をデータベースに登録する。
【０００４】
また、例えば特開平０７−２３１７３３号公報では撮像装置で撮像した画像データを用いて魚の全長と体高より魚の種別を認識する方法が提案されている。具体的には、まず魚であることを検出するために魚の輪郭形状を検出する。さらに魚の種別を判定するために、横からみた時の魚の輪郭、全長と高さの比、縞などの模様を検出しデータベースと比較を行い、魚の種別を決定する。動物の認識を行う場合も、上記と同様に、輪郭情報、体の各部位の長さ、体の模様などを判定基準にして認識を行う。
【特許文献１】特開２００４−０１３８７１号公報
【特許文献２】特開平５−８９２４４号公報
【特許文献３】特開平７−２３１７３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
一般的に、カメラマンとして、パーティーや遠足といった行事の様子を写真として納める場合、参加者を満遍なく撮る必要がある。そして、こうして撮影する写真は被写体人物がイベントに参加していたことを記録することが目的となるので、イベント後の閲覧時に被写体人物が間違いなく判別できるような有効な写真でなければならない。
【０００６】
しかしながらこのような行事には不特定多数の人物が参加することも多く、このような状況において、カメラマンが多くの人に関して有効な撮像した画像データを取得済みか否かを確認することは不可能に近かった。上記に示した特許文献１における発明では、参照画像データの登録をその都度、行う必要があった。このように、過去に撮影した被写体の特徴を抽出し、データデース化しておくことで、新たに撮影する画像に含まれる被写体がすでに撮影された被写体に含まれるか否かの判定が可能となる。このような機能を備えた撮像装置において、判定する場合に撮影しようとする画像データが十分な情報を有するか否かが問題となる。
【０００７】
したがって、本発明の目的は、既に撮像した画像と比較する場合、新たに撮像する画像の特定の画像領域が、有効か無効を自動的に判断可能な撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため、本願の実施形態に係る撮像装置は、
被写体像を光電変換し画像データを得る撮像手段と、
前記撮像手段によって得た前記画像データを表示更新する表示手段と、
前記撮像手段によって得た前記画像データから特定の被写体領域を検出する被写体領域検出手段と、
前記被写体領域検出手段で検出された前記特定の被写体領域のそれぞれの特徴値を検出する特徴値検出手段と、
前記特徴値検出手段で検出された前記特定の被写体領域のそれぞれの前記特徴値を蓄積する蓄積手段と、
前記表示手段によって表示される画像データから、前記被写体領域検出手段及び前記特徴値検出手段によって新たに得られた前記特徴値と、前記蓄積手段に蓄積された前記特徴値を比較する比較手段と、
前記比較手段の結果に基づき、前記表示手段によって表示される画像データから検出された前記特定の被写体領域がすでに登録されたものか否かを判断する判断手段と、を備え、
前記判断手段の結果を認識可能に前記表示手段に表示させると共に、
前記表示手段によって表示される画像データから検出された前記特定の被写体領域が有効か否かを判断する有効被写体判定手段と、をさらに備え、
前記有効被写体判定手段の結果を認識可能に前記表示手段で表示する、ことを特徴とする。
【０００９】
上記の目的を達成するため、本願の他の実施形態に係る撮像装置の制御方法は、
被写体像を光電変換し画像データを得る撮像手段と、前記撮像手段によって得た前記画像データを表示更新する表示手段と、を備える撮像装置の制御方法であって、
前記撮像手段によって得た前記画像データから特定の被写体領域を検出する被写体領域検出工程と、
前記被写体領域検出工程で検出された前記特定の被写体領域のそれぞれの特徴値を検出する特徴値検出工程と、
前記特徴値検出工程で検出された前記特定の被写体領域のそれぞれの前記特徴値を蓄積する蓄積工程と、
前記表示手段によって表示される画像データから、前記被写体領域検出工程及び前記特徴値検出工程によって新たに得られた前記特徴値と、前記蓄積工程で蓄積された前記特徴値を比較する比較工程と、
前記比較工程の結果に基づき、前記表示手段によって表示される画像データから検出された前記特定の被写体領域がすでに登録されたものか否かを判断する判断工程と、を備え、
前記判断工程の結果を認識可能に前記表示手段に表示させると共に、
前記表示手段によって表示される画像データから検出された前記特定の被写体領域が有効か否かを判断する有効被写体判定工程と、をさらに備え、
前記有効被写体判定工程の結果を認識可能に前記表示手段で表示する、ことを特徴とする。
【００１０】
上記の目的を達成するため、本願の、さらに他の実施形態に係るプログラムは、前記の実施形態に係る撮像装置の制御方法の手順が記述される、ことを特徴とする。
【００１１】
上記の目的を達成するため、本願の、さらに他の実施形態に係る記憶媒体は、前記の実施形態に係る撮像装置の制御方法の手順が記述されたプログラムを記憶する、ことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、撮影するユーザが、すでに撮影した人物かの判断と、新たに取り込む人物画像が有効な画像か否かを簡単に判別可能な撮像装置を提供できる。
【発明を実施するための最良の形態】
【００１３】
＜実施形態１＞
図１において、本発明の実施形態１に係る撮像装置としてのデジタルカメラは、被写体像を結像するレンズ１１９と、レンズ１１９により結像された被写体像をアナログ画像信号として出力可能な光電変換機能を有するＣＣＤ等の撮像センサ１０９を備える。またデジタルカメラは、デジタル信号に変換されたアナログ画像信号に各種の処理を施した後、またアナログ信号に戻して表示するディスプレイ１１１を備える。
【００１４】
さらにデジタルカメラは、メモリカード１０７を着脱可能するソケット１０８と、デジタルカメラの動作のプログラムや撮像動作に必要なプロパティデータを格納するフラッシュメモリ等のシステム記憶部１０４とを有する。また、後述するＣＰＵ１０３がプログラムを実行する際のワークデータを保持し、デジタルカメラの撮影動作によって生成される画像データや、ディスプレイ１１１に表示する画像データを保持するＤＲＡＭ１０６とを備える。
【００１５】
また、本実施形態１のデジタルカメラは、デジタルカメラの動作モード（撮影モードか再生モードか）や、撮影対象の被写体についての撮影済み回数カウント条件（有効被写体判定条件）をユーザーが指定するためのモードスイッチ１２１を備える。さらに、ユーザーがデジタルカメラに対する指示を入力するための十字キーやセットボタン、キャンセルボタン等複数のスイッチで構成される操作スイッチ１２２と、を備える。当然にして、撮像時に撮像開始を指示するシャッタスイッチ１２３も備えている。
【００１６】
撮像センサ１０９はＡＤコンバータ１２８を介して信号処理回路１１０に接続され、信号処理回路１１０は、撮像センサ１０９から出力されたアナログ画像信号に基づいてデジタルの画像データを生成する。生成された画像データは、データバス１０２及びメモリコントローラ１０５を介してＤＲＡＭ１０６に記憶される。
【００１７】
デジタルカメラは、ＤＲＡＭ１０６が記憶した複数の画像データから、ディスプレイ１１１で表示すべき画像データを生成する表示回路１１２と、生成された画像データをアナログ画像信号に変換して出力するＤＡコンバータ１２９とを備える。また、信号処理回路１１０及び表示回路１１２は、互いにデータバス１０２を介して接続されている。
【００１８】
また、デジタルカメラは、データバス１０２に接続されたメモリカードコントローラ１１３及びシステム記憶部コントローラ１１５と、Ｉ／Ｏ１２５、ＣＰＵ１０３とを備え、これらも又データバス１０２を介して互いに接続されている。
【００１９】
さらに、デジタルカメラは、ＤＲＡＭ１０６に接続されると共に、データバス１０２に接続するメモリコントローラ１０５を備える。モードスイッチ１２１、操作スイッチ１２２及びシャッタスイッチ１２３はＩ／Ｏ１２５に接続されている。メモリカードコントローラ１１３は、メモリカード１０７にコマンド発行及びデータ転送をするように構成されている。
【００２０】
データバス１０２は、信号処理回路１１０及び／又は表示回路１１２からの要求に応じて、画像データの撮影又は画像データの再生時に画像データを伝送する。メモリコントローラ１０５は、データバス１０２からＤＲＡＭ１０６へのアクセス要求を受け、これを調整しながらＤＲＡＭ１０６へのアクセス信号を生成し、ＤＲＡＭ１０６へのデータの書き込みや、ＤＲＡＭ１０６からのデータの読み出しを実行する。そしてＣＰＵ１０３は、システム記憶部１０４が記憶するプログラムに従ってデジタルカメラのシーケンスを制御する。
【００２１】
モードスイッチ１２１が撮影モードを示すとき、デジタルカメラは撮影動作を行う。ユーザがシャッタスイッチ１２３を押す前に、デジタルカメラはＥＶＦの動作を開始する。ＥＶＦとは電子ビューファインダのことである。電子ビューファインダは、信号処理回路１１０によって生成される画像データをディスプレイ１１１に繰り返し表示することにより、ユーザに対して撮影されようとしている被写体を示す機能である。以後ＥＶＦと表記する。
【００２２】
レンズ１１９により、被写体像が撮像センサ１０９に結像される。撮像センサ１０９は被写体像をアナログ画像信号からなる電気信号に変換し、これをＡＤコンバータ１２８に出力する。ＡＤコンバータ１２８はこれをデジタル値に変換し、デジタルの画像データとして信号処理回路１１０に出力する。信号処理回路１１０は生成した画像データをデータバス１０２及びメモリコントローラ１０５を介して、一旦ＤＲＡＭ１０６に記憶する。以上の動作は撮像センサ１０９の読み出しを周期として繰り返し行われる。
【００２３】
表示回路１１２はＤＲＡＭ１０６から過去に蓄積された画像データを読み出し、これをＤＡコンバータ１２９を介してディスプレイ１１１に出力する。この動作もディスプレイ１１１へのデータ転送を周期として繰り返し行われる。
【００２４】
撮影動作の繰り返しと表示動作の繰り返しにより、レンズ１１９より撮像センサ１０９に入射した像は動画像としてディスプレイ１１１に表示され、デジタルカメラはＥＶＦの動作を実現する。
【００２５】
ＥＶＦ動作中にはオートフォーカス（これよりＡＦという）も行われる。本実施形態１において述べるデジタルカメラにおいては、ＥＶＦ動作中に、例えば被写体の顔を判定する必要がある。よってたとえＥＶＦ動作中に被写体の画角や距離等が変化しても、被写体に対して連続して合焦点動作を行うコンティニュアスＡＦを行う。コンティニュアスＡＦは、焦点の評価を信号処理回路１１０が１フレームの画像データを生成する毎に繰返し行い、その都度レンズ１１９を合焦点に向けて移動する方法であり、動画像撮影を行う撮像装置において一般的に行われているＡＦ方法である。
【００２６】
表示回路１１２は、デジタルカメラの設定状態を示すアイコン画像や、測距枠などの他、ＥＶＦ表示中の被写体について有効な写真（対象被写体について撮影済みと判定できる写真）が撮られているかどうかの撮影状態を示す情報を表示する機能も備える。信号処理回路１１０が画像データを生成する領域とは別に、オーバーレイ表示する画像データが記憶される領域がＤＲＡＭ１０６に設定される。表示回路１１２は、この画像データとファインダ画像を用いてファインダ画像にオーバーレイ画像を重ねた形でディスプレイ１１１に表示する。よってＣＰＵ１０３がオーバーレイ画像領域に描画を行うと、その画像はファインダ画像に重ねて表示される。
【００２７】
本発明の実施形態１における撮像装置としてのデジタルカメラは、ユーザがシャッタスイッチ１２３を押した場合、静止画撮影動作を行う。
【００２８】
これにより、撮像センサ１０９は像を電気信号に変換し、これをＡＤコンバータ１２８に出力する。ＡＤコンバータ１２８はこれをデジタル値に変換し信号処理回路１１０に出力する。信号処理回路１１０は露出やホワイトバランス等を調整し、さらにデータの圧縮処理を行い、生成した圧縮画像データをデータバス１０２及びメモリコントローラ１０５を介して、一旦ＤＲＡＭ１０６に記録する。メモリカードコントローラ１１３はＤＲＡＭ１０６上に生成された圧縮画像データをメモリカード１０７に記憶する。
【００２９】
さらに本デジタルカメラは、特徴検出回路１００及び特徴検出に必要なパラメータ値を保持するパラメータ保持部１０１を備える。パラメータ保持部１０１が保持するパラメータ値は書き換え可能で、人間の顔、動物、魚、風景といった被写体の特徴を記憶することが可能である。また本実施形態におけるデジタルカメラは、特徴値を一時記憶する特徴値記憶回路１３０及び特徴値の比較を行う特徴値比較回路１３１を備える。
【００３０】
システム記憶部１０４には、人間の顔の特徴を示す値、例えば顔の輪郭、目、鼻、口の位置関係を数値化した顔画像データの値が記録されていて、被写体から顔画像領域部分をサーチする場合は、この顔画像データの値をパラメータ保持部１０１に設定する。
【００３１】
特徴検出回路１００は、入力される画像データとパラメータ保持部１０１に設定されたパラメータ値に基づき所望の特徴を示す顔画像データを画像データから検出する。さらにこの顔画像データの座標及び所望の特徴を示す部分の特徴値を演算する。ＣＰＵ１０３はこれらの値をデータバスを介して読み取ることが可能であるように本デジタルカメラは構成されている。
【００３２】
特徴検出回路２００はパラメータ値を変更することによって、例えば人間の顔、動物の顔、魚、数字、景色、といった特徴を検出することが可能である。
【００３３】
また、本デジタルカメラは、過去に撮影されて蓄積されている登録顔画像データから生成した特徴値を、メモリカード１０７またはシステム記憶部１０４に保存しておくことが可能である。特徴値記憶回路１３０は保存されていた特徴値を記憶する回路で、ＣＰＵ１０３は、顔画像データの特徴値を特徴値記憶回路１３０に転送することが可能である。
【００３４】
特徴値比較回路１３１は特徴値を比較する回路であり、特徴検出回路１００が出力する特徴値と特徴値記憶回路１３０が記憶する登録顔画像データの特徴値を比較し、一致の度合いを演算する。ＣＰＵ１０３は特徴値比較回路１３１が演算した結果を読み出すことが可能である。
【００３５】
有効被写体判定回路１４１は、ＥＶＦ表示画像内の被写体について有効な被写体であるかどうかを判定する回路である。有効被写体判定回路１４１では、ＤＲＡＭ１０６が記憶したデジタル画像データの被写体について有効な被写体であるかを判定するための有効判定条件を参照する。尚、有効判定条件設定回路１４２が、ＤＲＡＭ１０６が記憶したデジタル画像データの被写体について有効な被写体であるかを判定するための有効判定条件を有効被写体判定回路１４１に設定する。
【００３６】
次に、図２に示すフローチャートを用い、図１で説明した本発明の実施形態１に係る撮像装置としてのデジタルカメラの動作を説明する。
【００３７】
ここでは検出する対象を人物とし、パラメータ保持部１０１には人物の顔の特徴を示す顔画像データの特徴値をあらかじめ記録しておく。また、本実施形態１では、ＥＶＦ表示画像に対して顔画像データの検出を行う。そして検出された顔画像データが、有効被写体判定回路１４１に設定した条件における有効被写体として判定されれば、撮影済み枚数あるいは未撮影被写体情報を表示し、無効被写体であれば未撮影被写体情報を提示する動作モードを例に説明する。どのカテゴリ（既撮影被写体／未撮影被写体、有効被写体／無効被写体）の被写体について撮影情報を提示するかは、図３に例示するメニューで選択できる。図３においては、有効被写体と無効被写体について、既撮影被写体であるか未撮影被写体であるかの表示をさせるか否かの設定が可能である。設定は表示されたチェックボックスのチェックにより行う。これは、操作スイッチ１２２のいずれかで行う。
【００３８】
本デジタルカメラは、撮影された画像データより顔の特徴値を含む顔画像データを生成し、さらにＥＶＦ使用時にファインダ画像データに含まれる顔の顔画像データを検出する。そして、検出された顔画像データの特徴値とデータベースが保有する登録顔画像データの特徴値を比較し、一致回数及び検出された顔画像データをディスプレイ１１１を用いてＥＶＦ画面上に表示する。
【００３９】
まず、ステップＳ２０１にて、ＣＰＵ１０３は、ディスプレイ１１１の制御と撮影動作を開始するためのシャッタスイッチ１２３の操作の待機を開始する。ステップＳ２０２では、ＣＰＵ１０３はＥＶＦを起動すると共に、コンティニュアスＡＦにより被写体に焦点を合わせつづけるよう不図示の焦点調節機構を制御する。ステップＳ２０３では、画角の変化が所定の閾値を超えるかどうかを検出する。画角の変化が検出された場合、ＣＰＵ１０３は顔画像データの検出処理を開始するが、その説明は後で行う。
【００４０】
ステップＳ２０４では、ＣＰＵ１０３は撮影の操作としてシャッタスイッチ１２３が押されたかどうかを確認する。シャッタスイッチ１２３が押されていない場合はステップＳ２０３にもどり処理を繰り返す。
【００４１】
ステップＳ２０４で、ＣＰＵ１０３はユーザがシャッタスイッチ１２３を押したと確認すると、処理をステップＳ２０５に進め、撮影を開始する。ステップＳ２０５では、撮像センサ１０９上に結像した被写体像は電気信号に変換され、信号処理回路１１０での画像信号処理により露出、ホワイトバランス調整などがなされ、メモリ上に画像データとして記憶される。さらに圧縮画像データがＤＲＡＭ１０６の異なる領域に生成される。ＣＰＵ１０３はこの画像データを圧縮し、更に圧縮された画像データはメモリカード１０７に転送される。
【００４２】
ステップＳ２０６では、ＣＰＵ１０３はメモリカードコントローラ１１３が備えるＤＭＡ（ダイレクトメモリアクセス）機能を起動することにより、画像データをメモリカード１０７への転送動作を開始する。
【００４３】
ステップＳ２０７にて、ＣＰＵ１０３は顔画像データの検出処理を開始する。このときＣＰＵ１０３は、ＤＲＡＭ１０６内に記憶された登録顔画像データをデータバス１０２を介して特徴検出回路１００に転送する。特徴検出回路１００は転送された画像データに対して公知の顔画像データ検出技術を用いることにより、顔画像データの検出を行い、画像データ中における顔の位置情報と特徴的な部位情報を抽出する。なお、顔の特徴的な部位情報とは、例えば目、鼻、口等の画像情報等のことである。
【００４４】
また、公知の顔画像データ検出技術としては、ニューラルネットワークに代表される学習を用いた方法、目や鼻といった物理的な形状の特徴のある部位を顔画像データのテンプレートマッチングを用いた手法が提案されている。さらには、肌の色や目の形といった顔画像データの特徴量を検出し統計的解析を用いた手法なども提案されている。これらは例えば特開平１０−２３２９３４号公報や特開２０００−４８１８４号公報で提案されており、一般的にはそれらの方法の複数の組み合わせてより正確な顔画像領域の認識するのが一般的である。
【００４５】
ステップＳ２０８では、ステップＳ２０７にて検出した被写体人物について有効被写体条件を満たす画像として撮影されたかどうかをチェックする。これは対象の被写体人物について、再生時に十分確認できる写真を撮影するためである。これは、有効判定条件設定回路１４２が、ＤＲＡＭ１０６が記憶したデジタル画像データの被写体について有効な被写体であるかを判定するための有効判定条件にしたがって、有効被写体判定回路１４１で判定される。
【００４６】
本実施形態１における有効な被写体画像の条件について、図４乃至図８を用いて説明する。図４は、被写体が表示画像枠１０内の特定の有効被写体範囲枠２０内に存在することを有効被写体の条件とする例を示している。ここでは、４人の人物Ａ乃至Ｄが表示画像枠１０内に存在し、そのうち人物Ａは、有効被写体範囲枠２０外に存在し、人物Ｂ乃至Ｄの３人が有効被写体範囲枠２０内に存在する例を示す。
【００４７】
図４において、有効被写体条件を満たしているが、既に以前撮影され登録された人物については顔画像データ枠を実細線で表示すると共に、その近傍に数字を表示し、これまで有効被写体画像として登録された登録顔画像データの回数を提示する。したがって、人物Ｂはこれまで２回、人物Ｃはこれまで３回登録された有効被写体画像として顔画像データが確認された事を示す。
【００４８】
また、図４において、有効被写体条件を満たす未登録の人物（人物Ｄ）については顔画像データ枠を太実線で表示し、有効被写体条件を満たさない未登録の人物（人物Ａ）については顔画像データ枠を太点線で表示する。撮影時に個々の被写体人物についての撮影済み回数をカウントする対象は、有効被写体条件を満たす被写体のみとする。したがって、顔画像データ枠を実線表示している被写体の人物の顔画像データのみが計数対象であることは容易に判断することができる。
【００４９】
また、図４で図示した有効被写体範囲枠２０については、図５の（ａ）及び（ｂ）に示すように、画面左上に表示されるアイコン２１を操作して有効被写体範囲枠２０の大きさや位置を変更することができる。このときアイコン操作は前述した十字キーやセットボタン、キャンセルボタン等のスイッチを使用する。デフォルトの有効被写体範囲枠２０としては、最も撮影済み回数の多い既ユーザを含む周囲の人物を取り囲む範囲を自動的に設定するようにしても良いし、画面全体に対して一定比率の縮小領域を画面中央に設定するようにしても良い。
【００５０】
図６は、表示画像枠１０内の人物Ａ乃至Ｄの顔画像データが十分な大きさで撮影されていることを有効被写体条件とする例を示している。十分な大きさとは、他の最も大きなサイズで写っている被写体に対して相対的に一定以上の割合の大きさとしても良いし、これまで有効被写体画像として撮影された人物の顔画像データの平均値に対して相対的に一定以上の割合の大きさとしても良い。この割合値は図示しないメニュー画面にてユーザが任意に設定できる。
【００５１】
図７は、表示画像枠１０内の被写体人物の特徴情報（目、口、耳）が写っていることを有効被写体条件とする例を示している。有効被写体条件となる顔画像データの特徴情報は、図８に図示する設定メニューにてユーザ側で設定できる。たとえば、図７において、人物Ａは顔画像データが欠如しているので有効被写体条件を満たさないと判断される。
【００５２】
以上説明した有効被写体条件は有効判定条件設定回路１４２で、有効被写体判定回路１４１に設定され、上記の組合わせによる判定処理を行う。そして、図８で設定した有効被写体条件にて有効な被写体の顔画像データとして判定された場合にはステップＳ２０９に進み、顔画像データの特徴値の記録を行う。
【００５３】
ステップＳ２０９でＣＰＵ１０３は、特徴検出回路１００より顔画像データの顔の位置及び顔の特徴値を読出し、これをＤＲＡＭ１０６に記憶する。さらにＣＰＵ１０３はシステム記憶部１０４あるいはメモリカード１０７に記録されているデータベース化された登録顔画像データの特徴値を読み出し、これをＤＲＡＭ１０６上に展開する。さらにＣＰＵ１０３は、ここで求めた特徴値をこのデータベースに追記する。データベースは特徴値を検索可能な形態で記録され、撮影により顔画像データが検出されるごとに蓄積されていく。追記されたデータベースはシステム記憶部１０４あるいはメモリカード１０７に保存される。その後ＣＰＵ１０３はステップＳ２０３に処理を戻し、再びシャッタスイッチ１２３が操作されるまで待機する。
【００５４】
なお、データベースの作成は、撮影されてメモリカード１０７に保存された画像と等価な画像データを用いて行う。これは、本機能の目的が、すでに撮影された人物とそうでない人物とを区別することであるからである。次の撮影で判定を行う必要があるため、顔画像データの特徴値の保存は、次の撮影の前までに行う。
【００５５】
次に、ＥＶＦ中における顔画像データの検索と検索結果の表示について説明する。実施形態１に係るデジタルカメラは、上述で説明した図２の処理を行うことによりＥＶＦを動作させる。ＣＰＵ１０３は、ＤＲＡＭ１０６上にＥＶＦ表示用画像が生成する。表示回路１１２はこれをディスプレイ１１１に表示する。
【００５６】
ステップＳ２０３にて画角変化が検出されたとき、ＣＰＵ１０３は処理をステップＳ２１０に進める。画角変化は、例えばオートフォーカスの評価値の変化や露出評価値の変化によって検出する。オートフォーカスの評価値は信号処理回路１１０に入力される画像の領域ごとのコントラストを示す値である。レンズの焦点が固定されている状況において画角が変化した場合、領域ごとのコントラスト値は変化する。
【００５７】
ステップＳ２１０においては、ＣＰＵ１０３はＤＲＡＭ１０６上に生成された画像データの顔画像データを特徴検出回路１００に送ることにより、ＥＶＦ画像から顔画像データの位置を検出する。さらにその顔画像データより顔の特徴値を抽出する。
【００５８】
本実施形態１のデジタルカメラは、顔画像データの検索処理に関して、顔画像データの周囲を囲む長方形の顔画像データ枠の座標、及び検索一致の回数を記憶する変数を備える。検索一致の回数を記憶する変数の初期値は零である。
【００５９】
ステップＳ２１０にて、顔画像データが検出されたら、ステップＳ２１１にて検出された顔画像データの周囲を囲む長方形の角の顔画像データ枠の座標位置を記憶する。次にステップＳ２１２にて、顔画像データが検出された被写体に対して有効被写体条件を満たす有効な被写体画像であるかどうかをチェックする。有効な被写体か無効な被写体かによってＥＶＦ表示方法を切り替えるため、有効な被写体画像と判定されればステップＳ２１３へ遷移し、無効な被写体画像と判定されればステップＳ２２０へ遷移する。ステップＳ２１３にて、ＣＰＵ１０３はデータベースに蓄積された登録顔画像データの特徴値を順に読み出す。
【００６０】
ステップＳ２１４では、ＣＰＵ１０３はデータベースから読み出した顔画像データの特徴値を特徴値記憶回路１３０に転送する。この結果、特徴値比較回路１３１はステップＳ２１３にてデータベースより読み出された顔画像データの特徴値とステップＳ２１０にて検出された顔画像データの特徴値とを比較する。ＣＰＵ１０３は、比較結果を特徴値比較回路１３１より読み出し、結果の判定を行う。比較の結果、両特徴値が一致しない場合は、ＣＰＵ１０３は処理をステップＳ２１６に進める。
【００６１】
ステップＳ１１５では、ＣＰＵ１０３は、比較の一致回数を計数し、ＤＲＡＭ１０６に記憶する。またステップＳ２１６では、データベースから次の画像データの特徴値を読み出し、ステップＳ２１０にて検出された顔画像データの特徴値と比較する。すべてのデータベースの読み出しが終了したらステップＳ２１７に遷移する。
【００６２】
ステップＳ２１７では上記の比較結果である一致回数をチェックし、当該の被写体が未撮影であったか既撮影であったかを判定する。
【００６３】
未撮影の被写体であったらステップＳ２１８にて、図４の太実線に示すようにステップＳ２１１にて記憶した顔画像データに未撮影の有効被写体である事を示す太実線の枠線を表示する。しかし、既撮影の被写体であったらステップＳ２１９にて、図４の細実線に示すように、既撮影の有効被写体であることを示す細実線の枠線とともに撮影済みの回数を表示する。
【００６４】
ステップＳ２１２にて無効な被写体であると判定したら、ステップＳ２２０にて、ＣＰＵ１０３はデータベースに蓄積された顔画像データの特徴値を順に読み出す。ステップＳ２２１では、ステップＳ２１４と同様にデータベースとの比較を行い、一致した場合には撮影操作に戻る。これは、画面表示の煩雑化をさけるために撮影済みの被写体については、撮影情報表示をしないからである。
【００６５】
無効な被写体で既撮影の被写体について撮影済み回数を提示するモードで動作する場合には、すべてのデータベースをチェックして得られる回数情報を提示すればよい。
【００６６】
ステップＳ２２２にて、データベースとの一致が検知されずにデータベースの読み出しが終了したら、ステップＳ２２３で、図４の太破線に示すように、ステップＳ２１１にて記憶した顔画像データに未撮影の無効被写体である事を示す太破線の枠線を表示する。以上により、画角に表示された人物ごとに撮影回数が表示される。よってレンズを向けることにより未撮影の人を発見することが可能となり、撮影されない人を無くすことが可能となる。
【００６７】
＜実施形態２＞
実施形態２として、顔画像データの検出をオートフォーカス（これよりＡＦという）完了後に行う例を示す。本実施形態２で行われるＡＦは、その場面において一度だけ焦点調整を行うワンショットＡＦである。
【００６８】
図９に示すフローを用いて本実施形態２の撮像装置であるデジタルカメラの動作を説明する。本デジタルカメラはシャッタスイッチ１２３の操作として、押していない状態、半押し状態、全押し状態を検出可能なスイッチを使用する。本デジタルカメラにおいては、半押し（ＳＷ１）時にワンショットＡＦ起動、全押し（ＳＷ２）時に撮影が行われるように構成される。
【００６９】
ステップＳ３０１にて、ＣＰＵ１０３は、ＥＶＦの制御と撮影動作を開始するためのシャッタスイッチ１２３操作の待機を開始する。次にステップＳ３０２にて、ＣＰＵ１０３はＥＶＦを起動する。ステップＳ３０３では、シャッタスイッチ１２３の操作の状態を検出する。半押し（ＳＷ１）が検出された場合、ＣＰＵ１０３は処理をステップＳ３２０に進め、ワンショットＡＦを開始する。図１０に示すワンショットＡＦ実行時のＥＶＦ表示例のように合焦枠３０は提示される撮影情報と区別できる線の太さ、種類、色で区別できるようにオーバーレイ表示する。本実施形態２のデジタルカメラはＡＦ後、ステップＳ３１１乃至Ｓ３２３にて実施形態１のステップＳ２１０乃至Ｓ２２３と同様の顔画像データの検出処理を開始する。
【００７０】
ワンショットＡＦが達成されると、ＣＰＵ１０３は処理をステップＳ３０４に進め、シャッタスイッチ１２３が全押し（ＳＷ２）されたかどうかを確認する。ステップＳ３０４にて、シャッタスイッチ１２３が全押し（ＳＷ２）されていない場合は処理をステップＳ３０３に戻し処理を繰り返す。
【００７１】
撮影はシャッタスイッチ１２３を押すことにより行われる。ここでユーザがシャッタスイッチ１２３を半押し（ＳＷ１）し、さらに全押し（ＳＷ２）したとする。ステップＳ３０４にてシャッタスイッチ１２３が全押し（ＳＷ２）されたとき、ＣＰＵ１０３は処理をステップＳ３０５に進め、撮影が開始される。
【００７２】
撮像センサ１０９上に結像した像は電気信号に変換され、信号処理回路１１０により露出、ホワイトバランス調整などがなされ、メモリ上に画像データとして記憶される。さらに信号処理回路１１０は圧縮画像データを生成し、ＤＲＡＭ１０６の異なる領域にこれを記録する。
【００７３】
ステップＳ３０６にて、ＣＰＵ１０３はメモリカードコントローラ１１３が備えるＤＭＡ（ダイレクトメモリアクセス）機能を起動することにより圧縮画像データをメモリカード１０７に転送することを開始する。
【００７４】
さらにＣＰＵ１０３は、ステップＳ３０７にて画像データの検出処理を開始する。このときデジタルカメラは、メモリ上に生成された画像データを特徴検出回路１００に転送し、特徴検出回路１００は人物の顔画像データの特徴的部位が存在するかを画像データ内の各部分について行う。
【００７５】
顔の特徴的部位が存在した場合、顔画像データが含まれるが、さらに特徴検出回路１００は目、口、鼻の位置関係などより顔画像データの特徴値を抽出する。これは人物を判断するために必要な特徴値である。
【００７６】
ステップＳ３０８では、実施形態１のステップＳ２０８と同様に顔画像データを検出した被写体人物について有効な被写体画像として撮影されたかどうかをチェックする。有効写真として判定された場合にはステップＳ３０９に進み、顔画像データの特徴値の記録を行う。
【００７７】
ステップＳ３０９にて、ＣＰＵ１０３は、特徴検出回路１００より顔画像データの特徴値と顔の画像データを読み出し、これをあらかじめＤＲＡＭ１０６上に展開されたデータベースに追記する。データベースには顔画像データの特徴値が検索可能な形態で記憶され、撮影ごとに特徴値が蓄積されていく。
【００７８】
そしてＣＰＵ１０３は処理をステップＳ３０３に戻し、再びシャッタスイッチ１２３が半押し（ＳＷ１）されるまで待機する。データベースを作成するのは、撮影され、メモリカード１０７に保存された画像データと等価な画像データを用いて行う。これは、本機能の目的が、すでに撮影された人物とそうでない人物を区別することであるからである。
【００７９】
以上により、ＥＶＦに表示された人物ごとに撮影回数が表示される。よってデジタルカメラのレンズを向けることにより未撮影の人物を発見することが可能となり、撮影されていない人物を無くすことが可能となる。
【００８０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給しても達成可能である。すなわち、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８１】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性の半導体メモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合もある。
【００８２】
しかし、さらにそのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８３】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる場合もあり得る。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００８４】
【図１】本発明の実施形態１に係る撮像装置の機能ブロック図である。
【図２】本発明の実施形態１に係る撮像装置の動作を説明するフローチャートである。
【図３】本発明の実施形態１に係る撮像装置の、表示の設定を行う電子ビューファインダ画面の１例を示す図である。
【図４】本発明の実施形態１に係る撮像装置の、有効被写体範囲を指定する電子ビューファインダ画面の１例を示す図である。
【図５】本発明の実施形態１に係る撮像装置の、有効被写体範囲の変更の説明に使用される電子ビューファインダ画面の１例を示す図である。
【図６】本発明の実施形態１に係る撮像装置の、有効被写体の判定を顔画像データの大きさで判断する動作の説明に使用される電子ビューファインダ画面の１例を示す図である。
【図７】本発明の実施形態１に係る撮像装置の、有効被写体の判定を顔画像データの欠如部分の有無で判断する動作の説明に使用される電子ビューファインダ画面の１例を示す図である。
【図８】本発明の実施形態１に係る撮像装置の、有効被写体の判定条件を設定する動作の説明に使用される電子ビューファインダ画面の１例を示す図である。
【図９】本発明の実施形態２に係る撮像装置の動作を説明するフローチャートである。
【図１０】本発明の実施形態２に係る撮像装置の、有効被写体の判定条件を設定する動作の説明に使用される電子ビューファインダ画面の１例を示す図である。
【出願人】 【識別番号】０００００１００７
【氏名又は名称】キヤノン株式会社
【出願日】 平成１８年７月６日（２００６．７．６）
【代理人】 【識別番号】１０００７６４２８
【弁理士】
【氏名又は名称】大塚 康徳

【識別番号】１００１１２５０８
【弁理士】
【氏名又は名称】高柳 司郎

【識別番号】１００１１５０７１
【弁理士】
【氏名又は名称】大塚 康弘

【識別番号】１００１１６８９４
【弁理士】
【氏名又は名称】木村 秀二
【公開番号】 特開２００８−１７２１１（Ｐ２００８−１７２１１Ａ）
【公開日】 平成２０年１月２４日（２００８．１．２４）
【出願番号】 特願２００６−１８６９７４（Ｐ２００６−１８６９７４）