| 【発明の名称】 |
人物認証装置 |
| 【発明者】 |
【氏名】中川 直之 【住所又は居所】神奈川県横浜市神奈川区守屋町3丁目12番地 日本 ビクター株式会社内
|
| 【要約】 |
【課題】人物認証精度を向上させる人物認証装置を提供する。
【解決手段】顔画像データに基づいて人物認証を行った後、左右の顔の非対称性に基づいて、本人が指定した方法により入れ替えて本人の顔画像データを記憶する記録部13と、顔画像の各部の入れ替え方法を入力する入力部11と、入れ替えられて暗証化された顔画像データを得る変換部12と、変換部12で入れ替えられた顔画像データと記録部13に記憶されている本人の顔画像データとが一致するかどうかを判断して、一致した場合には、一致結果を出力すると共に、記録部13の顔画像データを更新し、一致しない場合には、再度、顔画像の各部の入れ替え方法を入力部11に入力し、所定回数繰り返した後でも一致しない場合に不一致結果を出力する第2認証部14と、からなる。 |
【特許請求の範囲】
【請求項1】 顔画像データに基づいて人物認証を行う人物認証装置において、 人物画像データを入力する画像データ入力部と、 前記人物画像データから前記人物の顔画像のみを抽出する顔領域検出部と、 前記顔画像の各部毎の部分画像データを検出する特徴量検出部と、 前記部分画像データから画像演算処理を行って、前記顔画像データを作成する特徴量演算画像処理部と、 予め本人の顔画像データが記憶されている第1特徴量記録部と、 前記特徴量演算画像処理部で作成された前記顔画像データが前記第1特徴量記録部に記憶されている前記本人の顔画像データに一致するかどうかを判断して、前記人物が本人であると一致した場合には、一致結果を出力すると共に、前記第1特徴量記録部の顔画像データを更新する第1認証結果を、一致しない場合には、前記画像データ入力部に、再度、前記人物画像データを入力し、所定回数繰り返した後でも一致しない場合に不一致結果を出力する前記第1認証結果を出力する第1認証部と、 更に、前記第1認証結果で前記人物が本人であると認証された場合、左右の顔の非対称性を利用して、予め前記本人の顔画像の各部を指定した入れ替え方法により入れ替えて作成した顔画像データを記憶する第2特徴量記録部と、 前記本人が指定した顔画像の各部の入れ替え方法を入力する暗証キー入力部と、 前記入れ替え方法により入れ替えられた顔画像データを得る特徴量変換部と、 前記特徴量変換部で入れ替えられた顔画像データと前記第2特徴量記録部に記憶されている前記本人の顔画像データとが一致するかどうかを判断して、一致した場合には、一致結果を出力すると共に、前記第2特徴量記録部の顔画像データを更新する第2認証結果を、一致しない場合には、再度、前記本人が指定した顔画像の各部の入れ替え方法を前記暗証キー入力部に入力し、所定回数繰り返した後でも一致しない場合に不一致結果を出力する第2認証結果を得る第2認証部と、 からなることを特徴とする人物認証装置。 【請求項2】 顔画像データに基づいて人物認証を行う人物認証装置において、 人物画像データを入力する画像データ入力部と、 前記人物画像データから前記人物の顔画像のみを抽出する顔領域検出部と、 前記顔画像の各部毎の部分画像データを検出する特徴量検出部と、 前記部分画像データから画像演算処理を行って、前記顔画像データを作成する特徴量演算画像処理部と、 予め本人の顔画像データが記憶されている第1特徴量記録部と、 前記特徴量演算画像処理部で作成された前記顔画像データが前記第1特徴量記録部に記憶されている前記本人の顔画像データに一致するかどうかを判断して、前記人物が本人であると一致した場合には、一致結果を出力すると共に、前記第1特徴量記録部の顔画像データを更新する第1認証結果を、一致しない場合には、前記画像データ入力部に、再度、前記人物画像データを入力し、所定回数繰り返した後でも一致しない場合に不一致結果を出力する前記第1認証結果を出力する第1認証部と、 更に、前記第1認証結果で前記人物が本人であると認証された場合、左右の顔の非対称性を利用して、予め前記本人の顔画像の各部を指定した入れ替え方法により入れ替えて作成した顔画像データを記憶する第2特徴量記録部と、 前記本人が指定した顔画像の各部の入れ替え方法を入力する暗証キー入力部と、 前記第2特徴量記録部に記憶されている顔画像データを前記暗証キー入力部に入力した入れ替え方法により、実際の本人の顔画像データを出力する特徴量変換部と、 前記特徴量変換部から出力される前記実際の本人の顔画像データと前記第1認証結果で得られた本人の顔画像データとが一致するかどうかを判断して、一致した場合には、一致結果を出力すると共に、前記第2特徴量記録部の顔画像データを更新する第2認証結果を、一致しない場合には、再度、本人が指定した顔画像部の各部の入れ替え方法を前記画像キー入力部に入力し、所定回数繰り返した後でも一致しない場合に不一致結果を出力して、前記第2認証結果を得る第2認証部と、 からなることを特徴とする人物認証装置。
|
【発明の詳細な説明】【0001】 【発明の属する技術分野】 本発明は、人物の顔画像データから人物認証を行う人物認証装置に関する。 【0002】 【従来の技術】 従来の人物認証装置においては、認証精度の向上のために複数の画像データを用いて、認証にふさわしい画像データから特徴量を検出することを特徴としている。 【0003】 特開平6−259534号公報には、カメラから入力された信号をディジタル信号に変換し、決められた信号フォーマットに変換した画像データをフレーム単位で入力する画像データ入力部と、前記画像データの中から顔領域を検出する顔領域検出部と、前記顔領域から特徴量を検出する特徴量検出部と、人物認証を行う認証基準値を記憶する認証基準値記録部と、前記特徴量を前記認証基準値と比較することにより前記特徴量が有効か否かを認証する有効フレーム認証部と、前記有効フレーム認証部の認証結果が無効の場合、入力指示信号を前記画像データ入力部に送り、有効の場合、有効画像データの枚数を増やし、特徴量記録指示信号及び演算開始信号を出力すると共に前記入力指示信号を前記画像データ入力部に送る制御部と、前記有効フレーム認証部で有効と認証された場合、前記特徴量記録指示信号に基づいて前記特徴量を複数フレーム分蓄える有効特徴量記録部と、前記制御部から出力される演算開始信号に基づいて、前記複数フレーム分の特徴量に演算を施すことにより認証用特徴量を得る認証用特徴演算部と、予め顔特徴量を記憶した顔特徴量記録部と、前記顔特徴量記録部に記憶された顔特徴量と前記認証用特徴量を比較することにより前記人物の認証を行う認証部と、からなるので、認証率の精度が向上する人物認証装置が開示されている。 【0004】 【発明が解決しようとする課題】 しかしながら、認証率を向上させるために有効画像データが多量に必要とされるため、複雑な画像処理構成となっていた。 【0005】 そこで、本発明は上記問題に鑑みて成されたものであり、簡単な画像処理で人物認証精度を向上させる人物認証装置を提供することを目的とするものである。 【0006】 【課題を解決するための手段】 本願における第1の発明は、顔画像データに基づいて人物認証を行う人物認証装置において、人物画像データを入力する画像データ入力部と、前記人物画像データから前記人物の顔画像のみを抽出する顔領域検出部と、前記顔画像の各部毎の部分画像データを検出する特徴量検出部と、前記部分画像データから画像演算処理を行って、前記顔画像データを作成する特徴量演算画像処理部と、予め本人の顔画像データが記憶されている第1特徴量記録部と、前記特徴量演算画像処理部で作成された前記顔画像データが前記第1特徴量記録部に記憶されている前記本人の顔画像データに一致するかどうかを判断して、前記人物が本人であると一致した場合には、一致結果を出力すると共に、前記第1特徴量記録部の顔画像データを更新する第1認証結果を、一致しない場合には、前記画像データ入力部に、再度、前記人物画像データを入力し、所定回数繰り返した後でも一致しない場合に不一致結果を出力する前記第1認証結果を出力する第1認証部と、更に、前記第1認証結果で前記人物が本人であると認証された場合、左右の顔の非対称性を利用して、予め前記本人の顔画像の各部を指定した入れ替え方法により入れ替えて作成した顔画像データを記憶する第2特徴量記録部と、前記本人が指定した顔画像の各部の入れ替え方法を入力する暗証キー入力部と、前記入れ替え方法により入れ替えられた顔画像データを得る特徴量変換部と、前記特徴量変換部で入れ替えられた顔画像データと前記第2特徴量記録部に記憶されている前記本人の顔画像データとが一致するかどうかを判断して、一致した場合には、一致結果を出力すると共に、前記第2特徴量記録部の顔画像データを更新する第2認証結果を、一致しない場合には、再度、前記本人が指定した顔画像の各部の入れ替え方法を前記暗証キー入力部に入力し、所定回数繰り返した後でも一致しない場合に不一致結果を出力する第2認証結果を得る第2認証部と、からなることを特徴とする人物認証装置を提供する。 第2の発明は、顔画像データに基づいて人物認証を行う人物認証装置において、 人物画像データを入力する画像データ入力部と、前記人物画像データから前記人物の顔画像のみを抽出する顔領域検出部と、前記顔画像の各部毎の部分画像データを検出する特徴量検出部と、前記部分画像データから画像演算処理を行って、前記顔画像データを作成する特徴量演算画像処理部と、予め本人の顔画像データが記憶されている第1特徴量記録部と、前記特徴量演算画像処理部で作成された前記顔画像データが前記第1特徴量記録部に記憶されている前記本人の顔画像データに一致するかどうかを判断して、前記人物が本人であると一致した場合には、一致結果を出力すると共に、前記第1特徴量記録部の顔画像データを更新する第1認証結果を、一致しない場合には、前記画像データ入力部に、再度、前記人物画像データを入力し、所定回数繰り返した後でも一致しない場合に不一致結果を出力する前記第1認証結果を出力する第1認証部と、更に、前記第1認証結果で前記人物が本人であると認証された場合、左右の顔の非対称性を利用して、予め前記本人の顔画像の各部を指定した入れ替え方法により入れ替えて作成した顔画像データを記憶する第2特徴量記録部と、前記本人が指定した顔画像の各部の入れ替え方法を入力する暗証キー入力部と、前記第2特徴量記録部に記憶されている顔画像データを前記暗証キー入力部に入力した入れ替え方法により、実際の本人の顔画像データを出力する特徴量変換部と、前記特徴量変換部から出力される前記実際の本人の顔画像データと前記第1認証結果で得られた本人の顔画像データとが一致するかどうかを判断して、一致した場合には、一致結果を出力すると共に、前記第2特徴量記録部の顔画像データを更新する第2認証結果を、一致しない場合には、再度、本人が指定した顔画像部の各部の入れ替え方法を前記画像キー入力部に入力し、所定回数繰り返した後でも一致しない場合に不一致結果を出力して、前記第2認証結果を得る第2認証部と、からなることを特徴とする人物認証装置を提供する。 【0007】 【発明の実施の形態】 本発明の実施形態における人物認証装置について図1乃至図9を用いて説明する。 図1は、本発明の実施形態における人物認証装置を示す概略ブロック図である。 図2は、顔画像を示す図である。図3は、顔画像の特徴量をサンプリングする様子を示す図である。図4は、顔画像の部分を入れ替えて新たな顔画像を作成する場合を説明するための図であり、元の顔画像を示している。図5は、図4の顔画像の左顔をそのままに右顔を左顔で入れ替えた顔画像を示す図である。図6は、図4の顔画像の右顔をそのままに左顔を右顔で入れ替えた顔画像を示す図である。図7は、図4に酷似した人物認証を行う説明するための図であり、元の顔画像を示している。図8は、図4の顔画像の目と口を入れ替えた場合の顔画像を示す図である。図9は、本発明の実施形態における変形例を示す概略ブロック図である。 【0008】 図1に示すように、本発明の実施形態の人物認証装置は、カメラから入力された人物認証信号をディジタル信号に変換し、決められた信号フォーマットに変換した人物画像データをフレーム単位で入力する画像データ入力部1と、人物画像データから図2に示す顔画像のみを検出する顔領域検出部2と、第1顔領域検出部2から出力される顔画像の中から顔領域を調べ、エッジ情報を用いて、図3に示す顔表情の特徴点の眉8、目9、口10等の特徴量を検出する特徴量検出部3と、からなる。 【0009】 特徴量検出部3で検出された特徴量から明るさの調整、ノイズ除去、エッジ強調等の画像処理を行った後、顔領域の各部の相対距離、位置等の演算を行って顔画像データを作成する特徴量演算画像処理部4と、予め顔画像データを記憶する第1顔特徴量記録部5と、特徴量演算画像処理部4で作成された顔画像データが第1顔特徴量記録部5に記憶された顔画像データに一致するかどうかを判断して、一致した場合には、当該人物が本人であることを示す一致結果を出力すると共に、第1特徴量記録部5の顔画像データを更新し、一致しない場合には、制御部7を介して撮像条件等を変えて、画像データ入力部1に、再度人物画像データを入力し、所定回数以上の繰り返し入力した後でも一致しない場合に「当該人物が本人でない」と不一致結果を出力して、第1認証結果を出力する第1認証部6と、からなる。 【0010】 更に、第1認証部6で当該人物が本人であると認証された場合に、左右の顔の非対称性に基づいて、本人が指定した顔画像の各部の入れ替え方法を入力する暗証キー入力部11と、この入れ替え方法により入れ替えられて暗証化した当該人物の眉8、目9、口10等の特徴量の顔画像データを得る特徴量変換部12と、予め本人の顔画像の各部を指定した入れ替え方法により入れ替えて作成した顔画像データを記憶する第2特徴量記録部13と、特徴量変換部12で得られた顔画像データと第2特徴量記録部13に記憶されている本人の顔画像データとが一致するかどうかを判断して、一致した場合には、「当該人物が本人である」と認証されたことを示す第2認証結果を出力すると共に、第2特徴量記録部13の顔画像データを更新し、一致しない場合には、再度、本人が指定した顔画像の各部の特徴量の入れ替え方法を暗証キー入力部11に入力し、所定回数繰り返した後でも一致しない場合に「当該人物が本人ではない」との不一致結果を出力して、第2認証結果を得る第2認証部14と、からなる。 【0011】 制御部7は、CPUやROM、RAM等で構成され、予め決められた処理手順に従ってこの装置を動かすための信号を発生させるためのもので、ここでは、第1及び第2認証部6、14から出力された第1及び第2認証結果に基づいて、明るさやカメラの方向等の撮像条件等を変えて、人物画像データを取り直すための信号を画像データ入力部1及び再度の暗証キーを取り直すための信号を暗証キー入力部11に出力する。 【0012】 上記した当該人物が本人であることを特定する場合には、眉8の顔部分の特徴としては、眉頭、眉尻、その中間等があり、目9の特徴としては、目頭、目尻、その中間、上瞼、下瞼等があり、口10の特徴量としては、口角、上唇、下唇、開口等がある。特徴量とは、顔画像の構成要素の各部のサンプリンデータをいう。 【0013】 ここで、酷似した人物の場合には、顔画像のデータだけでは、本人と認識できないことがある。顔の非対称性を利用して、以下のように認識できる。 図4に示す元の顔画像の垂直方向の中心線を基準として、左顔をそのままに右顔を左顔で入れ替えた顔画像は、図5に示すように、おっとりした顔に見え、図4に示す元の顔画像から右顔をそのままに左顔を右顔で入れ替えた顔画像は、図6に示すように、きつい顔に見え、異なった顔画像の印象を受ける。即ち、顔画像の構成要素である眉、目、鼻、口等を任意に入れ替えることにより、別の顔になり、これらの構成要素の入れ替え方法により多数の顔を作成することができる。 以下での入れ替え方法において、左、右、左顔或いは右顔と言う時は、顔画像の垂直方向の中心線を基準として、紙面に向かって左を左、右を右と言うことにする。 【0014】 実際的には以下のようにして行うことができる。 まず、顔の構成要素を眉、目、鼻、口、顔の輪郭とした場合、入れ替え方法は、入れ替えない場合(元顔画像)も含めると、4種類となる。 即ち、▲1▼入れ替えない場合、▲2▼左側をそのままに、右側を左側で入れ替えた場合、▲3▼右側をそのままに、左側を右側に入れ替えた場合、▲4▼左右を入れ替えた場合である。 【0015】 そして、特徴量変換部12で、▲1▼入れ替えない場合を暗証キー0、▲2▼左側をそのままに、右側を左側で入れ替えた場合を暗証キー1、▲3▼右側をそのままに、左側を右側に入れ替えた場合を暗証キー2、▲4▼左右を入れ替えた場合を暗証キー3に対応させて暗証化したとする。 図7に示す元の顔画像において、眉は、入れ替えなし、目は、左側をそのままに、左側を右側に入れ替え、鼻は、入れ替えなし、口は、左側をそのままに、右側を左側で入れ替え、顔の輪郭は、入れ替えないとする手順による入れ替え方法により作成した顔画像は、図8に示すようになる。この手順による入れ替え方法により作成した暗証キーによる顔画像データは、02010である。 【0016】 この際、前記した入れ替え手順により元の顔画像が入れ替えられ、かつ前記した顔の構成要素が暗証キーにより得られる顔画像データ02010が第2特徴量記録部13に記録されている場合には、図7に示す元の顔画像を前記した入れ替え手順により暗証キー入力部11に入力して、特徴量変換部12で暗証化して得られた図8に示す顔画像データと、第2特徴量記録部13に記録されている顔画像データとは一致することになるので、当該人物が本人であると認証できる。 【0017】 即ち、予め暗証キーにより顔画像データを第2特徴量記録部13に記憶させておくことにより、特徴量変換部12から出力された顔画像データに一致した場合にのみ当該人物が本人であると認証することができる。また、暗証キーに対応した顔画像データを第2特徴量記録部13に記憶させたことは、本人しか知り得ない情報であるため、当該人物が極めて類似している場合でも、精度良く人物認証でき、セキュリティを向上させることができる。 なお、暗証キーの入力は、元の顔画像の各構成要素を一旦特徴量変換部12でそれに対応する暗証キーに変換する方法以外に、暗証キーを直接画像暗証キー入力部11に入力する方法もある。この場合、特徴量変換部12は不要である。 【0018】 次に、その動作について説明する。 本発明の実施形態の動作は、顔画像による人物認証する第1段階を行った後、暗証キーに対応させた顔画像データにより人物認証する第2段階とによって行う。 (人物画像) まず、カメラの前に人物を立たせ、人物画像データを画像データ入力部1にフレーム単位で入力する。顔領域検出部2で画像データ入力部1に入力された人物画像データの中から図2に示す顔画像のみを検出する。特徴量検出部3で顔領域検出部2から出力された顔画像の中から顔領域を調べ、エッジ情報を用いて、図3に示す顔の特徴点の眉8、目9、口10等の特徴量を検出する。特徴量検出部3で検出された特徴量から画像処理を行った後、各部の相対距離、位置等の演算を行って、顔画像データの作成を特徴量演算画像処理部4で行う。 【0019】 次に、第1認証部6で第1特徴量演算画像処理部4で得られた顔画像データが第1特徴量記録部5に記憶された当該人物の顔画像データに一致するかどうかを判断して、一致した場合には、「当該人物が本人である」との一致結果を出力すると共に、第1特徴量記録部5の顔画像データを更新し、一致しない場合には、制御部7を介して撮像条件等を変えて、画像データ入力部1に、再度人物画像データを入力し、所定回数繰り返した後でも一致しない場合に「当該人物が本人でない」との不一致結果を出力して、第1認証結果を得る。第1認証部6で「当該人物は本人でない」と最終判断した場合には、以下の工程には進まない。通常は、この顔画像データの入力から第1認証結果までの第1段階の工程で十分である。 【0020】 しかし、極めて類似した人物(例えば双子)の場合には、上記した処理では同一人物とされてしまうことがあるので、更に精度を高めた人物特定を行う必要がある。このため、以下の第2段階の工程が必要である。 次に、第1認証部6で「当該人物が本人である」と認証された場合に、左右の顔の非対称性に基づいて、暗証キー入力部11に予め本人が指定した顔画像の各部の入れ替え方法を入力し、特徴量変換部12で、この入れ替え方法により入れ替えて暗証化した当該人物の眉8、目9、口10等の特徴量の顔画像データを得る。 【0021】 次に、特徴量変換部12で得られた顔画像データが第2特徴量記録部13に記憶されている当該人物の顔画像データに一致するかどうかを判断して、一致した場合には、「当該人物が本人である」と認証されたことを示す第2認証結果を出力すると共に、第2特徴量記録部13の顔画像データを更新し、一致しない場合には、再度本人が指定した顔画像の各部の特徴量の入れ替え方法を暗証キー入力部11に入力し、所定回数繰り返した後でも一致しない場合に「当該人物が本人でない」との不一致結果を出力して、第2記録結果を得る。 【0022】 この結果、最終的に当該人物が本人と認証された場合には、例えば扉の鍵が解除されることになる。当該人物が本人と認証されない場合には、例えば扉の鍵が解除されない。 【0023】 本発明の実施形態によれば、当該人物に良く似た替え玉をカメラの前に立たせたり、当該人物の写真をカメラの前にかざして第1段階をパスしても、本人が指定した入れ替え方法により顔画像の特徴量の入れ替えて第2特徴量記録部13に記憶させたことは、本人しか知り得ない情報であるため、第2段階はパスできない。このため、当該人物が極めて類似している場合でも、人物認証精度を向上させることができる。 【0024】 次に、本発明の実施形態の変形例について図9を用いて説明する。 本発明の実施形態と同一構成には同一符号を付し、その説明を省略する。 図9に示すように、本発明の実施形態の変形例は、本発明の実施形態において、 暗証キー入力部11と、予め本人の顔画像の各部を指定した入れ替え方法により入れ替えて作成した顔画像データを記憶する第2特徴量記録部13と、本人が指定した入れ替え方法により第2特徴量記録部13に記憶されている顔画像データを暗証キー入力部11に入力された入れ替え方法により、実際の本人の顔画像データを出力する特徴量変換部12と、この特徴量変換部12から出力される実際の顔画像データと第1認証結果で得られた本人の顔画像データとが一致するかどうかを判断して、一致した場合には、「当該人物が本人である」との一致結果を出力すると共に、第2特徴量記録部13の顔表情データを更新する第2認証結果を、一致しない場合には、再度、本人が指定した顔画像の各部の入れ替え方法を画像キー入力部11に入力し、所定回数繰り返した後でも一致しない場合に不一致結果を出力して、第2認証結果を得る第2認証部14と、からなるようにしたものであり、それ以外は同様である。 この場合も本発明の実施形態と同様な効果が得られる。 【0025】 【発明の効果】 本発明によれば、第1段階での「人物が本人である」との顔画像による認証が得られた場合でも、本人が指定した入れ替え方法により顔画像の特徴量の入れ替えて第2特徴量記録部に記憶させたことは、本人しか知り得ない情報であるため、第2段階はパスできない。このため、当該人物が極めて類似している場合でも、人物認証精度を向上させることができる。 【図面の簡単な説明】 【図1】本発明の実施形態における人物認証装置を示す概略ブロック図である。 【図2】顔画像を示す図である。 【図3】顔画像の特徴量をサンプリングする様子を示す図である。 【図4】顔画像の部分を入れ替えて新たな顔画像を作成する場合を説明するための図であり、元の顔画像を示している。 【図5】図4の顔画像の左顔をそのままに右顔を左顔で入れ替えた顔画像を示す図である。 【図6】図4の顔画像の右顔をそのままに左顔を右顔で入れ替えた顔画像を示す図である。 【図7】図4に酷似した人物認証を行う説明するための図であり、元の顔画像を示している。 【図8】図4の顔画像の目と口を入れ替えた場合の顔画像を示す図である。 【図9】本発明の実施形態における変形例を示す概略ブロック図である。 【符号の説明】 1…第1画像データ入力部、2…顔領域検出部、3…特徴量検出部、4…特徴量演算画像処理部、5…第1特徴量記録部、6…第1認証部、7…制御部、8…眉、9…目、10…口、11…暗証キー入力部、12…特徴量変換部、13…第2特徴量記録部、14…第2認証部
|
| 【出願人】 |
【識別番号】000004329 【氏名又は名称】日本ビクター株式会社 【住所又は居所】神奈川県横浜市神奈川区守屋町3丁目12番地
|
| 【出願日】 |
平成15年3月20日(2003.3.20) |
| 【代理人】 |
|
| 【公開番号】 |
特開2004−283290(P2004−283290A) |
| 【公開日】 |
平成16年10月14日(2004.10.14) |
| 【出願番号】 |
特願2003−77213(P2003−77213) |
|