画像認識カメラ

トップ :: H 電気 :: H04 電気通信技術

【発明の名称】	画像認識カメラ
【発明者】	【氏名】荻野亮司【氏名】田村健二【氏名】矢田学
【要約】	【課題】画像認識処理の認識性能を向上できる画像認識カメラを提供する。【構成】画像認識カメラは、原画像を人間の目に見える形式の画像に変換するカメラ信号処理部１０２と、カメラ信号処理部１０２で処理された画像から被写体を認識する画像認識処理部１０４と、画像認識処理部１０４の認識結果をフィードバックしてカメラ信号処理部１０２を制御するカメラ信号処理制御部１０３とを備える。画像認識処理の結果に応じてカメラ信号処理部１０２を制御して、認識処理に有利な画像を生成させることで、画像認識カメラとしての画像認識処理の性能を向上させることができる。

【特許請求の範囲】
【請求項１】
被写体の原画像の信号を生成する撮像素子と、
原画像を人間の目に見える形式の画像に変換するカメラ信号処理部と、
前記カメラ信号処理部で処理された画像から被写体を認識する画像認識処理部と、
前記画像認識処理部の認識結果をフィードバックして前記カメラ信号処理部を制御するカメラ信号処理制御部と、
前記カメラ信号処理部で処理された画像と前記画像認識処理部の認識結果を出力する結果出力部と、
を備えたことを特徴とする画像認識カメラ。
【請求項２】
前記カメラ信号処理制御部は、前記画像認識処理部の認識処理の実行結果に応じて、前記カメラ信号処理部のパラメータを変更し、前記画像認識処理部は、変更されたパラメータでカメラ信号処理した画像を再度、画像認識処理することを１回以上繰り返し、得られた２つ以上の結果から、最終的な認識結果を判断することを特徴とする請求項１記載の画像認識カメラ。
【請求項３】
前記カメラ信号処理制御部は、前記カメラ信号処理部のパラメータとしてＡＧＣゲイン値を変更することを特徴とする請求項２記載の画像認識カメラ。
【請求項４】
前記カメラ信号処理制御部は、前記カメラ信号処理部のパラメータとしてホワイトバランスを変更することを特徴とする請求項２または３に記載の画像認識カメラ。
【請求項５】
前記カメラ信号処理制御部は、前記カメラ信号処理部のパラメータとして露光設定を変更することを特徴とする請求項２ないし４のいずれかに記載の画像認識カメラ。
【請求項６】
前記画像認識処理部は、認識処理の実行結果が２つ以上ある場合に、それら複数の実行結果から最も信頼度が高い実行結果を選んで、最終的な認識結果を判断することを特徴とする請求項１ないし５のいずれかに記載の画像認識カメラ。
【請求項７】
前記画像認識処理部は、認識処理の実行結果が２つ以上ある場合に、それら複数の実行結果を平均化して、最終的な認識結果を判断することを特徴とする請求項１ないし５のいずれかに記載の画像認識カメラ。
【請求項８】
前記画像認識処理部は、画像認識処理に失敗した場合に、失敗した原因を解析する処理を行い、前記カメラ信号処理制御部は、解析結果に基づいて前記画像認識処理部が認識しやすい画像を生成するように前記カメラ信号処理部を制御し、前記画像認識処理部が再度画像認識処理を実行することを特徴とする請求項１ないし７のいずれかに記載の画像認識カメラ。
【請求項９】
前記画像認識処理部が、認識に失敗した原因が撮影した画像のぼけであると判断した場合に、前記カメラ信号処理制御部が、前記カメラ信号処理部の輪郭強調処理を強めることを特徴とする請求項８記載の画像認識カメラ。
【請求項１０】
前記画像認識処理部は、画像認識処理の実行途中で認識に失敗すると判断した場合は、画像認識処理を中断し、前記カメラ信号処理制御部は、画像認識処理が中断された場合に、前記画像認識処理部が認識しやすい画像を生成するように前記カメラ信号処理部を制御し、前記画像認識処理部が再度画像認識処理を実行することを特徴とする請求項１ないし７のいずれかに記載の画像認識カメラ。
【請求項１１】
前記原画像を処理して画像に変換するカメラ信号処理プログラムと画像から認識対象物を検出する画像認識処理プログラムと前記画像認識処理プログラムの結果と連動して前記カメラ信号処理プログラムのパラメータを制御するカメラ信号処理制御プログラムの３つの処理プログラムを実行する演算部と、
前記カメラ信号処理プログラムと前記画像認識処理プログラムと前記カメラ信号処理制御プログラムを格納するプログラムメモリと、
を備え、前記演算部が、前記カメラ信号処理プログラム、前記画像認識処理プログラムおよび前記カメラ信号処理制御プログラムを実行して、前記カメラ信号処理部、前記画像認識処理部および前記カメラ信号処理制御部として機能することを特徴とする請求項１ないし１０のいずれかに記載の画像認識カメラ。
【請求項１２】
請求項１から１１のいずれかに記載の画像認識カメラにおける前記カメラ信号処理部、前記画像認識処理部および前記カメラ信号処理制御部の処理を前記画像認識カメラの演算装置に実行させることを特徴とするプログラム。
【請求項１３】
請求項１から１１のいずれかに記載の画像認識カメラにおける前記カメラ信号処理部、前記画像認識処理部および前記カメラ信号処理制御部の処理を前記画像認識カメラの演算装置に実行させるプログラムをデータとして記録したことを特徴とする記録媒体。
【請求項１４】
撮影した画像から被写体を解析によって認識し、画像と認識結果のメタデータを出力する画像認識カメラであって、
レンズから受光した光を電気信号に変換し、入力原画像とする撮像素子と、
画像データおよびメタデータを記録するデータメモリと、
原画像を処理して画像に変換するカメラ信号処理プログラムと画像から認識対象物を検出する画像認識処理プログラムと前記画像認識処理プログラムの結果と連動して前記カメラ信号処理プログラムのパラメータを制御するカメラ信号処理制御プログラムの３つの処理プログラムを実行する演算部と、
前記カメラ信号処理プログラムと前記画像認識処理プログラムと前記カメラ信号処理制御プログラムをそれぞれ１種類以上格納するプログラムメモリと、
画像と認識結果のメタデータを出力できる出力部と、
を備えることを特徴とした画像認識カメラ。
【請求項１５】
前記演算部が、前記画像認識処理プログラムの実行結果に応じて、前記カメラ信号処理制御プログラムにより前記カメラ信号処理プログラムのパラメータを変更し、変更されたパラメータでカメラ信号処理した画像を再度、前記画像認識処理プログラムで画像認識処理することを１回以上繰り返し、得られた２つ以上の結果から、最終的な認識結果を判断することを特徴とする請求項１４記載の画像認識カメラ。
【請求項１６】
前記パラメータが、ＡＧＣゲイン値、ホワイトバランスおよび露光設定値のうちの少なくとも１つであることを特徴とする請求項１５記載の画像認識カメラ。
【請求項１７】
前記演算部が、前記画像認識処理プログラムの実行結果が２つ以上ある場合に、複数の実行結果から最も信頼度が高いものをひとつ選んで、最終的な認識結果を判断することを特徴とする請求項１４ないし１６のいずれかに記載の画像認識カメラ。
【請求項１８】
前記演算部が、画像認識処理プログラムの実行結果が２つ以上ある場合に、複数の実行結果を平均化して、最終的な認識結果を判断することを特徴とする請求項１４ないし１６のいずれかに記載の画像認識カメラ。
【請求項１９】
前記演算部は、前記画像認識処理プログラムが認識に失敗した場合に、失敗した原因を前記画像認識処理プログラム内で解析し、解析結果に基づいて前記カメラ信号処理プログラムが認識しやすい画像を生成するように前記カメラ信号処理制御プログラムでパラメータ制御を行うことを特徴とする請求項１４ないし１８のいずれかに記載の画像認識カメラ。
【請求項２０】
前記演算部は、前記画像認識処理プログラムが認識に失敗した原因が、撮影した画像のぼけであると判断した場合に、前記カメラ信号処理プログラムの輪郭強調処理を強めて、再度、前記画像認識処理プログラムを実行することを特徴とする請求項１９記載の画像認識カメラ。
【請求項２１】
前記演算部は、前記画像認識処理プログラムを実行途中で、認識に失敗すると判断した場合は、前記画像認識処理プログラムを中断し、前記カメラ信号処理プログラムが認識しやすい画像を生成するように前記カメラ信号処理制御プログラムでパラメータ制御を行い、再度、前記画像認識処理プログラムを実行することを特徴とする請求項１４ないし１８のいずれかに記載の画像認識カメラ。

【発明の詳細な説明】【技術分野】
【０００１】
本発明は、カメラが撮像した領域から、人物や文字などの対象物を認識する機能を有する画像認識カメラに関し、特に、認識性能を向上させる技術に関する。
【背景技術】
【０００２】
画像処理技術の発達および半導体デバイスの小型化により、近年のカメラには撮影機能と画像認識の機能が一体化したものも見られるようになった。これにより、例えば、施設の門において、入門時に被写体である人物の顔を画像認識することで、認証機能などの付加価値をカメラに与えることが可能になった。画像認識機能を持ったカメラには、例えば、特許文献１および特許文献２に示すようなものがある。
【０００３】
特許文献１に記載の画像認識カメラは、撮像画面中の青空を認識して、画面下部の黒つぶれを低減するように構成されている。このカメラは、撮像素子の出力信号を処理して画像信号として輝度、色差信号を生成するカメラ信号処理回路と、青空を認識する専用の画像認識回路を備えており、画像認識回路はカメラ信号処理回路により生成された画像信号を解析して、青空の有無を検出する。
【０００４】
特許文献２の画像認識カメラは、撮像画面中の人物の顔を認識するように構成されており、検出した「顔」の画像データは通信用モジュールにより遠隔地の保存用サーバに送信される。この従来例の画像認識カメラは、画像を生成するビデオデジタルプロセスと、生成された画像から顔認識を実行する専用ソフトウェアライブラリーを設けている。
【特許文献１】特開平１１－１４６２６４号公報
【特許文献２】実用新案登録第３１１２６５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１および特許文献２などの従来の画像認識カメラは、下記のように、画像認識の性能向上に関しては改良の余地があると考えられる。
【０００６】
ここでは、画像認識の成否が入力画像に大きく影響を受けることに着目する。例えば、撮影時の光源により、同じ被写体であってもカメラ信号処理された画像には陰影の違いや、色の違いが生じたりする。また、カメラのフォーカスや露光などの設定によって、被写体の形状が異なって記録されることもある。このようなことから、屋外に設置した認識カメラなどは、時間および天候によって同じ被写体に対する認識結果が異なってしまうという問題点がある。例えば被写体が“Ａ”という人物や物体である可能性をパーセントで表す信頼度を用いて、信頼度がある閾値を越えるかどうかで“Ａ”の検出を行う認識システムの場合、信頼度が０％や１００％に近く結果が歴然としていれば問題はないが、信頼度がどちらとも判定しにくい閾値前後の値の場合には所望とする被写体“Ａ”の検出を漏らしてしまう恐れがある。
【０００７】
このように、画像認識の成否は入力画像に大きく影響を受ける。しかし、従来の画像認識カメラでは、画像認識の前プロセスであるカメラ信号処理回路（ビデオデジタルプロセス）と画像認識回路が、別個の回路として独立に動作しており、画像認識結果の良否に関係なく同じカメラ信号処理が行われる。そのために、画像認識に適した入力画像が得られず、画像認識に失敗することがあった。
【０００８】
この点に関し、従来よりも高度な認識アルゴリズムや回路を搭載すれば、画像認識性能を向上することは可能と考えられる。しかし、この場合、処理の複雑化や処理時間の増加、回路規模の増大等の弊害が生じ得る。
【０００９】
本発明は上記課題を解決するためになされたものであり、その目的は、従来よりも高度な認識アルゴリズムおよび回路を必要とすることなく、より良好な認識結果を出力できる画像認識カメラを提供することにある。
【課題を解決するための手段】
【００１０】
本発明の画像認識カメラは、被写体の原画像の信号を生成する撮像素子と、原画像を人間の目に見える形式の画像に変換するカメラ信号処理部と、前記カメラ信号処理部で処理された画像から被写体を認識する画像認識処理部と、前記画像認識処理部の認識結果をフィードバックして前記カメラ信号処理部を制御するカメラ信号処理制御部と、前記カメラ信号処理部で処理された画像と前記画像認識処理部の認識結果を出力する結果出力部とを備えている。
【００１１】
この構成により、画像認識処理部の認識結果をフィードバックしてカメラ信号処理部を制御するカメラ信号処理制御部を設けたので、画像認識を行った結果をカメラの制御に対してフィードバックすることができ、撮影条件が変化しても画像認識処理が成功しやすい画像を出力することが可能となり、画像認識が成功しやすくなる。しかも、画像認識結果をフィードバックしてカメラ信号処理の側を制御する構成を設ければよいので、認識のアルゴリズム自体を特に高度化する必要はない。こうして、従来よりも高度な認識アルゴリズムおよび回路を必要とすることなく、画像認識カメラの認識性能の向上を図ることができる。
【００１２】
また、本発明の画像認識カメラにおいて、前記カメラ信号処理制御部は、前記画像認識処理部の認識処理の実行結果に応じて、前記カメラ信号処理部のパラメータを変更し、前記画像認識処理部は、変更されたパラメータでカメラ信号処理した画像を再度、画像認識処理することを１回以上繰り返し、得られた２つ以上の結果から、最終的な認識結果を判断する。
【００１３】
この構成により、画像認識処理部の認識処理の実行結果に応じて、カメラ信号処理部のパラメータが変更される。そして、異なるパラメータ設定で得られる複数の認識実行結果から最終的な認識結果を判断することで、認識性能を向上できる。
【００１４】
また、本発明の画像認識カメラにおいて、前記カメラ信号処理制御部は、前記カメラ信号処理部のパラメータとしてＡＧＣゲイン値を変更する。この構成により、パラメータとしてＡＧＣゲイン値を認識結果に応じて変更することによって、認識性能を向上できる。
【００１５】
また、本発明の画像認識カメラにおいて、前記カメラ信号処理制御部は、前記カメラ信号処理部のパラメータとしてホワイトバランスを変更する。この構成により、パラメータとしてホワイトバランスを認識結果に応じて変更することによって、認識性能を向上できる。
【００１６】
また、本発明の画像認識カメラにおいて、前記カメラ信号処理制御部は、前記カメラ信号処理部のパラメータとして露光設定を変更する。この構成により、パラメータとして露光設定を認識結果に応じて変更することによって、認識性能を向上できる。
【００１７】
また、本発明の画像認識カメラにおいて、前記画像認識処理部は、認識処理の実行結果が２つ以上ある場合に、それら複数の実行結果から最も信頼度が高い実行結果を選んで、最終的な認識結果を判断する。この構成により、認識処理の複数の実行結果から最も信頼度が高い実行結果を選ぶことにより、認識性能を向上できる。
【００１８】
また、本発明の画像認識カメラにおいて、前記画像認識処理部は、認識処理の実行結果が２つ以上ある場合に、それら複数の実行結果を平均化して、最終的な認識結果を判断する。この構成により、認識処理の複数の実行結果を平均化することにより、認識性能を向上できる。
【００１９】
また、本発明の画像認識カメラにおいて、前記画像認識処理部は、画像認識処理に失敗した場合に、失敗した原因を解析する処理を行い、前記カメラ信号処理制御部は、解析結果に基づいて前記画像認識処理部が認識しやすい画像を生成するように前記カメラ信号処理部を制御し、前記画像認識処理部が再度画像認識処理を実行する。この構成により、認識処理の失敗原因の解析結果に基づいてカメラ信号処理部を制御することで、失敗原因を解消できる画像をカメラ信号処理で生成でき、認識性能を向上できる。
【００２０】
また、本発明の画像認識カメラにおいて、前記画像認識処理部は、認識に失敗した原因が撮影した画像のぼけであると判断した場合に、前記カメラ信号処理制御部が、前記カメラ信号処理部の輪郭強調処理を強める。この構成により、認識処理の失敗原因がぼけであるときに、輪郭強調処理を強めてぼけを減らし、これにより認識処理を成功させることができ、認識性能を向上できる。
【００２１】
また、本発明の画像認識カメラにおいて、前記画像認識処理部は、画像認識処理の実行途中で認識に失敗すると判断した場合は、画像認識処理を中断し、前記カメラ信号処理制御部は、画像認識処理が中断された場合に、前記画像認識処理部が認識しやすい画像を生成するように前記カメラ信号処理部を制御し、前記画像認識処理部が再度画像認識処理を実行する。この構成により、画像認識処理の実行途中で認識に失敗すると判断した場合は、速やかに画像認識処理を中断し、カメラ信号処理部を制御することで、認識処理時間を短縮できる。
【００２２】
また、本発明の画像認識カメラは、前記原画像を処理して画像に変換するカメラ信号処理プログラムと画像から認識対象物を検出する画像認識処理プログラムと前記画像認識処理プログラムの結果と連動して前記カメラ信号処理プログラムのパラメータを制御するカメラ信号処理制御プログラムの３つの処理プログラムを実行する演算部と、前記カメラ信号処理プログラムと前記画像認識処理プログラムと前記カメラ信号処理制御プログラムを格納するプログラムメモリとを備え、前記演算部が、前記カメラ信号処理プログラム、前記画像認識処理プログラムおよび前記カメラ信号処理制御プログラムを実行して、前記カメラ信号処理部、前記画像認識処理部および前記カメラ信号処理制御部として機能する。この態様によっても上述した本発明の利点が得られる。
【００２３】
本発明の別の態様は、上述の前記カメラ信号処理部、前記画像認識処理部および前記カメラ信号処理制御部の処理を前記画像認識カメラの演算装置に実行させるプログラムである。この態様によっても上述した本発明の利点が得られる。
【００２４】
本発明の別の態様は、上述の前記カメラ信号処理部、前記画像認識処理部および前記カメラ信号処理制御部の処理を前記画像認識カメラの演算装置に実行させるプログラムをデータとして記録した記録媒体である。この態様によっても上述した本発明の利点が得られる。
【００２５】
本発明の別の態様は、撮影した画像から被写体を解析によって認識し、画像と認識結果のメタデータを出力する画像認識カメラであって、レンズから受光した光を電気信号に変換し、入力原画像とする撮像素子と、画像データおよびメタデータを記録するデータメモリと、原画像を処理して画像に変換するカメラ信号処理プログラムと画像から認識対象物を検出する画像認識処理プログラムと前記画像認識処理プログラムの結果と連動して前記カメラ信号処理プログラムのパラメータを制御するカメラ信号処理制御プログラムの３つの処理プログラムを実行する演算部と、前記カメラ信号処理プログラムと前記画像認識処理プログラムと前記カメラ信号処理制御プログラムをそれぞれ１種類以上格納するプログラムメモリと、画像と認識結果のメタデータを出力できる出力部とを備える。この態様によっても上述した本発明の利点が得られる。
【００２６】
また、本発明の画像認識カメラでは、前記演算部が、前記画像認識処理プログラムの実行結果に応じて、前記カメラ信号処理制御プログラムにより前記カメラ信号処理プログラムのパラメータを変更し、変更されたパラメータでカメラ信号処理した画像を再度、前記画像認識処理プログラムで画像認識処理することを１回以上繰り返し、得られた２つ以上の結果から、最終的な認識結果を判断する。この態様によっても上述した本発明の利点が得られる。
【００２７】
また、本発明の画像認識カメラでは、前記パラメータが、ＡＧＣゲイン値、ホワイトバランスおよび露光設定値のうちの少なくとも１つである。この態様によっても上述した本発明の利点が得られる。
【００２８】
また、本発明の画像認識カメラでは、前記演算部が、前記画像認識処理プログラムの実行結果が２つ以上ある場合に、複数の実行結果から最も信頼度が高いものをひとつ選んで、最終的な認識結果を判断する。この態様によっても上述した本発明の利点が得られる。
【００２９】
また、本発明の画像認識カメラにおいては、演算部が、画像認識処理プログラムの実行結果が２つ以上ある場合に、複数の実行結果を平均化して、最終的な認識結果を判断する。この態様によっても上述した本発明の利点が得られる。
【００３０】
また、本発明の画像認識カメラにおいて、前記演算部は、前記画像認識処理プログラムが認識に失敗した場合に、失敗した原因を前記画像認識処理プログラム内で解析し、解析結果に基づいて前記カメラ信号処理プログラムが認識しやすい画像を生成するように前記カメラ信号処理制御プログラムでパラメータ制御を行う。この態様によっても上述した本発明の利点が得られる。
【００３１】
また、本発明の画像認識カメラにおいて、前記演算部は、前記画像認識処理プログラムが認識に失敗した原因が、撮影した画像のぼけであると判断した場合に、前記カメラ信号処理プログラムの輪郭強調処理を強めて、再度、前記画像認識処理プログラムを実行する。この態様によっても上述した本発明の利点が得られる。
【００３２】
また、本発明の画像認識カメラにおいて、前記演算部は、前記画像認識処理プログラムを実行途中で、認識に失敗すると判断した場合は、前記画像認識処理プログラムを中断し、前記カメラ信号処理プログラムが認識しやすい画像を生成するように前記カメラ信号処理制御プログラムでパラメータ制御を行い、再度、前記画像認識処理プログラムを実行する。この態様によっても上述した本発明の利点が得られる。
【発明の効果】
【００３３】
以上のように、本発明は、画像認識処理の結果をカメラ信号処理の制御にフィードバックする構成を設け、画像認識処理部が認識に成功しやすい画像の生成を行うことで、高度な画像認識処理回路を必要とすることなく、画像認識カメラの認識性能を向上できるという効果を有する画像認識カメラを提供することができる。
【発明を実施するための最良の形態】
【００３４】
以下に、本発明の実施の形態に係る画像認識カメラについて、図面を参照しながら説明する。
【００３５】
画像認識カメラとは、撮影した画像から被写体が何であるかを解析し、判断結果のメタデータを出力するものである。概略的には、本発明は画像認識の結果をカメラ信号処理の制御にフィードバックすることで、画像認識の性能向上を図るものである。本実施の形態では、カメラが撮影中の画像を解析し、その被写体が所望とする“Ａ（人物・物等）”であるかを認識し、信頼度を結果として出力する画像認識カメラを取り上げる。信頼度の閾値をＴｈ％として、認識結果がそれ以上なら被写体が“Ａ”であると判断し、そうでなければ“Ａ”でないと判断する例において、本実施の形態の画像認識カメラは、信頼度の結果が閾値付近の場合にカメラ信号処理のパラメータ設定を変更するように構成される。
【００３６】
図１は、本実施の形態における画像認識カメラの構成を示すブロック図である。図１において、画像認識カメラは、被写体の原画像の信号を生成する撮像素子１０１と、原画像を人間の目に見える形式の画像に変換するカメラ信号処理部１０２と、カメラ信号処理部１０２で処理された画像から被写体を認識する画像認識処理部１０４と、画像認識処理部１０４の認識結果をフィードバックしてカメラ信号処理部１０２を制御するカメラ信号処理制御部１０３と、カメラ信号処理部１０２で処理された画像と画像認識処理部１０４の認識結果を出力する結果出力部１０５とを備えている。
【００３７】
図２は、本実施の形態の画像認識カメラのハードウエア的な観点で示す図である。図２において、画像認識カメラは、レンズ２０１、撮像素子２０２、演算部２０３、データメモリ２０４、プログラムメモリ２０５、制御ＩＦ部２０６および出力部２０７を備えている。このうち、撮像素子２０２および出力部２０７は、図１の撮像素子１０１および結果出力部１０５に相当する。制御ＩＦ部２０６は、ユーザからの指示を演算部２０３に伝達する構成である。演算部２０３は、プログラムメモリ２０５のプログラムを実行する構成であり、演算部２０３の処理過程でデータメモリ２０４にデータが読み書きされる。演算部２０３は、プログラムメモリ２０５のプログラムを実行することにより、図１のカメラ信号処理部１０２、画像認識処理部１０４およびカメラ信号処理制御部１０３として機能する。
【００３８】
図２において、レンズ２０１を通して得られる認識対象物２０８のイメージは、単板式の撮像素子２０２によって電気信号である入力原画像２１１に変換され、入力原画像２１１がデータメモリ２０４に記録される。単板式カメラでは、入力原画像２１１は、図３のようにＲＧＢベイヤー配列のフォーマット３０１のデータであり、人間の目に見えるイメージとは異なっているため、カメラ信号処理によって人間が知覚できる形式に変換する必要がある。カメラ信号処理を実現する構成として、本画像認識カメラでは、カメラ信号処理プログラム２１４がソフトウェアにより実装され、プログラムメモリ２０５に格納され、プログラマブルＤＳＰで構成される演算部２０３により実行される。
【００３９】
画像認識処理プログラム２１５は、カメラ信号処理により生成されたカメラ信号処理済画像２１２（ＹＵＶ形式）に対して画像認識を施すプログラムである。この画像認識プログラム２１５により算出された認識結果２１３に基づいて、カメラ信号処理制御プログラム２１６は、カメラ信号処理プログラム２１４のパラメータを制御し、ＡＧＣゲイン・ホワイトバランスなどのパラメータを変更・調整する。これら画像認識処理プログラム２１５およびカメラ信号処理制御プログラム２１６も、カメラ信号処理プログラム２１４と同様に、ソフトウェアにより実装され、プログラムメモリ２０５に格納され、プログラマブルＤＳＰで構成される演算部２０３により実行される。
【００４０】
カメラ信号処理済画像２１２と認識結果２１３は、演算部２０３によりデータメモリ２０４に書き込まれる。認識結果２１３はメタデータである。そして、これらカメラ信号処理済画像２１２と認識結果２１３は、演算部２０３により読み出され、共に出力部２０７から出力される。カメラ信号処理を含むカメラ機能および画像認識の動作に関するユーザからの指示は、制御部ＩＦ２０６から入力される。
【００４１】
上記構成においては、演算部２０３が、プログラムメモリ２０５のカメラ信号処理プログラム２１４、画像認識処理プログラム２１５およびカメラ信号処理制御プログラム２１６を実行することにより、図１のカメラ信号処理部１０２、画像認識処理部１０４およびカメラ信号処理制御部１０３として機能する。このように、本実施の形態の画像認識カメラは、ソフトウエア処理によって画像信号を処理するソフトウエア処理カメラであり、そして、演算部２０３が、１チッププログラマブルＤＳＰなどにより構成されており、上記３つのプログラムの処理を連携するように動作し、これにより、図１のカメラ信号処理部１０２、画像認識処理部１０４およびカメラ信号処理制御部１０３が連携して機能する。
【００４２】
次に、図１に基づき、本実施の形態に係る画像認識カメラの動作概要を説明する。撮像素子１０１から入力されたＲＧＢベイヤー配列の原画像がカメラ信号処理部１０２で処理されて、ＹＵＶフォーマットの画像信号に変換される。そして、変換後の画像信号に対して画像認識処理部１０４で画像認識が行われ、画像信号と認識結果が結果出力１０５から出力される。
【００４３】
ここで、画像認識処理部１０４は、認識の判定結果を信頼度という指標で出力するものとする。この信頼度が高くも低くもなく、認識対象物２０８が“Ａ”であるか、そうでないのかが断定できない場合に、カメラ信号処理制御部１０３が、カメラ信号処理部１０２の制御パラメータ（実行パラメータ）を変化させる。具体的には、信頼度が後述するように所定の閾値付近の場合にパラメータ制御が行われる。これにより、カメラ信号処理部１０２は複数のパラメータ設定にて画像信号を生成する。そして、画像認識処理部１０４は、複数のパラメータ設定での複数の画像信号の各々に対して画像認識を行い、複数のパラメータ設定での信頼度を得て、それら複数のパラメータ設定に対する信頼度を比較・検討する。これにより、本実施の形態では、信頼性の高い認識の判断を行うことができる。
【００４４】
次に、上記動作において画像認識処理部１０３が算出する信頼度について説明する。ここでは、まず、複数のパラメータ設定から求められた複数の信頼度から最終的な認識結果を算出する処理について概略的に説明する。それから、複数のパラメータ設定を実現するための動作として、算出された信頼度に基づいてカメラ信号処理制御部１０３が複数のカメラ信号処理１０２のパラメータ設定を切り替えるフィードバックの動作について説明する。
【００４５】
前述のとおり画像認識処理部１０４では、画像認識処理を行って得られた信頼度を閾値と比較し、その大小で認識対象物２０８が“Ａ”であることを判断する。例えば、“Ａ”が人物であり、画像認識処理部１０４は、予め記憶された人物画像を撮影画像と比較する処理を行ったり、予め記憶された人物特徴情報を用いた画像処理（例えば記憶された人物特徴情報と撮影画像から抽出された特徴情報を比較する処理）を行って、認識対象物２０８が“Ａ”であることの信頼度を求める。本実施の形態においては、カメラ信号処理部１０２のパラメータ設定を変えて得られた複数の信頼度の中から、最も信頼度が高いものを採用して認識の判断を行う。ここで高い値を使うのは、検出の漏れを最小限にするためである。例えば認識をセキュリティーに用いている場合などで、誤検出があっても、ユーザによる確認で誤りを判断できるが、検出漏れの場合はユーザの目に触れないので、検出漏れを発見するのは困難である。したがって、本実施の形態による検出漏れの防止が有用である。
【００４６】
次に、カメラ信号処理制御部１０３のパラメータ変更動作について説明する。カメラ信号処理制御部１０３は、画像認識処理部１０４より信頼度の値を受け取り、その値が閾値に近いか否かを以下の式で判定する。
【００４７】
Ｔｈ－ａ＜Ｒ＜Ｔｈ＋ｂ・・・（式１）
Ｒ：信頼度Ｔｈ：閾値ａ：下限幅ｂ：上限幅
【００４８】
上記の式１では、信頼度Ｒが閾値Ｔｈ前後の所定の幅に入るか否かが判定される。信頼度が上記式１の条件を満たしている場合は、判定がグレーであったとして、カメラ信号処理制御部１０３がカメラ信号処理部１０２の制御パラメータを変更して、カメラ信号処理部１０２が再度認識対象の画像を生成し、画像認識処理部１０４が再度認識処理を実行する。
【００４９】
カメラ信号処理部のパラメータは下記のようにして変更される。ここでは、ＡＧＣゲインとホワイトバランスを変更する例について説明する。
【００５０】
ＡＧＣゲインによって、全体的に暗い画像の信号レベルを上げることで、認識対象物２０８がはっきりと現れるようになることがある（反面ノイズがのってしまう場合もある）。このＡＧＣゲイン値を複数回変化させながら再度画像認識処理を行うことで、認識対象物２０８を正しく認識できる可能性を上げることができる。
【００５１】
次に、ホワイトバランスについてであるが、カメラでは撮影場所の光源によって被写体の色の見え方が異なってしまうことがある。そのため、画像認識処理において色を認識処理のアルゴリズムで使っている場合には、色の違いが認識結果２１３を誤らせてしまうことがある。そこで、ホワイトバランスもＡＧＣゲインと同様に変化させながら再度画像認識処理を行うことで、光源の条件が変わっても認識対象物２０８を正しく認識できる可能性を上げることができる。
【００５２】
図４に、ＡＧＣゲインおよびホワイトバランスを共に変化させる場合のマトリックスの表を示す。ここではＡＧＣゲインに関して、パラメータ４１１～４１３の３つのパターンを用意し、ホワイトバランスについても、パラメータ４２１～４２３の３つのパターンを用意してある。したがって、ＡＧＣゲインとホワイトバランスの組み合わせでは、表のように、パラメータセット４３１～４３９の９パターンが発生する。これら９パターンのパラメータが記憶されており、カメラ信号処理制御部１０３によりパラメータ制御に使用される。画像認識カメラは、これら９パターンのパラメータのすべてで認識処理を実行し、９通りの信頼度を得る。ここで、複数の信頼度をもとに最終的な認識の判断を行う手法としては、複数の手法が考えられるが、本実施の形態の例では、前述のように、信頼度の値が最も大きいものを判定に用いることとする。
【００５３】
以上の説明により、本実施の形態においては、信頼度が閾値付近のときに、パラメータ設定を上記の複数のパラメータパターンに変えてカメラ信号処理を行って画像認識処理を再実行することで、より撮影条件に適したカメラ信号処理による認識用画像を生成する可能性が増し、画像認識処理の検出漏れを低減することができる。
【００５４】
次に、本実施の形態の応用例および変形例について説明する。
【００５５】
本実施の形態ではＡＧＣゲインとホワイトバランスのパラメータをそれぞれ３パターン用意した。しかし、パターン数は上記に限定されず、任意のパターン数に増減してもよい。
【００５６】
本実施の形態では、ＡＧＣゲインとホワイトバランスを、変更するパラメータとして選定したが、他のパラメータが変更されてよい。例えば、露光時間などの露光設定のパラメータが変更されてもよい。パラメータを露光時間にした場合は、露光時間が長い場合と短い場合で画像の取れ方が変わってくる。一般的には露光時間が短いほうがブレの少ないはっきりした画像を取得できる。しかし、暗所で被写体が静止している場合は露光時間が長いほうが鮮明な画像を取れることもある。したがって、露光時間を変えた画像で再度画像認識処理を行うことで、被写体を正しく認識できる可能性が出てくる。
【００５７】
また、図２のプログラムメモリ２０５は、２種類以上のカメラ信号処理プログラム２１４を記憶していてもよい。同様に、図２のプログラムメモリ２０５は、２種類以上の画像認識処理プログラム２１５および２種類以上のカメラ信号処理制御プログラム２１６を記憶していてもよい。２種類以上のプログラムは、演算部２０３により、認識対象物等の条件に応じて切り替えながら実行されてよい。
【００５８】
また、本実施の形態では複数ある信頼度から最終判断を行う際に、信頼度の最大値を用いた。しかし、最終判断の処理はこれに限定されず、信頼度の種類に応じて変更されてよい。例えば、逆に、信頼度が最小値になる認識結果が、最終的な認識結果として採用されてよい。また、複数の信頼度の平均値が、認識結果として用いられてよい。例えば、複数の信頼度のどれが正確かが不明な場合に、平均化により誤差低減を図れる。
【００５９】
また、本実施の形態では複数のパラメータでカメラ信号処理を実行して、結果である複数の信頼度を利用して認識結果を判断している。別の構成例では、画像認識処理部１０４が、画像認識処理に失敗した場合に、失敗した原因（理由）を解析し、失敗の原因を解析結果としてカメラ信号処理制御部１０３に伝達する。例えば、信頼度が所定の閾値以下の場合に認識処理が失敗する。失敗原因の例は後述する。カメラ信号処理制御部１０３は、失敗原因に応じて、画像認識が成功しやすいカメラ信号処理のパラメータを選択し、カメラ信号処理部１０２のパラメータを変更する。カメラ信号処理部１０２は、変更後のパラメータで画像を生成し、画像認識処理部１０４は、変更後のパラメータ設定で生成された画像を用いて再度画像認識処理を実行する。
【００６０】
上記の構成において、認識処理の失敗原因は例えば画像のぼけである。この場合、画像認識処理部１０４は、例えば画像の周波数等から画像のぼけの程度を求め、ぼけが所定レベル以上であれば、失敗原因が画像のぼけであると判定し、失敗原因をカメラ信号処理制御部１０３に伝達する。カメラ信号処理制御部１０３は、カメラ信号処理部１０２の輪郭強調処理を強めるパラメータ制御を行う。これにより、ぼけが低減された画像が生成され、再度認識処理が行われる。
【００６１】
さらに別の構成例では、画像認識処理部１０４は、画像認識処理の実行途中で認識に失敗するか否かを判断する。画像認識処理部１０４は、認識に失敗すると判断した場合は、画像認識処理を中断し、認識処理中断をカメラ信号処理制御部１０３に伝達する。カメラ信号処理制御部１０３は、画像認識処理が中断された場合に、画像認識処理部１０４が認識しやすい画像を生成するようにカメラ信号処理部１０２を制御する。そして、カメラ信号処理が再度行われ、画像認識処理部１０４が再度画像認識処理を実行する。
【００６２】
上記構成においては、画像認識処理部１０４は、画像認識処理の実行途中で、認識に失敗するか否かの予測を行う。ここでも、認識失敗理由の例は、画像のぼけである。画像認識処理部１０４は画像のぼけの程度を求め、ぼけが所定レベル以上であれば、認識失敗が発生すると予測し、画像認識処理を中断する。そして、画像認識処理が中断されると、カメラ信号処理制御部１０３は、カメラ信号処理部１０２の輪郭強調処理を強めるパラメータ制御を行う。これにより、ぼけが低減された画像が生成され、再度認識処理が行われる。
【００６３】
以上、本発明の実施の形態に係る画像認識カメラについて説明した。上述のように、本実施の形態によれば、画像認識処理部１０４の認識結果をフィードバックしてカメラ信号処理部１０２を制御するカメラ信号処理制御部１０３を設けたので、画像認識を行った結果をカメラの制御に対してフィードバックすることができ、カメラは撮影条件が変化しても画像認識処理が成功しやすい画像を出力することが可能となり、画像認識が成功しやすくなる。しかも、画像認識結果をフィードバックしてカメラ信号処理の側を制御する構成を設ければよいので、認識のアルゴリズム自体を特に高度化する必要はない。こうして、従来よりも高度な認識アルゴリズムおよび回路を必要とすることなく、画像認識カメラの認識性能の向上を図ることができる。
【００６４】
本実施の形態によれば、例えば、カメラ信号処理、画像認識処理、カメラ信号処理制御といった処理を１チッププログラマブルＤＳＰなどにソフトウェアで連携するように実装して、カメラシステムの部品数を減らしてコストダウンを図るなどの応用も可能であり、これにより、安価で高性能な画像認識カメラを提供できる。
【００６５】
また、本実施の形態によれば、認識処理の実行結果に応じてパラメータが変更される。本実施の形態の場合、認識結果の信頼度が所定のレベルの場合、より詳細には、認識結果が曖昧になる所定の信頼度レベルの場合に、パラメータが変更される。そして、変更されたパラメータでカメラ信号処理した画像を再度、画像認識処理することが１回以上繰り返され、得られた２つ以上の結果から、最終的な認識結果が判断される。このように、異なるパラメータ設定で得られる複数の認識実行結果から最終的な認識結果を判断することで、認識性能を向上できる。
【００６６】
また、本実施の形態によれば、カメラ信号処理のパラメータとしてＡＧＣゲイン値が変更され、これにより、認識しやすい画像が得られ、認識性能を向上できる。
【００６７】
また、本実施の形態によれば、カメラ信号処理部のパラメータとしてホワイトバランスが変更され、これにより、認識しやすい画像が得られ、認識性能を向上できる。
【００６８】
また、本実施の形態によれば、カメラ信号処理のパラメータとして露光設定が変更され、これにより、認識しやすい画像が得られ、認識性能を向上できる。
【００６９】
また、本実施の形態によれば、認識処理の実行結果が２つ以上ある場合に、それら複数の実行結果から最も信頼度が高い実行結果が選ばれて、最終的な認識結果が判断される。こうして、カメラ信号処理のパラメータを変更しながら認識処理を繰り返し、信頼度の高い認識結果を選択することで、認識性能を向上できる。
【００７０】
また、本実施の形態によれば、認識処理の実行結果が２つ以上ある場合に、それら複数の実行結果を平均化して、最終的な認識結果が判断される。これにより、カメラ信号処理のパラメータを変更しながら認識処理を繰り返すことで得られる複数の認識結果を平均化することで、認識精度を向上し、認識性能を向上できる。
【００７１】
また、本実施の形態によれば、画像認識処理に失敗した場合に、失敗した原因を解析する処理が行われ、解析結果に基づいて認識しやすい画像を生成するようにカメラ信号処理が制御され、再度画像認識処理が実行される。これにより、失敗原因を解消できる画像をカメラ信号処理で生成でき、認識性能を向上できる。
【００７２】
また、本実施の形態によれば、認識に失敗した原因が撮影した画像のぼけであると判断した場合に、カメラ信号処理の輪郭強調処理が強められる。これにより、画像のぼけを低減して認識処理を成功させることができ、認識性能を向上できる。
【００７３】
また、本実施の形態によれば、画像認識処理の実行途中で認識に失敗すると判断した場合は、画像認識処理が中断され、認識しやすい画像を生成するようにカメラ信号処理が制御され、再度画像認識処理が実行される。これにより、速やかに画像認識処理を中断し、カメラ信号処理部を制御することで、認識処理時間を短縮できる。
【００７４】
また、本実施の形態の画像認識カメラは、図２に示したハードウエア的な観点では、レンズから受光した光を電気信号に変換し、入力原画像とする撮像素子２０１と、画像データおよびメタデータ（認識結果２１３）を記録するデータメモリ２０４と、原画像を処理して画像に変換するカメラ信号処理プログラム２１４と画像から認識対象物を検出する画像認識処理プログラム２１５と画像認識処理プログラム２１５の結果と連動してカメラ信号処理プログラム２１４のパラメータを制御するカメラ信号処理制御プログラム２１６の３つの処理プログラムを実行する演算部２０３と、カメラ信号処理プログラム２１４と画像認識処理プログラム２１５とカメラ信号処理制御プログラム２１６をそれぞれ１種類以上格納するプログラムメモリ２０５と、画像と認識結果のメタデータを出力できる出力部２０７とを備える。この観点でも上述した本発明の利点が得られる。
【００７５】
さらに、本発明は、上述のカメラ信号処理部１０２、画像認識処理部１０４およびカメラ信号処理制御部１０３の処理を画像認識カメラの演算装置に実行させるプログラムといかたち表現されてよく、すなわち、本発明の一態様は、図２のカメラ信号処理プログラム２１４、画像認識処理プログラム２１５およびカメラ信号処理制御プログラム２１６であってよく、この観点でも上述した本発明の利点が得られる。
【００７６】
さらには、本発明の一態様は、上記の本発明のプログラムを格納した記録媒体であってよく、この観点でも上述した本発明の利点が得られる。
【００７７】
以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。
【産業上の利用可能性】
【００７８】
以上のように、本発明にかかる画像認識カメラは、画像認識性能を向上できるという効果を有し、例えば認証用の画像認識カメラ等として有用である。
【図面の簡単な説明】
【００７９】
【図１】本発明の実施の形態における画像認識カメラのブロック図
【図２】本発明の実施の形態における画像認識カメラをハードウエア的な観点で示すブロック図
【図３】入力原画像のＲＧＢベイヤー配列を説明する図
【図４】ＡＧＣゲインとホワイトバランスのパラメータマトリックス表を示す図
【符号の説明】
【００８０】
１０１撮像素子
１０２カメラ信号処理部
１０３カメラ信号処理制御部
１０４画像認識処理部
１０５出力部
２０１レンズ
２０２撮像素子
２０３演算部
２０４データメモリ
２０５プログラムメモリ
２０６制御ＩＦ部
２０７出力部
２０８認識対象物
２１１入力原画像
２１２カメラ信号処理済画像
２１３認識結果
２１４カメラ信号処理プログラム
２１５画像認識処理プログラム
２１６カメラ信号処理制御プログラム

【出願人】	【識別番号】０００００５８２１【氏名又は名称】松下電器産業株式会社
【出願日】	平成１８年７月７日（２００６．７．７）
【代理人】	【識別番号】２３０１０４０１９【弁護士】【氏名又は名称】大野聖二【識別番号】１００１０６８４０【弁理士】【氏名又は名称】森田耕司【識別番号】１００１１３５４９【弁理士】【氏名又は名称】鈴木守
【公開番号】	特開２００８－１７２５９（Ｐ２００８－１７２５９Ａ）
【公開日】	平成２０年１月２４日（２００８．１．２４）
【出願番号】	特願２００６－１８７５９０（Ｐ２００６－１８７５９０）