トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 監視装置、監視システム、監視方法及びプログラム
【発明者】 【氏名】小西 哲也
【要約】 【課題】監視システムにおけるオブジェクト認識の精度を向上させる。

【構成】監視用撮像装置において監視対象物の撮像を行い、撮像された結果を解析するためのフィルタ情報を保存し、撮像結果から得られるオブジェクトが監視対象領域より消失し得る個所を、消失点を有するエリアＶＰ１として記憶し、消失点を有するエリアＶＰ１内でオブジェクトＭＢ１が一旦消失したことを認識し、ほぼ同じ場所で再びオブジェクトＭＢ３を検知した場合に、両オブジェクトを異なるオブジェクトと認識して解析を行なうようにした。
【特許請求の範囲】
【請求項１】
監視用撮像装置が撮像して出力する映像データを使用して監視を行う監視装置において、
前記映像データを解析するためのフィルタ情報を保存するフィルタ設定部と、
前記映像データに含まれるオブジェクトが、前記監視用撮像装置の監視対象領域より消失し得る個所を、消失点を有するエリアとして記憶する消失点設定部と、
前記フィルタ設定部に保存されたフィルタ情報を用いて前記映像データの解析を行なうとともに、前記解析の結果に応じてアラーム情報を生成するフィルタ部とを備え、
前記フィルタ部は、前記消失点を持つエリア内でオブジェクトが一旦消失したことを認識し、ほぼ同じ場所で再びオブジェクトを検知した場合に、両オブジェクトを異なるオブジェクトと認識して前記映像データの解析を行なうことを特徴とする
監視装置。
【請求項２】
請求項１記載の監視装置において、
前記フィルタ部は、前記監視用撮像装置が映像データと共に出力する、監視対象に関する情報を示したメタデータに対して、前記解析設定部で設定された条件でフィルタ処理を行うフィルタであることを特徴とする
監視装置。
【請求項３】
請求項１記載の監視装置において、
前記アラーム情報には、前記フィルタの条件に合致する前記オブジェクトの数又は前記フィルタの条件に合致する前記オブジェクトの累積オブジェクト数を含むことを特徴とする
監視装置。
【請求項４】
請求項１記載の監視装置において、
前記消失点を有するエリアは、多角形で表現されることを特徴とする
監視装置。
【請求項５】
請求項４記載の監視装置において、
前記消失点設定部には、多角形で表現されたエリア情報と、消失点であることを示すフラグとが対応付けられて記憶されることを特徴とする
監視装置。
【請求項６】
請求項４記載の監視装置において、
前記フィルタ部は、前記消失点を有するエリアの範囲外で前記オブジェクトを検出した場合で、前記オブジェクトが検出された時間の直前に、前記オブジェクトが検出された場所付近で他のオブジェクトが消失したことが確認されている場合は、前記検出したオブジェクトと前記他のオブジェクトとを同一のオブジェクトと認識することを特徴とする
監視装置。
【請求項７】
監視用撮像装置と、該監視用撮像装置が撮像して出力する映像データを使用して監視を行う監視装置とで構成される監視システムであって、
前記監視用撮像装置は、
監視対象物を撮像して映像データを出力する撮像部を備え、
前記監視装置は、
前記映像データを解析するためのフィルタ情報を保存するフィルタ設定部と、
前記映像データに含まれるオブジェクトが、前記監視用撮像装置の監視対象領域より消失し得る個所を、消失点を有するエリアとして記憶する消失点設定部と、
前記フィルタ設定部に保存されたフィルタ情報を用いて前記映像データの解析を行なうとともに、前記解析の結果に応じてアラーム情報を生成するフィルタ部とを備え、
前記フィルタ部は、前記消失点を持つエリア内でオブジェクトが一旦消失したことを認識し、ほぼ同じ場所で再びオブジェクトを検知した場合に、両オブジェクトを異なるオブジェクトと認識して映像データの解析を行なうことを特徴とする
監視システム。
【請求項８】
監視用撮像装置と、該監視用撮像装置が撮像して出力する映像データを使用して監視を行う監視装置とで構成される監視システムに適用される監視方法であって、
前記監視用撮像装置において、監視対象物の撮像を行って映像データを出力し
前記監視装置において、
前記映像データを解析するためのフィルタ情報を保存し、
前記映像データに含まれるオブジェクトが、前記監視用撮像装置の監視対象領域より消失し得る個所を、消失点を有するエリアとして記憶し、
前記フィルタを用いて前記映像データを解析して、解析の結果に応じてアラーム情報を生成するとともに、
前記消失点を持つエリア内でオブジェクトが一旦消失したことを認識し、ほぼ同じ場所で再びオブジェクトを検知した場合に、両オブジェクトを異なるオブジェクトと認識して映像データの解析を行なうことを特徴とする
監視方法。
【請求項９】
監視用撮像装置と、該監視用撮像装置が撮像して出力する映像データを使用して監視を行う監視装置とで構成される監視システムに適用される監視プログラムであって、
前記監視用撮像装置において、監視対象物の撮像を行って映像データを出力し
前記監視装置において、
前記映像データを解析するためのフィルタ情報を保存し、
前記映像データに含まれるオブジェクトが、前記監視用撮像装置の監視対象領域より消失し得る個所を、消失点を有するエリアとして記憶し、
前記フィルタ情報を用いて前記映像データを解析して、解析の結果に応じてアラーム情報を生成するとともに、
前記消失点を持つエリア内でオブジェクトが一旦消失したことを認識し、ほぼ同じ場所で再びオブジェクトを検知した場合に、両オブジェクトを異なるオブジェクトと認識して映像データの解析を行なうことを特徴とする
プログラム。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、監視カメラから映像データとその映像データに関するデータ（メタデータ）を取得して、このメタデータのフィルタ処理を行い、フィルタ処理により得られたフィルタ処理結果に基づいて監視結果の出力を行う監視装置、監視システム及び監視方法、並びに監視方法を実行するプログラムに関する。
【背景技術】
【０００２】
従来、監視カメラと制御装置とをネットワークを介して接続した監視システムが用いられている。このような監視システムにおいて、監視カメラは、撮影した映像データを、ネットワークを介して制御装置である監視装置に送信する。監視装置は、受信した映像データを記録するとともに、映像データを解析することで異常の発生を検出し、アラームを出力する。監視員は、モニタに表示される監視映像及び制御装置が出力したアラームの内容を確認しながら監視を行うことができる。
【０００３】
また近年の監視カメラは、監視装置に撮影した映像データを送信するだけでなく、撮影した映像データに関するメタデータ（例えば、アラーム情報や温度情報、カメラの画角情報）を生成して、監視装置にメタデータを送信する機能を有している。このような監視カメラを用いた監視システムにおいて、監視装置は、監視カメラから供給されたメタデータを、アラームを出力する特定の条件を設定したメタデータフィルタ（以下フィルタと称する）に通し、条件に合致した場合にアラームを出力する。メタデータフィルタには、例えばある場所への不審物の侵入や、ある境界線を通過する動体（オブジェクト）などを異常として検出するための条件が設定されている。
【０００４】
特許文献１には、ネットワークを介して監視カメラ（監視カメラ）から監視装置に監視映像の映像データを供給し、異常発生時の監視映像の確認等を監視装置で行う技術が記載されている。
【特許文献１】特開２００３−２７４３９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、この種の監視システムで監視を行う場合において、システム上のノイズや輝度の急激な変化、物体（動体）の急速な動き等の外乱により、オブジェクトとして認識した物体が一時的に見えなくなり、その後再び現れることがある。このような場合に、見えなくなる前の物体と再び出現した物体とが別のオブジェクトとして認識されると、オブジェクトとして認識される数が、実際の物体の数の倍となってしまう。これを防ぐため、一度見えなくなってその後ほぼ同じ場所に出現した物体は、同一のオブジェクトとしてみなすように設定がされることがある。
【０００６】
ところが、例えば出入り口等、実際に物体が消失又は出現しうる場所においてもその設定が適用されると、今度は別の物体であるのに同一のオブジェクトとして認識されてしまうような間違いが生じてしまう。
【０００７】
本発明はかかる点に鑑みてなされたものであり、監視システムにおけるオブジェクト認識の精度を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、監視用撮像装置が撮像して出力する映像データを使用して監視を行う場合に撮像したデータから監視対象の映像に関する情報を生成する。そして、解析するためのフィルタ情報を保存し、監視対象の映像に関する情報に含まれるオブジェクトが監視用撮像装置の監視対象領域より消失し得る個所を、消失点を有するエリアとして記憶する。そして、解析を実行して、その解析の結果に応じてアラーム情報を生成するとともに、消失点を持つエリア内でオブジェクトが一旦消失したことを認識し、ほぼ同じ場所で再びオブジェクトを検知した場合に、両オブジェクトを異なるオブジェクトと認識して解析を行なうようにしたものである。
【０００９】
このようにしたことで、オブジェクトが監視用撮像装置の監視対象領域より消失し得る個所で、複数のオブジェクトが消失又は再び確認された場合に、それぞれのオブジェクトが誤って同一のオブジェクトとして見做されてしまうことが無くなる。
【発明の効果】
【００１０】
本発明によると、オブジェクトが監視用撮像装置の監視対象領域より消失し得る個所で、複数のオブジェクトが消失又は再び確認された場合に、それぞれのオブジェクトが別々のオブジェクトとして認識されるため、所定の条件を満たすオブジェクトの数をカウントするフィルタ等を通して算出されたオブジェクト数が、より真の値に近いものとなる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明を実施するための最良の形態について、添付図面を参照しながら説明する。以下に説明する実施形態は、撮影対象物を撮影した映像データとともにメタデータを生成する撮像装置（監視カメラ）から得られたメタデータを解析して、動体（オブジェクト）を検出し、検出結果の出力を行う監視システムに適用した例としている。
【００１２】
図１は、本発明の一実施形態例における監視システムの接続構成を示した図である。図１（ａ）は、監視装置としてのクライアント端末が、監視カメラから出力されたデータを、ネットワークを介して取得するシステムであり、図１（ｂ）は、監視カメラから出力されたデータをサーバが取得し、クライアント端末に供給するシステム（サーバ／クライアントシステム）である。
【００１３】
まず図１（ａ）に示した監視システム１００について説明する。図１に示すように、監視システム１００は、１台、もしくは複数台の監視カメラを管理する。この例では２台としている。監視システム１００は、監視対象物を撮影し、映像データを生成するとともに映像データからメタデータを生成する監視カメラ１ａ，１ｂと、取得した映像データとメタデータを保存するとともに、メタデータの解析を行なってその結果を出力するクライアント端末３と、監視カメラ１ａ，１ｂとクライアント端末３とを接続するネットワーク２とで構成される。クライアント端末３が、ネットワーク２を介して監視カメラ１ａ，１ｂから取得したメタデータは、メタデータフィルタ（以下、「フィルタ」とも称する。）を介して解析される。フィルタ処理結果の内容によっては、クライアント端末３は、監視に適した監視映像が得られるように監視カメラ１ａ，１ｂの動作を制御するため、監視カメラ１ａ，１ｂに対して切替指示信号を供給する。
【００１４】
なお、監視カメラ、クライアント端末、サーバ及びクライアント端末の台数はこの例に限られないことは勿論である。
【００１５】
ここで、監視カメラ内で生成されるメタデータについて説明する。メタデータとは、監視カメラの撮像部で撮像された映像データの属性情報のことであり、例えば下記のようなものがある。
・オブジェクト情報（監視カメラで動体を検知した場合の、動体（オブジェクト）のＩＤや座標、サイズ等の情報）
・撮像時刻データ、監視カメラの向き情報（パン・チルト等）
・監視カメラの位置情報
・撮像された画像の署名情報
オブジェクト情報とは、メタデータ内にバイナリデータとして記載された情報を、構造体などの意味のあるデータ構造に展開した情報のことである。
【００１６】
メタデータフィルタとは、オブジェクト情報からアラーム情報を生成する場合の判断条件のことであり、アラーム情報とは、メタデータから展開したオブジェクト情報を元に、フィルタ処理をかけた後の情報のことである。アラーム情報は、複数フレームのメタデータを解析し、動体の位置の変化から速度を割り出したり、動体がある線を越えたか否かの確認をしたり、またはこれらを複合的に解析することで得られる。
【００１７】
フィルタの種類としては、例えば以下の７種類があり、このうち任意のフィルタの種類を選択することができる。
Appearance（存在）：物体（以下、オブジェクトとも称する）があるエリア内に存在するか否かを判別するためのフィルタ
Disappearance（消失）：物体があるエリア（領域）に現れ、エリアから出たか否かを判別するためのフィルタ
Passing（通過）：ある境界線を物体が超えたか否かを判別するためのフィルタ
Capacity（物体数制限）：あるエリア内の物体の数をカウントし、その累積数が所定値を超えたか否かを判別するためのフィルタ
Loitering（滞留）：所定の時間を超えて、あるエリア内に物体が滞留しているか否かを判別するためのフィルタ
Unattended（置き去り）：所定の時間を越えて、あるエリア内に侵入し動かない物体が存在するか否かを判別するためのフィルタ
Removed（持ち去り）：あるエリア内に存在した物体が取り除かれたことを検出するためのフィルタ
【００１８】
アラーム情報に含まれるデータとしては、上述したフィルタのうち“Capacity”等、検出されたオブジェクトの累計値を用いるフィルタを通して生成された“累積オブジェクト数”や、フィルタの条件に合致したオブジェクトの数である“オブジェクト数”、特定のフレーム内においてフィルタの条件に合致したオブジェクト数、フィルタの条件に合致したオブジェクトの属性情報（オブジェクトのＩＤ、Ｘ座標、Ｙ座標、サイズ）等がある。アラーム情報には、このように映像内の員数（人数）や、それらの統計が含まれ、レポート機能としても使用できる。
【００１９】
次に、図１（ａ）に示した監視カメラ１の詳細な構成を、図２の機能ブロック図を参照して説明する。監視カメラ１は、映像データ生成部２１と撮像動作切替部２２、メタデータ生成部２３とで構成される。まず、映像データ生成部２１を構成する各部の説明から行なう。撮像部２１２は、レンズ部２１１を通して撮像素子（図示せず）に結像された撮像光を光電変換して撮像信号Ｓｖを生成する。
【００２０】
撮像部２１２は、例えば図示しないプリアンプ部及びＡ／Ｄ（Analog／Digital）変換部を備え、プリアンプ部では、撮像信号Ｓｖの電気信号レベルの増幅や、相関二重サンプリングによるリセット雑音の除去を行ない、Ａ／Ｄ変換部では撮像信号Ｓｖをアナログ信号からデジタル信号に変換する。また、撮像部２１２では、供給された撮像信号Ｓｖのゲイン調整や黒レベルの安定化、ダイナミックレンジの調整等も行う。このように様々な処理が行なわれた撮像信号Ｓｖは、撮像信号処理部２１３に供給される。
【００２１】
撮像信号処理部２１３は、撮像部２１２から供給された撮像信号Ｓｖに対して種々の信号処理を行い、映像データＤｖを生成する。例えば、撮像信号Ｓｖのあるレベル以上を圧縮するニー補正、撮像信号Ｓｖのレベルを設定されたγカーブに従って補正するγ補正、撮像信号Ｓｖの信号レベルが所定範囲となるように制限するホワイトクリップ処理やブラッククリップ処理等を行う。そして映像データＤｖは、データ処理部２１４に供給される。
【００２２】
データ処理部２１４は、クライアント端末３等との通信を行なう際のデータ量を少なくするため、映像データＤｖに対して符号化処理を行なって映像データＤｔを生成する。さらに、データ処理部２１４は、生成した映像データＤｖを所定のデータ構造としてクライアント端末３に供給する。
【００２３】
撮像動作切替部２２は、クライアント端末３から入力される切替指示信号ＣＡに基づき、最適な撮像映像が得られるよう監視カメラ１の動作切替を行なう。撮像動作切替部２２は、例えば撮像部の撮像方向の切替を行なう他、レンズ部２１１に制御信号ＣＭａを供給してズーム比やアイリスの切替を行わせたり、撮像部２１２と撮像信号処理部２１３に制御信号ＣＭｂを供給して撮像映像のフレームレートの切替を行わせたり、さらにはデータ処理部２１４に制御信号ＣＭｃを供給して映像データの圧縮率の切替を行わせる等の処理を行なう。
【００２４】
メタデータ生成部２３は、監視対象に関する情報を示したメタデータＤｍの生成を行なう。動体を監視対象とする場合であれば、映像データ生成部２１で生成された映像データＤｖを用いて動体の検出を行い、動体が検出されているか否かを示す動体検知情報や、検出した動体の位置を示す動体位置情報を生成し、これをオブジェクト情報としてメタデータに含める。このとき検出されたオブジェクトには、それぞれに一意のＩＤが割り振られる。
【００２５】
なお、監視対象に関する情報は、動体に関連した情報に限られるものではなく、監視カメラで監視する領域の状態を示す情報であってもよい。例えば、監視する領域の温度や明るさ等の情報であってもよい。あるいは、監視する領域内で行われた操作等の情報であってもよい。温度を監視対象とする場合には温度測定結果をメタデータに含め、明るさを監視対象とする時には、メタデータ生成部２３は映像データＤｖに基づいて例えば監視映像の平均輝度を判別し、この判別結果をメタデータに含めるようにすればよい。
【００２６】
さらに、ＡＴＭ（Automated Teller Machine）やＰＯＳ（Point Of Sales）端末等を対象としてユーザが行なった操作を監視対象とする場合には、操作キーや操作パネル等を通じて行なわれたユーザ操作をメタデータに含めるようにすればよい。
【００２７】
また、メタデータ生成部２３は、撮像動作切替部２２から供給された撮像動作ＱＦ（例えば監視対象を撮像した時の撮像方向やズーム状態、映像データ生成部の設定情報等）や、時刻情報等をメタデータに含めることで、メタデータが生成された時刻や状況を記録として残すことができる。
【００２８】
ここで、映像データとメタデータの構成について説明する。映像データとメタデータは、それぞれデータ本体とリンク情報とで構成されている。データ本体は、映像データの場合、監視カメラ１ａ，１ｂが撮影した監視映像の映像データである。またメタデータの場合、監視対象を示す情報等と、この情報の記述方式を定義した属性情報を記述したものである。一方、リンク情報とは、映像データとメタデータとの関連付けを示す関連付け情報と、この情報の内容の記述方式を定義した属性情報等を記述したものである。
【００２９】
関連付け情報としては、例えば映像データを特定するためのタイムスタンプやシーケンス番号を使用する。タイムスタンプとは、映像データの生成時刻を与える情報（時刻情報）であり、シーケンス番号とは、コンテンツデータの生成順序を与える情報（順序情報）である。タイムスタンプの等しい監視映像が複数存在するような場合、タイムスタンプの等しい映像データの生成順序を識別することができる。また、関連付け情報には、映像データを生成する機器を特定するための情報（例えば製造会社名や機種名、製造番号等）を使用するものとしてもよい。
【００３０】
リンク情報やメタデータ本体の記述には、ウェブ（ＷＷＷ：World Wide Web）上で交換される情報を記述するために定義されたマークアップ言語を用いるものとする。マークアップ言語を用いると、ネットワーク２を介した情報の交換を容易に行うことができる。さらに、マークアップ言語として、例えば文書や電子データの交換に利用されているＸＭＬ（Extensible Markup Language）を用いることで、映像データとメタデータの交換も容易に行うことができる。ＸＭＬを用いるものとした場合、情報の記述方式を定義した属性情報は、例えばＸＭＬスキーマを使用する。
【００３１】
監視カメラ１ａ，１ｂで生成した映像データやメタデータは、１つのストリームとしてクライアント端末３に供給するものとしてもよく、映像データとメタデータを別のストリームで非同期にクライアント端末３に供給するものとしてもよい。
【００３２】
なお、図１（ｂ）に示すように、サーバ機能とクライアント機能を分割してサーバ１１とクライアント端末１２で構成された監視システムに適用しても、上述した図１（ａ）の例と同様の機能、効果を得ることができる。サーバ機能とクライアント機能を分割することで、処理性能が高いサーバ１１で大量にデータを処理し、処理性能が低いクライアント端末１２では専ら処理結果を閲覧するといった使い分けが可能となる。このように機能分散することでより柔軟性に富んだ監視システム１００を構築できるという効果がある。
【００３３】
次に、図１（ａ）に示したクライアント端末３の詳細な構成を、図３の機能ブロック図を参照して説明する。ただし、クライアント端末３の各機能ブロックは、ハードウェアで構成するものとしてもよく、またソフトウェアで構成するものとしてもよい。
【００３４】
クライアント端末３は、監視カメラ１ａ，１ｂとのデータ伝送を行なうネットワーク接続部１０１と、監視カメラ１ａ，１ｂから映像データを取得する映像バッファ部１０２と、監視カメラ１ａ，１ｂからメタデータを取得するメタデータバッファ部１０３と、フィルタ処理に応じたフィルタ設定を蓄積するフィルタ設定データベース１０７と、メタデータのフィルタ処理を行うフィルタ部としてのメタデータフィルタ部１０６と、オブジェクトが監視カメラの監視対象領域より消失し得る個所を「消失点を有するエリア」として設定した場合の消失点設定情報を記憶する消失点設定データベース１１３と、監視カメラ１ａ，１ｂに設定変更を通知するルール切替部１０８と、映像データを蓄積する映像データ蓄積データベース１０４と、メタデータを蓄積するメタデータ蓄積データベース１０５と、映像データやメタデータ等を表示する表示部１１１と、映像データを表示部１１１で再生させるための処理を行なう映像データ処理部１０９と、メタデータを表示部１１１で再生させるための処理を行なうメタデータ処理部１１０と、メタデータと映像データとの再生を同期させる再生同期部１１２とを備えている。
【００３５】
映像バッファ部１０２は、監視カメラ１ａ，１ｂから映像データを取得し、符号化されている映像データの復号化処理を行う。そして、映像バッファ部１０２は、得られた映像データを映像バッファ部１０２に設けられている図示しないバッファに保持する。さらに、映像バッファ部１０２は、図示しないバッファに保持している映像データを順次、画像を表示する表示部１１１に供給する処理も行う。このように図示しないバッファに映像データを保持することで、監視カメラ１ａ，１ｂからの映像データの受信タイミングに依らず、表示部１１１に対して順次映像データを供給できる。また、映像バッファ部１０２は、後述するルール切替部１０８から供給される録画要求信号に基づき、保持している映像データを映像データ蓄積データベース１０４に蓄積させる。なお、映像データ蓄積データベース１０４には、符号化されている映像データを蓄積するようにし、後述する映像データ処理部１０９で復号化を行うようにしてもよい。
【００３６】
メタデータバッファ部１０３は、メタデータバッファ部１０３に設けられている図示しないバッファに、監視カメラ１ａ，１ｂから取得したメタデータを保持する。また、メタデータバッファ部１０３は、保持しているメタデータを表示部１１１に順次供給する。また、図示しないバッファに保持しているメタデータを後述するメタデータフィルタ部１０６に供給する処理も行う。このように図示しないバッファにメタデータを保持することで、監視カメラ１ａ，１ｂからのメタデータの受信タイミングに依らず、表示部１１１に対して順次メタデータを供給できる。また、映像データと同期させてメタデータを表示部１１１に供給できる。さらに、メタデータバッファ部１０３は、監視カメラ１ａ，１ｂから取得したメタデータをメタデータ蓄積データベース１０５に蓄積させる。ここで、メタデータをメタデータ蓄積データベース１０５に蓄積する際に、メタデータと同期する映像データの時刻情報を付加しておく。このようにすることで、メタデータの内容を読み出して時刻を判別しなくとも、付加されている時刻情報を利用して、所望の時刻のメタデータをメタデータ蓄積データベース１０５から読み出すことが可能となる。
【００３７】
フィルタ設定データベース１０７は、後述するメタデータフィルタ部１０６で行うフィルタ処理に応じたフィルタ設定を蓄積するとともに、フィルタ設定をメタデータフィルタ部１０６に供給する。このフィルタ設定とは、アラーム情報等の出力や監視カメラ１ａ，１ｂの撮像動作の切替を行う必要があるか否かの判断基準等を、メタデータに含まれている監視対象に関する情報ごとに示す設定である。このフィルタ設定を用いてメタデータのフィルタ処理を行うことで、監視対象に関する情報ごとにフィルタ処理結果を示すことができる。フィルタ処理結果には、アラーム情報等の出力を行う必要があることや、監視カメラ１ａ，１ｂの撮像動作の切替が必要であることが示される。
【００３８】
メタデータフィルタ部１０６は、フィルタ設定データベース１０７に蓄積されているフィルタ設定を用いてメタデータのフィルタ処理を行い、アラームを発生させるかどうかを判断する。そして、メタデータフィルタ部１０６は、メタデータバッファ部１０３で取得したメタデータ、あるいはメタデータ蓄積データベース１０５から供給されたメタデータのフィルタ処理を行い、フィルタ処理結果をルール切替部１０８に通知する。
【００３９】
消失点設定データベース１１３は、例えばドアなど、オブジェクトが監視カメラの監視対象領域より消失し得る個所を、消失点を有するエリアとして設定した場合の、消失点設定情報を保存する。消失点を有するエリアは、その座標情報などをもとに例えば多角形で示され、そこに消失点を有するエリアであることを示すフラグが付与されて、消失点設定情報とされる。消失点設定データベース１１３に保存された消失点設定情報は、メタデータフィルタ部１０６がフィルタ処理を行なう際に参照され、消失点設定情報に応じた解析が行われる。この場合の処理の詳細については後述する。
【００４０】
ルール切替部１０８は、メタデータフィルタ部１０６から通知されたフィルタ処理結果に基づいて、切替指示信号を生成し、監視カメラ１ａ，１ｂに撮像方向切替等の変更を通知する。例えば、メタデータフィルタ部１０６から得られたフィルタ処理結果に基づき、監視に適した監視映像が得られるように監視カメラ１ａ，１ｂの動作を切り替える指令を出力する。また、ルール切替部１０８は、フィルタ処理結果に基づいて映像データ蓄積データベース１０４に録画要求信号を供給して、映像バッファ部１０２で取得した映像データを映像データ蓄積データベース１０４に蓄積させる。
【００４１】
映像データ蓄積データベース１０４は、映像バッファ部１０２で取得された映像データを蓄積する。メタデータ蓄積データベース１０５は、メタデータバッファ部１０３で取得されたメタデータを蓄積する。
【００４２】
映像データ処理部１０９は、映像データ蓄積データベース１０４に蓄積されている映像データを表示部１１１に表示させるための処理を行う。即ち、映像データ処理部１０９は、ユーザによって指示された再生位置から順次映像データを読み出して、読み出した映像データを表示部１１１に供給する。また、映像データ処理部１０９は、再生している映像データの再生位置（再生時刻）を再生同期部１１２に供給する。
【００４３】
メタデータと映像データとの再生を同期させる再生同期部１１２は、映像データ処理部１０９から供給された再生位置と、メタデータ処理部１１０で、メタデータ蓄積データベース１０５に蓄積されているメタデータを再生するときの再生位置が同期するように、同期制御信号をメタデータ処理部１１０に供給して、メタデータ処理部１１０の動作を制御する。
【００４４】
メタデータ処理部１１０は、メタデータ蓄積データベース１０５に蓄積されているメタデータを表示部１１１に表示させるための処理を行う。即ち、メタデータ処理部１１０は、ユーザによって指示された再生位置から順次メタデータを読み出して、読み出したメタデータを表示部１１１に供給する。また、映像データとメタデータの双方を再生する場合、メタデータ処理部１１０は、上述したように、再生同期部１１２から供給された同期制御信号に基づいて再生動作を制御して、映像データに同期したメタデータを表示部１１１に出力する。
【００４５】
表示部１１１は、映像バッファ部１０２から供給されたライブ（生）の映像データや映像データ処理部１０９から供給された再生映像データ、メタデータバッファ部１０３から供給されたライブのメタデータやメタデータ処理部１１０から供給された再生メタデータを表示する。また、表示部１１１は、メタデータフィルタ部１０６からのフィルタ設定に基づき、監視映像やメタデータの映像やフィルタ設定の映像のいずれか、あるいはこれらを合成した映像を用いて、フィルタ処理結果に基づく監視結果を示す映像を表示（出力）する。
【００４６】
また、表示部１１１は、グラフィカルユーザインタフェース（ＧＵＩ：Graphical User Interface）としても機能する。使用者は、図示しない操作キーやマウス、リモートコントローラ等を用い表示部１１１に表示されたフィルタ設定メニュー等を選択することでフィルタを定義したり、各処理部の情報やアラーム情報の解析結果等をＧＵＩ表示したりすることができる。
【００４７】
図４は、本実施の形態におけるクライアント端末３の表示部１１１による映像データとメタデータの表示例を示したものである。図４に示すように、監視カメラ１ａ，１ｂで撮像された映像データ１００１及びメタデータ１００２がネットワーク２を介してクライアント端末３へ供給される。監視カメラ１ａ，１ｂで生成されるメタデータの種類としては、時間、映像解析結果のオブジェクト情報（例えば、位置、種類、ステータスなど）、現在の監視カメラの状態などがある。また、クライアント端末もしくはサーバが持つソフトウェアモジュールを備え、監視カメラがネットワークを介さないで動作する場合も有効である。
【００４８】
クライアント端末３は、前述のように監視カメラ１ａ，１ｂから供給された映像データ１００１及びメタデータ１００２を取得、解析、保存する。クライアント端末３に入力された映像データ１００１及びメタデータ１００２は、映像データ蓄積データベース１０４、メタデータ蓄積データベース１０５に保存される。クライアント端末３は、フィルタ設定機能を有しており、表示部１１１に表示されるフィルタ設定画面（フィルタ設定メニュー）を通して各種フィルタの設定が行なわれ、その設定情報がフィルタ設定データベース１０７に保存される。
【００４９】
図４に示すフィルタ設定表示画面１００３ではフィルタの設定により生成されたラインＬＮ及びエリアＰＡが表示されている。矢印ＰＢは、ラインＬＮに対して検出すべきPassing（通過）方向を示している。
【００５０】
監視映像１００４は、表示部１１１に映像データ１００１とフィルタとが重畳して表示された様子を示したものである。ラインＬＮはPassing（通過）のフィルタとして設定してあり、このフィルタを通過したオブジェクトをカウントする設定がされている場合には、ラインＬＮを通過したオブジェクトの数が算出される。この画面においては、ラインＬＮを通過したオブジェクトとしてＭＢ１及びＭＢ２が検出されるため、オブジェクト数は２となる。
【００５１】
ところが、システム上のノイズや輝度の急激な変化、物体（動体）の急速な動き等の外乱により、オブジェクトとして認識された物体が一時的に消失し、その後再び現れることがある。このような場合に、消失前の物体と再び出現した物体とが別のオブジェクトとして認識されると、オブジェクトとして認識される数が、実際の物体の数の倍となってしまう。これを防ぐため、オブジェクトが消失したことを認識したほぼ同じ場所で再びオブジェクトを検知した場合は、消失前の物体と再出現した物体とを同一のオブジェクトとしてみなすように設定がされることがある。
【００５２】
ところが、例えば出入り口等、実際に物体が消失又は出現しうる場所においてもその設定が適用されると、今度は別の物体であるのに同一のオブジェクトとして認識されてしまうような間違いが生じてしまう。
【００５３】
本実施の形態においては、出入り口等、実際にオブジェクトが消失又は再出現し得る場所を「消失点を有するエリア」として定義づけ、消失点を有するエリアとして設定された場所においては、一度監視画面上から視覚的に消失したオブジェクトと、ほぼ同じ場所に出現したオブジェクトとは、同一のオブジェクトとしてみなさない設定を行なうことにより、フィルタを通して得られるオブジェクト数を、実際の物体の数により近似させるようにしたことを特徴とするものである。
【００５４】
図５は、監視画面中のドアを、消失点を有するエリアＶＰとして設定した場合の表示例を示したものである。ドアを、消失点を有するエリアＶＰとする設定は、消失点設定データベース１１３（図３参照）に保存するようにする。消失点の定義及び設定は、ユーザに判断させて図示せぬ操作部等からの入力により行なうようにしてもよく、別のシステムに消失点の検出から定義までを行なわせ、システムより得た結果情報を用いるようにしてもよい。
【００５５】
次に、図６のフローチャートを参照して、本例でのオブジェクト認識処理について説明する。まず監視カメラ１で、例えば３×３ピクセル等のマクロブロック単位で、監視対象の物体の動きを示す画素の有無が監視され、監視画面中に動体があるか否かが判断される（ステップＳ１１）。この処理は、動体を検出するまで続けられる。動体が検出された場合は、物体の動きを示す画素同士を連結させるクラスタリングの処理が行なわれ（ステップＳ１３）、まとめられたクラスタは、１つのオブジェクトとして定義される（ステップＳ１４）。ここまでは監視カメラ１側での処理であり、上述した方法で求められたオブジェクト情報は、メタデータとしてクライアント端末３に伝送される。
【００５６】
クライアント端末３では、オブジェクト情報を含むメタデータを受信し、オブジェクトが検出されたエリアが、消失点設定エリアであるか否かの判断を行なう（ステップＳ１５）。オブジェクトが検出されたエリアが、消失点を有するエリアとして設定されたエリアであった場合には、そのオブジェクトを新たなオブジェクトとして認識する（ステップＳ１７）。オブジェクトが検出されたエリアが、消失点を有するエリアの設定がされていないエリアであった場合には、オブジェクトが検出された時間の直前にほぼ同じ位置で消失したことが確認されたオブジェクトがあれば、そのオブジェクトと検出したオブジェクトとを同一のオブジェクトとして認識する（ステップＳ１６）。
【００５７】
図７は、実際の監視画面の表示例を示した図である。図７では、画面右上の出入り口が消失点を有するエリアＶＰとして設定してある様子を示してある。まず、消失点を有するエリアＶＰ付近でのオブジェクト認識の例について説明する。図７（ａ）の画面右上に確認されるオブジェクトＭＢ１が、図７（ｂ）では画面上から消失しており、図７（ｃ）ではオブジェクトＭＢ３が認識されている。
【００５８】
この場合、“一度消失してその後ほぼ同じ場所に出現した物体は、同一のオブジェクトとしてみなす”といった設定がされていると、図７（ａ）でのオブジェクトＭＢ１と、図７（ｃ）でのオブジェクトＭＢ３とは同一のオブジェクトであると判断される。この状態で、所定の条件を満たしたオブジェクト数をカウントするフィルタ等によって、オブジェクト数を算出されると、オブジェクトＭＢ１＝オブジェクトＭＢ３＝１としてカウントされてしまう。
【００５９】
ところが、実際にはオブジェクトＭＢ１とＭＢ３とは別人であるには、フィルタを通して得られたオブジェクト数が、実際の物体の数に比べて少なくなってしまう。このため、本例では、オブジェクトがいったん消失して、ほぼ同じ場所で再びオブジェクトを検出した場合で、その場所が消失点を有するエリアＶＰである場合には、消失前のオブジェクトと再出現後のオブジェクトとを別のオブジェクトとみなすようにしてある。同様の定義を他の場所にもあてはめると、同一のオブジェクトが重複してカウントされてしまうという問題が生じるため、消失点を有するエリアＶＰ以外のエリアでは、いったん消失してほぼ同じ場所に再び出現したオブジェクトは、同一のオブジェクトとみなすよう定義をしてある。
【００６０】
再び図７に戻って、今度は画面中央のオブジェクトＭＢ２に注目して説明を行う。図７（ａ）で、オブジェクトＭＢ２として認識された人物は、長時間同一の姿勢をとっていたため、動体としては検出されなくなり、オブジェクトとしては消失したものとしてみなされているものとする。この状態で、図７（ｂ）のように人物が再度動作すると、監視カメラ１側では、図７（ａ）でのオブジェクトＭＢ２と、図７（ｂ）でのオブジェクトＭＢ２とが別のオブジェクトであると認識し、別のオブジェクトＩＤを付与してしまうことがある。
【００６１】
ところが本例では、消失点を有するエリアとして設定されたエリア以外のエリアでオブジェクトが消失及び再び出現した場合には、消失前のオブジェクトと再出現後のオブジェジェクトとを同一のオブジェクトとみなすようにしてあるため、図７（ａ）のオブジェクトＭＢ２と図７（ｂ）のオブジェクトＭＢ２とは同一のオブジェクトとしてみなされ、オブジェクトの数をカウントするフィルタが用いられる場合でも、オブジェクトＭＢ２＝１としてカウントされるようになる。
【００６２】
このように、出入り口等、実際にその場所でオブジェクトが視覚的に消失及び出現し得るエリアを、消失点を有するエリアとして設定し、オブジェクトがいったん消失して、ほぼ同じ場所で再びオブジェクトを検出した時に、その場所が消失点を有するエリアである場合には、消失前のオブジェクトと再出現後のオブジェクトとを異なるオブジェクトとして認識するようにしたため、出入り口を通して様々な動体が出入りした場合にそれらが同一のオブジェクトとして認識されてしまうといった間違いが無くなり、実際の物体（動体）の数とフィルタを通して得られるオブジェクト数との誤差が小さくなる。
【００６３】
また、消失点を有するエリア以外のエリアにおいては、消失前のオブジェクトと再出現後のオブジェクトとを同一のオブジェクトとして認識するようにしたため、実際には消失していないのに、外乱等の要因により消失したものとして認識された場合等にも、消失前の物体と再出現後の物体とが同一のオブジェクトとして認識されるようになる。このため、フィルタを通して得られるオブジェクトの数が、実際の物体の数により近いものとなる。
【００６４】
なお、ここまで説明した実施の形態では、オブジェクトＩＤの付与を監視カメラ側に行なわせるようにしたが、この作業をクライアント端末側で行わせるようにしてもよい。
【００６５】
また、上述した実施形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムを、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させる。
【００６６】
さらに、上述した実施の形態においては、監視カメラ（監視用撮像装置）から出力されるメタデータに対してフィルタ処理を行なう構成としたが、フィルタ処理の対象はメタデータに限定されるものではなく、他の様々な形態のデータに対してフィルタ処理を行なう場合にも適用可能である。例えば、監視カメラが出力する映像データの映像（画像）を、クライアント端末で直接画像解析するように構成してもよい。
【図面の簡単な説明】
【００６７】
【図１】本発明の一実施の形態による監視システムの構成例を示す構成図である。
【図２】本発明の一実施の形態による監視カメラの内部構成例を示すブロック図である。
【図３】本発明の一実施の形態によるクライアント端末の内部構成例を示すブロック図である。
【図４】本発明の一実施の形態による映像データとメタデータの表示例を示す説明図である。
【図５】本発明の一実施の形態による監視画像の例を示す説明図である。
【図６】本発明の一実施の形態によるオブジェクト認識処理例を示すフローチャートである。
【図７】本発明の一実施の形態による監視画像の例を示す説明図である。
【符号の説明】
【００６８】
１…監視カメラ、２…ネットワーク、３…クライアント端末、２１…映像データ生成部、２２…撮像動作切替部、２３…メタデータ生成部、１００…監視システム、１０１…ネットワーク接続部、１０２…映像バッファ部、１０３…メタデータバッファ部、１０４…映像データ蓄積データベース、１０５…メタデータ蓄積データベース、１０６…メタデータフィルタ部、１０７…フィルタ設定データベース、１０８…ルール切替部、１０９…映像データ処理部、１１０…メタデータ処理部、１１１…表示部、１１２…再生同期部、１１３…消失点設定データベース、２１１…レンズ部、２１２…撮像部、２１３…撮像信号処理部、２１４…データ処理部、１００１…映像データ、１００２…メタデータ、１００３…フィルタ設定表示画面、１００４…監視映像、ＬＮ…境界線、ＭＢ１,ＭＢ２,ＭＢ３…オブジェクト、ＰＡ…領域、ＰＢ…矢印
【出願人】 【識別番号】０００００２１８５
【氏名又は名称】ソニー株式会社
【出願日】 平成１８年７月２７日（２００６．７．２７）
【代理人】 【識別番号】１００１２２８８４
【弁理士】
【氏名又は名称】角田 芳末

【識別番号】１００１３３８２４
【弁理士】
【氏名又は名称】伊藤 仁恭
【公開番号】 特開２００８−３５０９５（Ｐ２００８−３５０９５Ａ）
【公開日】 平成２０年２月１４日（２００８．２．１４）
【出願番号】 特願２００６−２０５０６７（Ｐ２００６−２０５０６７）