トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 監視装置、監視方法及びプログラム
【発明者】 【氏名】小西 哲也
【要約】 【課題】監視対象が固定されていない場合にも良好に認識して監視できるようにする。

【構成】監視用撮像装置が撮像して出力する映像データを使用して監視を行う場合において、映像データから検知された物体の位置Ｘを特定する検知物体特定処理と、検知物体特定処理で特定された物体の基準位置Ｙを設定する基準位置設定処理と、基準位置設定処理で設定された基準位置Ｙに対して相対的に、映像データで示される映像の範囲内に、１つ又は複数の探査領域Ｒａ，Ｒｂを設定して、その設定した探査領域で物体を検知する検知処理とを行う。
【特許請求の範囲】
【請求項１】
監視用撮像装置が撮像して出力する映像データを使用して監視を行う監視装置において、
前記映像データから検知された物体の位置を特定する検知物体特定処理部と、
前記検知物体特定処理部で特定された物体の基準位置を設定する基準位置設定処理部と、
前記基準位置設定処理部で設定された基準位置に対して相対的に、前記映像データで示される映像の範囲内に、１つ又は複数の探査領域を設定して、その設定した探査領域で物体の検知処理を行う検知処理部とを備えたことを特徴とする
監視装置。
【請求項２】
請求項１記載の監視装置において、
前記検知物体特定処理部での検知物体特定処理及び前記検知処理部での検知処理は、前記監視用撮像装置が映像データと共に出力する、監視対象に関する情報を示したメタデータを使用した特定処理及び検知処理であることを特徴とする
監視装置。
【請求項３】
請求項１記載の監視装置において、
前記検知処理部での探査領域の設定は、前記基準位置から所定の方向に所定区間離れた位置に、決められたサイズで設定される領域であることを特徴とする
監視装置。
【請求項４】
請求項１記載の監視装置において、
前記検知処理部で設定される探査領域のサイズは、検知物体特定処理部で特定した物体を正規化したサイズに対応したサイズとしたことを特徴とする
監視装置。
【請求項５】
監視用撮像装置が撮像して出力する映像データを使用して監視を行う監視方法において、
前記映像データから検知された物体の位置を特定する検知物体特定処理と、
前記検知物体特定処理で特定された物体の基準位置を設定する基準位置設定処理と、
前記基準位置設定処理で設定された基準位置に対して相対的に、前記映像データで示される映像の範囲内に、１つ又は複数の探査領域を設定して、その設定した探査領域で物体を検知する検知処理とを有することを特徴とする
監視方法。
【請求項６】
監視用撮像装置が撮像して出力する映像データを使用して監視処理をデータ処理装置に実装して実行するプログラムにおいて、
前記映像データから検知された物体の位置を特定する検知物体特定処理と、
前記検知物体特定処理で特定された物体の基準位置を設定する基準位置設定処理と、
前記基準位置設定処理で設定された基準位置に対して相対的に、前記映像データで示される映像の範囲内に、１つ又は複数の探査領域を設定して、その設定した探査領域で物体を検知する検知処理とを実行することを特徴とする
プログラム。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、監視カメラから映像データ又は映像データに関するデータを取得して、この取得したデータに基づいた監視処理を行う監視装置及び監視方法、並びに監視方法を実行するプログラムに関する。
【背景技術】
【０００２】
従来、監視カメラと制御装置とをネットワークを介して接続した監視システムが用いられている。このような監視システムにおいて、監視カメラは、撮影した映像データを、ネットワークを介して制御装置である監視装置に送信する。監視装置は、受信した映像データを記録するとともに、映像データを解析することで異常の発生を検出し、アラームを出力する。監視員は、モニタに表示される監視映像及び制御装置が出力したアラームの内容を確認しながら監視を行うことができる。
【０００３】
また近年の監視カメラは、監視装置に撮影した映像データを送信するだけでなく、撮影した映像データに関するメタデータ（例えば、アラーム情報や温度情報、カメラの画角情報など）を生成して、監視装置にメタデータを送信する機能を有している。このような監視カメラを用いた監視システムにおいて、監視装置は、監視カメラから供給されたメタデータを、アラームを出力する特定の条件を設定したメタデータフィルタ（以下フィルタと称する）に通し、条件に合致した場合にアラームを出力する。メタデータフィルタには、例えばある場所への不審物の侵入や、ある境界線を通過する動体（オブジェクト）などを異常として検出するための条件が設定されている。
【０００４】
特許文献１には、ネットワークを介して監視カメラ（監視カメラ）から監視装置に監視映像の映像データを供給し、異常発生時の監視映像の確認等を監視装置で行う技術が記載されている。
【特許文献１】特開２００３−２７４３９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、この種の従来の監視システムで監視を行う場合において、撮影された映像で示される状況が異常か否かの判断を行う際には、例えば、建物のドア、窓、門などの固定された場所を撮影して、その撮影されたドアなどに出入りする人があるかどうかを判断するようにしてあり、監視対象となる範囲が予め決められた固定された範囲であった。固定された位置を監視する場合には、その場所に人物がいるか否か監視するようにすればよい。
【０００６】
これに対して、より高度な監視を可能とすることが要請されている。具体的には、例えば自動車のような移動物体を監視映像から認識して、その認識された自動車から降りた人の有無を判断するような場合には、対応が不可能である問題があった。
【０００７】
本発明はかかる点に鑑みてなされたものであり、監視対象が固定されていない場合にも良好に認識して監視できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、監視用撮像装置が撮像して出力する映像データを使用して監視を行う場合において、映像データから検知された物体の位置を特定する検知物体特定処理と、検知物体特定処理で特定された物体の基準位置を設定する基準位置設定処理と、基準位置設定処理で設定された基準位置に対して相対的に、映像データで示される映像の範囲内に、１つ又は複数の探査領域を設定して、その設定した探査領域で物体を検知する検知処理とを行うようにしたものである。
【０００９】
このようにしたことで、撮像された映像中に特定の条件で検知された物体を基準として検知範囲が決まるようになる。
【発明の効果】
【００１０】
本発明によると、撮像された映像中に特定の条件で検知された物体を基準として検知範囲が決まるようになり、監視範囲の状況に応じた動的な監視が可能なる。例えば、監視映像から検知された自動車の近傍に、動体の探査領域を設定して、その自動車から降車する人の有無を検知できるようになる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明を実施するための最良の形態について、添付図面を参照しながら説明する。以下に説明する実施形態は、撮影対象物を撮影した映像データとともにメタデータを生成する撮像装置（監視カメラ）から得られたメタデータを解析して、動体（オブジェクト）を検出し、検出結果の出力を行う監視システムに適用した例としている。
【００１２】
図１は、本発明の一実施形態例における監視システムの接続構成を示した図である。図１（ａ）は、監視装置としてのクライアント端末が、監視カメラから出力されたデータを、ネットワークを介して取得するシステムであり、図１（ｂ）は、監視カメラから出力されたデータをサーバが取得し、クライアント端末に供給するシステム（サーバ／クライアントシステム）である。
【００１３】
まず図１（ａ）に示した監視システム１００について説明する。図１に示すように、監視システム１００は、１台、もしくは複数台の監視カメラを管理する。この例では２台としている。監視システム１００は、監視対象物を撮影し、映像データを生成するとともに映像データからメタデータを生成する監視カメラ１ａ，１ｂと、取得した映像データとメタデータを保存するとともに、メタデータの解析を行なってその結果を出力するクライアント端末３と、監視カメラ１ａ，１ｂとクライアント端末３とを接続するネットワーク２とで構成される。クライアント端末３が、ネットワーク２を介して監視カメラ１ａ，１ｂから取得したメタデータは、メタデータフィルタ（以下、「フィルタ」とも称する。）を介して解析される。フィルタ処理結果の内容によっては、クライアント端末３は、監視に適した監視映像が得られるように監視カメラ１ａ，１ｂの動作を制御するため、監視カメラ１ａ，１ｂに対して切替指示信号を供給する。
【００１４】
なお、監視カメラ、クライアント端末、サーバ及びクライアント端末の台数はこの例に限られないことは勿論である。
【００１５】
ここで、監視カメラ内で生成されるメタデータについて説明する。メタデータとは、監視カメラの撮像部で撮像された映像データの属性情報のことであり、例えば下記のようなものがある。
・オブジェクト情報（監視カメラで動体を検知した場合の、動体（オブジェクト）のＩＤや座標、サイズ等の情報）
・撮像時刻データ、監視カメラの向き情報（パン・チルト等）
・監視カメラの位置情報
・撮像された画像の署名情報
オブジェクト情報とは、メタデータ内にバイナリデータとして記載された情報を、構造体などの意味のあるデータ構造に展開した情報のことである。
【００１６】
メタデータフィルタとは、オブジェクト情報からアラーム情報を生成する場合の判断条件のことであり、アラーム情報とは、メタデータから展開したオブジェクト情報を元に、フィルタ処理をかけた後の情報のことである。アラーム情報は、複数フレームのメタデータを解析し、動体の位置の変化から速度を割り出したり、動体がある線を越えたか否かの確認をしたり、またはこれらを複合的に解析することで得られる。
【００１７】
フィルタの種類としては、例えば以下の７種類があり、このうち任意のフィルタの種類を選択することができる。
Appearance（存在）：物体（以下、オブジェクトとも称する）があるエリア内に存在するか否かを判別するためのフィルタ
Disappearance（消失）：物体があるエリア（領域）に現れ、エリアから出たか否かを判別するためのフィルタ
Passing（通過）：ある境界線を物体が超えたか否かを判別するためのフィルタ
Capacity（物体数制限）：あるエリア内の物体の数をカウントし、その累積数が所定値を超えたか否かを判別するためのフィルタ
Loitering（滞留）：所定の時間を超えて、あるエリア内に物体が滞留しているか否かを判別するためのフィルタ
Unattended（置き去り）：所定の時間を越えて、あるエリア内に侵入し動かない物体が存在するか否かを判別するためのフィルタ
Removed（持ち去り）：あるエリア内に存在した物体が取り除かれたことを検出するためのフィルタ
【００１８】
アラーム情報に含まれるデータとしては、上述したフィルタのうち“Capacity”等、検出されたオブジェクトの累計値を用いるフィルタを通して生成された“累積オブジェクト数”や、フィルタの条件に合致したオブジェクトの数である“オブジェクト数”、特定のフレーム内においてフィルタの条件に合致したオブジェクト数、フィルタの条件に合致したオブジェクトの属性情報（オブジェクトのＩＤ、Ｘ座標、Ｙ座標、サイズ）等がある。アラーム情報には、このように映像内の員数（人数）や、それらの統計が含まれ、レポート機能としても使用できる。
【００１９】
次に、図１（ａ）に示した監視カメラ１の詳細な構成を、図２の機能ブロック図を参照して説明する。監視カメラ１は、映像データ生成部２１と撮像動作切替部２２、メタデータ生成部２３とで構成される。まず、映像データ生成部２１を構成する各部の説明から行なう。撮像部２１２は、レンズ部２１１を通して撮像素子（図示せず）に結像された撮像光を光電変換して撮像信号Ｓｖを生成する。
【００２０】
撮像部２１２は、例えば図示しないプリアンプ部及びＡ／Ｄ（Analog／Digital）変換部を備え、プリアンプ部では、撮像信号Ｓｖの電気信号レベルの増幅や、相関二重サンプリングによるリセット雑音の除去を行ない、Ａ／Ｄ変換部では撮像信号Ｓｖをアナログ信号からデジタル信号に変換する。また、撮像部２１２では、供給された撮像信号Ｓｖのゲイン調整や黒レベルの安定化、ダイナミックレンジの調整等も行う。このように様々な処理が行なわれた撮像信号Ｓｖは、撮像信号処理部２１３に供給される。
【００２１】
撮像信号処理部２１３は、撮像部２１２から供給された撮像信号Ｓｖに対して種々の信号処理を行い、映像データＤｖを生成する。例えば、撮像信号Ｓｖのあるレベル以上を圧縮するニー補正、撮像信号Ｓｖのレベルを設定されたγカーブに従って補正するγ補正、撮像信号Ｓｖの信号レベルが所定範囲となるように制限するホワイトクリップ処理やブラッククリップ処理等を行う。そして映像データＤｖは、データ処理部２１４に供給される。
【００２２】
データ処理部２１４は、クライアント端末３等との通信を行なう際のデータ量を少なくするため、映像データＤｖに対して符号化処理を行なって映像データＤｔを生成する。さらに、データ処理部２１４は、生成した映像データＤｖを所定のデータ構造としてクライアント端末３に供給する。
【００２３】
撮像動作切替部２２は、クライアント端末３から入力される切替指示信号ＣＡに基づき、最適な撮像映像が得られるよう監視カメラ１の動作切替を行なう。撮像動作切替部２２は、例えば撮像部の撮像方向の切替を行なう他、レンズ部２１１に制御信号ＣＭａを供給してズーム比やアイリスの切替を行わせたり、撮像部２１２と撮像信号処理部２１３に制御信号ＣＭｂを供給して撮像映像のフレームレートの切替を行わせたり、さらにはデータ処理部２１４に制御信号ＣＭｃを供給して映像データの圧縮率の切替を行わせる等の処理を行なう。
【００２４】
メタデータ生成部２３は、監視対象に関する情報を示したメタデータＤｍの生成を行なう。動体を監視対象とする場合であれば、映像データ生成部２１で生成された映像データＤｖを用いて動体の検出を行い、動体が検出されているか否かを示す動体検知情報や、検出した動体の位置を示す動体位置情報を生成し、これをオブジェクト情報としてメタデータに含める。このとき検出されたオブジェクトには、それぞれに一意のＩＤが割り振られる。
【００２５】
なお、監視対象に関する情報は、動体に関連した情報に限られるものではなく、監視カメラで監視する領域の状態を示す情報であってもよい。例えば、監視する領域の温度や明るさ等の情報であってもよい。あるいは、監視する領域内で行われた操作等の情報であってもよい。温度を監視対象とする場合には温度測定結果をメタデータに含め、明るさを監視対象とする時には、メタデータ生成部２３は映像データＤｖに基づいて例えば監視映像の平均輝度を判別し、この判別結果をメタデータに含めるようにすればよい。
【００２６】
また、メタデータ生成部２３は、撮像動作切替部２２から供給された撮像動作ＱＦ（例えば監視対象を撮像した時の撮像方向やズーム状態、映像データ生成部の設定情報等）や、時刻情報等をメタデータに含めることで、メタデータが生成された時刻や状況を記録として残すことができる。
【００２７】
ここで、映像データとメタデータの構成について説明する。映像データとメタデータは、それぞれデータ本体とリンク情報とで構成されている。データ本体は、映像データの場合、監視カメラ１ａ，１ｂが撮影した監視映像の映像データである。またメタデータの場合、監視対象を示す情報等と、この情報の記述方式を定義した属性情報を記述したものである。一方、リンク情報とは、映像データとメタデータとの関連付けを示す関連付け情報と、この情報の内容の記述方式を定義した属性情報等を記述したものである。
【００２８】
関連付け情報としては、例えば映像データを特定するためのタイムスタンプやシーケンス番号を使用する。タイムスタンプとは、映像データの生成時刻を与える情報（時刻情報）であり、シーケンス番号とは、コンテンツデータの生成順序を与える情報（順序情報）である。タイムスタンプの等しい監視映像が複数存在するような場合、タイムスタンプの等しい映像データの生成順序を識別することができる。また、関連付け情報には、映像データを生成する機器を特定するための情報（例えば製造会社名や機種名、製造番号等）を使用するものとしてもよい。
【００２９】
リンク情報やメタデータ本体の記述には、ウェブ（ＷＷＷ：World Wide Web）上で交換される情報を記述するために定義されたマークアップ言語を用いるものとする。マークアップ言語を用いると、ネットワーク２を介した情報の交換を容易に行うことができる。さらに、マークアップ言語として、例えば文書や電子データの交換に利用されているＸＭＬ（Extensible Markup Language）を用いることで、映像データとメタデータの交換も容易に行うことができる。ＸＭＬを用いるものとした場合、情報の記述方式を定義した属性情報は、例えばＸＭＬスキーマを使用する。
【００３０】
監視カメラ１ａ，１ｂで生成した映像データやメタデータは、１つのストリームとしてクライアント端末３に供給するものとしてもよく、映像データとメタデータを別のストリームで非同期にクライアント端末３に供給するものとしてもよい。
【００３１】
なお、図１（ｂ）に示すように、サーバ機能とクライアント機能を分割してサーバ１１とクライアント端末１２で構成された監視システムに適用しても、上述した図１（ａ）の例と同様の機能、効果を得ることができる。サーバ機能とクライアント機能を分割することで、処理性能が高いサーバ１１で大量にデータを処理し、処理性能が低いクライアント端末１２では専ら処理結果を閲覧するといった使い分けが可能となる。このように機能分散することでより柔軟性に富んだ監視システム１００を構築できるという効果がある。
【００３２】
次に、図１（ａ）に示したクライアント端末３の詳細な構成を、図３の機能ブロック図を参照して説明する。ただし、クライアント端末３の各機能ブロックは、ハードウェアで構成するものとしてもよく、またソフトウェアで構成するものとしてもよい。
【００３３】
クライアント端末３は、監視カメラ１ａ，１ｂとのデータ伝送を行なうネットワーク接続部１０１と、監視カメラ１ａ，１ｂから映像データを取得する映像バッファ部１０２と、監視カメラ１ａ，１ｂからメタデータを取得するメタデータバッファ部１０３と、フィルタ処理に応じたフィルタ設定を蓄積するフィルタ設定データベース１０７と、探査領域設定データベース１１４と、メタデータのフィルタ処理を行うメタデータフィルタ部１０６と、監視カメラ１ａ，１ｂに設定変更を通知するルール切替部１０８と、映像データを蓄積する映像データ蓄積データベース１０４と、メタデータを蓄積するメタデータ蓄積データベース１０５と、映像データやメタデータ等を表示する表示部１１１と、映像データを表示部１１１で再生させるための処理を行なう映像データ処理部１０９と、メタデータを表示部１１１で再生させるための処理を行なうメタデータ処理部１１０と、メタデータと映像データとの再生を同期させる再生同期部１１２とを備えている。
【００３４】
映像バッファ部１０２は、監視カメラ１ａ，１ｂから映像データを取得し、符号化されている映像データの復号化処理を行う。そして、映像バッファ部１０２は、得られた映像データを映像バッファ部１０２に設けられている図示しないバッファに保持する。さらに、映像バッファ部１０２は、図示しないバッファに保持している映像データを順次、画像を表示する表示部１１１に供給する処理も行う。このように図示しないバッファに映像データを保持することで、監視カメラ１ａ，１ｂからの映像データの受信タイミングに依らず、表示部１１１に対して順次映像データを供給できる。また、映像バッファ部１０２は、後述するルール切替部１０８から供給される録画要求信号に基づき、保持している映像データを映像データ蓄積データベース１０４に蓄積させる。なお、映像データ蓄積データベース１０４には、符号化されている映像データを蓄積するようにし、後述する映像データ処理部１０９で復号化を行うようにしてもよい。
【００３５】
メタデータバッファ部１０３は、メタデータバッファ部１０３に設けられている図示しないバッファに、監視カメラ１ａ，１ｂから取得したメタデータを保持する。また、メタデータバッファ部１０３は、保持しているメタデータを表示部１１１に順次供給する。また、図示しないバッファに保持しているメタデータを後述するメタデータフィルタ部１０６に供給する処理も行う。このように図示しないバッファにメタデータを保持することで、監視カメラ１ａ，１ｂからのメタデータの受信タイミングに依らず、表示部１１１に対して順次メタデータを供給できる。また、映像データと同期させてメタデータを表示部１１１に供給できる。さらに、メタデータバッファ部１０３は、監視カメラ１ａ，１ｂから取得したメタデータをメタデータ蓄積データベース１０５に蓄積させる。ここで、メタデータをメタデータ蓄積データベース１０５に蓄積する際に、メタデータと同期する映像データの時刻情報を付加しておく。このようにすることで、メタデータの内容を読み出して時刻を判別しなくとも、付加されている時刻情報を利用して、所望の時刻のメタデータをメタデータ蓄積データベース１０５から読み出すことが可能となる。
【００３６】
フィルタ設定データベース１０７は、後述するメタデータフィルタ部１０６で行うフィルタ処理に応じたフィルタ設定を蓄積するとともに、フィルタ設定をメタデータフィルタ部１０６に供給する。このフィルタ設定とは、アラーム情報等の出力や監視カメラ１ａ，１ｂの撮像動作の切替を行う必要があるか否かの判断基準等を、メタデータに含まれている監視対象に関する情報ごとに示す設定である。このフィルタ設定を用いてメタデータのフィルタ処理を行うことで、監視対象に関する情報ごとにフィルタ処理結果を示すことができる。フィルタ処理結果には、アラーム情報等の出力を行う必要があることや、監視カメラ１ａ，１ｂの撮像動作の切替が必要であることが示される。
【００３７】
メタデータフィルタ部１０６は、フィルタ設定データベース１０７に蓄積されているフィルタ設定を用いてメタデータのフィルタ処理を行い、アラームを発生させるかどうかを判断する。そして、メタデータフィルタ部１０６は、メタデータバッファ部１０３で取得したメタデータ、あるいはメタデータ蓄積データベース１０５から供給されたメタデータのフィルタ処理を行い、フィルタ処理結果をルール切替部１０８に通知する。
【００３８】
探査領域設定データベース１１４は、映像内で検知されたオブジェクトに対して設定される探査領域に関する情報を保存する。探査領域として設定したエリアは、その座標情報などをもとに例えば多角形で示され、そこに動体の検出の有無を示すフラグなどが付与されて、探査領域情報とされる。探査領域設定データベース１１４に保存された探査領域情報は、メタデータフィルタ部１０６がフィルタ処理を行なう際に参照され、探査領域情報に応じた解析が行われる。この場合の処理の詳細については後述する。
【００３９】
ルール切替部１０８は、メタデータフィルタ部１０６から通知されたフィルタ処理結果に基づいて、切替指示信号を生成し、監視カメラ１ａ，１ｂに撮像方向切替等の変更を通知する。例えば、メタデータフィルタ部１０６から得られたフィルタ処理結果に基づき、監視に適した監視映像が得られるように監視カメラ１ａ，１ｂの動作を切り替える指令を出力する。また、ルール切替部１０８は、フィルタ処理結果に基づいて映像データ蓄積データベース１０４に録画要求信号を供給して、映像バッファ部１０２で取得した映像データを映像データ蓄積データベース１０４に蓄積させる。
【００４０】
映像データ蓄積データベース１０４は、映像バッファ部１０２で取得された映像データを蓄積する。メタデータ蓄積データベース１０５は、メタデータバッファ部１０３で取得されたメタデータを蓄積する。
【００４１】
映像データ処理部１０９は、映像データ蓄積データベース１０４に蓄積されている映像データを表示部１１１に表示させるための処理を行う。即ち、映像データ処理部１０９は、ユーザによって指示された再生位置から順次映像データを読み出して、読み出した映像データを表示部１１１に供給する。また、映像データ処理部１０９は、再生している映像データの再生位置（再生時刻）を再生同期部１１２に供給する。
【００４２】
メタデータと映像データとの再生を同期させる再生同期部１１２は、映像データ処理部１０９から供給された再生位置と、メタデータ処理部１１０で、メタデータ蓄積データベース１０５に蓄積されているメタデータを再生するときの再生位置が同期するように、同期制御信号をメタデータ処理部１１０に供給して、メタデータ処理部１１０の動作を制御する。
【００４３】
メタデータ処理部１１０は、メタデータ蓄積データベース１０５に蓄積されているメタデータを表示部１１１に表示させるための処理を行う。即ち、メタデータ処理部１１０は、ユーザによって指示された再生位置から順次メタデータを読み出して、読み出したメタデータを表示部１１１に供給する。また、映像データとメタデータの双方を再生する場合、メタデータ処理部１１０は、上述したように、再生同期部１１２から供給された同期制御信号に基づいて再生動作を制御して、映像データに同期したメタデータを表示部１１１に出力する。
【００４４】
表示部１１１は、映像バッファ部１０２から供給されたライブ（生）の映像データや映像データ処理部１０９から供給された再生映像データ、メタデータバッファ部１０３から供給されたライブのメタデータやメタデータ処理部１１０から供給された再生メタデータを表示する。また、表示部１１１は、メタデータフィルタ部１０６からのフィルタ設定に基づき、監視映像やメタデータの映像やフィルタ設定の映像のいずれか、あるいはこれらを合成した映像を用いて、フィルタ処理結果に基づく監視結果を示す映像を表示（出力）する。
【００４５】
また、表示部１１１は、グラフィカルユーザインタフェース（ＧＵＩ：Graphical User Interface）としても機能する。使用者は、図示しない操作キーやマウス、リモートコントローラ等を用い表示部１１１に表示されたフィルタ設定メニュー等を選択することでフィルタを定義したり、各処理部の情報やアラーム情報の解析結果等をＧＵＩ表示したりすることができる。
【００４６】
図４は、本実施の形態における監視映像からの物体の検知と、その検知した物体に基づいて監視領域を設定して監視処理を行う場合の処理例を示したフローチャートである。物体の検知としては、例えば映像中から自動車が停車したことを検出する処理などであり、その検出した物体に対する監視領域の設定としては、例えば停車を検出した自動車から降りたり乗ったりする人の有無を監視するための領域設定である。以下に示す処理は、図３に示したクライアント端末３内の各部での処理で実行される。具体的には、メタデータフィルタ部１０６とその周辺部であるフィルタ設定データベース１０７、探査領域設定データベース１１４などを使用した処理で実行される。即ち、以下に説明する処理である、映像データから検知された物体の位置を特定する検知物体特定処理、その検知物体特定処理で特定された物体の基準位置を設定する基準位置設定処理、その基準位置設定処理で設定された基準位置に対して相対的に、映像データで示される映像の範囲内に、１つ又は複数の探査領域を設定して、その設定した探査領域で物体を検知する検知処理、などを実行する処理部が、これらのフィルタ部やデータベースを使用して処理される。
【００４７】
まず、メタデータで示される映像解析結果のオブジェクト情報（例えば、位置、種類、ステータスなど）を判断して、映像内を移動して停止した物体の有無を判断する（ステップＳ１１）。この判断で、該当する物体があると判断した場合には、検知された物体の形状を正規化する処理が行われる（ステップＳ１２）。その正規化処理としては、例えば多角形に正規化する。
【００４８】
物体を正規化すると、その正規化された物体内の基準点を算出する処理を行う（ステップＳ１３）。基準点の算出処理例については後述するが、基準点の候補を複数設けるようにしてもよい。そして、予め決められた条件に従って、探査領域の大きさを設定し（ステップＳ１４）、その設定された探査領域を、基準点の位置を基準として、撮像映像内に相対的に設定する（ステップＳ１５）。例えば、ステップＳ１１で自動車に相当する物体の停止を検知した場合には、その物体（自動車）のサイドドアが存在すると想定される位置の近傍に、探査領域を設定する。
【００４９】
ここまで設定が行われると、探査領域内での映像解析結果のオブジェクト情報を重点的に検知処理して、探査領域内での検知を開始させ（ステップＳ１６）、その検知で物体（人）の検知があるか否か判断し（ステップＳ１７）、検知があった場合には、その検知状態に基づいた処理を行う（ステップＳ１８）。例えば、探査領域内で人に相当する物体が突然現れたような場合には、ステップＳ１１で検知された物体（自動車）から降りた人があると判断して、対応した処理を行う。或いは、探査領域内で消失した物体がある場合には、ステップＳ１１で検知された物体（自動車）に乗った人があると判断して、対応した処理を行う。
【００５０】
ステップＳ１７で物体の検知がないと判断した場合には、ステップＳ１１で検知された物体（自動車）がまだ検知されているか否か判断し（ステップＳ１９）、検知された状態が続いている場合にはステップＳ１７の判断を繰り返す。ステップＳ１９で検知されなくないと判断した場合には、ステップＳ１１の判断に戻って、次の物体の検知処理に移る。なお、図４のフローチャートでは１つの物体の検知処理について示したが、１つの映像中から同時に、複数の物体を検知して、図４のフローチャートに示した検知処理を同時に複数並行して実行してもよいものである。
【００５１】
次に、図４のフローチャートに示した各ステップの具体的例について説明する。図４のフローチャートについて説明したように本例では、検出された物体の位置またはその１部分の位置を基準として、探査領域を定義することで、適正な探査を可能にするものである。このため、検出された物体を正規化して多角形（Ｎ角形：Ｎは正の整数）で表現する場合でも、そのＮ角形の各辺の長さが変化するので、一定の条件で基準点が算出できるようにしなければならない。
そのために物体であるＮ角形を正規化する必要がある。
比較的容易に基準点を算出できるような場所を基準点の候補とする。
全部または一部の多角形の重心および辺、対角線上の点を使用する。
探査領域の大きさについては固定と可変の二つのモードを監視条件により設定できるようにする。
【００５２】
まず、検出された物体の正規化処理について説明する。検知された物体は多角形（Ｎ角形：Ｎは正の整数）で表されているのが前提である。ただし、ここでは、検知されたときにより各辺の長さが変化するので、正規化されたＮ角形（ここでは６角形）の各頂点に、図５に示すように、以下のルールで名前をつける。
【００５３】
各頂点の座標ｘ１．．ｘｎの内、最小値を持つ頂点をＰ１（ｘ１，ｙ１）とする。最小値を持つ頂点が複数あるときは、そのなかで最小のｙ座標を持つ頂点をＰ１とする。次に、時計周りにＰ２，Ｐ３…と順に名前をつける。このようにして、図５に示すように、物体が表現されている多角形が正規化されたことになる。
【００５４】
次に、このようにして得られた正規化されたＮ角形から、基準点を求める処理について説明する。ここでは、２種類の基準点を求める処理について説明する。
【００５５】
１つの処理としては、全体または一部の多角形の重心を基準位置とする処理が適用可能である。この場合には、図６に示すように、多角形の全体または１部の頂点（ｘａ，ｙａ），（ｘｂ，ｙｂ），（ｘｃ，ｙｃ）…でできるｋ多角形の重心の位置を求める。このｋ多角形の重心は以下の式で求められる。
Ｘ＝（ｘａ＋ｘｂ＋ｘｃ…）／ｋ
Ｙ＝（ｙａ＋ｙｂ＋ｙｃ…）／ｋ
図６の例では、ａ＝２，ｂ＝３，ｃ＝４，ｋ＝３でありこれらを記憶しておけば物体の座標から基準位置が求められる。
【００５６】
別の処理としては、任意の辺または対角線上の点を基準位置とする処理が適用可能である。この場合には、図７に示すように、２頂点（ｘａ，ｙａ），（ｘｂ，ｙｂ）間の辺または対角線上の位置は以下の式で求められる。
Ｘ＝ｘａ＊（１−ｍ）＋ｘｂ＊ｍ
Ｙ＝ｙａ＊（１−ｍ）＋ｙｂ＊ｍ
ここで０＜＝ｍ＜１
図７の例では、ａ＝２，ｂ＝４，ｍ＝０．３でありこれらを記憶しておけば物体の座標から基準位置が求められる。
これらの例以外の処理で、基準点を求めるようにしてもよい。
【００５７】
次に、探査領域の大きさ（サイズ）の設定について説明する。
物体の形状は変わらないが、大きさが変わった場合に探査領域をそれに伴って変えた方が良い場合と、そうでない場合とがある。例えば、自動車の脇の人間を見つけたい場合は自動車の大きさによって人間の大きさが変わるわけではないが、同じ自動車が遠くにあるために小さく見えているのであれば人間の大きさも自動車と同じ比率で小さくなって欲しい。それと共に基準点からの距離も同比率で変化させる必要がある。
【００５８】
これを実現するためには、スケールファクタＳを導入して探査領域の頂点を表現する際に基準位置からのベクトルに対しての比を定義する。スケールファクタＳは物体の大きさの変化（例えば物体の面積の変化量）からもとめられるが、Ｎ角形であることが前提でも辺の長さが変化するので面積変化の平方根とする。上述した例のようにＳ＝１のままの使い方（即ち変化させない例）もあるが、例えば外部よりあたえて、設定するようにしてもよい。
【００５９】
このようにして探査領域を設定する場合の例を、監視画面の例を示して説明する。例えば、道路上の駐車位置を監視する例とする。図８は、この位置を監視カメラ１ａなどで撮像して、クライアント端末３で監視して表示させた例であるとする。この場所の撮像による監視を続けて、図９に示すように、自動車ｍが停車したとする。この停車した自動車が検出物体となる。
【００６０】
ここで、図１０に示すように、その物体（自動車ｍ）を正規化した多角形形状Ｘを、クライアント端末３内での演算で得る。そして、その多角形形状Ｘ内の基準位置Ｙが算出される。
【００６１】
基準位置Ｙが決まると、図１１に示すように、その基準位置から一定の距離（区間）だけ離れた位置に、探査領域Ｒａ，Ｒｂを設定する。ここでは、検出された物体が自動車であると推測される場合に、その自動車のサイドドアがある方向を、物体の形状から推測し、その推測される方向に、探査領域Ｒａ，Ｒｂを設定する。図１１では、自動車の左右の脇に探査領域を設定したが、いずれか一方でもよい。そして、このようにして設定された探査領域内での物体（人）の検出状態から、自動車の乗降状態を検知する。なお、図１０や図１１に示した正規化された多角形や探査領域は、監視映像中には表示されるものではない。但し、これらを監視映像中に表示させるようにしてもよい。
【００６２】
監視画面内でも元になる物体の検知状態に応じて、探査領域の大きさを可変させる例としては、例えば図１２に示すように、撮像された２台の自動車ｍ１，ｍ２のカメラからの距離が大きく異なる場合が想定される。このような場合、乗降が検出される人物が撮像されるサイズも当然変化するために、探査領域Ｒ１，Ｒ２をサイズを変えて設定する。基準位置から探査領域Ｒ１，Ｒ２までの距離についても対応させて変化させてもよい。
【００６３】
なお、上述した実施の形態例では、監視カメラとして映像データと共にメタデータを出力する構成のものとし、そのメタデータをクライアント端末側で解析して、物体（人物）の探査などを行うようにしたが、監視カメラとしては映像データを出力する構成として、その映像データで示される映像（画像）の内容をクライアント端末で画像認識処理などで解析して、同様の処理を行うようにしてもよい。或いは、ビデオカメラ（監視カメラ）内で全ての処理を行って、その処理結果をカメラが出力するようにしてもよい。
【００６４】
また、上述した実施形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムを、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させる。
【図面の簡単な説明】
【００６５】
【図１】本発明の一実施の形態による監視システムの構成例を示す構成図である。
【図２】本発明の一実施の形態による監視カメラの内部構成例を示すブロック図である。
【図３】本発明の一実施の形態によるクライアント端末の内部構成例を示すブロック図である。
【図４】本発明の一実施の形態による検知処理例を示すフローチャートである。
【図５】本発明の一実施の形態による物体の正規化処理例を示す説明図である。
【図６】本発明の一実施の形態による物体の基準位置の設定例（例１）を示す説明図である。
【図７】本発明の一実施の形態による物体の基準位置の設定例（例２）を示す説明図である。
【図８】本発明の一実施の形態による監視映像の例を示す説明図である。
【図９】本発明の一実施の形態による監視映像の例を示す説明図である。
【図１０】本発明の一実施の形態による監視映像の例を示す説明図である。
【図１１】本発明の一実施の形態による監視映像の例を示す説明図である。
【図１２】本発明の一実施の形態による監視映像の例を示す説明図である。
【符号の説明】
【００６６】
１…監視カメラ、２…ネットワーク、３…クライアント端末、２１…映像データ生成部、２２…撮像動作切替部、２３…メタデータ生成部、１００…監視システム、１０１…ネットワーク接続部、１０２…映像バッファ部、１０３…メタデータバッファ部、１０４…映像データ蓄積データベース、１０５…メタデータ蓄積データベース、１０６…メタデータフィルタ部、１０７…フィルタ設定データベース、１０８…ルール切替部、１０９…映像データ処理部、１１０…メタデータ処理部、１１１…表示部、１１２…再生同期部、１１４…探査領域設定データベース、２１１…レンズ部、２１２…撮像部、２１３…撮像信号処理部、２１４…データ処理部
【出願人】 【識別番号】０００００２１８５
【氏名又は名称】ソニー株式会社
【出願日】 平成１８年７月２７日（２００６．７．２７）
【代理人】 【識別番号】１００１２２８８４
【弁理士】
【氏名又は名称】角田 芳末

【識別番号】１００１３３８２４
【弁理士】
【氏名又は名称】伊藤 仁恭
【公開番号】 特開２００８−３５０９６（Ｐ２００８−３５０９６Ａ）
【公開日】 平成２０年２月１４日（２００８．２．１４）
【出願番号】 特願２００６−２０５０７０（Ｐ２００６−２０５０７０）