トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 画像領域へのメタデータ自動付与装置，メタデータ自動付与方法およびメタデータ自動付与プログラム
【発明者】 【氏名】中田 康之

【氏名】鎌田 徹

【氏名】及川 浩一
【要約】 【課題】アンテナの性能がマルチパスやフェージングなどの影響で劣化するような場合でも，画像処理で得た移動体の画像領域へ，ＲＦタグから得た固有情報または属性情報を含むメタデータを精度よく付与することができるようにする。

【構成】ビデオカメラ２０で撮影した移動体が占有する画像領域を移動体検出部１２によって検出し，その移動体の方向へアンテナ方向制御部１４によって指向性アンテナ３１から電波を輻射する制御を行う。ＲＦタグリーダ・ライタ３０によって移動体に装着されているＲＦタグ３３の情報を読み取り，画像から検出した移動体の方向と，ＲＦタグ３３から得た電波強度の強い方向とから，ＲＦタグの情報と移動体の画像領域とを結び付け，画像領域へＲＦタグ３３から得た情報に対応するメタデータを自動的に付与する。
【特許請求の範囲】
【請求項１】
ＲＦタグが装着された移動体を撮影する撮影装置と，指向性アンテナを有するＲＦタグ入出力装置との入出力インタフェースを持ち，前記撮影装置で撮影した画像から移動体の画像領域を抽出して，移動体の画像領域に前記ＲＦタグから得た固有情報または属性情報を含むメタデータを付与するメタデータ自動付与装置であって，
前記撮影装置で撮影した画像から画像処理によって移動体の画像領域を検出する移動体検出手段と，
検出した移動体の画像領域から移動体の方向を算出する移動体方向算出手段と，
前記ＲＦタグ入出力装置における指向性アンテナの指向性を，前記移動体方向算出手段によって算出した移動体の方向へ制御するアンテナ方向制御手段と，
前記ＲＦタグ入出力装置によって，前記ＲＦタグが発する固有情報または属性情報を読み取り，前記移動体方向算出手段により算出した移動体の方向と，前記ＲＦタグ入出力装置による前記ＲＦタグからの電波の受信によって得た角度情報とから，前記移動体の画像領域と前記ＲＦタグとを対応付け，前記移動体の画像領域に前記ＲＦタグから読み取った固有情報または属性情報を含むメタデータを付与するメタデータ付与手段とを備える
ことを特徴とする画像領域へのメタデータ自動付与装置。
【請求項２】
前記アンテナ方向制御手段は，前記ＲＦタグ入出力装置の指向性アンテナから発信する電波に，その電波の放射角度のデータの信号を載せ，
前記メタデータ付与手段は，前記ＲＦタグが最も強い電波強度で受信したときの放射角度のデータを，前記ＲＦタグが送信する電波の信号から取得し，その角度データを前記移動体の画像領域と前記ＲＦタグとの対応付けに用いる
ことを特徴とする請求項１記載の画像領域へのメタデータ自動付与装置。
【請求項３】
前記アンテナ方向制御手段は，前記ＲＦタグ入出力装置の指向性アンテナの指向性を，順次，前記移動体方向算出手段によって算出した移動体の方向へ制御して，前記ＲＦタグからの電波を受信する制御を行い，
前記メタデータ付与手段は，前記ＲＦタグからの電波の受信時における最も電波強度が強い方向を，そのＲＦタグの方向とし，その方向の角度情報を前記移動体の画像領域と前記ＲＦタグとの対応付けに用いる
ことを特徴とする請求項１記載の画像領域へのメタデータ自動付与装置。
【請求項４】
ＲＦタグが装着された移動体を撮影する撮影装置と，指向性アンテナを有するＲＦタグ入出力装置との入出力インタフェースを持ち，前記撮影装置で撮影した画像から移動体の画像領域を抽出して，移動体の画像領域に前記ＲＦタグから得た固有情報または属性情報を含むメタデータを付与するメタデータ自動付与装置が実行するメタデータ自動付与方法であって，
前記撮影装置で撮影した画像から画像処理によって移動体の画像領域を検出する過程と，
検出した移動体の画像領域から移動体の方向を算出する過程と，
算出した移動体の方向へ，前記ＲＦタグ入出力装置の指向性アンテナから，その方向の角度データの信号を含む電波を輻射する制御を行う過程と，
前記ＲＦタグ入出力装置によって，前記ＲＦタグが発する固有情報または属性情報と前記ＲＦタグが最も強い電波強度で受信したときの前記角度データとを読み取り，前記算出した移動体の方向と，前記ＲＦタグ入出力装置により前記ＲＦタグから得た角度データとをもとに，前記移動体の画像領域と前記ＲＦタグとを対応付け，前記移動体の画像領域に前記ＲＦタグから読み取った固有情報または属性情報を含むメタデータを付与する過程とを有する
ことを特徴とする画像領域へのメタデータ自動付与方法。
【請求項５】
ＲＦタグが装着された移動体を撮影する撮影装置と，指向性アンテナを有するＲＦタグ入出力装置との入出力インタフェースを持ち，前記撮影装置で撮影した画像から移動体の画像領域を抽出して，移動体の画像領域に前記ＲＦタグから得た固有情報または属性情報を含むメタデータを付与するメタデータ自動付与装置が実行するメタデータ自動付与方法であって，
前記撮影装置で撮影した画像から画像処理によって移動体の画像領域を検出する過程と，
検出した移動体の画像領域から移動体の方向を算出する過程と，
前記ＲＦタグ入出力装置の指向性アンテナの指向性を，順次，前記算出した移動体の方向へ制御して，前記ＲＦタグからの電波を受信する制御を行う過程と，
前記ＲＦタグ入出力装置によって，前記ＲＦタグが発する固有情報または属性情報を読み取るとともに，前記ＲＦタグからの電波の受信時における最も電波強度が強い方向をそのＲＦタグの方向とし，前記算出した移動体の方向と前記ＲＦタグの方向とをもとに，前記移動体の画像領域と前記ＲＦタグとを対応付け，前記移動体の画像領域に前記ＲＦタグから読み取った固有情報または属性情報を含むメタデータを付与する過程とを有する
ことを特徴とする画像領域へのメタデータ自動付与方法。
【請求項６】
ＲＦタグが装着された移動体を撮影する撮影装置と，指向性アンテナを有するＲＦタグ入出力装置との入出力インタフェースを持ち，前記撮影装置で撮影した画像から移動体の画像領域を抽出して，移動体の画像領域に前記ＲＦタグから得た固有情報または属性情報を含むメタデータを付与するメタデータ自動付与装置のコンピュータに実行させるためのメタデータ自動付与プログラムであって，
前記コンピュータを，
前記撮影装置で撮影した画像から画像処理によって移動体の画像領域を検出する移動体検出手段と，
検出した移動体の画像領域から移動体の方向を算出する移動体方向算出手段と，
前記ＲＦタグ入出力装置における指向性アンテナの指向性を，前記移動体方向算出手段によって算出した移動体の方向へ制御するアンテナ方向制御手段と，
前記ＲＦタグ入出力装置によって，前記ＲＦタグが発する固有情報または属性情報を読み取り，前記移動体方向算出手段により算出した移動体の方向と，前記ＲＦタグ入出力装置による前記ＲＦタグからの電波の受信によって得た角度情報とから，前記移動体の画像領域と前記ＲＦタグとを対応付け，前記移動体の画像領域に前記ＲＦタグから読み取った固有情報または属性情報を含むメタデータを付与するメタデータ付与手段として，
機能させるための画像領域へのメタデータ自動付与プログラム。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は，撮影時に映像の各場面の属性を自動的に与えることで，編集作業を簡略化するための装置に関する。近年，インターネット回線などを使用することで，デジタルコンテンツの配信・放送が容易になるに従い，大量の映像素材を短時間で加工・編集する装置が求められている。例えば，スポーツ映像などでライブ中継を行うと同時に，ハイライト場面などを切り出して，リプレイ映像を生成するための装置などが該当する。
【背景技術】
【０００２】
従来から，映像編集の代表的な装置として，ノンリニア編集装置がある。本装置では，ビデオカメラで取得した映像やテープに録画されている映像を，デジタルデータへ変換し，パソコンのハードディスクなどに取り込んで加工・編集する。例えば，マラソンのフィニッシュシーンを切り出すには，ハードディスクに格納されている映像を再生し，切出しの開始位置と，終了位置を人手で設定し，該当区間を別のデータファイルとして保存したり，ビデオテープへ記録したりすることで，リプレイ映像を作成する。しかしながら，ノンリニア編集装置では，切出し区間の指定や，リプレイ映像の保存などの編集作業は，人手で行う必要があるため，多大な手間とコストを要する。
【０００３】
そこで，映像内の各場面に属性を与え，属性情報を検索することで，自動的に切出し区間を特定する方法が，いくつか提案されている。
【０００４】
非特許文献１では，「複数センサ群による協調的なインタラクションの記録」として，撮影対象に装着した赤外線ＬＥＤが発するＩＤ信号を認識し，蓄積されるビデオデータに実時間でインデックス付けする方法が提案されている。しかしながら，ＬＥＤを信号源として用いているため，発光方向に受光器がない場合，あるいは，ＬＥＤと受光器との間に障害物があるような場合には，ＩＤ情報を受け取れないという問題がある。
【０００５】
また，特許文献１では，カメラ画像を記録する際，同時に，被写体に装着されたＲＦタグなどのＩＤ情報を読み取り，画像データと共に保存することで，画像の改ざんを防止する方法が提案されている。また，この特許文献１には，指向性アンテナによってカメラが向いているタグからのみ信号を受信するとの記述がある。しかし，指向性アンテナとカメラ視野とを関連付ける方法に関する具体的な記述がない。つまり，ＲＦタグのＩＤ情報が記録されている場合でも，該当する撮影対象が映っているかどうかが保証されないという問題がある。
【０００６】
特許文献２では，指向性アンテナを用いて，ＲＦタグの方向を検出し，同方向へＬＥＤなどのビーム光を照射することで，所望の物品を見つけやすくする方法が提案されている。この特許文献２には，指向性アンテナに関する概略が記述されているが，アンテナとカメラを関連付けたり，ＲＦタグのＩＤ情報と移動体とを関連付けたりする手法に関する記述はない。
【０００７】
特許文献３では，赤外光を検知したＲＦタグのみが電波を発することで，画像の領域とタグ情報を結びつける方法が提案されている。しかし，これには被写体の画像領域へＲＦタグのＩＤ情報を関連付ける手法に関する記述はない。
【０００８】
特許文献４には，リーダライタが内蔵された携帯端末を持った人物の身長を画像処理で測定すると共に，床に貼り付けられたＲＦタグＩＤを読み取ることで，身長データによって人物を特定すること，また，タグＩＤによってその人物の位置を検出することで，該当人物の映像を撮影する方法が記載されている。しかし，画像処理は，人体の身長計測に適用されており，人体領域を画像から抽出する方法についての言及はない。
【０００９】
特許文献５には，デジタルカメラに一体化された指向性アンテナで，被写体に装着された無線タグの方向を検出し，画像情報と位置情報を対応させて記憶部に格納し，例えば被写体の無線タグに住所情報が入っていると，どこで写真を撮ったかがすぐに分かるなどの応用が可能な技術が記載されている。これには，指向性を制御してタグの方向を検知するとの記述があるが，具体的にどのように制御するかについての記載はなく，また，画像処理で検出した移動体検出結果を，各移動体のタグＩＤを特定するときの無線信号処理へ反映させることは考えられていない。
【００１０】
したがって，以上のような従来の方法あるいは従来方法の組み合わせでは，例えばアンテナの性能がマルチパスやフェージングなどの影響で劣化するような場合に，カメラ視野内にあるＲＦタグが装着された移動体を精度よく検出できないため，目的とする移動体が占める画像領域へ自動的に属性を付与することができないことがあるという問題があった。
【００１１】
また，非特許文献２に記載されている「局所相関演算による動きの検知と追跡」によると，局所相関法などの画像処理手法を用いると，移動体が画像内のどこの領域に存在しているかを追跡することが可能であるが，各移動体がどのような属性を持っているかを，リアルタイムで自動的に与えることはできないといった問題があった。
【特許文献１】特開２０００−２６１７５１号公報
【特許文献２】特開２００２−２７１２２９号公報
【特許文献３】特開２００４−０８０３４７号公報
【特許文献４】特開２００２−１４８３４９号公報
【特許文献５】特開２００５−３４７７９５号公報
【非特許文献１】角，伊藤，松口，Sidney Fels ，内海，鈴木，中原，岩澤，小暮，間瀬，萩田，「複数センサ群による協調的なインタラクションの記録」，インタラクション2003論文集情報処理学会，pp.255-262
【非特許文献２】森田，「局所相関演算による動きの検知と追跡」, 電子情報通信学会論文誌 D-II, Vol.J84-D-II , No.2, pp.299-309, 2001
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明は，アンテナの性能がマルチパスやフェージングなどの影響で劣化するような場合でも，画像処理で得た移動体の画像領域へ，ＲＦタグから得た属性情報を含むメタデータを精度よく付与することができる手段を提供することを目的とする。
【００１３】
これにより，取得した映像から目的のシーンや特定の被写体が映っている画像領域を抽出する際に，自動的に付与したメタデータを利用することで，編集作業の自動化が可能となる。
【課題を解決するための手段】
【００１４】
本発明は，ビデオカメラで撮影した移動体が占有する画像領域と，その移動体が備えているＲＦタグの情報とを結び付けることで，画像領域へメタデータを自動的に付与する装置において，画像処理で得た移動体の検出結果に基づいて，指向性アンテナからＲＦタグへの電波を輻射するときの角度を制御することをもっとも主要な特徴とする。
【００１５】
本発明は，ＲＦタグが装着された移動体を撮影する撮影装置と，指向性アンテナを有するＲＦタグ入出力装置との入出力インタフェースを持ち，前記撮影装置で撮影した画像から移動体の画像領域を抽出して，移動体の画像領域に前記ＲＦタグから得た固有情報または属性情報を含むメタデータを付与するメタデータ自動付与装置であって，特に，画像処理で得た移動体の方位へ指向性アンテナから電波を輻射し，ＲＦタグで算出した最も確からしい方位とタグＩＤとから，ＲＦタグから得たＩＤ等の固有情報または属性情報を含むメタデータを画像領域へ付与することを特徴とする。
【００１６】
また，上記発明において，ＲＦタグの方位を算出する際，指向性アンテナから電波の角度データを送信し，ＲＦタグに受信時の電波強度が最も強い電波に載せられた角度データを返信させ，その角度データからＲＦタグの最も確からしい方位を求めることを特徴とする。
【００１７】
また，上記発明において，ＲＦタグの方位を算出する他の方法として，ＲＦタグから電波を輻射し，指向性アンテナは画像処理で得た移動体の方位へ指向性ビームを順次向け，各方位で受信した各ＲＦタグからの電波強度を測定し，メタデータ自動付与装置では，全ＲＦタグの電波強度をもとに，各ＲＦタグが位置する最も確からしい方位を求めることを特徴とする。
【発明の効果】
【００１８】
以上説明したように，本発明によれば，アンテナの性能がマルチパスやフェージングなどの影響で劣化する場合でも，画像処理で得た移動体の画像領域へ，ＲＦタグから得た固有情報または属性情報を含むメタデータを自動的に付与可能であることから，撮影した映像を編集したり配信・放送するときに，効率よく加工することができる。
【発明を実施するための最良の形態】
【００１９】
図１に，本発明の実施例に係わる装置のブロック図を示す。図１において，メタデータ自動付与装置１０は，ＣＰＵおよびメモリと周辺デバイスとソフトウェアプログラムなどから構成される装置である。メタデータ自動付与装置１０は，ビデオカメラ２０およびＲＦタグリーダ・ライタ３０との信号入出力インタフェース（Ｉ／Ｆ）１１，入力画像から移動体（移動物体ともいう）を検出する移動体検出部１２，検出した移動体の方向を算出する移動体方向算出部１３，算出した移動体の方向によってアンテナを制御するアンテナ方向制御部１４，メタデータを生成するメタデータ生成部１５，移動体の画像領域にメタデータを付与するメタデータ付与部１６，メタデータを付与した結果を外部に出力するための信号入出力インタフェース１７を備える。メタデータを付与した結果の出力先としては，例えば表示装置４０，ネットワーク４２経由での表示装置４１，ディスク記憶装置等の記録媒体４３がある。以下，図１に示すブロック図中の各部が行う処理について詳しく説明する。
【００２０】
〔ビデオカメラ２０〕
ビデオカメラ２０では，ＣＣＤなどで検出した光強度から，一定のサンプリング時間間隔（例えば，３３ｍｓ）で画像を形成し，さらに動画像を生成する。
【００２１】
画像の一つの画素は，カラー画像の場合，赤成分（Ｒ），緑成分（Ｇ），青成分（Ｂ）の階調値で与えられ，白黒画像の場合，輝度の階調値で与えられる。例えば，整数ｘ，ｙで示される座標（ｘ，ｙ）の画素の赤成分（Ｒ），緑成分（Ｇ），青成分（Ｂ），輝度（Ｉ）の階調値は，それぞれ，ディジタル値Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ），Ｉ（ｘ，ｙ）で与えられる。なお，以下の計算で使用する画素値には，輝度（白黒濃淡値）を用いる。
【００２２】
〔移動体検出部１２（第１の方法）〕
移動体検出部１２において移動体を検出するための第１の方法は，背景差分法と局所相関法を組み合わせる方法である。
【００２３】
背景差分法は，予め移動体を含まない画像を背景画像として用意しておき，次に，移動体が含まれる画像との差分を取り，差の大きい部分を移動体とする方法である。背景差分法は，より短い処理時間で処理可能であるが，明るさの変動などのノイズに弱い欠点がある。
【００２４】
局所相関法は，まず画像を格子状のブロック（例えば，８×８画素）に分割する。次に，あるサンプリング時刻のフレームと次のサンプリング時刻で取得したフレームとの間で，近傍にあるブロック同士の相関値を求め，その大小によって，ブロックが移動したかどうかを判定する。本処理は，計算量が多いため，画像サイズを大きくできないという欠点，相関計算を実施するブロック間の距離が制限され，動きの早い物体に追従できないなどの欠点があるが，背景差分法よりもノイズに対する耐性が大きい。そこで，第１の方法では，背景差分法で，大まかな移動体領域を求め，次に，局所相関法によって，より細かく移動体領域を決定する手順を用いる。
【００２５】
図２は，追跡ブロック，サブ区画，サブ区画テンプレートの関係を示す図である。処理手順の説明の前に，サブ区画，同一物体のサブ区画の集まりであるサブ区画テンプレート，追跡ブロックについて，図２を用いて説明する。
【００２６】
取得画像５０は，ビデオカメラ２０により撮影した画像である。サブ区画５２は，縦ｎ画素，横ｎ画素の正方形からなる。図２に示す斜線部のサブ区画テンプレート５３は，サブ区画５２の集まりであり，移動体の領域を示す。追跡ブロック５１は，サブ区画テンプレート５３を取り囲むように設定し，サブ区画テンプレート５３の外側に上下左右ｍ画素の間を設けた領域であり，局所相関法による探索は追跡ブロック５１で囲まれた領域の中で実行する。なお，本実施例では，移動体の画像領域をサブ区画テンプレート５３で表すことにする。
【００２７】
背景差分法を用い，移動体が存在する可能性がある領域を求め，次に局所相関法を用い，移動体検出のための有効サブ区画を算出する。
【００２８】
図３は，移動体の検出処理フローチャートである。撮影画像に移動体が含まれているかを確認し，有効サブ区画を検出する手順を示している。
【００２９】
［Ｓ１０］：移動体検出部１２は，ビデオカメラ２０で得た現フレームの画像（ビットマップ）を，信号入出力インタフェース１１を介して一定周期（サンプリング時間毎）で取り込む。取得した現タイミングの画像を２系列に分け，異なるカットオフ周波数を持つローパスフィルタに通す。
【００３０】
［Ｓ１１］：ローパスフィルタのカットオフ周波数を低く設定した動きの遅い現フレームの背景画像を得る。このカットオフ周波数は移動体の移動速度に対応して求めることが可能であり，対象とする移動体に合わせて可変に設定できるようにする。背景画像をサブ区画（ｎ×ｎ画素の正方形）に分割する。
【００３１】
［Ｓ１２］：ローパスフィルタのカットオフ周波数を，ステップＳ１１で用いるローパスフィルタよりも高く設定し，動きのある物体を残したまま，蛍光灯のちらつきなどの影響を除いた画像を得る。このカットオフ周波数も，ステップＳ１１のカットオフ周波数と同様に対象の移動体に対応して可変に設定できるようにする。この画像を現サンプリング時点での現画像とする。ステップＳ１１と同様にサブ区画（ｎ×ｎ画素の正方形）に分割する。
【００３２】
［Ｓ１３］：現画像（以下，現フレーム画像と記載）と背景画像において，両者の同じ位置のサブ区画（ｎ×ｎ画素の正方形）の一つを取り出す。
【００３３】
［Ｓ１４］：両画像の同位置にあるサブ区画の画素間の差の総和Ｔを次式に従って計算する。
【００３４】
【数１】


【００３５】
ここで，ＩC （ｘ，ｙ）は現画像における画素位置（ｘ，ｙ）の白黒濃淡値，ＩB （ｘ，ｙ）は背景画像における画素位置（ｘ，ｙ）の白黒濃淡値，Ｒsub はサブ区画を表す。算出値Ｔが，ある閾値Ｔth以上のときには，背景画像とは異なることを示しており，動きがある移動サブ区画と判定し，ステップＳ１５に進み，それ以外はステップＳ１３に戻り，次のサブ区画を取り出す。
【００３６】
［Ｓ１５］：局所相関法を用い，ステップＳ１４で動きがあると判定した移動サブ区画が前フレーム画像のどのサブ区画から移動してきたかを探し出す。移動サブ区画として注目している現フレーム画像のサブ区画Ｓp （ｘ，ｙ）が前フレーム画像のどのサブ区画Ｓq （ｘ′，ｙ′）から移動してきたのかを，相関演算を用いて探索する。サブ区画Ｓp （ｘ，ｙ），Ｓq （ｘ′，ｙ′）との相関値Ｃを次式によって算出し，予め定めた閾値から移動したか否かの判断を行う。
【００３７】
【数２】


【００３８】
上式において，Ｉp （ｘ，ｙ），Ｉq （ｘ′，ｙ′）は，各サブ区画Ｓp （ｘ，ｙ），Ｓq （ｘ′，ｙ′）内の画素の白黒濃淡値，Ｒp ，Ｒq は，サブ区画領域内であることを示す。
【００３９】
動きの有無を，前述した非特許文献２のゼロ比較法を用いて判定する。注目しているサブ区画と同位置にある前フレームのサブ区画との相関値Ｃ0 と，走査範囲内の全サブ区画との相関計算から求めた相関値の最小値Ｃ1 との差Ｑを以下の式で算出し，移動判定の閾値Ｑthと比較する。
【００４０】
Ｑ＝Ｃ0 −Ｃ1
Ｑ＞Ｑth
［Ｓ１６］：Ｑが閾値Ｑthより大きい場合，注目しているサブ区画Ｓp （ｘ，ｙ）は，Ｓq （ｘ′，ｙ′）から移動したサブ区画と判定し，有効サブ区画とする。有効サブ区画の場合，次のステップＳ１７を実行する。
【００４１】
［Ｓ１７］：有効サブ区画の前フレーム画像からの移動の速さ，移動方向を算出する。前フレーム画像の移動元のサブ区画の左上端点を（ｘLeftTop1，ｙLeftTop1），注目している現フレーム画像のサブ区画の左上端点を（ｘLeftTop2，ｙLeftTop2），サブ区画の移動ベクトル（ｘLeftTop2−ｘLeftTop1，ｙLeftTop2−ｙLeftTop1）とすると，移動の速さ，移動の方向は次式となる。
【００４２】
【数３】


【００４３】
［Ｓ１８］：全てのサブ区画での確認を終えるまで，ステップＳ１３からＳ１７までの処理を繰り返す。一連の処理により，全ての有効サブ区画と各有効サブ区画の前フレームからの移動速さ，移動ベクトルの方向を得る。
【００４４】
次に，上述で求めた有効サブ区画をもとに，移動体の画像領域を抽出する。図４は，移動体画像領域の候補の抽出処理フローチャートである。図３の処理で得た有効サブ区画の集合より，移動体の確認を行うための有効サブ区画テンプレートを生成し，有効サブ区画テンプレートから移動追跡ブロック候補を設定する。
【００４５】
［Ｓ２０］：有効サブ区画の一つを取り出し，有効サブ区画テンプレートとする。
【００４６】
［Ｓ２１，Ｓ２２］：有効サブ区画の次の一つを取り出し，両者の移動速さ，移動方向が一致するか比較する。一致する場合には，ステップＳ２３に進み，一致しない場合には，ステップＳ２４に進む。
【００４７】
［Ｓ２３］：両有効サブ区画を結合し，サブ区画テンプレートを生成する。このサブ区画テンプレートを有効サブ区画テンプレートとする。
【００４８】
［Ｓ２４］：有効サブ区画を新規の有効サブ区画テンプレートとして設定する。
【００４９】
［Ｓ２５］：全ての有効サブ区画との確認を終えるまで，ステップＳ２１からＳ２４の処理を繰り返す。
【００５０】
［Ｓ２６］：ステップＳ２３，Ｓ２４で定義した全ての有効サブ区画テンプレートに，サブ区画テンプレートの上下左右端からｍ画素を加えた領域を，移動追跡ブロック候補として設定する。
【００５１】
移動追跡ブロック候補の領域は，次のようにして算出する。ステップＳ２６の有効サブ区画テンプレートの上下左右端をｘsub-min ，ｘsub-max ，ｙsub-min ，ｙsub-max とする。この上下左右端で囲まれた領域の外側に予め決めた画素値ｍを与えた領域を候補とすると（ただし，画素の座標値は０以上），移動追跡ブロック候補の領域は以下となる。
【００５２】
【数４】


【００５３】
また，移動追跡ブロック候補の中心位置（ｘtrk-cen ，ｙtrk-cen ）は以下となる。
【００５４】
【数５】


【００５５】
図４の処理で得た移動追跡ブロック候補の領域から移動体を決定するための移動体追跡ブロックを抽出し，移動体を決定する。移動体の決定は，移動体の移動ベクトルを算出して行う。図５は，移動体の決定処理フローチャートである。
【００５６】
［Ｓ３０］：移動追跡ブロック候補に存在する移動体の前フレーム画像からの移動ベクトルを算出する。前フレーム画像の移動追跡ブロック中心位置（ｘtrk-cen1，ｙtrk-cen1），現フレーム画像の移動追跡ブロック候補の中心位置を（ｘtrk-cen2，ｙtrk-cen2）とすると，現フレーム画像の移動体の移動ベクトル（ｘtrk-cen2−ｘtrk-cen1，ｙtrk-cen2−ｙtrk-cen1）の移動の速さｖtrk (k) と移動方向ベクトル（ｄtrk-x ，ｄtrk-y ）(k) は，以下となる。
【００５７】
【数６】


【００５８】
［Ｓ３１］：現フレーム画像の移動追跡ブロック候補の一つを取り出す。
【００５９】
［Ｓ３２］：前フレーム画像の移動追跡ブロックの一つを取り出す。
【００６０】
［Ｓ３３，Ｓ３４］：現フレーム画像の移動ベクトルの算出を行い，前フレーム画像での移動ベクトルから追跡条件を算出する。
【００６１】
追跡条件は以下となる。
【００６２】
【数７】


【００６３】
ここでｖtrk (k-1) ，（ｄtrk-x ，ｄtrk-y ）(k-1) は，前フレーム画像の移動ベクトルの移動の速さと移動ベクトルの方向を示している。
【００６４】
移動追跡ブロック候補と移動追跡ブロックの移動ベクトルの速さの差が一定値ｖth以下で，長さが一定値ｄth以上の場合には，両移動追跡ブロックの移動体が同一の追跡対象とみなす。長さは移動方向ベクトルの内積として求める。追跡条件を満たす場合には，次のステップＳ３５に進み，追跡条件を満たさない場合には，ステップＳ３９に進む。
【００６５】
［Ｓ３５，Ｓ３６］：追跡条件としてフレーム連続条件を設定した場合の連続数の設定と確認を行う。フレーム連続数をＦＲとし，ＦＲに１を加える。ＦＲが所定の閾値ＦＲthより大きいか否かのフレーム連続条件を満たす場合には，ステップＳ３７に進み，満たさない場合には，ステップＳ３９に進む。
【００６６】
［Ｓ３７］：移動追跡ブロック候補の領域に移動体が存在すると認識し，移動追跡ブロック候補を現フレーム画像の移動追跡ブロックに置き換え保持する。その後，ステップＳ３９に進む。
【００６７】
［Ｓ３８］：追跡条件を満たさないときは，現フレーム画像で新規に現れた別の移動体とみなし，移動追跡ブロック候補を新規の移動追跡ブロックとして保持する。追跡条件ＦＲ＝１を設定し，ステップＳ３９に進む。
【００６８】
［Ｓ３９］：前フレームの全ての移動追跡ブロックの確認を終えるまで，ステップＳ３２からＳ３８の処理を繰り返す。この一連の処理により取得した現フレーム画像で認識した移動体が存在する全ての移動追跡ブロックを得る。各移動追跡ブロックの移動体は，それぞれ異なる移動体である。
【００６９】
〔移動体検出部１２（第２の方法）〕
図６に，第２の移動体検出方法を実行する移動体検出部１２のブロック図を示す。第１の方法で述べた背景差分法と局所相関法を用いる方法では，複数の移動体が重なり，境界付近においてサブ区画が両方の物体に跨るような場合，相関値がどちらの移動体に対しても劣化するため，検出できなくなることがある。そこで，第２の移動体検出方法では，前フレーム画像と現フレーム画像が与えられたとき，前フレームで移動体と判定されたサブ区画が，現フレームのどこへ移動したかを，以下に示す指標をもとに算出された移動確率が，最大となる位置で与える。異なる指標を用いることで，境界付近の検出性能を向上させることができる。各指標は括弧内［］に示した算出部，比較部で求める。
【００７０】
（指標１）前フレームのサブ区画の移動ベクトルと，現フレームのサブ区画の移動ベクトルとの類似度に基づく確率。［移動ベクトル算出部１２１］
（指標２）前フレームの移動元のサブ区画と現フレームの移動先のサブ区画との類似度に基づく確率。類似度が最大のとき確率も最大となる。［局所相関値算出部１２２］
（指標３）前フレームの移動元のサブ区画とその隣接区画との関係度と，現フレームの移動先のサブ区画とその隣接区画との関係度に基づく確率。［サブ区画特徴量算出部１２３，隣接サブ区画間関係度算出部１２４，隣接サブ区画間関係度比較部１２５］
以下，図６に示した第２の移動体検出方法の詳細について説明する。
【００７１】
〔移動ベクトル算出部１２１〕
前フレーム（時刻ｔ−１）のサブ区画が，現フレーム（時刻ｔ）のあるサブ区画へ移動したとき，サブ区画の左上端点を用いて，移動ベクトルを算出する。
【００７２】
Ｖ＝（ｖx ，ｖy ）＝（ｉLT−ｉLT′，ｊLT−ｊLT′）
ただし，（ｉLT′，ｊLT′）は，前フレームのサブ区画の左上端画素の座標，（ｉLT，ｊLT）は，現フレームのサブ区画の左上端画素の座標である。
【００７３】
着目している現フレームのサブ区画（左上端画素座標（ｉLT，ｊLT））が，前々サンプリング時刻および前サンプリング時刻において下記の位置にあったとする。
【００７４】
前々サンプリング：（ｉLT″，ｊLT″）
前サンプリング：（ｉLT′，ｊLT′）
このとき，上述した移動ベクトルの算出式を用いると，前フレームの移動ベクトルＶ′＝（ｖx ′，ｖy ′），現フレームの移動ベクトルＶ＝（ｖx ，ｖy ）は，次式となる。
【００７５】
Ｖ′＝（ｖx ′，ｖy ′）＝（ｉLT′−ｉLT″，ｊLT′−ｊLT″）
Ｖ＝（ｖx ，ｖy ）＝（ｉLT−ｉLT′，ｊLT−ｊLT′）
ベクトルＶ′，Ｖの類似性を次の２つの値で評価する。
【００７６】
ベクトルの大きさの差分値：Ａ＝｜Ｖ｜−｜Ｖ′｜
単位ベクトルの内積：
【００７７】
【数８】


【００７８】
差分値Ａが０に近いほど，また，内積Ｂが１に近いほど，移動ベクトルの類似性は高くなる。
【００７９】
〔局所相関値算出部１２２〕
サブ区画に含まれる同じ位置の画素について，前フレーム（時刻ｔ−１）と現フレーム（時刻ｔ）とで輝度値の差分を取り，絶対値の総和を算出する。
【００８０】
【数９】


【００８１】
上式において，Ｉt-1 （ｉ′，ｊ′）は前フレームのサブ区画に含まれる画素の輝度値，Ｉt （ｉ，ｊ）は現フレームのサブ区画に含まれる画素の輝度値，Ｒt-1 は前フレームのサブ区画領域内，Ｒt は現フレームのサブ区画領域内であることを表す。
【００８２】
総和Ｃが小さいほど前フレームのサブ区画と現フレームサブ区画との類似度が大きく，値が大きいほど類似度は小さい。
【００８３】
〔サブ区画特徴量算出部１２３〕
着目しているサブ区画に含まれる画素の輝度値を取得し，輝度値を階級として，同じ階級に含まれる画素の出現回数を積算して得たヒストグラムＨsub をサブ区画特徴として用いる。ヒストグラムＨsub は次のようにして表す。
【００８４】
Ｈsub ［Ｉ］＝ＮI
Ｉは輝度値，ＮI は，着目サブ区画に含まれ，輝度値Ｉを持つ画素の総数である。
【００８５】
〔隣接サブ区画間関係度算出部１２４〕
移動体領域の局所部分の輝度値分布は一般的に緩やかに変化しているため，隣接しているサブ区画同士は類似した特徴を持つ。例えば，人物の胴体部分をサブ区画に分割した場合，各サブ区画の輝度分布は，ほぼ一定となる。一方，隣接しているサブ区画の一方が移動体に含まれ，他方が背景領域に含まれるとき，両者の類似性は低くなる。こうした隣接サブ区画間の関係を，定量的に表現するために，隣接サブ区画間関係度を導入する。隣接サブ区画間関係度を，サブ区画特徴に用いるヒストグラムの重なりによって算出する。サブ区画ｓｕｂ１とサブ区画ｓｕｂ２の隣接サブ区画間関係度ＲＥＬを，次式で求める。
【００８６】
【数１０】


【００８７】
ｍｉｎは，値の小さいほうを選択する関数である。
【００８８】
図７に，ヒストグラムの算出例を図で示す。前フレームの画像やヒストグラムを（ａ）〜（ｄ）に，現フレームの画像やヒストグラムを（ｅ）〜（ｈ）に示す。画像に重ねて表示した２つの正方形は，サブ区画（４画素×４画素）を表しており，前・現フレームにおいて撮影した人物の同一部分に位置している。各サブ区画のヒストグラムを求めると，図７の（ｂ）（ｃ）（ｆ）（ｇ）のようになる。（ｄ）（ｈ）は，上式中のｍｉｎ（Ｈsub1［Ｉ］，Ｈsub2［Ｉ］）を，プロットした結果である。隣接サブ区画間関係度は，（ｄ）（ｈ）の面積に相当する。（ｄ）と（ｈ）は，ほぼ同じ値となることから，物体が移動しても，物体上の同一部分に割り付けられたサブ区画同士の関係度は，維持されることが分かる。
【００８９】
〔隣接サブ区画間関係度比較部１２５〕
前フレーム（時刻ｔ−１）のサブ区画（ｐ′，ｑ′）が，現フレーム（時刻ｔ）のあるサブ区画（ｐ，ｑ）へ移動したとき，着目サブ区画に隣接するサブ区画（ｐ＋ａ，ｑ＋ｂ）（ただし，ａ＝−１，０，１，ｂ＝−１，０，１）との関係度を次のように比較し，出力する値を算出する。なお，隣接区画を示す値ａ，ｂの組み合わせは，下記のように与えられる。
【００９０】
・隣接４区画の場合：
（ａ，ｂ）＝（０，−１），（−１，０），（１，０），（０，１）
・隣接８区画の場合：
（ａ，ｂ）＝（０，−１），（−１，０），（１，０），（０，１），
（−１，−１），（−１，１），（１，−１），（１，１）
隣接４区画を使用するか隣接８区画を使用するかは，処理を実行する前に，予め決めておく。
【００９１】
以下では，着目サブ区画の上辺に接するサブ区画（ａ，ｂ）＝（０，−１）との関係度について説明する。他の隣接区画も同様の手順で説明できる。
【００９２】
まず，前フレームのサブ区画（ｐ′，ｑ′）と上辺で隣接するサブ区画（ｐ′，ｑ′−１）との隣接サブ区画間関係度ＲＥＬ（ｓｕｂ（ｐ′，ｑ′），ｓｕｂ（ｐ′，ｑ′−１））を算出する。次に，前フレームのサブ区画（ｐ′，ｑ′）と，現フレームの移動先候補であるサブ区画（ｐ，ｑ）に上辺で隣接する区画（ｐ，ｑ−１）との隣接サブ区画間関係度ＲＥＬ（ｓｕｂ（ｐ′，ｑ′），ｓｕｂ（ｐ，ｑ−１））を算出する。最後に，求めた２つの隣接サブ区画間関係度の差分を計算し，出力値とする。
【００９３】
ＲＥＬ（ｓｕｂ（ｐ′，ｑ′）， ｓｕｂ（ｐ′，ｑ′−１））
−ＲＥＬ（ｓｕｂ（ｐ′，ｑ′），ｓｕｂ（ｐ，ｑ−１））
なお，第１の方法で隣接サブ区画間関係度を求めた際，
ＲＥＬ（ｓｕｂ（ｐ′，ｑ′），ｓｕｂ（ｐ′，ｑ′−１））＝０
ＲＥＬ（ｓｕｂ（ｐ′，ｑ′），ｓｕｂ（ｐ，ｑ−１））＝０
であるときは，出力値をＮ（サブ区画内の画素数）とする。サブ区画（ｐ′，ｑ′）隣接４区画は，上下辺，左右辺方向の４区画である。そこで，隣接サブ区画間関係度に基づく指標Ｄを次式で表す。
【００９４】
【数１１】


【００９５】
Ｒ′は前フレームのサブ区画（ｐ′，ｑ′）の隣接４区画の集合，Ｒは現フレームのサブ区画（ｐ，ｑ）の隣接４区画の集合を表す。指標Ｄがゼロに近いほど前フレームのサブ区画と現フレームサブ区画との類似性が高く，ゼロから値が離れるほど類似性は低い。
【００９６】
〔移動確率算出部１２６〕
上述の方法で求めた３つの指標を用いて，前フレームのサブ区画（ｐ′，ｑ′）と現フレームのサブ区画（ｐ，ｑ）との類似度を求める。現フレームにおいて最も類似しているサブ区画が移動確率最大と考え，サブ区画（ｐ′，ｑ′）の移動先とする。サブ区画間の類似度Ｓtotal を，指標Ａ，Ｂ，Ｃ，Ｄを用いて次式で表す。
【００９７】
Ｓtotal （ｐ′，ｑ′，ｐ，ｑ）
＝−α｜Ａ｜＋β（Ｂ−１）―γＣ−δ｜Ｄ｜
α，β，γ，δは，予め与えられた重み係数である。
【００９８】
移動先（ｐdst ，ｑdst ）は，
Ｓtotal （ｐ′，ｑ′，ｐdst ，ｑdst ）
＝ｍａｘ（Ｓtotal （ｐ′，ｑ′，ｐ，ｑ））
，０≦ｐ＜ＳｉｚｅＸ／ｎ，０≦ｑ＜ＳｉｚｅＹ／ｎ
を満たす。現フレームのサブ区画（ｐ，ｑ）を与える際，走査範囲を限定すると処理時間を短縮できる。例えば，前フレームのサブ区画を中心とした上下左右ｒ区画の範囲で走査する場合には，サブ区画（ｐ，ｑ）の値を
ｐ′−ｒ≦ｐ≦ｐ′＋ｒ
ｑ′−ｒ≦ｑ≦ｑ′＋ｒ
にすると良い。
【００９９】
移動体が重なった場合には，その物体の境界付近において，前フレームの２つの異なるサブ区画（ｐ１′，ｑ１′），（ｐ２′，ｑ２′）の移動先が，現フレームの同一サブ区画（ｐdst ，ｑdst ）となる場合がある。このように，移動元が複数存在する場合には，類似度Ｓtotal が大きいほうを選択する。
【０１００】
Ｓtotal （ｐ１′，ｑ１′，ｐdst ，ｑdst ）
≧Ｓtotal （ｐ２′，ｑ２′，ｐdst ，ｑdst ）
→移動元はサブ区画（ｐ１′，ｑ１′），
Ｓtotal （ｐ１′，ｑ１′，ｐdst ，ｑdst ）
＜Ｓtotal （ｐ２′，ｑ２′，ｐdst ，ｑdst ）
→移動元はサブ区画（ｐ２′，ｑ２′），
前フレームの移動元が３個以上になった場合も，上式で選択された移動元と，次の移動元とを順次比較することによって，処理可能である。
【０１０１】
〔移動体追跡部１２７〕
移動確率算出部１２６において，現フレームのサブ区画（ｐ，ｑ）の移動元サブ区画が確定したとき，移動体ＩＤとして移動元のＩＤ値を継承する。
【０１０２】
Attrib＿SubBlock(t) ［ｐdst ］［ｑdst ］［ｋＩＤ］
＝Attrib＿SubBlock(t-1) ［ｐ′］［ｑ′］［ｋＩＤ］
ｋＩＤは，移動体ＩＤの格納先の属性番号
現フレームにおける全てのサブ区画の移動元が確定し，移動体ＩＤがサブ区画属性格納部１２８にセットされると，現フレームにおける各移動体の領域を決定することができる。例えば，移動体ＩＤ＝Ｚの物体の画像領域（サブ区画テンプレート）は，Attrib＿SubBlock［ｐ］［ｑ］［ｋＩＤ］＝Ｚを満足するサブ区画の集まりで表される。
【０１０３】
サンプリング時刻が経過し，新しいフレーム画像を取得する毎に，上述の処理を繰り返すことによって，移動体を追跡することが可能となる。
【０１０４】
〔サブ区画属性格納部１２８〕
移動体検出の第１の方法で述べたように，本実施例では，画像を一定形状のサブ区画（例えば，８×８画素の格子状）に分割し，各サブ区画に移動体ＩＤを１個与えることで，検出した移動体の位置を表す。例えば，横７２０画素×縦４８０画素の画像を，８×８画素のサブ区画で分割すると，横９０区画×縦６０区画，計５４００個のサブ区画が与えられる。移動体が画像に占める領域を，同一の移動体ＩＤを持つサブ区画の集合で表す。サブ区画は，配列表現で表現し，各種の属性値を格納する。例えば，時刻ｔにおけるｐ行ｑ列目のサブ区画のｋ番目の属性値は，次式で与えられる。
【０１０５】
Attrib＿SubBlock(t) ［ｐ］［ｑ］［ｋ］
０≦ｐ＜ＳｉｚｅＸ／ｎ，０≦ｑ＜ＳｉｚｅＹ／ｎ，０≦ｋ＜ｋmax
（ただし，ＳｉｚｅＸ，ＳｉｚｅＹはフレーム画像の横，縦のサイズ，ｎはサブ区画の１辺の画素数，ｋmax は，属性数を表す。）
サブ区画の属性の例には，図８のような種類がある。
【０１０６】
図９は，移動確率に基いて移動体を検出する第２の移動体検出方法を用いた場合の検出処理フローチャートである。
【０１０７】
［Ｓ４０］：初期設定として，各種定数（画像サイズＳｉｚｅＸ，ＳｉｚｅＹ，サブ区画の一辺の画素数ｎなど）を予めセットしておく。
【０１０８】
［Ｓ４１］：ビデオカメラ２０によって撮影を開始する。
【０１０９】
［Ｓ４２］：サンプリング時刻毎に，ビデオカメラ２０によって撮影した画像を取得する。
【０１１０】
［Ｓ４３］：現フレーム画像バッファに格納されているデータを前フレーム画像バッファへ移動し，ステップＳ４２で取得した画像を現フレーム画像バッファへ格納する。
【０１１１】
［Ｓ４４］：前フレームのサブ区画（ｐ′，ｑ′）を１個取り出す。
【０１１２】
［Ｓ４５］：現フレームのサブ区画（ｐ，ｑ）を１個取り出す。
【０１１３】
［Ｓ４６］：前フレームのサブ区画（ｐ′，ｑ′）の左上端画素座標（ｉLT′，ｊLT′）と，現フレームのサブ区画（ｐ，ｑ）の左上端画素座標（ｉLT，ｊLT）から，移動ベクトルＶを算出する。
【０１１４】
［Ｓ４７］：サブ区画属性格納部１２８から，前フレームのサブ区画（ｐ′，ｑ′）の移動ベクトルＶ′を取り出し，ステップＳ４６で求めた現フレームの移動ベクトルＶとの，ベクトルの大きさの差分値Ａと内積Ｂを算出する。
【０１１５】
［Ｓ４８］：サブ区画（ｐ′，ｑ′）に含まれる前フレーム画像バッファの画素と，サブ区画（ｐ，ｑ）に含まれる現フレーム画像バッファの画素から局所相関値Ｃを算出する。
【０１１６】
［Ｓ４９］：サブ区画属性格納部１２８から，前フレームのサブ区画（ｐ′，ｑ′）のヒストグラムＨp',q' ［Ｉ］，および，隣接区画（ｐ′＋ａ，ｑ′＋ｂ）（ａ，ｂ＝−１，０，１）のヒストグラムＨp'+a,q'+b ［Ｉ］を取り出し，両区画間の関係度ＲＥＬ（ｓｕｂ（ｐ′，ｑ′），ｓｕｂ（ｐ′＋ａ，ｑ′＋ｂ））を算出する。
【０１１７】
［Ｓ５０］：現フレームのサブ区画（ｐ，ｑ）および隣接区画（ｐ＋ａ，ｑ＋ｂ）（ａ，ｂ＝−１，０，１）に含まれる現フレーム画像バッファの画素からヒストグラムＨp,q ［Ｉ］，Ｈp+a,q+b ［Ｉ］を求め，両区画間の関係度ＲＥＬ（ｓｕｂ（ｐ，ｑ），ｓｕｂ（ｐ＋ａ，ｑ＋ｂ））を算出する。
【０１１８】
［Ｓ５１］：前フレームの関係度ＲＥＬ（ｓｕｂ（ｐ′，ｑ′），ｓｕｂ（ｐ′＋ａ，ｑ′＋ｂ））と現フレームの関係度ＲＥＬ（ｓｕｂ（ｐ，ｑ），ｓｕｂ（ｐ＋ａ，ｑ＋ｂ））から隣接サブ区画間関係度に基づく指標Ｄを算出する。
【０１１９】
［Ｓ５２］：全ての隣接区画に対する隣接サブ区画間関係度を算出するまで，上記ステップＳ４９〜Ｓ５１を繰り返す。
【０１２０】
［Ｓ５３］：指標Ａ，Ｂ，Ｃ，Ｄを用いて，サブ区画間の類似度Ｓtotal （ｐ′，ｑ′，ｐ，ｑ）を求める。
【０１２１】
［Ｓ５４］：走査対象である現フレームの全てのサブ区画について類似度Ｓtotal を算出するまで，ステップＳ４５〜Ｓ５３を繰り返す。
【０１２２】
［Ｓ５５］：サブ区画間の類似度Ｓtotal （ｐ′，ｑ′，ｐ，ｑ）が最大となる現フレームのサブ区画（ｐ，ｑ）を移動先（ｐdst ，ｑdst ）とする。
【０１２３】
［Ｓ５６］：サブ区画属性格納部１２８から，前フレームのサブ区画（ｐ′，ｑ′）の移動体ＩＤ；Attrib＿SubBlock（ｔ−１）［ｐ′］［ｑ′］［ｋＩＤ］を取り出す。
【０１２４】
［Ｓ５７］：サブ区画属性格納部１２８から，現フレームの移動先サブ区画（ｐdst ，ｑdst ）の移動体ＩＤ；Attrib＿SubBlock（ｔ）［ｐdst ］［ｑdst ］［ｋＩＤ］を取り出す。
【０１２５】
［Ｓ５８］：現フレームの移動先サブ区画（Attrib＿SubBlock（ｔ）［ｐdst ］［ｑdst ］［ｋＩＤ］）に，既に移動体ＩＤが格納済みであれば，ステップＳ５９へ進む。未格納であれば，ステップＳ６１へ進む。
【０１２６】
［Ｓ５９］：サブ区画属性格納部１２８から，現フレームの移動先サブ区画（ｐdst ，ｑdst ）のサブ区画間の類似度を取り出し，Ｓtotal-saveとする。
【０１２７】
［Ｓ６０］：ステップＳ５３で求めたサブ区画間の類似度Ｓtotal （ｐ′，ｑ′，ｐ，ｑ）と，ステップＳ５９で取り出した類似度Ｓtotal-saveとを比較する。
・Ｓtotal （ｐ′，ｑ′，ｐdst ，ｑdst ）≧Ｓtotal-saveであれば，ステップＳ６１へ進む。
・Ｓtotal （ｐ′，ｑ′，ｐdst ，ｑdst ）＜Ｓtotal-saveであれば，ステップＳ６２へ進む。
【０１２８】
［Ｓ６１］：サブ区画属性格納部１２８に，移動元のＩＤ値Attrib＿SubBlock（ｔ−１）［ｐ′］［ｑ′］［ｋＩＤ］，サブ区画間類似度Ｓtotal （ｐ′，ｑ′，ｐdst ，ｑdst ）をセットする。
【０１２９】
［Ｓ６２］：前フレームの全てのサブ区画を走査済みであれば，ステップＳ４２へ戻る。走査済みでなければ，ステップＳ４４へ戻る。
【０１３０】
移動体に関する情報が必要なときには，サブ区画属性格納部１２８からデータを読み出す。
【０１３１】
〔移動体方向算出部１３〕
移動体の方位角を，画像処理の検出結果から算出する。角度検出方法を，図１０〜図１２を用いて説明する。
【０１３２】
図１０は，ビデオカメラ２０と移動体との位置関係を模式的に示した外観図である。移動体方向算出部１３では，図のように，カメラ視野の左端（画像の左端）を基準とした移動体の方位角を算出する。
【０１３３】
移動体検出部１２で移動体の画像領域が確定したとき，その移動体の方位を次のようにして求める。図１１において，ビデオカメラ２０は図の右方向を向いているものとする。ビデオカメラ２０の視野角は，２αである。また，画面の画素値を，左端が０，右端がｘsizeとし，移動体の中心位置は，追跡ブロックの中心位置ｘtrk-cen とする。このとき，画面上で，図１２のように検出された移動体の方位角βを次のようにして求める。
【０１３４】
【数１２】


【０１３５】
移動体が，複数存在するときは，各移動体に対して同様の処理を繰り返すことで，全ての移動体の方位角を算出する。
【０１３６】
〔アンテナ方向制御部１４〕
アンテナ方向制御部１４では，移動体方向算出部１３で得られた移動体の方位角へアンテナの指向性を一致させることで，移動体が装着しているＲＦタグ３３との通信を行う。そこで，指向性アンテナ３１には，例えば図１３に示すような指向性パターンが可変なアダプティブアレーアンテナを用いる。アダプティブアレーアンテナでは，複数のアンテナ・エレメントで受信した信号に対して重み付けをし，重みを適宜変更することで指向性パターンをコントロールする。
【０１３７】
アンテナの指向性は，送受信で可逆であるため，下記では，受信時のアダプティブアレーアンテナの重み係数の算出方法を示す。
【０１３８】
図１３に示す指向性アンテナ３１に対する，ＲＦタグ３３からの電波の到来方向をθとする。アンテナ・エレメントが直線状に等間隔Ｄで並んでいる場合，基準となるアンテナと比較したときの第ｉ番目のアンテナへの伝播遅延時間τi （θ）は，
【０１３９】
【数１３】


【０１４０】
で表される。ｃは，伝播速度である。変調信号をｍ（ｎ），搬送波の角周波数をω，第ｉ番目のアンテナ出力をｘi （ｎ），ｎを時間とすると，
【０１４１】
【数１４】


【０１４２】
となる。
【０１４３】
所望の信号波形が既知で参照信号ｄ（ｎ）として利用できる場合，アレーの出力信号ｙ（ｎ）との平均２乗誤差を最小にすることで，重み係数を決定できる。ｕ（ｎ）を干渉，雑音などの誤差成分とする。
【０１４４】
ｕ（ｎ）＝ｄ（ｎ）−ｙ（ｎ）
各アンテナの入力信号ｘi （ｎ），重み係数ｗi （θ）をベクトルで表現し，各エレメントの合成出力をｙ（ｎ）として，上式に代入する。
【０１４５】
Ｘ（ｎ）T ＝［ｘ1 （ｎ） ｘ2 （ｎ）・・・］
Ｗ（θ）T ＝［ｗ1 （θ） ｗ2 （θ）・・・］
ｙ（ｎ）＝Ｗ（θ）H Ｘ（ｎ）
ｕ（ｎ）＝ｄ（ｎ）−Ｗ（θ）H Ｘ（ｎ）
なお，添え字Ｔは転置，Ｈは複素共役転置を表す。このとき誤差成分の２乗の期待値Ｊは次式で表される。
【０１４６】
Ｊ＝Ｅ｛｜ｄ（ｎ）−Ｗ（θ）H Ｘ（ｎ）｜2 ｝
各アンテナの入力信号の自己相関行列をＲxx＝Ｅ｛ｘ（ｎ）ｘ（ｎ）H ｝，参照信号と各アンテナの入力信号との相互相関行列をｒxd＝Ｅ｛ｘ（ｎ）ｄ* （ｎ）｝と定義すると，最適な重みは，期待値Ｊを重みベクトルＷで偏微分することにより，
Ｗ（θ）＝Ｒxx-1ｒxd
で与えられる。
【０１４７】
上述のように，電波の飛来方向θと，重み係数Ｗ（θ）を対応付けることができる。そこで，ＲＦタグ３３に対してアンテナから電波を輻射する際，カメラ視野角の範囲を，θ1 〜θ2 とし，刻み幅Δθでアンテナの方向を振るとき，予め，重み係数を，
θ1 → Ｗ（θ1 ）
θ1 ＋Δθ→Ｗ（θ1 ＋Δθ）
θ1 ＋２・Δθ→Ｗ（θ1 ＋２・Δθ）
：
θ1 ＋ｋ・Δθ→Ｗ（θ1 ＋ｋ・Δθ）
：
θ2 → Ｗ（θ2 ）
のように算出しておく。移動体方向算出部１３で求めた移動体の方位角がβのときの重み係数は，
β≒θ1 ＋ｎ・Δθ
Ｗβ＝Ｗ（θ1 ＋ｎ・Δθ）
のようにして算出される。重み係数Ｗβを設定して送信することで，β方向へアンテナの指向性パターンを向けることができる。
【０１４８】
〔ＲＦタグ３３〕
ＲＦタグ３３は，ＩＣチップ，アンテナ（コイル）からなり，無線を用いることで，非接触で，ＲＦタグリーダ・ライタ３０との通信を行うことができるデバイスである。ＲＦタグリーダ・ライタ３０から供給される電磁波から駆動用の電力を獲得するタイプのＲＦタグ３３の場合，電池などの電源を内蔵していなくても動作可能である。なお，電池内蔵タイプのＲＦタグ３３を利用してもよい。なお，本システムにおいて，人を移動体の対象として，人にＲＦタグ３３を装着させる場合，動きが比較的安定している頭や胸に装着させることが望ましい。
【０１４９】
ＲＦタグ３３内のメモリには，ＲＦタグ３３が装着される撮影対象に応じて，その対象の名称，特徴（色，形状，ＩＤ番号など），仕様，あるいは，これらが記載されたネットワークアドレスなどを予め格納しておく。書き込み可能なＲＦタグ３３を使用すると，ビデオカメラ２０で撮影している最中にメモリに記憶されたデータ内容を，必要に応じて書き換えることも可能である。
【０１５０】
電池内蔵ＲＦタグ３３の中には，ＣＰＵ（中央演算処理装置）を備えているものもあり，次のようにタグ側に方位を求める演算を実装することが可能である。
【０１５１】
図１４は，２つの移動体にＩＤ１，ＩＤ２のＲＦタグ３３が装着されているときに，それぞれの方位角を算出する方法の説明図である。まず，移動体方向算出部１３で求めた方位角β１，β２を用いて，アンテナ方向制御部１４から，方位角β１，β２へ電波を順に輻射する。このとき，方位角情報をＲＦタグ３３へ送信する。ＲＦタグ３３では，方位角情報β１，β２を受信するとともに，そのときの受信信号強度を検出し，ＲＦタグ３３内のメモリへ格納する。それぞれのＲＦタグ３３の受信信号強度は，
・アンテナの指向性ビームがβ１方向へ向いているときは，ＳID1 ＞ＳID2
・アンテナの指向性ビームがβ２方向へ向いているときは，ＳID1 ＜ＳID2
となる。
【０１５２】
ＩＤ１のＲＦタグ３３は，方位角がβ１のときの受信信号強度が強いことから，β１方向に位置しており，ＩＤ２のＲＦタグ３３は，方位角がβ２のときの受信信号強度が強いことから，β２方向に位置しているとの結果が得られる。属性情報と共に得られたタグの方位角を，ＲＦタグ３３からＲＦタグリーダ・ライタ３０へ送信することで，移動体とＲＦタグ（ＩＤ値）とを結び付けることができる。
【０１５３】
〔ＲＦタグリーダ・ライタ３０〕
データ読み込み時に，ＲＦタグリーダ・ライタ３０は，指向性アンテナ３１から出力された信号ｙ（ｎ）から，ＲＦタグ３３のデータによって変調された信号を復調し，さらに，ＡＤ変換を施すことによって，デジタルデータを得る。デジタルデータは，信号入出力インタフェース１１における適当な信号線を介して，メタデータ生成部１５へ出力される。また，データ書込み時には，読み込み時と逆の操作を行うことによって，デジタルデータをＲＦタグ３３内のメモリに書き込む。
【０１５４】
〔メタデータ生成部１５〕
ＲＦタグ３３から方位角と共に送信された属性情報からメタデータを生成する。送信時間を短くするため，ＲＦタグ３３から送るデータは値のみとし，予め決められた順番で送付するようにしても良い。この場合，ＲＦタグリーダ・ライタ３０から出力されたデジタルデータは，予め決められた規則を適用することで，メタデータへ変換する。メタデータへの変換例を，図１４を用いて説明する。例えば，本装置を，マラソンへ適用する場合，ＲＦタグ３３（ＩＤ１，ＩＤ２）の中には，
・ランナーのゼッケン番号
・競技日
・スタート時刻
・種目
などの数値・文字列データが格納されている。これらの数値・文字列データを，メタデータ生成部１５でメタデータへ変換し，メタデータ付与部１６へ送る。
【０１５５】
メタデータとして，固定値ではなく，可変値を使用することもできる。例えば，ＲＦタグ３３に温度，血圧，脈拍を検出するセンサを実装させ，ＲＦタグリーダ・ライタ３０へ送ることで，ビデオカメラ２０で取得したフレーム画像へセンサデータを埋め込むことができる。また，ＲＦタグ３３から得たＩＤをもとに，そのＩＤに対応して予め登録された各種の属性情報を他の装置から取得して，メタデータとすることもできる。また，ＲＦタグ３３のＩＤを移動体の固有情報としてそのままメタデータとすることもできる。
【０１５６】
〔メタデータ付与部１６〕
移動体方向算出部１３で得られた移動体の方位角と，ＲＦタグ３３から送られてきたタグの方位角を比較し，方位角が一致する移動体とＲＦタグ３３とを結び付ける。
【０１５７】
図１５は，本実施例における画像領域とメタデータとの関連付けを示す図である。通常，ビデオカメラ２０からは，適当なサンプリング周期（例えば３３ｍｓ）で，１フレーム分の画像データ（フレーム画像）が出力される。フレームの番号と，フレーム画像中に存在する全ての移動追跡のブロック番号とを対応付ける。移動追跡ブロック番号には追跡する移動体の番号と認識したＲＦタグ３３の番号を記載する。
【０１５８】
図１５のフレーム番号１，２では移動体は何も検出できていない状況を示している。フレーム番号３に至り，移動追跡ブロック番号１，３で移動体が検出され，移動追跡ブロック番号１ではタグ１のＲＦタグが認識できたことを示している。移動追跡ブロック番号１では移動体方向算出部１３から移動体の移動体番号１とタグ１を得る。移動追跡ブロック番号３では移動体は検出できたが，タグ番号は認識できていないことを示している。フレーム番号５で移動追跡ブロック番号２ではタグ５が認識でき，フレーム番号８で移動追跡ブロック番号３においてもタグ８が認識できている。
【０１５９】
メタデータ付与部１６において生成されたメタデータ付き映像は，例えば信号入出力インタフェース１７，ネットワーク４２を介して表示装置４１へ送信される。なお，画像の出力先として，インターネットを利用したストリーミング中継，ＤＶＤ，ビデオ，ＣＤ−ＲＯＭのような記録媒体４３も考えられる。
【０１６０】
〔全体の処理フロー〕
次に，画像処理で移動体を検出してから，移動体へＲＦタグ３３のＩＤを付与するまでの処理フローを図１６に示す。
【０１６１】
［Ｓ７０］：移動体検出部１２において，画像に映っている移動体を検出する。
【０１６２】
［Ｓ７１］：移動体方向算出部１３において，移動体が占める画像領域の位置からその方位を算出する。
【０１６３】
［Ｓ７２］：アンテナ方向制御部１４で，ステップＳ７１で求めた角度へアンテナの方向を向ける。このとき，方位角（放射角度データ）をＲＦタグ３３へ送信する。
【０１６４】
［Ｓ７３］：タグ側で，受信した方位角の値と，そのときの信号強度とを対応付けて保存する。
【０１６５】
［Ｓ７４］：ステップＳ７１で求めた全ての方向へ電波を輻射するまで，ステップＳ７２とＳ７３を繰り返す。
【０１６６】
［Ｓ７５］：ＲＦタグ３３では，検出した信号の中で信号強度が最も強い方位角を選択し，そのタグの属性情報と共にアンテナ側へ送信する。
【０１６７】
［Ｓ７６］：アンテナ側で，ＲＦタグ３３から送信された角度データと属性情報を受信する。
【０１６８】
［Ｓ７７］：ステップＳ７６でＲＦタグ３３から受信した角度データが一致する移動体，およびその画像領域に対してメタデータ生成部１５で変換したメタデータのＩＤを付与する。
【０１６９】
〔他の実施例〕
上記の例では，アンテナ側から輻射した電波をＲＦタグ３３で受信し，信号強度を比較する方法を説明した。本実施例では，ＲＦタグ３３から輻射した電波をアンテナ側で受信し，信号強度を比較する方法について述べる。図１４に示したように，２つの移動体がそれぞれＲＦタグ３３を装着している場合を例に取る。まず，アンテナの受信方向をβ１に固定した状態で，２つのＲＦタグ３３からＩＤ番号を順に送信する。アンテナ側では，ＩＤ番号を受信すると同時に，信号強度を検出しメモリ等へ記憶する。次に，アンテナの受信方向をβ２に固定した状態で，ＲＦタグ３３からＩＤ番号を送信し，同様に，信号強度を記憶する。全方向の走査が終了したときに，各ＲＦタグ３３から発せられた電波の受信強度を比較する。
【０１７０】
図１４の例の場合，それぞれのタグの受信信号強度は，
・アンテナの指向性ビームがβ１方向へ向いているときは，ＳID1 ＞ＳID2
・アンテナの指向性ビームがβ２方向へ向いているときは，ＳID1 ＜ＳID2
となる。
【０１７１】
ＩＤ１のＲＦタグ３３は，方位角がβ１のときの信号強度が強いことから，β１方向に位置しており，ＩＤ２のＲＦタグ３３は，方位角がβ２のときの信号強度が強いことから，β２方向に位置しているとの結果が得られる。ＩＤ番号と共に属性情報を受信することで，移動体とＲＦタグ（ＩＤ値，属性情報）とを結び付けることができる。
【０１７２】
〔他の実施例の処理フロー〕
本実施例の処理の流れを，図１７に示す。
【０１７３】
［Ｓ８０］：移動体検出部１２において，画像に映っている移動体を検出する。
【０１７４】
［Ｓ８１］：移動体方向算出部１３において，移動体が占める画像領域の位置からその方位を算出する。
【０１７５】
［Ｓ８２］：アンテナ方向制御部１４で，ステップＳ８１で求めた角度へアンテナの受信方向を向け，ＲＦタグ３３から送られてくる信号を待機する。
【０１７６】
［Ｓ８３］：ＲＦタグ３３から，ＩＤ番号と属性情報を送信する。
【０１７７】
［Ｓ８４］：ＲＦタグ３３から送られたＩＤ番号・属性情報を格納し，受信時の信号強度を記憶する。
【０１７８】
［Ｓ８５］：全てのＲＦタグ３３から電波を輻射するまで，ステップＳ８２〜Ｓ８４を繰り返す。
【０１７９】
［Ｓ８６］：ステップＳ８１で求めた全ての方向へ指向性ビームを向け，それぞれの方位で，ＲＦタグ３３からのデータを受信するまで，ステップＳ８２〜Ｓ８５を繰り返す。
【０１８０】
［Ｓ８７］：信号強度が最も強いＲＦタグ３３のＩＤ番号を，受信した方位に一致する移動体に対応付けることで，画像領域にメタデータを付与する。
【０１８１】
以上説明したメタデータ自動付与装置１０が行う処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【０１８２】
【図１】本発明の実施例に係わる装置のブロック図である。
【図２】追跡ブロック，サブ区画，サブ区画テンプレートの関係を示す図である。
【図３】移動体の検出処理フローチャートである。
【図４】移動体画像領域の候補の抽出処理フローチャートである。
【図５】移動体の決定処理フローチャートである。
【図６】移動体検出方法を実行する移動体検出部のブロック図である。
【図７】ヒストグラムの算出例を示す図である。
【図８】サブ区画属性の例を示す図である。
【図９】第２の移動体検出方法を用いた場合の移動体の検出処理フローチャートである。
【図１０】ビデオカメラと移動体との位置関係を模式的に示した外観図である。
【図１１】角度検出方法の説明図である。
【図１２】角度検出方法の説明図である。
【図１３】指向性アンテナの例を示す図である。
【図１４】２つの移動体のそれぞれの方位角を算出する方法の説明図である。
【図１５】画像領域とメタデータとの関連付けを示す図である。
【図１６】全体の処理フローチャートである。
【図１７】他の実施例の処理フローチャートである。
【符号の説明】
【０１８３】
１０ メタデータ自動付与装置
１１，１７ 信号入出力インタフェース
１２ 移動体検出部
１３ 移動体方向算出部
１４ アンテナ方向制御部
１５ メタデータ生成部
１６ メタデータ付与部
２０ ビデオカメラ
３０ ＲＦタグリーダ・ライタ
３１ 指向性アンテナ
３２ インタフェース
３３ ＲＦタグ
４０，４１ 表示装置
４２ ネットワーク
４３ 記録媒体
【出願人】 【識別番号】０００００５２２３
【氏名又は名称】富士通株式会社
【出願日】 平成１８年９月１５日（２００６．９．１５）
【代理人】 【識別番号】１０００８７８４８
【弁理士】
【氏名又は名称】小笠原 吉義

【識別番号】１０００８３２９７
【弁理士】
【氏名又は名称】山谷 晧榮
【公開番号】 特開２００８−７２５４３（Ｐ２００８−７２５４３Ａ）
【公開日】 平成２０年３月２７日（２００８．３．２７）
【出願番号】 特願２００６−２５０３２７（Ｐ２００６−２５０３２７）