| 【発明の名称】 |
動き検出装置及び動き検出方法 |
| 【発明者】 |
【氏名】所 協助
|
| 【要約】 |
【課題】CPUリソースに対し過大な処理負荷をかけずに動き検出を行うことができる動き検出装置などを提供する。
【構成】複数の画像フレームそれぞれを複数のブロックに分割する分割手段101と、分割されたブロックごとにブロックの輝度値を代表する代表輝度値を算出する算出手段102と、ブロックごとに算出された代表輝度値を有する第1の画像フレームと、算出手段によりブロックごとに算出された代表輝度値を有する第2の画像フレームとの間の対応するブロックの代表輝度値の差分値を求めて、ブロックごとに二値化した二値化画像フレームを生成する生成手段103と、生成された二値化画像フレームにおける二値化画像の重心位置を算出し、重心位置よりも上方の位置を中心として二値化画像フレーム内の重心位置よりも上方の範囲を動き検出範囲として決定する決定手段105とを備える。 |
【特許請求の範囲】
【請求項1】 時系列的に構成された複数の画像フレームから画像内の物体の動きを検出する動き検出装置において、 前記複数の画像フレームそれぞれを複数のブロックに分割する分割手段と、 前記分割されたブロックごとに、ブロック内の各画素の輝度値に基づき前記ブロックの輝度値を代表する代表輝度値を算出する算出手段と、 前記算出手段によりブロックごとに算出された代表輝度値を有する第1の画像フレームと、前記第1の画像フレームより過去のフレームであって、前記算出手段によりブロックごとに算出された代表輝度値を有する第2の画像フレームとの間の対応するブロックの代表輝度値の差分値を求めて、ブロックごとに二値化した二値化画像フレームを生成する生成手段と、 前記生成された二値化画像フレームにおける二値化画像の重心位置を算出し、前記重心位置よりも上方の位置を中心として前記二値化画像の前記重心位置よりも上方の範囲を動き検出範囲として決定する決定手段とを備え、 前記決定された動き検出範囲内について前記画像内の物体の動きを検出することを特徴とする動き検出装置。 【請求項2】 時系列的に構成された複数の画像フレームから画像内の物体の動きを検出する動き検出方法において、 前記複数の画像フレームそれぞれを複数のブロックに分割する分割ステップと、 前記分割されたブロックごとに、ブロック内の各画素の輝度値に基づき前記ブロックの輝度値を代表する代表輝度値を算出する算出ステップと、 前記算出ステップによりブロックごとに算出された代表輝度値を有する第1の画像フレームと、前記第1の画像フレームより過去のフレームであって、前記算出ステップによりブロックごとに算出された代表輝度値を有する第2の画像フレームとの間の対応するブロックの代表輝度値の差分値を求めて、ブロックごとに二値化した二値化画像フレームを生成する生成ステップと、 前記生成された二値化画像フレームにおける二値化画像の重心位置を算出し、前記重心位置よりも上方の位置を中心として前記二値化画像の前記重心位置よりも上方の範囲を動き検出範囲として決定する決定ステップとを有し、 前記決定された動き検出範囲内について前記画像内の物体の動きを検出することを特徴とする動き検出方法。
|
【発明の詳細な説明】【技術分野】 【0001】 本発明は、画像を用いた監視システムにおいて侵入者などの移動体を検出する動き検出装置及び動き検出方法に関する。 【背景技術】 【0002】 近年、工業プラントなどの施設だけでなく、学校や小規模な商業施設、オフィスにおいてもセキュリティ対策として監視システムの需要が高まっている。その場合、極めて厳重な監視体制が要求されるような施設ではモニタ画像を常時監視するための設備と人員を配置させるが、学校や小規模な商業施設、オフィスではそのような態勢をとることは困難である。よって、監視カメラから得られる画像信号から侵入者などの物体の動きを検出し、その動き検出中にのみVTR(Video Tape Recorder)や、ハードディスク、DVD(Digital Versatile Disc)などの記録媒体に記録する記録装置に自動録画をさせたり、自動的にアラームを発生させたりすることが行われている。 【0003】 そして、記録装置には、複数の監視カメラからの映像をハードディスクのような高速の記録媒体に同時にデジタル記録することができるような製品が主流になってきている。ハードディスクの容量は年率約1.9倍で年々増加傾向にあり、それに伴う記録密度の向上により転送速度も年々増している。また、記録装置の主要構成部品であるCPUは、年率1.5〜1.6倍程度でそのクロック周波数が上がり年々高速になっている。監視カメラからの映像も、NTSC(National Television Standards Committee)の解像度(SIF換算で352×240ドット)やQVGA(Quarter VGA(Video Graphics Array):320×240ドット)から、VGA(640×480ドット)やSVGA(Super VGA:800×600ドット)、あるいはハイビジョン品質(垂直解像度1000TV本以上、水平解像度800TV本以上)の高画質が求められ始め、また監視システムあたりの監視カメラの設置台数も増える傾向にあり、扱う映像の情報量も増大している。 【0004】 監視システムの初期投資を抑えるために、記録装置をデジタル化しても既存のアナログ監視カメラを有効活用するために、アナログとデジタルが混在する監視システムが組まれることが多く、そのため画像の動き検出機能は記録装置に組み込まれることも多い。しかし、扱う映像の情報量が増えているため、画像の動き検出機能が記録装置に組み込まれることを考えると、年々ハードディスクの転送速度が向上しCPUの処理能力が向上しても、記録装置としての本来の機能、すなわち映像の記録に処理能力のほとんどを割かねばならず、付加的機能としての動き検出にその処理能力を割くことが困難な面も多い。 【0005】 また、伝送路のデジタル化とそのために必要な符号化技術は、ローカル・エリア・ネットワーク(LAN)やバーチャル・プライベート・ネットワーク(VPN)などのネットワーク・インフラストラクチュアを利用できるようにし、監視システムの施工や管理を容易にした反面、どうしても符号化と復号の際に演算処理が介在するため、実際に監視カメラが映す映像とネットワークを介して伝送された符号を再現した映像とに遅延が生じる。最近は、画像処理により監視カメラを自動的にPTZ(パン・チルト・ズーム)制御しようとする方法も普及しており、そのような技術が下記の特許文献1に記載されている。 【特許文献1】特開平6−217316号公報(段落0011、図1) 【特許文献2】特開平11−39495号公報(段落0016) 【発明の開示】 【発明が解決しようとする課題】 【0006】 しかしながら、特許文献1に記載された技術のように、映像の変化をネットワーク越しに検出し、変化した部分をPTZ制御で追尾しようとしても、動体を検出した時点で、その検出された情報はこの時間遅延により古いものとなっており、動体が立ち去ったあとを空しく映すだけになってしまうことも多いため、記録装置側ではなく、監視カメラに近く、伝送遅延の生じないような箇所に動体検出を設置すること(できれば監視カメラに内蔵すること)が望まれるが、このような場合も動体検出に必要なCPUリソースの軽減が必要となることが多い。 【0007】 本発明は、上記課題を解決するためのものであり、CPUリソースに対して過大な処理負荷をかけずに動き検出を行うことができる動き検出装置及び動き検出方法を提供することを目的とする。なお、監視システムに適用される負荷の軽い画像の動き検出装置として、例えば上記の特許文献2に記載された技術がある。特許文献2に記載された技術は、簡易な動き検出方式を用いた画像監視装置に係るものであり、画像フレームをブロックに分割してブロックごとの輝度値又は色データの平均値を求め、現フレームの平均値と数フレーム前の平均値とを各フレームの対応する分割ブロック同士で比較して差分値を求め、その差分値が設定値以上である場合に動きがあると判断するものである。 【課題を解決するための手段】 【0008】 上記目的を達成するために、本発明によれば、時系列的に構成された複数の画像フレームから画像内の物体の動きを検出する動き検出装置において、前記複数の画像フレームそれぞれを複数のブロックに分割する分割手段と、前記分割されたブロックごとに、ブロック内の各画素の輝度値に基づき前記ブロックの輝度値を代表する代表輝度値を算出する算出手段と、前記算出手段によりブロックごとに算出された代表輝度値を有する第1の画像フレームと、前記第1の画像フレームより過去のフレームであって、前記算出手段によりブロックごとに算出された代表輝度値を有する第2の画像フレームとの間の対応するブロックの代表輝度値の差分値を求めて、ブロックごとに二値化した二値化画像フレームを生成する生成手段と、前記生成された二値化画像フレームにおける二値化画像の重心位置を算出し、前記重心位置よりも上方の位置を中心として前記二値化画像の前記重心位置よりも上方の範囲を動き検出範囲として決定する決定手段とを備え、前記決定された動き検出範囲内について前記画像内の物体の動きを検出することを特徴とする動き検出装置が提供される。この構成により、CPUリソースに対して過大な処理負荷をかけずに動き検出を行うことができる。 【0009】 また、本発明によれば、時系列的に構成された複数の画像フレームから画像内の物体の動きを検出する動き検出方法において、前記複数の画像フレームそれぞれを複数のブロックに分割する分割ステップと、前記分割されたブロックごとに、ブロック内の各画素の輝度値に基づき前記ブロックの輝度値を代表する代表輝度値を算出する算出ステップと、前記算出ステップによりブロックごとに算出された代表輝度値を有する第1の画像フレームと、前記第1の画像フレームより過去のフレームであって、前記算出ステップによりブロックごとに算出された代表輝度値を有する第2の画像フレームとの間の対応するブロックの代表輝度値の差分値を求めて、ブロックごとに二値化した二値化画像フレームを生成する生成ステップと、前記生成された二値化画像フレームにおける二値化画像の重心位置を算出し、前記重心位置よりも上方の位置を中心として前記二値化画像の前記重心位置よりも上方の範囲を動き検出範囲として決定する決定ステップとを有し、前記決定された動き検出範囲内について前記画像内の物体の動きを検出することを特徴とする動き検出方法が提供される。この構成により、CPUリソースに対して過大な処理負荷をかけずに動き検出を行うことができる。 【発明の効果】 【0010】 本発明の動き検出装置及び動き検出方法は、上記構成を有し、CPUリソースに対して過大な処理負荷をかけずに動き検出を行うことができる。具体的には、粗い動体検出を行い、そこで検出された動体の上半分だけを切り出し、それを次のステップのより詳細な動体検出をする手段に渡すことで後段の処理負荷を半減させることができる。 【発明を実施するための最良の形態】 【0011】 以下、本発明の実施の形態に係る動き検出装置について図1から図7を用いて説明する。図1は本発明の実施の形態に係る動き検出装置の構成の一例を示す構成図である。図2aは本発明の実施の形態における撮影された映像を構成する時間的に連続する複数の画像フレームのうちの1つの画像フレームを示す図である。図2bは本発明の実施の形態における撮影された映像を構成する時間的に連続する複数の画像フレームのうちの1つの画像フレームを示す図である。図2cは本発明の実施の形態における撮影された映像を構成する時間的に連続する複数の画像フレームのうちの1つの画像フレームを示す図である。図2dは本発明の実施の形態における撮影された映像を構成する時間的に連続する複数の画像フレームのうちの1つの画像フレームを示す図である。図3aは本発明の実施の形態における二値化された画像フレームのうちの1つの画像フレームを示す図である。図3bは本発明の実施の形態における二値化された画像フレームのうちの1つの画像フレームを示す図である。図3cは本発明の実施の形態における二値化された画像フレームのうちの1つの画像フレームを示す図である。 【0012】 図4aは本発明の実施の形態における二値化された画像に基づくクローズアップ範囲の1つを示す図である。図4bは本発明の実施の形態における二値化された画像に基づくクローズアップ範囲の1つを示す図である。図4cは本発明の実施の形態における二値化された画像に基づくクローズアップ範囲の1つを示す図である。図5は本発明の実施の形態におけるコンビニエンス・ストア内の様子を示した模式図である。図6aは本発明の実施の形態におけるフレーム間の差分映像の最も左の画素と右の画素が切り出し範囲に収まるような方法を説明するための図である。図6bは本発明の実施の形態におけるフレーム間の差分映像の最も左の画素と右の画素が切り出し範囲に収まるような方法を説明するための他の図である。図6cは本発明の実施の形態におけるフレーム間の差分映像の最も左の画素と右の画素が切り出し範囲に収まるような方法を説明するための他の図である。図7は本発明の実施の形態におけるソフトウェア・コードのリスト1及びリスト2を示す図である。 【0013】 まず、コンビニエンス・ストア(以下、店とも言う)で撮影された映像を構成する時間的に連続する複数の画像フレームの一例を図2a〜図2dに示す。これらは、高解像度のカラーカメラで撮影された各フレームを32×32ブロックの輝度情報に縮退したものである。この例では輝度情報を使用しているが、もちろん色情報を用いても構わない。 【0014】 これらの映像からフレーム間差分を計算し、それを二値化すると図3a〜図3cに示すような画像(フレーム間差分二値画像)が得られる。この例の映像は、図5の模式図に示すように、画面の中央に買い物を終えた被写体の人物10がおり、店舗の壁面11は多くのコンビニエンス・ストアがそうであるようにガラス張りになっており、そこにガラス扉12が設置されている。ガラス扉12の向こうに店外の歩行者13が映っている。この例の図3a〜図3cに示すフレーム間差分二値画像(以下、単に二値画像又は二値化画像とも言う)から分かるように、店を出ようとしている被写体の人物10と店外の歩行者13に動きがある。一方、図5に示すように店の奥には雑誌を立ち読みしている者14がいるが、立ち読みをしている者にはほとんど動きがないため、図3a〜図3cに示す二値画像には現れない。 【0015】 なお、図3a〜図3cには参考のため、得られた二値画像のX成分、Y成分それぞれの輝度のヒストグラムをも合わせて示しているが、このヒストグラムの作成は実際には必要とせず、なくてもよい。また、監視目的で動きの検出を必要としないもの、例えば防犯目的の場合には、天井でゆっくりと回るタイプの扇風機、商品の展示台でアイキャッチ(サインや看板など目を引く広告など)のための動きを伴うもの、電光掲示板など、それらが監視カメラの視野にある場合は、それらの映っている領域をマスクする演算を二値化の前又は後に施しても構わない。 【0016】 次に、上述のように、得られた二値画像の重心点の座標(gx、gy)を以下に示す式(1)から式(3)により算出する。なお、m(x、y)は座標(x、y)の二値化された輝度差分値を示し、例えば時間的に異なるフレーム間の同一ブロック内にある複数の画素の輝度値の平均値などの差分の絶対値が、閾値を超えたか否かで二値化されたものである。 【0017】 【数1】
【0018】 【数2】
【0019】 【数3】
【0020】 複数のΣ(シグマ)演算記号が式(1)から式(3)にあるが、ソフトウェア・コードとしては、例えば図7に示すリスト1のように実装でき、演算ループは2段で演算量はさほど多くない。なお、リスト1は、フレーム間に差がない場合、式(1)、すなわち式(2)及び式(3)の分母が0となり、gxとgyの値は不定(リスト1のソフトウェア・コードがzero divided error)となるが、これは説明のためのサンプルであり、フレーム間に差がない場合については考慮していない。ここで、リスト1のループ演算を図7に示すリスト2のように改良する。 【0021】 二値化された輝度差分値m(x、y)は0か1の値しか採り得ないので、リスト2は変数topが関わるステートメントを除きリスト1と等価である。図3aのフレーム間差分二値画像(二値化画像)301が処理対象の場合、リスト2の変数topが関わる処理は、図3aに示すような走査304でリスト2の処理を終えると、変数topには動きのあった最も上のブロックの座標が保持される。なお、この例では座標原点を画像の左上としている。 【0022】 この32×32ブロックの映像の座標(gx、(top+gy)/2)に相当する点が映像の中心となるよう、機械的なPTZ機構あるいは電子的なトリミング操作に対しパン・チルト角を制御し、さらに、少なくともgy−topの範囲が視野となるようズーミングを行えば、図5の歩行者10の上半身をクローズアップできる。フレーム間差分二値画像301〜303を基に、上記の手法で求めたクローズアップ範囲を図4の画像フレーム401〜403に示す。実際には32×32ブロックに縮退する前の映像に対し、このようなクローズアップ処理を施すことにより高解像度の映像を得ることができる。 【0023】 なお、上記の例では重心点を算出する例を説明したが、その代わりにフレーム差分画像の中心あるいは統計的中央値でもよく、それよりも上方をズームアップ範囲と設定することが本発明の特徴である。また、ズーム範囲をgyとtopを例にとってy座標系から算出したが、x座標系を基準に求めてもよい。例えば、図6a〜図6cに示すように、フレーム間差分映像の最も左の画素と右の画素が切り出し範囲に収まるような方法をとることも考えられる。 【0024】 以上、フレーム間差分を前後のフレームを例にとって説明したが、これは数フレーム離れていてもよく、例えば5フレームごとの処理とすればフレームごとに処理する場合よりも負荷を五分の一に軽減でき、また、比較対象のフレームを事前に学習した背景のみのフレームとしてとってもよい。 【0025】 次に、本発明の実施の形態に係る動き検出装置の一例について図1を用いて説明する。図1に示すように、動き検出装置は、例えば、分割手段101、算出手段102、生成手段103、判断手段104、決定手段105、検出手段106から構成されている。なお、動き検出装置の構成要素はこれに限られるものではなく、他の要素を含むことも可能である。 【0026】 分割手段101は、複数の画像フレームそれぞれを複数のブロックに分割するものである。具体的には、上述したように画像フレームを32×32のブロックに分割する。算出手段102は、分割手段101によって分割されたブロック内の画素の輝度値に基づいて、ブロックごとにブロックの輝度値を代表する輝度値を算出するものである。具体的には、上述したように算出手段102は、分割された各ブロックに含まれる画素の輝度値の平均値を各ブロックの輝度値とするために輝度値の平均値を算出する。 【0027】 生成手段103は、算出手段102によってブロックごとに算出された輝度値を有する第1の画像フレーム(例えば、現時点での画像フレーム)と、第1の画像フレームより過去の画像フレームであって、算出手段102によってブロックごとに算出された輝度値を有する第2の画像フレーム(例えば、現時点の画像フレームから数えて5つ前の画像フレーム)との間の対応するブロックの輝度値の差分値に基づいて、ブロックごとに二値化された二値化画像フレーム(上述した図3a〜図3cに示す画像フレーム)を生成するものである。 【0028】 判断手段104は、生成手段103によって生成された二値化画像フレームの各ブロックの値が所定の値(例えば、「0」と「1」で二値化された場合の「1」など)であるか否かを判断するものである。具体的には、上述したように、判断手段104は図3aに示すような走査304をして、「0」か「1」で二値化された値のうち、例えば「1」の値を有するブロックに当たったか否かを判断する。 【0029】 決定手段105は、画像フレーム中における位置と画像フレーム中における所定の基準位置とに基づいて動き検出を行う範囲を決定するものである。具体的には、上述したように、決定手段105は、32×32ブロックの映像の座標(gx、(top+gy)/2)に相当する点を映像の中心としてgy−topの範囲を動き検出の範囲と決定する。これにより、図5の人物10の上半身をクローズアップすることができる。 【0030】 検出手段106は、第1の画像フレームにおける決定された動き検出を行う範囲のブロックの輝度値と、当該範囲のブロックに対応する第2の画像フレームにおけるブロックの輝度値との差分値が所定の閾値以上である場合に、動きがあったものとみなして動きを検出するものである。これにより、動き検出を行う範囲を減らすことができ、処理負荷を抑えることができる。または、第1及び第2の画像フレームにおける動き検出範囲内の画素ごとの輝度値の差分値を求めて動き検出を行うようにしてもよい。これにより、上記のように推定された動き検出範囲内での細かい検出結果を得ることができる。 【0031】 以上説明したように、本発明の動き検出装置によれば、極めて軽い負荷で動き検出が可能となるのみでなく、多くの場合、人の上半身がズームアップされ、監視映像の被写体の顔画像を鮮明に捉えることができる。 【0032】 また、人ごみの中からあらかじめリストされている人物を探すような顔貌(顔つき)認識アプリケーションの前処理として利用すれば、人ごみの中から顔の位置を特定するためのテンプレート・マッチング操作は、入力画像全体ではなく、動きのあった部分のさらに半分の領域のみに施すだけで済むようになり、顔貌認識アプリケーション全体の負荷を結果的に軽減できる。 【0033】 また、負荷の軽い動き検出の手段にありがちな誤報(誤った異常検出アラームの発呼)抑制のために、その後に(後段に)更に精度の高い動き検出を設ける場合であっても、その後段の高精度の動き検出の手段への入力は、上述した実施の形態で述べたような方法で切り出した、動きの上半分のみを入力することで後段の負荷を軽くすることができる。なお、精度を高める工夫として、出願人は、例えば特開2005-56406を開示している。これは、照明状態の変化やフリッカーなどの影響、背景の検出不要な動きを排除するとともに、多様な画像監視用途に応じてユーザの監視したい対象物の動きを精度良く検出する画像の動き検出装置を提供しようとするものである。 【産業上の利用可能性】 【0034】 本発明に係る動き検出装置及び動き検出方法は、CPUリソースに対して過大な処理負荷をかけずに動き検出を行うことができるため、画像を用いた監視システムにおいて侵入者などの移動体を検出する動き検出装置及び動き検出方法などに有用である。 【図面の簡単な説明】 【0035】 【図1】本発明の実施の形態に係る動き検出装置の構成の一例を示す構成図である。 【図2a】本発明の実施の形態における撮影された映像を構成する時間的に連続する複数の画像フレームのうちの1つの画像フレームを示す図である。 【図2b】本発明の実施の形態における撮影された映像を構成する時間的に連続する複数の画像フレームのうちの1つの画像フレームを示す図である。 【図2c】本発明の実施の形態における撮影された映像を構成する時間的に連続する複数の画像フレームのうちの1つの画像フレームを示す図である。 【図2d】本発明の実施の形態における撮影された映像を構成する時間的に連続する複数の画像フレームのうちの1つの画像フレームを示す図である。 【図3a】本発明の実施の形態における二値化された画像フレームのうちの1つの画像フレームを示す図である。 【図3b】本発明の実施の形態における二値化された画像フレームのうちの1つの画像フレームを示す図である。 【図3c】本発明の実施の形態における二値化された画像フレームのうちの1つの画像フレームを示す図である。 【図4a】本発明の実施の形態における二値化された画像に基づくクローズアップ範囲の1つを示す図である。 【図4b】本発明の実施の形態における二値化された画像に基づくクローズアップ範囲の1つを示す図である。 【図4c】本発明の実施の形態における二値化された画像に基づくクローズアップ範囲の1つを示す図である。 【図5】本発明の実施の形態におけるコンビニエンス・ストア内の様子を示した模式図である。 【図6a】本発明の実施の形態におけるフレーム間の差分映像の最も左の画素と右の画素が切り出し範囲に収まるような方法を説明するための図である。 【図6b】本発明の実施の形態におけるフレーム間の差分映像の最も左の画素と右の画素が切り出し範囲に収まるような方法を説明するための他の図である。 【図6c】本発明の実施の形態におけるフレーム間の差分映像の最も左の画素と右の画素が切り出し範囲に収まるような方法を説明するための他の図である。 【図7】本発明の実施の形態におけるソフトウェア・コードのリスト1及びリスト2を示す図である。 【符号の説明】 【0036】 10 人物 11 店舗の壁面 12 ガラス扉 13 店外の歩行者 14 雑誌を立ち読みしている者 101 分割手段 102 算出手段 103 生成手段 104 判断手段 105 決定手段 106 検出手段 301、302、303 フレーム間差分二値画像(二値化画像) 304 走査 401、402、403 画像フレーム
|
| 【出願人】 |
【識別番号】000004329 【氏名又は名称】日本ビクター株式会社
|
| 【出願日】 |
平成18年8月11日(2006.8.11) |
| 【代理人】 |
【識別番号】100093067 【弁理士】 【氏名又は名称】二瓶 正敬
|
| 【公開番号】 |
特開2008−48075(P2008−48075A) |
| 【公開日】 |
平成20年2月28日(2008.2.28) |
| 【出願番号】 |
特願2006−220551(P2006−220551) |
|