| 【発明の名称】 |
移動物体検出装置 |
| 【発明者】 |
【氏名】百瀬 章
|
| 【要約】 |
【課題】変化に追従した適切な背景を作成することにより、精度の高い移動物体の検出を行うことが可能な移動物体検出装置を提供する。
【解決手段】背景差分手法を用いて移動物体の検出を行う移動物体検出装置において、ＣＰＵ３２は、メモリ部３３に保存された背景画像とカメラ１から得られた入力画像との加重平均をとることにより背景候補を作成し、移動物体の存在密度が所定値以下である等所定の条件の場合に、作成された背景候補を背景画像として更新し、更新された背景画像と入力画像とから移動物体を検出する。これにより、変化に追従した適切な背景を作成できるので、精度の高い移動物体の検出を行うことが可能となる。 |
【特許請求の範囲】
【請求項１】背景差分手法を用いて移動物体の検出を行う移動物体検出装置において、背景画像と入力画像との加重平均をとることにより背景候補を作成する背景候補作成手段と、所定の条件の場合に、背景候補作成手段で作成された前記背景候補を背景画像とする更新処理を行う背景更新手段と、この背景更新手段により更新された背景画像と入力画像とから移動物体を検出する移動物体検出手段とを備えたことを特徴とする移動物体検出装置。
【請求項２】前記背景更新手段は、移動物体の速度が所定値以上である第１の条件と移動物体の存在密度が所定値以下である第２の条件のうち、少なくとも一方の条件を満たした場合に、前記更新処理を行うものであることを特徴とする請求項１に記載の移動物体検出装置。
【請求項３】前記背景更新手段は、移動物体の速度が所定値以上である第１の条件と移動物体の存在密度が所定値以下である第２の条件のうち、少なくとも一方の条件を満たし、且つ、入力画像と背景画像若しくは背景候補との差分が所定値以下である場合に前記更新処理を行うものであることを特徴とする請求項１に記載の移動物体検出装置。
【請求項４】前記移動物体検出手段は、背景画像と入力画像とから求めた物体の少なくとも一つの方向の長さが所定値以上の場合に移動物体として検出するものであることを特徴とする請求項１乃至請求項３のいずれかに記載の移動物体検出装置。
|
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、カメラで撮像した画像を利用して車両等の移動物体を検出する移動物体検出装置に関するものである。
【０００２】
【従来の技術】従来、カメラから入力した映像信号（動画像）から、移動物体のみを抽出する手法として、背景差分手法が用いられてきた。これは、入力した画像と、予め作成した背景のみの画像との差分をとることによって、背景以外の物体を抽出する手法である。
【０００３】この手法では、正確な背景の作成が、移動物体の抽出精度を上げるための条件である。また、屋外等の気象条件や時間帯によって、明るさや天気などが刻々と変化する環境においては、変化に追従した背景の更新が必要である。
【０００４】背景更新の手段として、従来からいくつかの手法が考えられてきた。そのなかで、画像上に設けた代表的ないくつかの点の輝度の変化量を元に、元々作成してある背景に対して、更新処理を行うといった手法は最も単純な方法である。しかし、この手法によると、選定した点の輝度が正しく更新されない場合、背景の全体に影響を与えるといった問題点がある。例えば、建物、雲などにより発生する影の影響で選定した点の輝度が変化する場合、本来影の無い背景においても影の影響を与えてしまう。
【０００５】この問題を解決するため、代表点の位置を気象条件や時間帯によって、変更する方法が考えられるが、パラメータの設定およびその評価が複雑になるという問題点があった。
【０００６】また、画像上に物体が存在していない瞬間に背景を更新するという手法では、物体が本当に存在していないかどうかの判定を正確に行うことが必要であり、この判定に失敗すると、誤った画像が背景として選ばれてしまい、以降の判定処理に影響を与えるといった問題点がある。
【０００７】さらに、これらの問題点を解決するため、一定時間の画像の平均を取り、背景に近い画像を作るという手法がある。しかし、この手法によると、物体が長時間移動しないときは、抽出する目的の物体を含んだ画像が背景として作られてしまうといった問題が発生していた。
【０００８】
【発明が解決しようとする課題】上述の如く、移動物体を画像処理装置で検出する際において、気象条件や時間帯の変化に追従した背景が作成できないため、移動物体の正確な検出が出来ないという問題が発生していた。
【０００９】本発明は、この問題を除去し、変化に追従した適切な背景を作成することにより、精度の高い移動物体の検出を行うことが可能な移動物体検出装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】本発明は、背景差分手法を用いて移動物体の検出を行う移動物体検出装置において、背景画像と入力画像との加重平均をとることにより背景候補を作成する背景候補作成手段と、所定の条件の場合に、背景候補作成手段で作成された背景候補を背景画像とする更新処理を行う背景更新手段と、この背景更新手段により更新された背景画像と入力画像とから移動物体を検出する移動物体検出手段とを備えたことを特徴とする。
【００１１】このような構成の本発明によれば、変化に追従した適切な背景を作成することができ、精度の高い移動物体の検出を行うことができる。ここで、背景更新手段は、移動物体の速度が所定値以上である第１の条件と移動物体の存在密度が所定値以下である第２の条件のうち、少なくとも一方の条件を満たした場合に、更新処理を行うものとすることができる。
【００１２】また、背景更新手段は、移動物体の速度が所定値以上である第１の条件と移動物体の存在密度が所定値以下である第２の条件のうち、少なくとも一方の条件を満たし、且つ、入力画像と背景画像若しくは背景候補との差分が所定値以下である場合に更新処理を行うものとすることもできる。
【００１３】また、移動物体検出手段は、背景画像と入力画像とから求めた物体の少なくとも一つの方向の長さ、例えば横幅が所定値以上の場合に移動物体として検出するものとすることもできる。
【００１４】
【発明の実施の形態】以下、図面を参照して本発明の実施形態について詳細に説明する。図１は、本発明に係る移動物体検出装置の一実施形態としての車両抽出装置の構成を示すブロック図である。
【００１５】同図において、１はカメラ、２はモニタ、３は画像処理部、４は情報処理部、５は画像処理部３と情報処理部４を接続するＬＡＮである。画像処理部３は、映像Ｉ／Ｏ（インタフェース）部３１、ＣＰＵ３２、メモリ部３３、及び外部Ｉ／Ｏ（インタフェース）部３４からなり、また情報処理部４は、コンソール４１、ワークステーション４２、及びＨＤＤ４３からなる。
【００１６】カメラ１から入力されたアナログ映像信号に対し、画像処理部３において移動物体の抽出処理が行われる。即ち、画像処理部３に入力されたアナログ信号は、映像Ｉ／Ｏ部３１によりＡ／Ｄ変換を施されデジタル化された画像データとなり、メモリ部３３に保存される。このデータに対しＣＰＵ３２で各種画像処理を行い、移動物体のみを抽出する。ＣＰＵ３２内の処理については図２以降で説明する。メモリ部３３には画像データの他、プログラム、及びＣＰＵ３２がプログラムを実行するのに必要なデータ等が保管される。画像処理部３の各部３１〜３４はバス３５で高速に接続されている。
【００１７】画像処理部３で抽出された移動物体についての検出結果は、ＬＡＮ５を経由して情報処理部４に送出される。情報処理部４では、ワークステーション４２において検出結果を集計し、ＨＤＤ４３に保存する。コンソール４１からは保存された集計結果などを検索表示する。
【００１８】次に、この動作について説明する。この実施形態における主な処理は、カメラ１から入力した映像信号から背景の候補を作成する背景候補作成処理と、作成した背景候補が適当がどうか判定し、適当な場合のみ背景を更新する背景更新処理と、背景と入力信号から移動物体のみ抽出する移動物体抽出処理から構成される。
【００１９】背景候補作成処理においては、カメラ１から入力した現在の入力画像と入力画像以前の（２N−１）フィールド分（但し、Ｎは正整数）の画像との平均に相当する、旧背景画像と入力画像との加重平均をとり、この画像を背景の候補とする。
【００２０】背景更新処理においては、今までに測定した移動物体の移動速度、及び存在密度の統計値より、背景を更新するかどうかの判定を行う。この時、平均速度が遅く存在密度が高い場合は、背景候補作成処理で作られた背景の候補は正確な背景ではないと判定し、背景の候補を破棄する。さらに、現在の入力画像と、背景画像（または背景候補）との差を取る。この際、画面上を複数のブロックまたは画素単位に分け、差分の値が小さいブロック（または画素）は背景、差が大きい個所は移動物体が存在していると判定し、背景と判定した個所のみ背景画像を、背景候補作成処理で作成した背景の候補と置き換える。
【００２１】移動物体抽出処理においては、入力画像と背景候補作成処理により作成した背景画像との差分を取り、差分が連続している場合にこれを一つの物体とみなし抽出する。
【００２２】以下、この動作を更に詳細に説明する。図２は、画像処理部３における処理の全体を示したフローチャートである。まずステップ２０１において背景データの初期化を行う、即ち初期背景データの取り込みを行う。ステップ２０２において、画像データを入力する。ここで入力する画像データとは、映像Ｉ／Ｏ部３１においてＡ／Ｄの変換を行ったデジタルデータである。次にステップ２０３において背景候補の作成処理を行う。背景とは、入力画像上の固定された部分のことであり、複数の画像データの平均を取ることによって作成する。本処理については図３で詳しく述べる。
【００２３】次にステップ２０４において背景の更新処理を行う。気象条件や時間帯によって、明るさや天気などが刻々と変化する屋外映像においては、変化に追従した背景の更新が必要であり、本処理によりリアルタイムに背景を最新のものに更新する。本処理の詳細は図４に示す。
【００２４】次にステップ２０５において移動物体抽出処理を行う。本処理により、現在の入力映像から車両のみを抽出し、車両が存在していることを検出する。本処理の詳細は図５に示す。
【００２５】次にステップ２０６において車両の速度や台数、存在密度等の計算を行う。その後、ステップ２０７において計測結果をモニタ２や情報処理部４へ出力する。ここで、図６を用いて、一般的な背景作成処理について概要を示す。連続した時間Ｔ１、Ｔ２、Ｔ３における入力画像と作成した背景画像の関係を示す。Ｔ０の背景画像６００はあらかじめ作成した車両のない瞬間の入力画像を用いる。Ｔ１ではＴ０の背景６００とＴ１の入力画像６１１との平均を取り、Ｔ１の背景画像６１２を作成する。以降同様に、Ｔ１の背景画像６１２とＴ２の入力画像６２１との平均を取り、Ｔ２の背景画像６２２を作成し、Ｔ２の背景画像６２２とＴ３の入力画像６３１との平均を取り、Ｔ３の背景画像６３２を作成していく。本処理では平均をとる時間が長いほどより正確な背景が作成できる一方、変化に対する追従が難しくなる。
【００２６】次に、背景候補作成処理（図２のステップ２０３）について説明する。この背景候補作成処理をフローチャートで示すと図３のようになる。ステップ３０１において座標の初期化を行い、ステップ３０２において旧背景画像と入力画像の平均をとる。この際、算術平均ではなく、加重平均を用いる。即ち、旧更新背景Ｂt-1,xyを（２N−１）倍（但し、Ｎは正整数）したものに入力画像Ｉt,xyを加え、これを２Nで割ったものを更新背景候補Ｂ´t,xyとする。このように加重平均を用いることにより古い画像データは保存する必要がなくなる。従って、画像データを保存するメモリ部３３の容量も少なくてよいことになる。
【００２７】以上の処理をステップ３０３、及びステップ３０４で、Ｘ座標、Ｙ座標について座標を進めて、画面全体に対して背景候補を作成する。次に、背景更新処理（図２のステップ２０４）について説明する。
【００２８】上記で作成した背景候補をそのまま背景とすると、渋滞などで車両の移動が少ない場合、得られる背景に車両が残ってしまうことになる。そこで、これを防ぐために背景更新処理では速度が一定値以下、存在密度が一定値以上の際には背景の更新を行わず、かつ画面上で車両が存在していない箇所のみ更新を行うという方法を用いる。
【００２９】本処理を図４に示す。ステップ４０１において速度が一定値以上で、存在密度が一定値以下かどうかの判断を行う。なお、速度、存在密度は図２に示す繰り返し処理フローで、１サイクル前の処理において、ステップ２０６の速度、存在密度検出処理で算出した結果を用いる。速度が一定値以上で、存在密度が一定値以下であった場合、ステップ４０２で座標を初期化する。次にステップ４０３において背景Ｂt-1,xy（または更新背景候補Ｂ´t,xy）と入力画像Ｉt,xyの差Ｄt,xyを求め、差Ｄt,xyが一定値（閾値Ｓ）以上かどうかをステップ４０４で判断し、差Ｄt,xyが一定値（閾値Ｓ）以上の場合は車両が存在していると判断してステップ４０５に進み、背景の更新処理を行わず、一方、差Ｄt,xyが一定値（閾値Ｓ）以下の場合はステップ４０６に進み、背景の更新処理を行う。ステップ４０７、４０８において座標を進めて、画面全体に対して背景の更新処理を行う。
【００３０】なお、ステップ４０１における判断は速度が一定値以上、存在密度が一定値以下という条件のうちの一方の条件、例えば存在密度が一定値以下という条件のみで判断するようにしてもよい。
【００３１】以上のようにして求められた背景と入力画像を用いて車両を抽出する車両抽出処理（図２のステップ２０５）について説明する。本処理を図５に示す。ステップ５０１において座標の初期化を行い、ステップ５０２において入力画像Ｉt,xyと背景Ｂt,xyとの差Ｏt,xyを求める。ステップ５０３において隣の座標の差Ｏt,x-1,y-1と連続しているかどうかの判定を行い、連続している場合はラベリング処理のステップ５０４に進み、同一の物体としてラベルをつける。連続していない場合はステップ５０５に進み、別の物体と判断し、ラベリング処理を中止する。ステップ５０６、５０７において座標を進めて画面全体に対して処理を実施する。ステップ５０８において、同一のラベルがつけられた物体の横幅等を判定し、一定値以上の大きさを持つものをステップ５０９で車両と判定する。一方、横幅が一定値以上でないときは、ステップ５１０でゴミとして破棄する。
【００３２】このように、この実施形態においては、リアルタイムに背景の候補を作成しているため、気象条件や時間帯によって、明るさや天気などが刻々と変化する屋外映像においても、変化に追従した背景候補の作成を行うことができる。
【００３３】また、この候補が背景として適当かどうかの判定を行い、適当な場合のみ背景を更新するようにしているため、より正確な移動物体の抽出を行うことができる。
【００３４】
【発明の効果】以上説明したように、本発明の移動物体検出装置によれば、変化に追従した適切な背景を作成することができるので、精度の高い移動物体の検出を行うことが可能となる。
|
| 【出願人】 |
【識別番号】０００００３０７８
【氏名又は名称】株式会社東芝
|
| 【出願日】 |
平成１０年（１９９８）３月２４日 |
| 【代理人】 |
【弁理士】
【氏名又は名称】外川 英明
|
| 【公開番号】 |
特開平１１−２７１３４９ |
| 【公開日】 |
平成１１年（１９９９）１０月８日 |
| 【出願番号】 |
特願平１０−７５３４１ |
|