トップ :: G 物理学 :: G01 測定;試験

【発明の名称】 物体識別システム
【発明者】 【氏名】森 大志

【要約】 【課題】より効率的に物体の種別を識別する「物体識別システム」を提供する。

【構成】物体領域抽出部3は、カメラ2が撮影した画像中から物体が写り込んでいると推定される領域を抽出し、抽出した領域の大きさと位置から、当該物体の幅を算定する。存在確率算出部8は、レーダ装置1が測定した当該物体の反射強度と算定された物体の幅との組み合わせに基づいて、複数の種別の各々について、当該物体が当該種別の物体である確率を算出する。物体認識部4は、物体の種別毎に対応して設けた、対応する種別の物体識別用の画像認識処理のうちから、算出された確率が所定のしきい値よりも大きかった種別に対応する画像認識処理を選定して、抽出された領域に対して実行し当該物体を識別する。
【特許請求の範囲】
【請求項1】
所定の観測空間内に存在する物体を識別する物体識別システムであって、
前記観測空間をレーダ計測するレーダ装置と、
前記観測空間内に存在する物体の位置と大きさを推定する物体推定手段と、
前記物体推定手段が推定した物体の位置に対して前記レーダ装置が計測したレーダ反射強度と、当該物体について前記物体推定手段が推定した物体の大きさとに基づいて、当該物体の種別を推定する物体種別推定手段とを有することを特徴とする物体識別システム。
【請求項2】
自動車に搭載される、当該自動車周辺に存在する物体を識別する物体識別システムであって、
自動車周辺をレーダ計測するレーダ装置と、
自動車周辺を撮影するカメラと、
前記カメラが撮影した画像中に写り込んだ物体の実際の位置と実際の大きさを、当該画像に基づいて推定する物体推定手段と、
前記物体推定手段が推定した物体の位置に対して前記レーダ装置が計測したレーダ反射強度と、当該物体について前記物体推定手段が推定した物体の大きさとに基づいて、当該物体の種別を推定する物体種別推定手段とを有することを特徴とする物体識別システム。
【請求項3】
請求項2記載の物体識別システムであって、
前記物体種別推定手段が推定した物体の種別に応じて、推定された種別の物体の認識に好適化された画像認識処理を前記カメラが撮影した画像に対して施して、当該種別が推定された物体を識別する物体識別手段を有することを特徴とする物体識別システム。
【請求項4】
請求項2または3記載の物体識別システムであって、
前記物体種別推定手段が推定した物体の種別に応じて、推定された種別の物体の追尾に好適化された追尾処理を、当該種別が推定された物体の、前記レーダ装置のレーダ計測結果に基づく追尾に適用して、当該物体の追尾を行う物体追尾手段を有することを特徴とする物体識別システム。
【請求項5】
自動車に搭載される、当該自動車周辺に存在する物体を識別する物体識別システムであって、
自動車周辺を観測する観測装置と、
自車周辺の各位置に各種別の物体が存在する事前確率を規定した事前確率テーブルと、
前記観測装置の各観測結果が各種別の物体が存在した場合に得られる尤度を規定した尤度テーブルと、
自車周辺の各位置について、当該位置の前記事前確率テーブルとより求まる事前確率と、前記尤度テーブルが規定する当該位置について前記観測装置が観測した観測結果に対応する尤度とより、当該位置に各種別の物体が存在する事後確率を算出する物体存在確率算出手段とを有することを特徴とする物体識別システム。
【請求項6】
請求項5記載の物体識別システムであって、
前記事前確率テーブルには、自車周辺の各位置に物体が存在しない事前確率も規定されており、
前記尤度テーブルには、前記観測装置の各観測結果が物体が存在しない場合に得られる尤度も規定されており、
前記物体存在確率算出手段は、自車周辺の各位置について、当該位置の前記事前確率テーブルとより求まる事前確率と、前記尤度テーブルが規定する当該位置について前記観測装置が観測した観測結果に対応する尤度とより、当該位置に物体が存しない事後確率も算出することを特徴とする物体識別システム。
【請求項7】
請求項5または6記載の物体識別システムであって、
前記観測装置の各位置の観測結果に応じて、前記事前確率テーブルが規定する当該位置の各事前確率を、物体の存在が推定される観測結果が観測された位置に物体が存在する事前確率が増加するように更新する事前確率更新手段を有することを特徴とする物体識別システム。
【請求項8】
請求項5または6記載の物体識別システムであって、
前記物体存在確率算出手段が算出した各位置の各事後確率に応じて、前記事前確率テーブルが規定する当該位置の事前確率を、当該位置について算出された事後確率に追従するように更新する事前確率更新手段を有することを特徴とする物体識別システム。
【請求項9】
請求項5または6記載の物体識別システムであって、
前記観測装置の観測結果に基づいて物体の移動を予測する物体移動予測手段と、
前記事前確率テーブルが規定する前記物体移動予測手段が予測した物体の移動の移動元の位置の事前確率と、前記事前確率テーブルが規定する当該移動の移動先の位置の事前確率とを、移動元の位置に物体が存在する事前確率が減少し、移動先の位置に物体が存在する事前確率が増加するように更新する事前確率更新手段とを有することを特徴とする物体識別システム。
【請求項10】
請求項5、6、7、8または9記載の物体識別システムであって、
前記観測装置として、自動車周辺をレーダ計測するレーダ装置と、自動車周辺を撮影するカメラとを備え、
前記各観測結果とは、当該観測結果が観測される位置に存在する物体の前記カメラが撮影した画像から推定される大きさと、当該位置に対して前記レーダ装置が計測したレーダ反射強度との各組み合わせであることを特徴とする物体識別システム。
【請求項11】
請求項5、6、7、8または9記載の物体識別システムであって、
前記観測装置として、自動車周辺をレーダ計測するレーダ装置と、自動車周辺を撮影するカメラとを備え、
前記各観測結果とは、当該観測結果が観測される位置に存在する物体の前記カメラが撮影した画像から推定される大きさと、当該位置に対して前記レーダ装置が計測したレーダ反射強度と、当該位置までの距離と当該位置の方向との少なくとも一方との各組み合わせであることを特徴とする物体識別システム。
【請求項12】
自動車に搭載される、当該自動車周辺に存在する物体を識別する物体識別システムであって、
自動車周辺を観測する観測装置と、
自車周辺の各位置に前記物体が存在する事前確率を規定した事前確率テーブルと、
前記観測装置の各観測結果が、前記物体が存在した場合に得られる尤度を規定した尤度テーブルと、
自車周辺の各位置について、当該位置の前記事前確率テーブルとより求まる事前確率と、前記尤度テーブルが規定する当該位置について前記観測装置が観測した観測結果に対応する尤度とより、当該位置に前記物体が存在する事後確率を算出する物体存在確率算出手段とを有することを特徴とする物体識別システム。
【発明の詳細な説明】【技術分野】
【0001】
本発明は、所定の観測空間内に存在する物体を識別する技術に関するものである。
【背景技術】
【0002】
所定の観測空間内に存在する物体を識別する技術としては、撮影画像に写り込んだ車両の種別を、撮影画像に対する画像認識処理によって識別する技術が知られている(たとえば、特許文献1)
一方、
P(A); 事象Aが発生する確率(事前確率; prior probability)
P(B|A); 事象Aが発生しているときに、事象Bが観測される確率(尤度;likelihood)
として、
P(A|B); 事象Bが観測されたときに、事象Aが発生している確率(事後確率; posterior probability)は、
P(A|B) =P(A) ×P(B|A)/[Σ{P(A) ×P(B|A)}]
として表されることが、ベイズの定理として周知である。
【特許文献1】特開平8-16978号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
さて、前述したように撮影画像より車両の種類を識別する技術では、一般的には、車両の種類毎に、当該種類の車両が撮影された画像に写り込んでいるかどうかを判別する画像認識処理を行う必要があるために、車両の種類の識別のための処理の負荷が大きくなりがちであった。
【0004】
そこで、本発明は、所定の観測空間内に存在する物体の種別を、より効率的に識別することを課題とする。
【課題を解決するための手段】
【0005】
前記課題達成のために、本発明は、所定の観測空間内に存在する物体を識別する物体識別システムに、前記観測空間をレーダ計測するレーダ装置と、前記観測空間内に存在する物体の位置と大きさを推定する物体推定手段と、前記物体推定手段が推定した物体の位置に対して前記レーダ装置が計測したレーダ反射強度と、当該物体について前記物体推定手段が推定した物体の大きさとに基づいて、当該物体の種別を推定する物体種別推定手段とを備えたものである。
【0006】
このような物体識別システムによれば、物体の種別毎に、物体の大きさとレーダ反射強度との組み合わせが異なる組み合わせとなることを利用して物体の種別の推定を行うので、物体の全ての種別について当該種別の物体の認識を行う画像認識を行って物体の種別の識別を行う場合に比べ、効率的に物体や物体の種別を識別することができるようになる。
【0007】
ここで、このような物体識別システムは、より具体的には、たとえば、自動車周辺をレーダ計測するレーダ装置と、自動車周辺を撮影するカメラと、前記カメラが撮影した画像中に写り込んだ物体の実際の位置と実際の大きさを、当該画像に基づいて推定する物体推定手段と、前記物体推定手段が推定した物体の位置に対して前記レーダ装置が計測したレーダ反射強度と、当該物体について前記物体推定手段が推定した物体の大きさとに基づいて、当該物体の種別を推定する物体種別推定手段とを備えた物体識別システムとして構成することができる。
【0008】
ここで、このような物体識別システムには、前記物体種別推定手段が推定した物体の種別に応じて、推定された種別の物体の認識に好適化された画像認識処理を前記カメラが撮影した画像に対して施して、当該種別が推定された物体を識別する物体識別手段を設けるようにしてもよい。
【0009】
このようにすることにより、より信頼性高く物体の存在や物体の種別を識別することができるようになる。なお、このようにしても、実行すべき画像認識処理を前記物体種別推定手段が推定した種別の物体の認識に好適化された画像認識処理のみに限定することができるので、物体の全ての種別について当該種別の物体の認識を行う画像認識を行って物体の種別の識別を行う場合に比べ、効率良く物体や物体の種別を識別することができる。
【0010】
なお、このような物体識別システムに、前記物体種別推定手段が推定した物体の種別に応じて、推定された種別の物体の追尾に好適化された追尾処理を、当該種別が推定された物体の、前記レーダ装置のレーダ計測結果に基づく追尾に適用して、当該物体の追尾を行う物体追尾手段を設けるようにしてもよく、このようにすることにより、効率的で精度のよい物体の追尾が可能となる。
【0011】
ここで、本発明は、さらに、前記課題達成のために、自動車に搭載される、当該自動車周辺に存在する物体を識別する物体識別システムに、自動車周辺を観測する観測装置と、自車周辺の各位置に各種別の物体が存在する事前確率を規定した事前確率テーブルと、前記観測装置の各観測結果が各種別の物体が存在した場合に得られる尤度を規定した尤度テーブルと、自車周辺の各位置について、当該位置の前記事前確率テーブルとより求まる事前確率と、前記尤度テーブルが規定する当該位置について前記観測装置が観測した観測結果に対応する尤度とより、当該位置に各種別の物体が存在する事後確率を算出する物体存在確率算出手段とを備えたものである。
【0012】
このような物体識別システムによれば、観測装置の自動車周辺の各位置の観測結果より求まる当該位置に各種別の物体が存在する尤度のみならず、物体の各種別毎の各位置の事前確率を考慮し、ベイズの定理に従って、自動車周辺の各位置に各種別の物体が存在する確率を表す事後確率として算出するので、効率的かつ適正に、自車周辺の各位置に各種別の物体が存在する確率を算出することができるようになる。
【0013】
なお、このような物体識別システムは、前記事前確率テーブルにおいて、自車周辺の各位置に物体が存在しない事前確率も規定するようにすると共に、前記尤度テーブルにおいて、前記観測装置の各観測結果が物体が存在しない場合に得られる尤度も規定するようにし、前記物体存在確率算出手段において、自車周辺の各位置について、当該位置の前記事前確率テーブルとより求まる事前確率と、前記尤度テーブルが規定する当該位置について前記観測装置が観測した観測結果に対応する尤度とより、当該位置に物体が存しない事後確率も算出するようにしてもよい。
【0014】
また、これらの物体識別システムには、前記観測装置の各位置の観測結果に応じて、前記事前確率テーブルが規定する当該位置の各事前確率を、物体の存在が推定される観測結果が観測された位置に物体が存在する事前確率が増加するように更新する事前確率更新手段を備えるようにしてもよい。また、これらの物体識別システムには、前記物体存在確率算出手段が算出した各位置の各事後確率に応じて、前記事前確率テーブルが規定する当該位置の事前確率を、当該位置について算出された事後確率に追従するように更新する事前確率更新手段を備えるようにしてもよい。また、これらの物体識別システムには、前記観測装置の観測結果に基づいて物体の移動を予測する物体移動予測手段と、前記事前確率テーブルが規定する前記物体移動予測手段が予測した物体の移動の移動元の位置の事前確率と、前記事前確率テーブルが規定する当該移動の移動先の位置の事前確率とを、移動元の位置に物体が存在する事前確率が減少し、移動先の位置に物体が存在する事前確率が増加するように更新する事前確率更新手段とを備えるようにしてもよい。
【0015】
これらの事前確率更新手段を備えることにより、事前確率テーブルの事前確率を、状況の変化に応じて動的に、適正な値を維持するように更新することができるようになる。
ここで、これらの物体識別システムは、前記観測装置として、自動車周辺をレーダ計測するレーダ装置と、自動車周辺を撮影するカメラとを備えるものであってよく、前記各観測結果とは、当該観測結果が観測される位置に存在する物体の前記カメラが撮影した画像から推定される大きさと、当該位置に対して前記レーダ装置が計測したレーダ反射強度との各組み合わせであってよい。または、これらの物体識別システムは、前記観測装置として、自動車周辺をレーダ計測するレーダ装置と、自動車周辺を撮影するカメラとを備えるものであってよく、前記各観測結果とは、当該観測結果が観測される位置に存在する物体の前記カメラが撮影した画像から推定される大きさと、当該位置に対して前記レーダ装置が計測したレーダ反射強度と、当該位置までの距離と当該位置の方向との少なくとも一方との各組み合わせであってよい。
【0016】
これらのようにすることにより、物体の種別、または、種別と位置との組み合わせに応じて、物体の大きさとレーダ反射強度の組み合わせが異なるものとなることを利用して各種別の物体が存在する確率を表す事後確率を算出すること、すなわち、効率的かつ適正に各種別の物体が存在する確率を算出することができるようになる。
なお、これらの事後確率を算出する物体識別システムは、物体の種別分けをせずに設定した各位置の物体の事前確率と、物体の種別分けをせずに設定した物体が存在した場合に得られる各観測結果の尤度とを用いて、各位置に物体が存在する事後確率を、物体の種別を問わずに算出するものとして構成するようにしてもよい。
【発明の効果】
【0017】
以上のように、本発明によれば、所定の観測空間内に存在する物体を、より効率的に識別することができる。
【発明を実施するための最良の形態】
【0018】
以下、本発明の実施形態を自動車に搭載された周辺監視システムへの適用を例にとり説明する。
図1aに、本実施形態に係る周辺監視システムの構成を示す。
図示するように、周辺監視システムは、レーダ装置1、カメラ2、物体領域抽出部3、物体認識部4、物標追尾部5、事前確率テーブル6、尤度テーブル7、存在確率算出部8、事後確率テーブル9、周辺状況提示部10とを有している。
ここで、本周辺監視システムが搭載された自動車を自車100として、図1bに示すようにレーダ装置1とカメラ2は、自車100の後部に配置される。また、図2aに示すように、レーダ装置1は、自車100後方をスキャン範囲11としてスキャン範囲11内にある物体上のレーダ反射点の相対位置と相対速度と当該反射点におけるレーダ反射強度を測定し測定データとして出力する処理を繰り返す。また、カメラ2は自車100後方の撮影範囲21の映像を撮影する処理を繰り返す。
【0019】
また、図2aに示すように、本周辺監視システムに対して、自車100後方の所定の範囲が観測範囲30として予め定義されており、当該観測範囲30は縦横のメッシュ状に複数の区域に区切られている。そして、各区域に対しては固有の区域番号i(図では1からn)が付与されている。なお、観測範囲30内の各区域の区分けは、たとえば、自車100後部を中心とする同心円と複数の放射線とによってで区切られる区域などとしてもよい。
【0020】
さて、図1aに戻り、物体領域抽出部3は、図2bに示すように、カメラ2が撮影した画像22中の物体(図では他車200)が写り込んでいる領域221を抽出し、抽出した領域221の画像22上の位置、範囲を示す物体領域情報を出力する。また、抽出した画像22中の領域221に対応する観測範囲30中の区域31を算出し、算出した区域31の区域番号を出力する。また、抽出した画像22中の領域221に写り込んでいる物体の幅を、当該領域221の幅と、算出した区域31までの距離とより算出し出力する。
【0021】
ここで、画像中の物体が写り込んでいる領域の抽出は、たとえば、カメラ2が撮影した画像22中のエッジを抽出し、エッジで囲まれる領域を物体が写り込んでいる領域221とすることにより行う。また、画像22中の物体が写り込んでいる領域221に対応する観測範囲30中の区域31は、カメラ2の配置や撮影方向や画角より定まる、画像22上の各位置と自車100後方の各地点との対応に基づいて算出する。なお、画像22上のある位置に対応する地点は、たとえば、地面上に物体が存在しないとした場合に画像22上の当該位置に写り込むことになる地面上の地点とする。
【0022】
次に、図3に、周辺監視システムが備える事前確率テーブル6と、尤度テーブル7と、事後確率テーブル9の構成を示す。
図3aに示すように事前確率テーブル6は、観測範囲30の各区域毎に設けられたエントリ(図中の各行)を有し、区域iに対応するエントリには、当該区域iに、事象Aが発生する確率の推定値が事前確率Pi(A)として登録される。ここで、事象Aとしては、「歩行車が存在する」、「二輪車が存在する」、「普通車が存在する」、「大型車が存在する」、「その他の物体が存在する」、「物体が存在しない」、の6つの事象を用いる。
【0023】
次に、図3bに示すように尤度テーブル7は、レーダ装置1によって測定されるレーダの反射強度の強/弱/無、物体領域抽出部3で前述のように算出される物体の幅の広い/狭い/無との組み合わせの各々毎のエントリを有し、各エントリには、対応する組み合わせを観測事象Bとして、区域iに事象Aが発生したときに、区域iに対して当該観測事象Bが観測される確率が尤度Pi(B|A)として登録される。ここで、前述の通り、事象Aとしては、「歩行車が存在する」、「二輪車が存在する」、「普通車が存在する」、「大型車が存在する、「その他の物体が存在する」、「物体が存在しない」、の6つの事象を用いる。なお、この尤度テーブル7は、全ての区域について共通に用いられる。
【0024】
ここで、この尤度テーブル7の各エントリの、各尤度Pi(B|A)は、予め実験などによって求め、設定しておく。
そして、図3に示すように、事後確率テーブル9は、観測範囲30の各区域毎に設けられたエントリ(図中の各行)を有し、区域iに対応するエントリには、当該区域iに、事象Aが発生している確率が事後確率Pi(A|B)として登録される。ここで、前述の通り、事象Aとしては、「歩行車が存在する」、「二輪車が存在する」、「普通車が存在する」、「大型車が存在する、「その他の物体が存在する」、「物体が存在しない」、の6つの事象を用いる。
【0025】
さて、図1aに戻り、存在確率算出部8は、後述する事前確率テーブル更新処理によって、事前確率テーブル6を更新する処理を行う。また、存在確率算出部8は、後述する存在確率算出処理によって、事前確率テーブル6と尤度テーブル7を用いて、事後確率テーブル9を更新する処理を行う。
【0026】
一方、物体認識部4は、物体領域抽出部3から出力される領域情報が示す、カメラ2が撮影した画像中の物体が写り込んでいる領域に対して、当該領域に写り込んでいる物体及び物体の種別を識別する物体認識処理を行って、識別結果を周辺状況提示部10と、物標追尾部5に出力する。
【0027】
ここで、物体認識部4は、歩行者画像パターンを検出し物体種別が歩行者である物体を識別する歩行車識別用画像認識処理と、二輪車画像パターンを検出し物体種別が二輪車である物体を識別する二輪車識別用画像認識処理と、普通車画像パターンを検出し物体種別が普通車である物体を識別する普通車識別用画像認識処理と、大型車画像パターンを検出し物体種別が大型車である物体を識別する普通車識別用画像認識処理と、その他の画像パターンを検出し物体種別が他物体を識別する他物体識別用画像認識処理のうちから選定した画像認識処理を、領域情報が示す物体が写り込んでいる領域に対して実行して、当該領域に写り込んでいる物体とその種別を識別する。ここで、この画像認識処理の選定と実行は次のように行う。
【0028】
すなわち、物体領域抽出部3から出力される区域番号に基づいて、画像認識処理を施す領域に対応する区域を識別し、図3cに示した事後確率テーブル9の識別した区域のエントリに登録されている、「歩行車が存在する」、「二輪車が存在する」、「普通車が存在する」、「大型車が存在する」、「その他の物体が存在する」の5つの事象の各々に対応する事後確率Pi(A|B)を取得する。そして、取得した事後確率Pi(A|B)が所定のしきい値よりも大きい事象に対応する画像認識処理を選定し、選定した画像認識処理を対応する事象の事後確率Pi(A|B)が大きい順に、物体とその種別の識別が成功するまで順に行う。ここで、「歩行車が存在する」事象に対応する画像認識処理とは歩行車識別用画像認識処理であり、「二輪車が存在する」事象に対応する画像認識処理とは二輪車識別用画像認識処理であり、「普通車が存在する」事象に対応する画像認識処理とは普通車識別用画像認識処理であり、「大型車が存在する」事象に対応する画像認識処理とは大型車識別用画像認識処理であり、「その他の物体が存在する」事象に対応する画像認識処理とは他物体識別用画像認識処理である。
【0029】
より具体的には、たとえば、画像認識処理を施す領域に対応する区域の事後確率テーブル9に登録されている、「歩行車が存在する」事象を事象Aとする事後確率Pi(A|B)が5%であり、「二輪車が存在する」事象を事象Aとする事後確率Pi(A|B)が10%であり、「普通車が存在する」事象を事象Aとする事後確率Pi(A|B)が30%であり、「大型車が存在する」事象を事象Aとする事後確率Pi(A|B)が40%であり、「その他の物体が存在する」事象を事象Aとする事後確率Pi(A|B)が15%である場合において、しきい値が25%であれば、対応する事後確率が40%の「大型車が存在する」事象に対応する大型車識別用画像認識処理と、対応する事後確率が30%の「普通車が存在する」事象に対応する普通車識別用画像認識処理とが選定される。そして、まず、対応する事後確率がより大きい大型車識別用画像認識処理が実行され、大型車識別用画像認識処理で大型車が識別されなかった場合には、さらに普通車識別用画像認識処理が実行されることになる。なお、大型車識別用画像認識処理で物体種別が大型車である物体が識別された場合には、この領域に対する画像認識処理は、普通車識別用画像認識処理を行うことなく終了する。
【0030】
なお、画像認識処理を施す領域に対応する区域の事後確率テーブル9に登録されている事後確率Pi(A|B)が所定のしきい値よりも大きい事象が、「物体が存在しない」の他に存在しない場合には、画像認識処理の選定と実行は行わず、当該領域に実際には物体は写り込んでいないものとして、物体およびその種別の識別は行わないようにする。また、選定した画像認識処理の全てにおいて、物体及びその種別の識別が成功しなかった場合にも、当該領域に物体は写り込んでいないものとする。
【0031】
そして、物体認識部4は、このようにして物体とその種別を識別したならば、識別した物体の種別と、当該物体の種別を識別する画像認識処理を施した領域に対応する区域の区域番号、すなわち、当該種別の物体が存在する区域の区域番号とを周辺状況提示部10と、物標追尾部5に出力する。
【0032】
次に、物標追尾部5は、レーダ装置1から出力された測定データに基づいて、自車100後方に存在する各物体の追尾を行い、追尾中の物体である追尾中物体毎に、追尾情報を生成管理する物標追尾処理を繰り返し行う。ここで、物体の追尾とは、各時点で測定された測定データを、当該測定データが算定された物体毎に、当該物体の時系列の計測データとして系列化する処理である。また、ある追尾中物体の追尾情報とは、このように系列化された当該追尾中物体の時系列の測定データを指す。
【0033】
なお、物標追尾処理では、たとえば、次のようにして物体の追尾を行う。
すなわち、測定データのうちに、ある追尾中物体の現在の推定相対位置に許容距離以内に近接する相対位置を示す測定データが存在する場合に、当該測定データを、当該追尾中物体の測定データであるとして、当該追尾中物体の追尾情報に加える。ここで、追尾中物体の現在の推定相対位置は、当該追尾中物体の過去最近の測定データが示す相対位置と相対速度に基づいて算出する。また、許容距離は、当該過去最近の測定データが示す相対位置が含まれる区域に存在する物体について物体認識部4が前述したように識別した物体の種別に応じて、たとえば、歩行者よりも大型車が大型車よりも普通車が大きくなるように設定する。
【0034】
また、測定データのうちに、追尾中物体の測定データとすることのできなかった測定データが存在する場合には、その測定データが計測された物体を、新たな追尾中物体として、その追尾情報を生成し、当該存在した測定データを、当該新たな追尾中物体の追尾情報に加える。また、当該物標追尾処理では、所定期間以上対応する測定データが計測されなかった追尾中物体については、その追尾を終了し、当該追尾中物体についての追尾情報を消去する処理も行う。
【0035】
なお、物標追尾部5は、過去最近の測定データが示す相対位置が、物体認識部4が物体及びその種別を識別した区域に含まれる追尾中物体について、現在の推定相対位置を算出した場合には、当該過去最近の測定データが示す相対位置が含まれる区域を移動前区域、算出した推定相対位置が示す区域を移動先区域とし、移動前区域と移動先区域の区域番号を存在確率算出部8に出力する処理も行う。
【0036】
次に、周辺状況提示部10は、物体識別が出力する物体の種別や当該種別の物体が存在する区域の区域番号や、物標追尾部5が管理している各追尾中物標の追尾情報に基づいて、自車100後方の各種別の他車の配置や挙動の状況などをユーザに対して表示する処理などを行う。
【0037】
以下、前述した存在確率算出部8が行う存在確率算出処理と、事前確率テーブル更新処理について説明する。
まず、存在確率算出処理について説明する。
図4に、この存在確率算出処理の手順を示す。
図示するように、この処理では、まず、事後確率テーブル9の全てのエントリの全ての事後確率Pi(A|B)を0%に初期化する(ステップ402)。そして、レーダ装置1が出力した測定データが示す相対位置が含まれる区域であるか、もしくは、物体領域抽出部3が抽出したカメラ2が撮影した画像中の物体が写り込んでいる領域に対応する区域である区域の全てを検知区域に設定する(ステップ404)。なお、物体領域抽出部3が抽出したカメラ2が撮影した画像中の物体が写り込んでいる領域に対応する区域は、物体領域抽出部3が出力する区域番号より識別する。
【0038】
そして、各検知区域を順次処理対象として(ステップ406、416、418)、ステップ408から414の処理を行う。
このステップ408から414の処理では、まず、処理対象となった検知区域を検知区域jとして、検知区域jに対応する画像中の領域について物体領域抽出部3が抽出し出力した物体の幅の広い/狭い/無と、レーダ装置1が出力した検知区域j内の相対位置を含む測定データが示すレーダ反射強度の強/弱/無との組み合わせを当該検知区域jの観測事象Bに設定する(ステップ408)。ここで、検知区域jに対応する領域を物体領域抽出部3が物体が写り込んでいる領域として抽出していない場合には、物体の幅は無しとする。また、検知区域内の相対位置を含む測定データがレーダ装置1によって出力されていない場合には、レーダ反射強度は無とする。また、物体の幅の広い/狭いは、尤度テーブル作成時に用いた物体の幅の広い/狭いの基準と同じ基準に従って判別する。また、同様に、レーダ反射強度の強/弱は、尤度テーブル作成時に用いたレーダ反射強度の強/弱の基準と同じ基準に従って判別する。
【0039】
次に、検知区域の観測事象Bを設定したならば、事前確率テーブル6より、歩行車が存在する」、「二輪車が存在する」、「普通車が存在する」、「大型車が存在する、「その他の物体が存在する」、「物体が存在しない」、の6つの事象の各々を事象Aとする、検知区域jの事前確率Pj(A)を取得する(ステップ410)。
【0040】
また、尤度テーブル7から、「歩行車が存在する」、「二輪車が存在する」、「普通車が存在する」、「大型車が存在する、「その他の物体が存在する」、「物体が存在しない」、の6つの事象の各々を事象Aとする、設定した観測事象Bに対する尤度Pj(B|A)を取得する(ステップ412)。
【0041】
そして、取得した事前確率とPj(A)と尤度Pj(B|A)より、「歩行車が存在する」、「二輪車が存在する」、「普通車が存在する」、「大型車が存在する、「その他の物体が存在する」、「物体が存在しない」、の6つの事象の各々を事象Aとする事後確率Pj(A|B)を、
Pj(A|B) =Pj(A) ×Pj(B|A)/[Σ{Pj(A) ×Pj(B|A)}]
によって算出し、事後確率テーブル9の検知区域jのエントリに当該6つの事象に対応する事後確率として各々登録する(ステップ414)。
そして、各検知区域についてステップ408から414の処理を終了したならば、ステップ402に戻り、以上の処理を繰り返す。
【0042】
以上、存在確率算出部8が行う存在確率算出処理について説明した。
次に、事前確率テーブル更新処理について説明する。
なお、事前確率テーブル6は初期状態において、全てのエントリに事前確率Pj(A)は登録されていない。
図5に、この事前確率テーブル更新処理の手順を示す。
図示するように、この処理では、事前確率テーブル6のエントリに事前確率Pi(A)が登録されていない区域内に含まれる相対位置を示す測定データをレーダ装置1が出力するか、事前確率テーブル6のエントリに事前確率Pi(A)は登録されていない区域に対応する画像中の領域を物体領域抽出部3が物体が写り込んでいる領域として抽出したならば(ステップ502)、事前確率テーブル6の当該区域のエントリに事前確率Pi(A)の初期値を登録する(ステップ510)。初期値は、「物体が存在しない」事象の事前確率Pi(A)を所定値とし、残りの確率を他の事象に均等に分配したものとする。すなわち、たとえば、事前確率Pi(A)の初期値は、「歩行車が存在する」事象の事前確率Pi(A)を15%、「二輪車が存在する」事象の事前確率Pi(A)を15%、「普通車が存在する」事象の事前確率Pi(A)を15%、「大型車が存在する」事象の事前確率Pi(A)を15%、「その他の物体が存在する」事象の事前確率Pi(A)を15%、「物体が存在しない」事象の事前確率Pi(A)を25%とする。
【0043】
また、この処理では、事前確率テーブル6のエントリに事前確率Pi(A)が既に登録されている区域内に含まれる相対位置を示す測定データをレーダ装置1が出力したならば(ステップ504)、事前確率テーブル6の当該区域のエントリの「物体が存在しない」事象の事前確率Pi(A)を所定レベル減少し、他の事象の事前確率Pi(A)を所定レベル増加すると共に、事前確率テーブル6の当該区域周辺のエントリの「物体が存在しない」事象の事前確率Pi(A)を所定レベル増加し、他の事象の事前確率Pi(A)を所定レベル減少する(ステップ512)。
【0044】
また、この処理では、存在確率算出部8によって、存在確率テーブルのエントリの更新が行われたならば(ステップ506)、当該更新されたエントリの各事象に対する事後確率P(A|B)を、当該更新されたエントリと同じ区域に対応する事前確率テーブル6のエントリの対応する事象の事前確率Pi(A)として設定する(ステップ514)。
【0045】
また、この処理では、物標追尾部5によって前述のように推定相対位置が算出され移動前区域と移動先区域が出力されたならば(ステップ508)、事前確率テーブル6の移動先区域のエントリの「物体が存在しない」事象の事前確率Pi(A)を所定レベル減少し、他の事象の事前確率Pi(A)を所定レベル増加すると共に、事前確率テーブル6の移動前区域のエントリの「物体が存在しない」事象の事前確率Pi(A)を所定レベル増加し、他の事象の事前確率Pi(A)を所定レベル減少する(ステップ516)。
【0046】
以上、存在確率算出部8が行う事前確率テーブル更新処理について説明した
ところで、以上では、レーダ反射強度と、カメラ2で撮影した画像中に写り込んでいる物体の幅との組み合わせを観測事象Bとして用いたが、レーダ反射強度や物体の幅や、これらの物体の種別毎の相違は、物体までの距離や物体の存在する方向によって異なるものとなる。
【0047】
そこで、観測事象Bとしては、レーダ反射強度と物体の幅に、物体までの距離や物体の存在する方向を組み合わせた事象を用いるようにしてもよい。ここで、この場合における物体までの距離や物体の存在する方向は、レーダ装置1が検出した相対位置や物体領域が抽出した物体が写り込んでいる領域に対応する相対位置などより求めることができる。または、各区域毎に、当該区域内の代表点までの距離や区域の方向を、当該区域内の物体の距離や方向として用いるようにすることもできる。なお、これらの場合にも、各観測事象Bに対する尤度テーブル7の各エントリの、各尤度Pi(B|A)は、予め実験などによって求め設定しておく。
【0048】
以上、本発明の実施形態について説明した。
以上のように本実施形態によれば、物体の種別、または、種別と位置との組み合わせに応じて、物体の大きさとレーダ反射強度の組み合わせが異なるものとなることを利用して、各種別の物体が存在する確率を表す事後確率を算出や物体及び物体の種別の識別を行うので、効率的かつ適正に各種別の物体が存在する確率を算出できるようになる。
【0049】
また、レーダ装置1やカメラ2の各位置の観測結果より求まる当該位置に各種別の物体が存在する尤度のみならず、物体の各種別毎の各位置の事前確率を考慮し、ベイズの定理に従って、各位置に各種別の物体が存在する確率を表す事後確率として算出するので、効率的かつ適正に、各位置に各種別の物体が存在する確率を算出することができるようになる。
【0050】
また、このようにして算出した事後確率に応じて、各位置の物体及び物体の種別の識別を行うための画像認識処理を、当該位置における事後確率が大きい種別用の画像認識処理のみに限定して実行するので、効率的に各位置の物体及び物体の種別の識別を、識別の精度を劣化することなく行うことができる。また、このようにして算出した事後確率に応じて、各位置の物体及び物体の種別の識別を行うための画像認識処理を、当該位置における事後確率が大きい種別用の画像認識処理から順に、物体及び物体の種別の識別が成功するまでのみ行うようにしているので、この点からも、効率的に各位置の物体及び物体の種別の識別を、識別の精度を劣化することなく行うことができるようになる。
【0051】
なお、本実施形態に係る周辺監視システムの物体及び物体の種別の識別の技術は、自動車周辺の物体を対象として識別を行う場合に限らず、その他の物体を対象として識別を行う場合にも同様に適用することができる。
【図面の簡単な説明】
【0052】
【図1】本発明の実施形態に係る周辺監視システムの構成と配置を示すブロック図である。
【図2】本発明の実施形態に係る周辺監視システムの自車後方観測のようすを示す図である。
【図3】本発明の実施形態に係る周辺監視システムが備えるテーブルを示す図である。
【図4】本発明の実施形態に係る存在確率算出処理を示すフローチャートである。
【図5】本発明の実施形態に係る事前確率更新処理を示すフローチャートである。
【符号の説明】
【0053】
1…レーダ装置、2…カメラ、3…物体領域抽出部、4…物体認識部、5…物標追尾部、6…事前確率テーブル、7…尤度テーブル、8…存在確率算出部、9…事後確率テーブル、10…周辺状況提示部、11…スキャン範囲、21…撮影範囲、30…観測範囲、100…自車。
【出願人】 【識別番号】000101732
【氏名又は名称】アルパイン株式会社
【出願日】 平成18年6月20日(2006.6.20)
【代理人】 【識別番号】100099748
【弁理士】
【氏名又は名称】佐藤 克志


【公開番号】 特開2008−2817(P2008−2817A)
【公開日】 平成20年1月10日(2008.1.10)
【出願番号】 特願2006−169733(P2006−169733)