トップ :: G 物理学 :: G01 測定;試験

【発明の名称】 車両識別システム
【発明者】 【氏名】笹島 晃彦

【氏名】森 大志

【要約】 【課題】より効率的に車両を識別する「車両識別システム」を提供する。

【構成】他車向き算定部5は、レーダ装置1が同じ他車に対して測定したレーダ反射強度の推移と、RCSテーブル群6のRCSテーブルが表す車両の各方向の有効レーダ反射面積より、現在の他車のカメラによって撮影される画像に写り込む向きを算定する。画像認識処理部4は、カメラ2が撮影された画像に対して画像認識処理を施して他車を識別する。また、この画像認識処理において、画像認識処理部4は、他車向き算定部5によって算定された向きを向いた車両の認識に好適化した画像認識を優先的に実行する。
【特許請求の範囲】
【請求項1】
車両を識別する車両識別システムであって、
レーダ装置と、
カメラと、
各時点において前記レーダ装置が同一の車両について測定したレーダ反射強度の、当該車両の前記レーダ装置が測定した当該レーダ装置に対する方向の変化に伴う推移のパターンより、予め設定した車両の向きとレーダ反射強度との標準的な関係に基づいて、当該車両の現在の前記カメラが撮影した画像中に写り込む向きを推定する推定手段と、
前記推定手段が推定した向きに応じて当該向きを向いている車両の識別に好適化した画像認識処理を、前記カメラが撮影した画像に対して施して、当該画像中に写り込んでいる車両を識別する画像認識処理手段とを有することを特徴とする車両識別システム。
【請求項2】
請求項1記載の車両識別システムであって、
前記推定手段は、各時点において前記レーダ装置が同一の車両について測定したレーダ反射強度の、当該車両の前記レーダ装置が測定した当該レーダ装置に対する方向の変化に伴う推移のパターンより、予め設定した車両の種別と向きとレーダ反射強度との標準的な関係に基づいて、当該車両の種別と現在の前記カメラが撮影した画像中に写り込む向きとを推定し、
前記画像認識処理手段は、前記推定手段が推定した向きと種別に応じて、当該向きを向いている当該種別の車両の識別に好適化した画像認識処理を、前記カメラが撮影した画像に対して施して、当該画像中に写り込んでいる車両を識別することを特徴とする車両識別システム。
【請求項3】
請求項1または2記載の車両識別システムであって、
当該車両識別システムは、自動車に搭載され、当該自動車周辺に存在する他車の識別を行うことを特徴とする車両識別システム。
【請求項4】
レーダ装置と、カメラとを用いて車両を識別する車両識別方法であって、
各時点において前記レーダ装置が同一の車両について測定したレーダ反射強度の推移より、当該車両の現在の前記カメラが撮影した画像中に写り込む向きを推定するステップと、
前記カメラが撮影した画像に対して、推定した向きを向いている車両の識別に好適化した画像認識処理を施して、当該画像中に写り込んでいる車両を識別するステップとを有することを特徴とする車両識別方法。
【発明の詳細な説明】【技術分野】
【0001】
本発明は、所定の観測空間内に存在する車両を識別する技術に関するものである。
【背景技術】
【0002】
所定の観測空間内に存在する車両を識別する技術としては、撮影画像に写り込んだ車両を、撮影画像に対する画像認識処理によって識別する技術が知られている(たとえば、特許文献1)
【特許文献1】特開平8-16978号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
さて、前述した撮影画像に画像認識処理を施して車両を識別する技術では、一般的には、撮影画像に写り込んだ車両を識別するために、撮影画像と、予めテンプレートとして設けた、車両の標準的な形態を表す画像パターンとのパターンマッチングを行う。ここで、車両の形態は、車両の向きによって大きく異なるため、通常は、テンプレートとしては、相互に異なる複数の向きを向いた車両の標準的な形態を表す複数の画像パターンが用意される。そして、車両の識別は、テンプレートして用意した複数の画像パターンの各々と撮影画像とのパターンマッチングによって行われる。すなわち、この技術によれば、車両の識別に複数回のパターンマッチングを行う必要があり、このために、その処理の負荷が大きくなりがちであった。
【0004】
そこで、本発明は、所定の観測空間内に存在する車両を、より効率的に識別することを課題とする。
【課題を解決するための手段】
【0005】
前記課題達成のために、本発明は、車両を識別する車両識別システムを、レーダ装置と、カメラと、各時点において前記レーダ装置が同一の車両について測定したレーダ反射強度の、当該車両の前記レーダ装置が測定した当該レーダ装置に対する方向の変化に伴う推移のパターンより、予め設定した車両の向きとレーダ反射強度との標準的な関係に基づいて、当該車両の現在の前記カメラが撮影した画像中に写り込む向きを推定する推定手段と、前記推定手段が推定した向きに応じて当該向きを向いている車両の識別に好適化した画像認識処理を、前記カメラが撮影した画像に対して施して、当該画像中に写り込んでいる車両を識別する画像認識処理手段とを含めて構成したものである。
【0006】
このような車両識別システムによれば、車両位置の方向変化に対するレーダ反射強度の推移のパターンに基づいて、カメラによって撮影された画像中に写り込む車両の向き推定し、推定した向きを向いている車両の識別に好適化した画像認識処理を行って当該他車を識別するので、車両の各向きの各々について、当該向きの車両の識別を同様に行う画像認識を行って車両の識別を行う場合に比べ、効率的に当該車両の識別を行うことができるようになる。
【0007】
ここで、このような車両識別システムは、前記推定手段において、各時点において前記レーダ装置が同一の車両について測定したレーダ反射強度の、当該車両の前記レーダ装置が測定した当該レーダ装置に対する方向の変化に伴う推移のパターンより、予め設定した車両の種別と向きとレーダ反射強度との標準的な関係に基づいて、当該車両の種別と現在の前記カメラが撮影した画像中に写り込む向きとを推定し、前記画像認識処理手段において、前記推定手段が推定した向きと種別に応じて、当該向きを向いている当該種別の車両の識別に好適化した画像認識処理を、前記カメラが撮影した画像に対して施して、当該画像中に写り込んでいる車両を識別するように構成してもよい。
【0008】
このような車両識別システムによれば、車両位置の方向変化に対するレーダ反射強度の推移パターンに基づいて、さらに、カメラによって撮影された画像中に写り込む車両の種別を推定し、推定した向きを向いている、推定した種別の車両の識別に好適化した画像認識処理を行って当該他車を識別するので、車両の種別の各々について、推定した向きを向いている当該種別の車両の識別を同様に行う画像認識を行って車両の識別を行う場合に比べ、効率的に当該車両の識別を行うことができるようになる。
【0009】
なお、以上の各車両識別システムは、自動車に搭載され、当該自動車周辺に存在する他車の識別を行うものであってもよい。
【発明の効果】
【0010】
以上のように、本発明によれば、所定の観測空間内に存在する車両を、より効率的に識別することができる。
【発明を実施するための最良の形態】
【0011】
以下、本発明の実施形態を自動車に搭載された周辺監視システムへの適用を例にとり説明する。
図1aに、本実施形態に係る周辺監視システムの構成を示す。
図示するように、周辺監視システムは、レーダ装置1、カメラ2、物標追尾部3、画像認識処理部4、他車向き算定部5、RCSテーブル群6、追尾情報保持部7、周辺状況提示部8とを有している。
ここで、本周辺監視システムが搭載された自動車を自車100として、図1bに示すようにレーダ装置1とカメラ2は、自車100の後部に配置される。また、レーダ装置1は、自車100後方をスキャン範囲としてスキャン範囲内にある物体の相対位置と相対速度と当該物体におけるレーダ反射の強度を測定し測定データとして出力する処理を繰り返す。また、カメラ2は自車100後方の撮影範囲の映像を撮影する処理を繰り返す。
【0012】
物標追尾部3は、レーダ装置1から出力された測定データに基づいて、自車100後方に存在する各物体の追尾を行い、追尾中の物体である追尾中物体毎に、追尾情報を生成、管理する物標追尾処理を繰り返し行う。ここで、物体の追尾とは、各時点で算定された測定データを、当該測定データが算定された物体毎に、当該物体の時系列の計測データとして系列化する処理である。また、ある追尾中物体の追尾情報とは、このように系列化された当該追尾中物体の時系列の測定データを指し、この追尾情報は、物標追尾部3によって追尾情報保持部7に格納される。
【0013】
なお、物標追尾処理では、たとえば、次のようにして物体の追尾を行う。
すなわち、レーダ装置1から出力された測定データのうちに、ある追尾中物体の現在の推定相対位置に許容距離以内に近接する相対位置を示す測定データが存在する場合に、当該測定データを、当該追尾中物体の測定データであるとして、追尾情報保持部7に格納されている当該追尾中物体の追尾情報に加える。ここで、追尾中物体の現在の推定相対位置は、当該追尾中物体の過去最近の測定データが示す相対位置と、当該追尾中物体の過去の相対位置の変化の履歴等より予測される相対速度に基づいて算出する。
【0014】
また、測定データのうちに、追尾中物体の測定データとすることのできなかった測定データが存在する場合には、その測定データが計測された物体を、新たな追尾中物体として、その追尾情報を追尾情報保持部7上に生成し、当該存在した測定データを、当該新たな追尾中物体の追尾情報に加える。また、当該物標追尾処理では、所定期間以上対応する測定データが計測されなかった追尾中物体については、その追尾を終了し、当該追尾中物体についての追尾情報を追尾情報保持部7から消去する。
【0015】
次に、他車向き算定部5は、後に詳述する他車向き算定処理によって物標追尾が追尾している各追尾中物体について、その追尾中物体である車両の小型自動車/ワンボックス車/普通自動車/小型自動二輪車/中型自動二輪車/大型自動二輪車などの種別と、その追尾中物体である車両のカメラ2によって撮影される画像に写り込む向き(前向き、左斜め前向き、右横向きなど)を推定し、画像認識処理部4に、その追尾中物体である車両の現在の相対位置と共に、他車情報として通知する。
【0016】
そして、画像認識処理部4は、カメラ2が撮影した画像中の、他車向き算定部5から通知された他車情報に含まれる相対位置が写り込む位置周辺の領域に対して、当該領域に写り込んでいる物体とその種別を認識する画像認識処理を行って、認識結果を周辺状況提示部8に出力する。
【0017】
ここで、画像認識処理部4は、パターンマッチング用のテンプレートとして、小型自動車とワンボックス車と普通自動車と小型自動二輪車と中型自動二輪車と大型自動二輪車の6つの車両の種別の各々にそれぞれ対応する、複数の画像パターンセットを保持しており、各画像パターンセットには、異なる複数の向きの各々について設けた、当該向きを向いた対応する種別の車両の標準的な形態を表す画像パターンが含まれる。
【0018】
そして、画像認識処理部4は、他車向き算定部5から通知された他車情報に含まれる車両の種別と向きに対応する画像パターンと、カメラ2が撮影した画像中の当該他車情報に含まれる相対位置が写り込む位置周辺の領域とのパターンマッチングを行って、当該領域に写り込んでいる他車とその種別を識別すると共に、当該他車の写り込んでいる画像中の位置より、当該他車の相対位置を算出する。そして、識別した他車の種別と算出した相対位置を識別結果として周辺状況提示部8に出力する。また、他車情報に含まれる車両の種別と向きに対応する画像パターンを用いたパターンマッチングに失敗した場合には、順次、当該領域に対して、パターンマッチングに成功するまで、他の画像パターンを用いたパターンマッチングを施すことにより、他車及びその種別の識別と他車の相対位置の算出と前述した他車情報の出力とを行う。ただし、他車向き算定部5から通知された他車情報が、車両の種別と向きが不明であることを示している場合には、予め定めた画像パターンの順序に従って、各画像パターンを用いたパターンマッチングを、パターンマッチングに成功するまで行うことにより、他車及びその種別の識別と他車の相対位置の算出と前述した他車情報の出力とを行う。なお、いずれの場合も、全ての画像パターンについてパターンマッチングに失敗した場合には、他車情報の出力は行わない。
【0019】
すなわち、画像認識処理部4は、たとえば、他車向き算定部5から他車情報によって他車の種別として中型自動二輪車が、向きとして左斜め正面が通知された場合には、まず、テンプレートとして保持している左斜め正面を向いた中型自動二輪車の画像パターンと、カメラ2が撮影した画像中の当該他車情報に含まれる相対位置が写り込む位置周辺の領域とのパターンマッチングを行う。そして、パターンマッチングが成功したならば、画像パターンをパターンがマッチングした撮影画像中の領域に対応する自車後方の自車に対する相対的な位置を相対位置として算出し、算出した相対位置に中型自動二輪車を識別した旨を表す識別結果を周辺状況提示部8に出力する。一方、左斜め正面を向いた中型自動二輪車の画像パターンを用いたパターンマッチングが失敗した場合には、テンプレートとして保持している他の画像パターンを用いたパターンマッチングを、パターンマッチングに成功するまで逐次行っていく。
【0020】
そして、周辺状況提示部8は、追尾情報保持部7に格納されている各追尾中物標の追尾情報や、画像認識処理部4における画像認識処理による他車識別結果に基づいて、自車100後方の各種別の他車の配置や挙動の状況などをユーザに対して表示する処理などを行う。
【0021】
以下、他車向き算定部5が行う前述した他車向き算定処理について説明する。
まず、この他車向き算定処理において用いるRCSテーブル群6について説明する。
RCSテーブル群6は、車両の種別毎に設けたRCSテーブルの集合であり、
本実施形態では、小型自動車とワンボックス車と普通自動車と小型自動二輪車と中型自動二輪車と大型自動二輪車の6つの車両の種別についてRCSテーブルを設けている。
各RCSテーブルは、対応する種別の車両の各方向θのRCS(Radar Cross Section; レーダ有効反射面積)を表したものであり、この各方向θのRCSは、その方向からレーダを照射したときのレーダ反射強度の程度を表すことになる。
なお、たとえば図2に示すように、各RCSテーブルに登録するRCS21は、実験によって各方向から対応する種別の車両に一定距離からレーダを照射して測定したレーダ反射強度20をθ方向の空間周波数について平滑化したものとして算出し、RCSテーブルに登録する。なお、図2の各グラフにおいて半径方向が、レーダ反射強度とRCSの軸である。
【0022】
なお、図2中、aは小型自動車のRCSテーブルが表す各方向のRCS21を、bはワンボックス車のRCSテーブルが表す各方向のRCS21を、cは普通自動車のRCSテーブルが表す各方向のRCS21を、dは小型自動二輪車のRCSテーブルが表す各方向のRCS21を、eは中型自動二輪車のRCSテーブルが表す各方向のRCS21を、fは大型自動二輪車のRCSテーブルが表す各方向のRCS21を表している。また、θ=0が車両の前面のRCSを、θ=π/2が車両の後面のRCSを表すようにθの値を設定している。
【0023】
次に、他車向き算定部5が行う他車向き算定処理について説明する。
図3に、この他車向き算定処理の処理手順を示す。
図示するように、この処理では、まず、物標追尾部3による、追尾情報保持部7に保持されている、いずれかの追尾中物標の追尾情報の更新の発生を監視し(ステップ302)、更新が発生したならば、追尾情報が更新された追尾中物体を算定対象物体に設定する(ステップ304)。
【0024】
そして、まず、算定対象物体の追尾情報に登録されている各測定データが示す算定対象物体の相対位置とレーダ反射強度の履歴を取得し(ステップ306)、取得した履歴より、算定対象物体のレーダ装置1から見た方向に対するレーダ反射強度の変化パターンを求める(ステップ308)。ここで、このレーダ反射強度の変化パターンは次のようにして求める。
【0025】
すなわち、まず、各測定データについて、測定データが示す相対位置より算定対象物体のレーダ装置1から見た方向θとレーダ装置1からの距離を算出する。そして、測定データが示すレーダ反射強度を、算出した距離に応じて、算定対象物体までの距離が所定の距離であったならば得られたであろう反射強度Fに補正する。そして、方向θの軸と反射強度Fの軸をもつ二次元空間上で、各測定データについて求めた(θ、F)をθ軸方向に結ぶ曲線を平滑化して、算定対象物体のレーダ装置1から見た方向に対するレーダ反射強度の変化パターンとする。
【0026】
ここで、このステップ308の処理によって、たとえば、図4a1-a2-a3のように自車100に対して自動二輪車400が後方より接近した場合には、a1、a2、a3の各時点においてレーダ装置1が自動二輪車400に対して測定した相対位置が示す自動二輪車400のレーダ装置1とカメラ2から見た角度θと、当該各時点においてレーダ装置1が自動二輪車400に対して測定したレーダ反射強度を、自動二輪車400までの距離に応じて補正した反射強度Fより、図4bに示すような算定対象物体のレーダ装置1から見た方向θに対するレーダ反射強度Fの変化パターンが得られることになる。なお、図4bのグラフの半径方向が射強度Fの軸である。
【0027】
さて、図3に戻り、このようにして算定対象物体のレーダ装置1から見た方向に対するレーダ反射強度の変化パターンを求めたならば、求めたレーダ反射強度の変化パターンと、RCSテーブル群6の各RCSテーブルが表す方向θに対するRCSの変化パターンとのパターンマッチング処理を行って、求めたレーダ反射強度の変化パターンが、いずれかのRCSテーブルのRCSの変化パターンとマッチングするかどうかを調べる(ステップ310)。ここで、このパターンマッチング処理では、求めたレーダ反射強度の変化パターンと同様の変化パターンを、任意の角度範囲に対して示すRCSの変化パターンを、当該レーダ反射強度の変化パターンとマッチングするRCSの変化パターンとして算定する。
【0028】
そして、マッチングしなかった場合には(ステップ312)、追尾情報中の最新の測定データが示す相対位置を含めた、車両の種別と向きが不明であることを示す他車情報を生成し、画像認識処理部4に出力し(ステップ320)、ステップ302に戻って次の追尾情報の更新の発生を待つ。一方、求めたレーダ反射強度の変化パターンが、いずれかのRCSテーブルのRCSの変化パターンとマッチングしたならば(ステップ312)、整合したRCSテーブルに対応する車両の種別を算定対象物体の種別として算定する(ステップ314)。
【0029】
また、求めたレーダ反射強度の変化パターン上の、算定対象物体の追尾情報の最新の測定データが示す算定対象物体の方向とレーダ反射強度に対応する点に対応する、整合したRCSの変化パターン上の求めたレーダ反射強度の変化パターンと同様の変化パターンを示す部分上の点の角度より、カメラ2によって撮影される画像に写り込む算定対象物体の向きを算定する(ステップ316)。
【0030】
そして、ステップ314で算定した種別とステップ318で算定した算定対象物体の向きと算定対象物体の追尾情報中の最新の測定データが示す相対位置とを含めた他車情報を生成し、画像認識処理部4に出力し(ステップ318)、ステップ302に戻って次の追尾情報の更新の発生を待つ。
【0031】
以上、他車向き算定部5が行う他車向き算定処理について説明した。
以上のように本実施形態によれば、他車のレーダ反射強度の推移に基づいて当該他車の種別を推定し、推定した種別の車両の識別用の画像認識処理を優先的に行って当該他車を識別するので、効率的に当該他車の識別を行うことができるようになる。
また、本実施形態によれば、他車のレーダ反射強度の推移に基づいて、カメラ2によって撮影された画像中に写り込む他車の向き推定し、推定した向きを向いている車両の識別用の画像認識処理を優先的に行って当該他車を識別するので、効率的に当該他車の識別を行うことができるようになる。
【図面の簡単な説明】
【0032】
【図1】本発明の実施形態に係る周辺監視システムの構成と配置を示すブロック図である。
【図2】本発明の実施形態に係るRCSテーブルの内容を示す図である。
【図3】本発明の実施形態に係る他車向き算定処理を示すフローチャートである。
【図4】本発明の実施形態に係る他車向き算定処理の処理例を示す図である。
【符号の説明】
【0033】
1…レーダ装置、2…カメラ、3…物標追尾部、4…画像認識処理部、5…他車向き算定部、6…RCSテーブル群、7…追尾情報保持部、8…周辺状況提示部。
【出願人】 【識別番号】000101732
【氏名又は名称】アルパイン株式会社
【出願日】 平成18年6月20日(2006.6.20)
【代理人】 【識別番号】100099748
【弁理士】
【氏名又は名称】佐藤 克志


【公開番号】 特開2008−2818(P2008−2818A)
【公開日】 平成20年1月10日(2008.1.10)
【出願番号】 特願2006−169734(P2006−169734)