トップ :: G 物理学 :: G08 信号

【発明の名称】 道路標識判定装置、方法及びプログラム
【発明者】 【氏名】柴田 紀正

【要約】 【課題】道路標識の画像を短い処理時間で効率的に画像認識し、道路標識の種類を判定する。

【構成】道路標識判定装置は、例えば現地調査車両などに搭載されたカメラにより撮影された道路標識の画像データを画像認識して当該道路標識を判定するものであり、特に、指定方向外進入禁止の標識の判定に好適に使用される。画像認識は、予め用意されたテンプレートと、道路標識の画像データとのマッチングにより行われる。ここで、画像認識に使用されるテンプレートは、標識枠の円と1つの矢印を組み合わせた図形により構成される基本テンプレートを含む。基本テンプレートを用いた1次マッチングにより判定の対象となる道路標識の概要を得ることができる。1次マッチングの結果に応じて、使用する標識テンプレートを限定した上で2次マッチングを行うことにより、判定処理を効率化、迅速化することができる。
【特許請求の範囲】
【請求項1】
予め用意されたテンプレートを用いて、道路標識の画像データの画像認識を行う画像認識手段と、
前記画像認識の結果に基づいて、前記画像データに対応する道路標識を判定する判定手段と、を備え、
前記テンプレートは、標識枠の円と1つの矢印を組み合わせた図形により構成される基本テンプレートを含むことを特徴とする道路標識判定装置。
【請求項2】
前記画像認識手段は、
前記画像データに対して相対的に前記基本テンプレートを所定角度ずつ回転させてマッチングを行い、複数の角度領域におけるマッチング結果を取得する1次マッチング手段と、
当該マッチング結果に応じて、現実の道路標識に対応する標識テンプレートを用いてマッチングを行う2次マッチング手段と、を備えることを特徴とする請求項1に記載の道路標識判定装置。
【請求項3】
前記2次マッチング手段は、前記マッチング結果において所定レベル以上のマッチングが得られた角度領域のみについて、前記標識テンプレートを用いてマッチングを行うことを特徴とする請求項2に記載の道路標識判定装置。
【請求項4】
前記2次マッチング手段は、前記マッチング結果においてマッチングが得られた数に基づいて、2次マッチングに使用する標識テンプレートを限定することを特徴とする請求項2又は3に記載の道路標識判定装置。
【請求項5】
前記基本テンプレートは、前記標識枠の円のサイズが同一であり、かつ、前記矢印のサイズが異なる複数のテンプレートを含むことを特徴とする請求項1乃至4のいずれか一項に記載の道路標識判定装置。
【請求項6】
予め用意されたテンプレートを用いて、道路標識の画像データの画像認識を行う画像認識ステップと、
前記画像認識の結果に基づいて、前記画像データに対応する道路標識を判定する判定ステップと、を備え、
前記テンプレートは、標識枠の円と1つの矢印を組み合わせた図形により構成される基本テンプレートを含むことを特徴とする道路標識判定方法。
【請求項7】
コンピュータ上で実行される道路標識判定プログラムであって、
予め用意されたテンプレートを用いて、道路標識の画像データの画像認識を行う画像認識手段、及び、
前記画像認識の結果に基づいて、前記画像データに対応する道路標識を判定する判定手段、として前記コンピュータを機能させ、
前記テンプレートは、標識枠の円と1つの矢印を組み合わせた図形により構成される基本テンプレートを含むことを特徴とする道路標識判定プログラム。
【発明の詳細な説明】【技術分野】
【0001】
本発明は、画像認識処理により道路標識を判定する方法に関する。
【背景技術】
【0002】
カーナビゲーション装置、PC上で動作し地図を表示するアプリケーションなどにおいて使用される地図データには道路標識のデータが含まれている。このような道路標識のデータは、実際の道路に設置された道路標識を撮影した画像データに対して画像認識処理を行うことにより取得される。車載カメラにより道路標識の画像を撮影し、画像認識処理により道路標識を抽出する例が特許文献1及び2に記載されている。
【0003】
上記のような画像認識による道路標識の判定は、現実に存在する標識に対応するテンプレートを用意し、これらテンプレートと撮影した画像とのマッチングにより行われていた。
【0004】
【特許文献1】特開2000−293670号公報
【特許文献2】特開2003−123197号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかし、指定方向外進入禁止の標識には、進行可能な方向を示す複数の矢印が複雑に配置された他種類のパターンがある。よって、現実に存在する全ての標識に対応するテンプレートを用意し、それら全てを用いて画像データとのマッチングを行うこととすると、処理時間が非常に長くなってしまうという問題があった。
【0006】
本発明が解決しようとする課題としては、上記のものが例として挙げられる。本発明は、道路標識の画像を短い処理時間で効率的に画像認識し、道路標識の種類を判定することが可能な道路標識判定手法を提供することを目的とする。
【課題を解決するための手段】
【0007】
請求項1に記載の発明は、道路標識判定装置であって、予め用意されたテンプレートを用いて、道路標識の画像データの画像認識を行う画像認識手段と、前記画像認識の結果に基づいて、前記画像データに対応する道路標識を判定する判定手段と、を備え、前記テンプレートは、標識枠の円と1つの矢印を組み合わせた図形により構成される基本テンプレートを含むことを特徴とする。
【0008】
請求項6に記載の発明は、道路標識判定方法であって、予め用意されたテンプレートを用いて、道路標識の画像データの画像認識を行う画像認識ステップと、前記画像認識の結果に基づいて、前記画像データに対応する道路標識を判定する判定ステップと、を備え、前記テンプレートは、標識枠の円と1つの矢印を組み合わせた図形により構成される基本テンプレートを含むことを特徴とする。
【0009】
請求項7に記載の発明は、コンピュータ上で実行される道路標識判定プログラムであって、予め用意されたテンプレートを用いて、道路標識の画像データの画像認識を行う画像認識手段、及び、前記画像認識の結果に基づいて、前記画像データに対応する道路標識を判定する判定手段、として前記コンピュータを機能させ、前記テンプレートは、標識枠の円と1つの矢印を組み合わせた図形により構成される基本テンプレートを含むことを特徴とする。
【発明を実施するための最良の形態】
【0010】
本発明の1つの実施形態では、道路標識判定装置は、予め用意されたテンプレートを用いて、道路標識の画像データの画像認識を行う画像認識手段と、前記画像認識の結果に基づいて、前記画像データに対応する道路標識を判定する判定手段と、を備え、前記テンプレートは、標識枠の円と1つの矢印を組み合わせた図形により構成される基本テンプレートを含む。
【0011】
上記の道路標識判定装置は、例えば現地調査車両などに搭載されたカメラにより撮影された道路標識の画像データを画像認識して当該道路標識を判定するものであり、特に、指定方向外進入禁止の標識の判定に好適に使用される。画像認識は、予め用意されたテンプレートと、道路標識の画像データとのマッチングにより行われる。ここで、画像認識に使用されるテンプレートは、標識枠の円と1つの矢印を組み合わせた図形により構成される基本テンプレートを含む。指定方向外進入禁止の標識は、進行可能な方向を示す1つ又は複数の矢印を有する図形により構成されている。従って、標識枠と1つの矢印を含む基本テンプレートを利用することにより、判定の対象となる道路標識の概要を得ることができ、判定処理を効率化することができる。
【0012】
上記の道路標識判定装置の一態様では、前記画像認識手段は、前記画像データに対して相対的に前記基本テンプレートを所定角度ずつ回転させてマッチングを行い、複数の角度領域におけるマッチング結果を取得する1次マッチング手段と、当該マッチング結果に応じて、現実の道路標識に対応する標識テンプレートを用いてマッチングを行う2次マッチング手段と、を備える。
【0013】
この態様では、基本テンプレートを用いた1次マッチングにより、対象となる道路標識画像の概要を取得し、それに基づいて、標識テンプレートを用いた2次マッチングの効率化、時間短縮を図る。
【0014】
好適な例では、前記2次マッチング手段は、前記マッチング結果において所定レベル以上のマッチングが得られた角度領域のみについて、前記標識テンプレートを用いてマッチングを行う。他の好適な例では、前記2次マッチング手段は、前記マッチング結果においてマッチングが得られた数に基づいて、2次マッチングに使用する標識テンプレートを限定する。これらの手法により、複数の標識テンプレートを用いて行う2次マッチングの効率化、迅速化が可能となる。
【0015】
また、好適な例では、前記基本テンプレートは、前記標識枠の円のサイズが同一であり、かつ、前記矢印のサイズが異なる複数のテンプレートを含む。これにより、矢印のサイズが異なる標識に対しても、1次マッチングの精度を確保することが可能となる。
【0016】
本発明の他の実施形態では、道路標識判定方法は、予め用意されたテンプレートを用いて、道路標識の画像データの画像認識を行う画像認識ステップと、前記画像認識の結果に基づいて、前記画像データに対応する道路標識を判定する判定ステップと、を備え、前記テンプレートは、標識枠の円と1つの矢印を組み合わせた図形により構成される基本テンプレートを含む。この方法によっても、標識枠と1つの矢印を含む基本テンプレートを利用することにより、判定の対象となる道路標識の概要を得ることができ、判定処理を効率化することができる。
【0017】
本発明のさらに他の実施形態では、コンピュータ上で実行される道路標識判定プログラムは、予め用意されたテンプレートを用いて、道路標識の画像データの画像認識を行う画像認識手段、及び、前記画像認識の結果に基づいて、前記画像データに対応する道路標識を判定する判定手段、として前記コンピュータを機能させ、前記テンプレートは、標識枠の円と1つの矢印を組み合わせた図形により構成される基本テンプレートを含む。上記のプログラムをコンピュータ上で実行することにより、上記の道路標識判定装置を構成することができる。
【実施例】
【0018】
以下、本発明の好適な実施例を図面に基づいて説明する。
【0019】
(道路標識判定手法)
まず、本発明の実施例による道路標識の判定手法について説明する。本実施例の手法は、各種の道路標識のうち、主として指定方向外進入禁止の標識について適用される。指定方向外進入禁止標識の例を図1(a)〜(e)及び図2(a)〜(b)に示す。図示のように、指定方向外進入禁止の標識は、基本的に矢印により進行可能な方向を示した図形となっている。進行可能な方向が1方向又は2方向程度であってその方向が直進、右左折などに対応する場合には、図1(a)〜(e)に示すように、標識の図形は比較的単純な矢印の組合せパターンとなる。一方、進行可能な方向が3方向以上である場合や、進行可能な方向が直進、右左折などとは異なる方向である場合には、図2(a)〜(b)に示すように、その図形は比較的特殊なものとなる。なお、図1(a)〜(e)及び図2(a)、(b)における数値(「001」など)は、各形状の指定方向外進入禁止標識を示す標識コードである。
【0020】
道路標識の判定は、実際の道路標識を撮影した画像データと、予め用意されたテンプレートとを用いた画像認識処理により行われる。即ち、画像データと、テンプレートとのマッチング度合いが所定レベル以上である場合に、その画像データの道路標識を、そのテンプレートに対応する道路標識であると判定する。このため、基本的には、現実に存在する各種の道路標識に対応するテンプレートを用意し、それら全てに対してマッチング処理を行えば、どのようなパターンの標識であっても判定できることになる。しかしながら、実際には、例えば図2(a)〜(b)に示すような特殊なパターンの標識が存在する。よって、それら全てについてテンプレートを用意し、マッチング処理を実行すると、道路標識の認識処理に時間を要してしまう。
【0021】
そこで、本実施例では、図2(c)に例示するような基本テンプレートBTを用いる。指定方向外進入禁止の標識は、基本的に矢印の組合せ図形により構成されるので、基本テンプレートBTは、標識の枠を示す円、及び、その内部に配置された1つの矢印を含む図形により構成される。図2(c)に示すように、基本テンプレートBTは1つのみの矢印を含む。好ましくは、矢印は矢尻の部分のみの形状であり、その矢印の長さは、少なくとも標識の枠を示す円の半径より短い。これは、後述するように、基本テンプレートBTを回転させてマッチングを行うためである。
【0022】
道路標識の認識処理においては、まず、基本テンプレートBTを用いた認識処理を行う。具体的には、判定の対象となる道路標識画像に対して、基本テンプレートを相対的に回転させつつマッチングを行う(これを「1次マッチング」とも呼ぶ。)。図3は、道路標識画像が図1(c)に示す標識である場合の例を示す。道路標識画像の所定方向(この例では、直進矢印方向)を基準方向(回転角0度)とし、道路標識画像を固定した状態で、基本テンプレートBTを所定角度ずつ回転させてマッチングを行う。図3の例では、図3(a)に示すようにまず基準方向(即ち回転角0度)方向でマッチングが成立し、次に図3(b)に示すように回転角270度の方向で再度マッチングが成立する。なお、マッチングが成立するとは、道路標識画像と基本テンプレートBTのマッチング度合いが予め設定された所定レベルを超えることを言う。
【0023】
このように、基本テンプレートBTを回転させつつ道路標識画像とのマッチングを行った結果を図4に示す。マッチング結果は、各道路標識画像の画像データ名毎に、マッチングが成立した位置、及び、その時の道路標識画像に対する基本テンプレートBTの相対的な回転角度を含む。図4の例では、画像データ「mark1」は図1(a)に示す標識に対応し、画像データ「mark2」は図1(c)及び図3に示す標識に対応する。このように、基本テンプレートBTを用いたマッチング結果により、判定の対象となっている道路標識画像の概要をある程度把握することができる。
【0024】
こうして、基本テンプレートを用いて1次マッチングを行った後、今度は実際の道路標識に対応するテンプレート(「標識テンプレート」と呼ぶ。)MTを用いてマッチングを行う(これを「2次マッチング」とも呼ぶ。)。ここで、2次マッチングにおいては、1次マッチングの結果を利用する。なお、本実施例では、図1(a)〜(e)に示す5種類の典型的な標識は実際の道路における使用頻度が高いため、対応する標識テンプレートMT1〜MT5が用意されることとする。一方、図2(a)、(b)に示す標識は、実際の道路における使用頻度があまり高くないため、特殊標識であるとして、標識テンプレートは用意されないこととする。
【0025】
2次マッチングを行う際に1次マッチングの結果を利用する第1の方法を説明する。この方法では、1次マッチングの結果のうち、マッチング位置を用いる。例えば、1次マッチングにより図4に例示するマッチング結果が得られたとすれば、画像データ「mark1」に対応する標識は、マッチング位置が1つであるので矢印1つを含む図形であり、図1(a)、(b)、(e)のいずれかに示す標識であると推測することができる。よって、2次マッチングにおいては、図1に示す標識テンプレートMT1、MT2及びMT5のみを用いればよい。また、画像データ「mark2」に対応する標識は、マッチング位置が2つであるので矢印を2つ含む図形であり、図1(c)又は(d)に示す標識であると推測することができる。よって、2次マッチングでは、標識テンプレートMT3及びMT4のみを使用すればよい。なお、この場合、2次マッチング自体は、対象となる道路標識画像全体と、標識テンプレート全体に対して行われる。
【0026】
このように、1次マッチングの結果を利用することにより、2次マッチングでは図1に示す5種類全ての標識テンプレートを用いる必要が無くなり、全体の道路標識判定処理に要する時間を短縮することができる。
【0027】
次に、2次マッチングを行う際に1次マッチングの結果を利用する第2の方法を説明する。この方法では、1次マッチングの結果のうち、マッチング角度を用いる。1次マッチングで図4に示すマッチング結果が得られた場合、画像データ「mark1」はマッチング角度270度でマッチングが成立している。よって、2次マッチングでは、図1に示す5種類の標識テンプレートを用いて、マッチング角度270度付近の所定角度範囲についてのみマッチングを行う。「所定角度範囲」は、例えば回転角が±10度範囲などに予め決定される。即ち、画像データ全体と標識テンプレート全体とのマッチングを行うのではなく、画像データ「mark1」の角度260〜280度の角度範囲と、各標識テンプレートの角度260〜280度の角度範囲とのマッチングを行う。図4における画像データ「mark2」の場合は、マッチング角度0度付近及び270度付近の所定角度範囲のみについて、それぞれマッチングを行う。これにより、全種類の標識テンプレートとのマッチングを行う場合でも、マッチング演算の対象となる領域が限定される分、処理時間を短縮することができる。
【0028】
なお、2次マッチングにおいて、上記の第1の方法と第2の方法の両方を実施してもよい。
【0029】
以上のように、本実施例では、まず、基本テンプレートを用いた1次マッチングを行い、その結果を用いて、標識テンプレートを用いた2次マッチングを行うので、1次マッチングの結果に応じて2次マッチングにおける演算処理量を減らすことができ、画像認識処理の効率化、処理時間の短縮が可能となる。
【0030】
なお、図1(a)〜(c)に示すように、実際には、図1(a)、(b)、(e)などの進行可能方向が1方向である標識と、図1(b)、(d)などの進行可能方向が2方向である標識とでは、矢印のサイズが異なっている。従って、1次マッチングにおいては、図2(c)、(d)に示すように、大小2種類の基本テンプレートを使用するとか、又は、1つの基本テンプレートにおける矢印のサイズのみを変更して複数回のマッチングを行うことにより、1次マッチングの精度を高めることが可能となる。
【0031】
(標識情報作成装置)
図5に、本発明の実施例に係る道路標識判定方法を適用した標識情報作成装置100の概略構成を示す。標識情報作成装置100は、例えば、パーソナルコンピュータにより構成され、システムバス11と、CPU(Central Processing Unit)12と、メモリ13と、キーボード14と、マウスなどの座標指示デバイス15と、ディスプレイ16と、プリンタ17と、データベース18を備える。ここで、キーボード14、座標指示デバイス15は入力装置である。また、ディスプレイ16、プリンタ17は出力装置である。CPU12は、標識情報作成装置100全体を制御し、入出力装置の制御を行う。
【0032】
CPU12、メモリ13、データベース18は、システムバス11に接続される。キーボード14、座標指示デバイス15、ディスプレイ16、プリンタ17も、図示しないインタフェースを介してシステムバス11に接続される。メモリ13には、本実施例に係る道路標識判定プログラムが記憶されている。また、メモリ13は作業メモリとしても使用される。
【0033】
図6は、標識情報作成装置100の機能ブロック図である。標識情報作成装置100は、機能的には、画像データ格納部21と、標識判定部22と、標識判定結果格納部23と、走行座標格納部24と、座標付与部25と、標識情報格納部26とにより構成される。ここで、標識判定部22及び座標付与部25は、図5に示すCPU12がメモリ13に記憶されたプログラムを実行することにより実現される。画像データ格納部21、標識判定結果格納部23、走行座標格納部24及び標識情報格納部26は、図1に示すデータベース18内に構成することができる。
【0034】
以下、本実施例による標識情報作成処理について説明する。
【0035】
画像データ格納部21は、実際の道路標識をカメラなどにより撮影して得られた画像データを格納している。ここでは、各画像データには「mark1」、「mark2」などのデータ名が付されているものとする。各画像データは、標識判定部22に送られる。
【0036】
標識判定部22は、前述の標識判定方法により、各画像データに対応する道路標識を判定する。図7に、標識判定処理のフローチャートを示す。まず、標識判定部22は、画像データ格納部21から画像データを読み込み(ステップS11)、前述のように、基本テンプレートBTを用いて1次マッチングを行う(ステップS12)。1次マッチングによりマッチングが得られない場合には、処理は終了する。一方、マッチングが得られた場合には、例えば図4に示すようなマッチング結果を取得する(ステップS13)。
【0037】
次に、標識判定部22は、マッチング結果に基づいて前述の第1の方法及び/又は第2の方法により、2次マッチングの対象を限定し(ステップS14)、標識テンプレートMTを用いて2次マッチングを行う(ステップS15)。2次マッチングにより、所定レベル以上のマッチングが成立した場合には(ステップS15;Yes)、最も高いマッチング度が得られた標識テンプレートに対応する道路標識を当該画像データに対応する道路標識と決定し(ステップS16)、処理を終了する。一方、いずれの標識テンプレートについても所定レベル以上のマッチングが成立しない場合は(ステップS15;No)、その画像データに対応する道路標識は特殊標識であると判定し、処理を終了する。なお、特殊標識であると判定された画像データについては、例えば人間による判定など、他の処理が施される。
【0038】
こうして、標識判定処理により道路標識が判定されると、画像データと、その画像データに対応する標識の標識コードとが対応付けされて標識判定結果格納部23に記憶される。標識判定結果格納部23の記憶内容例を図8(a)に示す。
【0039】
次に、座標付与部25は、走行座標格納部24から走行座標データを取得する。走行座標格納部24の記憶内容例を図8(b)に示す。図示のように、走行座標格納部24には、カメラを搭載した現地調査車両などにより撮影された各画像データと、それらの画像データが撮影された地点に関する情報とが対応付けされて記憶される。具体的には、各画像データの撮影地点番号と、その位置(緯度及び経度)と、その地点における現地調査車両の進行方向とが、画像データ毎に記憶されている。
【0040】
また、座標付与部25は、標識判定結果格納部23から、各画像データに対応する標識コードを取得する。そして、座標付与部25は、画像データ名をキーとして、各撮影地点番号と、その位置と、その地点における現地調査車両の進行方向と、その地点に存在した道路標識の標識コードとを対応付けし、標識情報として標識情報格納部26に記憶する。標識情報格納部26の記憶内容例を図8(c)に示す。
【0041】
以上のように、本実施例の標識判定処理を利用して、現地調査により得られた道路標識に関する標識情報が作成される。この標識情報は、例えば地図データなどに利用される。
【0042】
[変形例]
上記の実施例では、基本テンプレートを用いて1次マッチングを行った後、さらに標識テンプレートを用いて2次マッチングを行って、道路標識を判定している。その代わりに、1次マッチングのみを用いて道路標識を判定することとしてもよい。その場合には、図4に例示するように、マッチング位置の数とマッチング角度とを用いて、道路標識の形状を決定する。即ち、マッチング位置の数は矢印の数を示し、マッチング角度は矢印の方向を示しているので、これらの情報に対応する矢印の数及び方向を有する指定方向外進入禁止の標識を、当該画像データに対応する標識と決定すればよい。
【図面の簡単な説明】
【0043】
【図1】道路標識及び標識テンプレートの例を示す。
【図2】道路標識及び基本テンプレートの例を示す。
【図3】基本テンプレートを用いたマッチング処理を説明する図である。
【図4】基本テンプレートを用いたマッチング結果の例を示す図表である。
【図5】実施例による標識情報作成装置の構成図である。
【図6】標識情報作成装置の機能ブロック図である。
【図7】標識判定処理のフローチャートである。
【図8】標識判定結果、走行座標及び標識情報の記憶内容例を示す図表である。
【符号の説明】
【0044】
11 システムバス
12 CPU
13 メモリ
14 キーボード
15 座標指示デバイス
16 ディスプレイ
17 プリンタ
18 データベース
100 標識情報作成装置
【出願人】 【識別番号】000005016
【氏名又は名称】パイオニア株式会社
【識別番号】595105515
【氏名又は名称】インクリメント・ピー株式会社
【出願日】 平成18年6月30日(2006.6.30)
【代理人】 【識別番号】100107331
【弁理士】
【氏名又は名称】中村 聡延

【識別番号】100104765
【弁理士】
【氏名又は名称】江上 達夫


【公開番号】 特開2008−9915(P2008−9915A)
【公開日】 平成20年1月17日(2008.1.17)
【出願番号】 特願2006−182196(P2006−182196)