| 【発明の名称】 |
ステレオ測位装置及び方法 |
| 【発明者】 |
【氏名】岩野 博隆
【氏名】大木 透
|
| 【要約】 |
【課題】従来よりも少ない演算量で必要な精度を実現するステレオ測位の技術を提供する。
【解決手段】対応点抽出部５は、パターンマッチングアルゴリズムなどの技術により、各撮像部３Ｌ，３Ｒで撮像された左右の各画像データの各部分同士を比較し、各画像から相互に対応する対応点を抽出する。対応点が、左右どちらか一方の画像では高解像部分で、他方の画像では低解像度部分である可能性がある場合、解像度変換部６は、高解像部分データを、低解像度領域Ｌの解像度ヘ変換し、対応点抽出部５へ提供する。対応点検出部６で対応点を検出後、測位部７では、対応点が左右の画像でどの程度ずれているかなどの情報に基づいて、対象物の３次元位置座標を検出し、対象物について例えば、画像上の座標とともに測位した３次元位置座標を外部の情報処理システム２に提供する。 |
【特許請求の範囲】
【請求項１】 撮像用のイメージセンサを左右２つ備え、各イメージセンサから得られる各画像に基づいて対象物の測位を行うためのステレオ測位装置において、前記各イメージセンサは、撮像面の左右両端寄りにそれぞれ設けられた第１の領域と、前記各第１の領域の間に設けられ、第１の領域よりも解像度の粗い第２の領域と、を備えたことを特徴とするステレオ測位装置。
【請求項２】 前記各イメージセンサから得られる各画像の部分同士を比較することにより、各画像から相互に対応する対応点を抽出するための対応点抽出手段と、前記対応点抽出手段が、前記第１の領域で撮像された第１の部分の画像データと、前記第２の領域で撮像された第２の部分の画像データとを比較しようとするとき、前記第１の部分の画像データを、前記第２の領域の解像度ヘ変換するための手段と、を備えたことを特徴とする請求項１記載のステレオ測位装置。
【請求項３】 撮像用のイメージセンサを左右２つ用い、各イメージセンサから得られる各画像に基づいて対象物の測位を行うためのステレオ測位方法において、前記各イメージセンサには、撮像面の左右両端寄りにそれぞれ設けられた第１の領域と、前記各第１の領域の間に設けられ、第１の領域よりも解像度の粗い第２の領域と、を設けておき、前記各イメージセンサから得られる各部分の画像データに対して、画像データのデータ量に応じた演算量の画像処理を施すことによって対象物の測位を行うためのステップを含むことを特徴とするステレオ測位方法。
【請求項４】 前記各イメージセンサから得られる各画像の部分同士を比較することにより、各画像から相互に対応する対応点を抽出するための対応点抽出ステップと、前記対応点抽出ステップにおいて、前記第１の領域で撮像された第１の部分の画像データと、前記第２の領域で撮像された第２の部分の画像データとを比較しようとするとき、前記第１の部分の画像データを、前記第２の領域の解像度ヘ変換するためのステップと、を含むことを特徴とする請求項３記載のステレオ測位方法。
|
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、画像情報に基づいて周囲の物体の距離や位置を測位するステレオ測位の技術の改良に関するもので、特に、従来よりも少ない演算量で必要な精度を実現するようにしたものである。
【０００２】
【従来の技術】近年、デジタル技術の発展に伴い、画像情報によって周囲の状況を電子的に解析し、自動車における他車の接近警報や自動制御を始めとした各種の情報処理に応用する技術が提案されている。特に、画像情報に基づいて周囲の物体の距離や位置を測位する技術としては、ステレオ測位が知られている。このステレオ測位は、動物の両眼視差による立体視を応用した技術で、イメージセンサを左右２つ組み合わせて用いるものである。ここで、イメージセンサは、画像情報を得るための装置であり、典型的には、フォトダイオードの集合体であるＣＣＤ（ChargeCoupled Device ）が挙げられる。
【０００３】すなわち、ステレオ測位では、例えば２台のビデオカメラ（単にカメラとも呼ぶ）を左右に位置をずらして並べ、それぞれの画像から同じ対象物が写っている部分を抽出し、同じ対象物の各画像間での位置のずれから、対象物の距離や位置を測位する。このようなステレオ測位の技術は、ステレオ測位装置などとして実現される。
【０００４】ところで、ステレオ測位では、解像度など他の条件が同じ場合、測位対象が正面から左右にずれればずれるほど、画像の歪みや左右のビデオカメラからの距離の差などの影響により、測位精度が低下する。そして、従来のステレオ測位の技術では、図５の概念図に例示するように、横方向の画素サイズが全体で均一なイメージセンサを使い、画像全体を一様な解像度で撮像していた。
【０００５】このため、正面から左右にずれた部分に関する測位精度は、正面からずれている横方向の距離に比例して悪化せざるを得なかった。ここで、図６は、従来技術における画像の左右方向の各部分における誤差の程度を例示するグラフである。したがって、従来技術では、精度が最も低下する画像の左右両端でも必要な要求精度が確保されるように（図６）、撮像素子の画素サイズが決定されていた。
【０００６】
【発明が解決しようとする課題】しかしながら、上記のような従来技術では、画像の左右両端での測位精度を確保するために、画像中央付近については、精度とそれに比例する画像処理演算量が過剰となり、結果として画像処理演算量全体とその負荷が大きく、それらの低減が困難という問題点があった。特に、演算量が多い場合は、長い演算時間か、高性能な処理装置か、のうち少なくともどちらかが必要となるため、測位のリアルタイム性の確保と、装置の小型化・低廉化の両立は困難であった。
【０００７】本発明は、上記のような従来技術の問題点を解決するために提案されたもので、その目的は、従来よりも少ない演算量で必要な精度を実現するステレオ測位の技術、すなわちステレオ測位装置及び方法を提供することである。
【０００８】
【課題を解決するための手段】上記の目的を達成するため、請求項１の発明は、撮像用のイメージセンサを左右２つ備え、各イメージセンサから得られる各画像に基づいて対象物の測位を行うためのステレオ測位装置において、前記各イメージセンサは、撮像面の左右両端寄りにそれぞれ設けられた第１の領域と、前記各第１の領域の間に設けられ、第１の領域よりも解像度の粗い第２の領域と、を備えたことを特徴とする。請求項３の発明は、請求項１の発明を方法という見方からとらえたもので、撮像用のイメージセンサを左右２つ用い、各イメージセンサから得られる各画像に基づいて対象物の測位を行うためのステレオ測位方法において、前記各イメージセンサには、撮像面の左右両端寄りにそれぞれ設けられた第１の領域と、前記各第１の領域の間に設けられ、第１の領域よりも解像度の粗い第２の領域と、を設けておき、前記各イメージセンサから得られる各部分の画像データに対して、画像データのデータ量に応じた演算量の画像処理を施すことによって対象物の測位を行うためのステップを含むことを特徴とする。請求項１，３の発明では、ステレオ測位に用いるＣＣＤといったイメージセンサの横方向について、左右両端部分では画素が細かく、画素数と解像度が相対的に大きい。一方、その内側では、画素が粗く、画素数と解像度が相対的に小さい。このため、左右両端部分では、測位誤差が要求精度すなわち許容範囲内に抑制され、一方、その内側では、過剰な測位精度や画像処理演算量が回避され、画像処理が迅速化される。この結果、従来よりも少ない演算量で必要な精度が実現され、特にリアルタイム測位が求められる場面でもより高速な処理が可能となる。
【０００９】請求項２の発明は、請求項１記載のステレオ測位装置において、前記各イメージセンサから得られる各画像の部分同士を比較することにより、各画像から相互に対応する対応点を抽出するための対応点抽出手段と、前記対応点抽出手段が、前記第１の領域で撮像された第１の部分の画像データと、前記第２の領域で撮像された第２の部分の画像データとを比較しようとするとき、前記第１の部分の画像データを、前記第２の領域の解像度ヘ変換するための手段と、を備えたことを特徴とする。請求項４の発明は、請求項２の発明を方法という見方からとらえたもので、請求項３記載のステレオ測位方法において、前記各イメージセンサから得られる各画像の部分同士を比較することにより、各画像から相互に対応する対応点を抽出するための対応点抽出ステップと、前記対応点抽出ステップにおいて、前記第１の領域で撮像された第１の部分の画像データと、前記第２の領域で撮像された第２の部分の画像データとを比較しようとするとき、前記第１の部分の画像データを、前記第２の領域の解像度ヘ変換するためのステップと、を含むことを特徴とする。請求項２，４の発明では、同じ対象物の写っている対応点が、一方の画像では高解像度部で、他方の画像では低解像度部分であっても、解像度を変換して相互比較することで適切に対応点を抽出することができる。このため、領域間の解像度差の影響が軽減され、測位精度が向上する。
【００１０】
【発明の実施の形態】次に、本発明の実施の形態（実施形態と呼ぶ）について、図面を参照して具体的に説明する。なお、本実施形態は、左右２つのイメージセンサから得られる各画像に基づいて対象物の測位を行うためのステレオ測位装置（本装置又は測位装置と呼ぶ）と、本装置上で実行されるステレオ測位方法に関するものである。
【００１１】具体的には、左右の画像における左右横方向のずれを利用したステレオ測位において、イメージセンサの撮像面内で部分によって画素サイズを変化させ、解像度を変えて計算量を低減することにより、有効測位精度を低下させることなく従来よりも画像処理速度を向上させるものである。
【００１２】〔１．構成〕まず、図１は、本装置の構成を示す機能ブロック図である。すなわち、この図に示すように、本実施形態の測位装置１は、自動車の運転支援システムなどの情報処理システム２に測位結果を提供するものである。また、測位装置１は、左右２つの撮像部３Ｌ，３Ｒを備えている。これら左右の各撮像部３Ｌ，３Ｒは、それぞれ、ＣＣＤ或いはＣＭＯＳイメージセンサ等を備えたビデオカメラであり、このＣＣＤが撮像用のイメージセンサである。なお、左撮像部３Ｌは左カメラとも呼び、右撮像部３Ｒは右カメラとも呼び、両者を総称して撮像部３と呼ぶこととする。
【００１３】また、図２は、左右各カメラのイメージセンサの左右横方向の画素分布を示す概念図であり、図３は、イメージセンサのより具体的な構成を示す概念図である。すなわち、これらの図に示すように、各イメージセンサは、撮像面の左右両端寄りにそれぞれ設けられた高解像度領域（前記第１の領域に相当する）Ｈと、各高解像度領域の間に設けられ、高解像度領域よりも解像度の粗い低解像度領域Ｌ（前記第２の領域に相当する）と、を備えている。
【００１４】なお、画像のうち高解像度領域Ｈによって撮像された部分を高解像部分と呼び、高解像部分の画像データを高解像部分データと呼ぶ。同様に、画像のうち低解像度領域Ｌによって撮像された部分を低解像部分と呼び、低解像部分の画像データを低解像部分データと呼ぶ。
【００１５】また、図１に示したように、測位装置１は、画像メモリ部４と、対応点抽出部５と、解像度変換部６と、測位部７と、を備えている。このうち画像メモリ部４は、各撮像部３Ｌ，３Ｒで撮像された左右の各画像の画像データを格納するためのメモリである。また、対応点抽出部５は、左右の各画像の部分同士を比較することにより、各画像から相互に対応する対応点、例えば同じ人物が写っている部分などを抽出するための対応点抽出手段である。
【００１６】また、解像度変換部６は、対応点抽出部５が、高解像部分データと低解像部分データとを比較しようとするとき、高解像部分データを、低解像度領域の解像度ヘ変換するための手段である。
【００１７】〔２．作用〕上記のように構成された本実施形態では、各撮像部３Ｌ，３Ｒで撮像された左右の各画像の画像データは、画像メモリ部４に一旦格納され、対応点抽出部５によって読み出される。対応点抽出部５は、パターンマッチングアルゴリズムなどの技術により、左右の各画像データの各部分に対して、画像データのデータ量に応じた演算量の画像処理を施すことによって左右の各画像の部分同士を比較し、これにより、各画像から相互に対応する対応点、例えば同じ人物が写っている部分などを抽出する。
【００１８】また、同じ対象物の写っている対応点が、左右どちらか一方の画像では高解像部分で、他方の画像では低解像度部分である可能性がある場合、対応点抽出部５は、高解像部分データと低解像部分データとを比較する必要がある。このような場合、そのことを解像度変換部６や対応点抽出部５が検知し、解像度変換部６は、高解像部分データを、低解像度領域Ｌの解像度ヘ変換し、対応点抽出部５へ提供する。
【００１９】このようにして対応点検出部６で対応点を検出後、測位部７では、対応点が左右の画像でどの程度ずれているかなどの情報に基づいて、対象物の３次元位置座標を検出し、対象物について例えば、画像上の座標とともに測位した３次元位置座標を外部の情報処理システム２に提供する。
【００２０】〔３．効果〕以上説明したように、本実施形態では、イメージセンサの横方向について、左右両端部分の高解像度領域Ｈでは画素が細かく、画素数と解像度が相対的に大きい。一方、その内側の低解像度領域Ｌでは、高解像度領域Ｈより画素が粗く、画素数と解像度が相対的に小さい。このため、高解像度領域Ｈでは、測位誤差が要求精度すなわち許容範囲内に抑制され、一方、低解像度領域Ｌでは、過剰な測位精度や画像処理演算量が回避され、画像処理が迅速化される。
【００２１】ここで、図４は、本実施形態において、画像範囲の左右方向における各部分ごとの誤差の例を概念的に示すグラフである。この例では、左右両端部分の高解像度領域Ｈでは、その内側の低解像度領域Ｌよりも画素サイズが小さくなっていることに比例し、測位誤差が低下している。すなわち、高解像度領域Ｈの解像度が図６の場合の従来例と同じ場合、高解像度領域Ｈでは図６と同様に、誤差は要求精度内に収まる。また、内側の低解像度領域Ｌでは画素数を低減している分、図６の従来例と比べ、正面から左右にずれるほど誤差は大きくなるが、そもそも低解像度領域Ｌは、画像範囲全体の中では正面寄りで誤差自体が小さいため、要求精度を超えることはない。
【００２２】このように、本実施形態では、全体として誤差の最大値を許容誤差内に維持したまま、画素数が低減でき、これに比例して演算量を低減することが可能となる。つまり、従来よりも少ない演算量で必要な精度が実現され、特にリアルタイム測位が求められる場面でもより高速な処理が可能となる。
【００２３】また、本実施形態では、同じ対象物の写っている対応点が、一方の画像では高解像度部で、他方の画像では低解像度部分であっても、解像度を変換して相互比較することで適切に対応点を抽出することができる。このため、領域間の解像度差の影響が軽減され、測位精度が向上する。
【００２４】〔４．他の実施形態〕なお、本発明は上記実施形態に限定されるものではなく、次に例示するような他の実施形態も包含するものである。例えば、高解像度の第１の領域と低解像度の第２の領域との関係について、両者の大きさや比率は自由である。また、両者間で解像度を異ならせるための具体的な構成は自由であり、例えば、画素サイズを変えるだけでなく、画素ごとの撮像素子のサイズは同じにしながら、その間隔を変えてもよい。
【００２５】また、ステレオ測位の結果の用途は自由であり、車両の運転支援などの他、防犯装置など自由に選択することができる。また、撮像用のイメージセンサを左右に代え、上下２つ設ければ、上下方向に関するステレオ測位を行うこともできる。この場合、本出願における「左右」は「上下」と読み替えるものとする。
【００２６】
【発明の効果】以上説明したように、本発明によれば、従来よりも少ない演算量で必要な精度を実現するステレオ測位の技術、すなわちステレオ測位装置及び方法を提供することができるので、測位のリアルタイム性の確保と、装置の小型化・低廉化の両立も容易になる。
|
| 【出願人】 |
【識別番号】０００００１４８７
【氏名又は名称】クラリオン株式会社
|
| 【出願日】 |
平成１１年１２月１５日（１９９９．１２．１５） |
| 【代理人】 |
【識別番号】１０００８１９６１
【弁理士】
【氏名又は名称】木内 光春
|
| 【公開番号】 |
特開２００１−１７４２１４（Ｐ２００１−１７４２１４Ａ） |
| 【公開日】 |
平成１３年６月２９日（２００１．６．２９） |
| 【出願番号】 |
特願平１１−３５５３５２ |
|