トップ :: G 物理学 :: G01 測定;試験




【発明の名称】 距離検出装置
【発明者】 【氏名】渡辺 正人

【氏名】長岡 伸治

【氏名】辻 孝之

【氏名】服部 弘
【要約】 【課題】２つ撮像装置により得られる画像に含まれる対象物像の対応関係を正しく把握して正確な視差を算出し、距離検出精度を向上させることができる距離検出装置を提供する。

【解決手段】カメラ１Ｒにより得られる右画像から右対象物像を抽出し、カメラ１Ｌにより得られる左画像から、この右対象物像に対応する左対象物像を抽出してＲＬ視差Δｄ１を算出する（Ｓ１４〜Ｓ１６）。次に前記左対象物像に対応する右対象物像を右画像から抽出してＬＲ視差Δｄ２を算出する（Ｓ１７〜Ｓ１９）。ＲＬ視差Δｄ１とＬＲ視差Δｄ２の偏差の絶対値が所定閾値ΔｄＴＨ以下のときは両者はほぼ同一と判定して、これらの視差の一方または平均値を用いて距離ｚを算出する（Ｓ２０，Ｓ２１）。
【特許請求の範囲】
【請求項１】 第１及び第２の撮像手段により得られる２つの画像から対象物の視差を算出し、該視差に基づいてその対象物までの距離を検出する距離検出装置において、前記第１の撮像手段により得られる画像に含まれる第１対象物像を基準として、前記第２の撮像手段により得られる画像に含まれる、前記第１対象物像に対応する第２対象物像を探索することにより第１の視差を求める第１の視差算出手段と、前記第２の撮像手段により得られる画像に含まれる前記第２対象物像を基準として、前記第１の撮像手段により得られる画像に含まれる、前記第２対象物像に対応する第１対象物像を探索することにより第２の視差を求める第２の視差算出手段と、前記第１及び第２の視差がほぼ同一であるとき、前記第１及び第２の視差の少なくとも一方を用いて前記対象物までの距離を算出する距離算出手段とを備えることを特徴とする距離検出装置。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、２つ撮像装置により得られる２つの画像から対象物の視差を算出し、その視差に基づいて対象物までの距離を検出する距離検出装置に関する。
【０００２】
【従来の技術】２つの撮像装置により得られる２つの画像に基づいて、画像内に含まれる対象物までの距離を検出するための手法として、２つの画像を例えば４画素×４画素のブロックに分割し、一方の画像のブロックを基準として他方の画像の中に一致するブロックを見つけだして視差を算出し、この視差に基づいて対象物までの距離を検出するものが従来より知られている（特開平６−２６６８２８号公報）。
【０００３】
【発明が解決しようとする課題】しかしながら、上記従来の手法では一致するブロックを見つけるために、画像全体について相関演算を行う必要があり、演算量が膨大なものとなるという問題点がある。さらに画像中に同じような形状の（画像として類似した）対象物像が複数近接して存在する場合には、２つ画像間の対応関係が誤って認識されるおそれがあり、そのような誤った対応関係に基づいて視差を算出し、その視差から距離を算出すると距離の検出精度が低下する問題があった。
【０００４】本発明はこの点に着目してなされたものであり、２つ撮像装置により得られる画像に含まれる対象物像の対応関係を正しく把握して正確な視差を算出し、距離検出精度を向上させることができる距離検出装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】上記目的を達成するため請求項１に記載の発明は、第１及び第２の撮像手段により得られる２つの画像から対象物の視差を算出し、該視差に基づいてその対象物までの距離を検出する距離検出装置において、前記第１の撮像手段により得られる画像に含まれる第１対象物像を基準として、前記第２の撮像手段により得られる画像に含まれる、前記第１対象物像に対応する第２対象物像を探索することにより第１の視差を求める第１の視差算出手段と、前記第２の撮像手段により得られる画像に含まれる前記第２対象物像を基準として、前記第１の撮像手段により得られる画像に含まれる、前記第２対象物像に対応する第１対象物像を探索することにより第２の視差を求める第２の視差算出手段と、前記第１及び第２の視差がほぼ同一であるとき、前記第１及び第２の視差の少なくとも一方を用いて前記対象物までの距離を算出する距離算出手段とを備えることを特徴とする。
【０００６】ここで「視差がほぼ同一である」ことは、例えば第１及び第２の視差の偏差の絶対値が所定閾値以下であるか否かにより判定する。この場合所定閾値は、第１及び第２の視差の同一性を判定するための閾値であり、１つの対象物について基準画像を変えて複数回視差を算出したときの誤差に基づいて設定される。すなわち、第１及び第２の視差の偏差がその誤差の範囲内であれば両者は同一と判定されるような値とする。また、視差の同一性は、第１及び第２の視差の比が１を中心とする所定範囲内（１±ΔＲＴＨ）にあるか否かにより判定してもよい。
【０００７】この構成によれば、第１の撮像手段により得られる画像に含まれる第１対象物像を基準として、第２の撮像手段により得られる画像に含まれる、前記第１対象物像に対応する第２対象物像を探索することにより第１の視差が求られ、第２の撮像手段により得られる画像に含まれる前記第２対象物像を基準として、第１の撮像手段により得られる画像に含まれる、前記第２対象物像に対応する第１対象物像を探索することにより第２の視差が求められ、第１及び第２の視差がほぼ同一であるとき、第１及び第２の視差の少なくとも一方を用いて前記対象物までの距離が算出されるので、第１及び第２の撮像手段により得られる２つ画像に含まれる対象物像の対応関係を正しく把握して正確な視差を得ることができ、対象物までの距離をより正確に検出すること可能となる。
【０００８】前記第１及び第２の視差算出手段は、一方の画像に含まれる基準とする対象物像と、他方の画像に含まれる、その対象物像と同一形状の局所領域との相関性を示す相関性パラメータ（Ｃ（ａ，ｂ））を算出し、その相関性パラメータに基づいて対応対象物像を探索し、前記距離算出手段は、前記第１及び第２の視差がほぼ同一でないときは、前記第１対象物像を基準として第２対象物像を探索したときの第１の相関特性（Ｌ１）と、前記第２対象物像を基準として第１対象物像を探索したときの第２の相関特性（Ｌ２）とを比較することにより、前記第１また第２の視差の一方を選択して前記対象物までの距離を算出することが望ましい。
【０００９】これにより、第１及び第２の視差の偏差が大きい場合でも、正しい視差を選択して正確な距離を検出することができる。また前記距離算出手段は、前記第１及び第２の視差がほぼ同一でない場合において、前記第１及び第２の相関特性を参照しても前記第１また第２の視差の一方を選択できないときは、前記対象物までの距離の算出を行わないことが望ましい。これにより、画像内に著しく似通った対象物像が複数存在する場合に、誤った距離データを取得すること防止することができる。
【００１０】
【発明の実施の形態】以下本発明の実施の形態を図面を参照して説明する。図１は本発明の一実施形態にかかる距離検出装置を含む、車両の周辺監視装置の構成を示す図であり、この装置は、遠赤外線を検出可能な２つの赤外線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出するヨーレートセンサ５と、当該車両の走行速度（車速）ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量を検出するためのブレーキセンサ７と、これらのカメラ１Ｒ，１Ｌによって得られる画像データの基づいて車両前方の動物等の対象物を検出し、衝突の可能性が高い場合に警報を発する画像処理ユニット２と、音声で警報を発するためのスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示するとともに、衝突の可能性が高い対象物を運転者に認識させるためのヘッドアップディスプレイ（以下「ＨＵＤ」という）４とを備えている。
【００１１】カメラ１Ｒ、１Ｌは、図２に示すように車両１０の前部に、車両１０の横方向の中心軸に対してほぼ対象な位置に配置されており、２つのカメラ１Ｒ、１Ｌの光軸が互いに平行となり、両者の路面からの高さが等しくなるように固定されている。赤外線カメラ１Ｒ、１Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
【００１２】画像処理ユニット２は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（Central Processing Unit）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号などを出力する出力回路などを備えており、カメラ１Ｒ，１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に変換されて、ＣＰＵに入力されるように構成されている。ＨＵＤ４は、図２に示すように、車両１０のフロントウインドウの、運転者の前方位置に画面４ａが表示されるように設けられている。
【００１３】図３は画像処理ユニット２における処理の手順を示すフローチャートであり、先ずカメラ１Ｒ、１Ｌの出力信号をＡ／Ｄ変換して画像メモリに格納する（ステップＳ１１，Ｓ１２，Ｓ１３）。画像メモリに格納される画像は、輝度情報を含んだグレースケール画像である。図５（ａ）（ｂ）は、それぞれはカメラ１Ｒ，１Ｌによって得られるグレースケール画像（カメラ１Ｒにより右画像が得られ、カメラ１Ｌにより左画像が得られる）を説明するための図であり、ハッチングを付した領域は、中間階調（グレー）の領域であり、太い実線で囲んだ領域が、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域（以下「高輝度領域」という）である。右画像と左画像では、同一の対象物の画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１４】続くステップＳ１４〜Ｓ１６では、右画像を基準画像とする視差（以下「ＲＬ視差」という）を求める。先ずステップＳ１４では、右画像に含まれる対象物像の中の１つを選択することにより、図５（ａ）に示すように右対象物像Ｒ１（ここでは、外接四角形で囲まれる領域全体を右対象物像とする）を抽出する。続くステップＳ１５では、右対象物像Ｒ１に対応する左対象物像を探索する左画像探索領域を左画像中に設定し、相関演算を実行して左対象物像を抽出する。具体的には、右対象物像Ｒ１の各頂点座標に応じて左画像中に図５（ｂ）に示すように、左画像探索領域Ｒ２を設定し、探索領域Ｒ２内で右対象物像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を下記式（１）により算出する。この相関性パラメータとしての総和値Ｃ（ａ，ｂ）は、その値が小さいほどが相関性が高いことを示すので、総和値Ｃ（ａ，ｂ）が最小となる領域を左対象物像として抽出する。なお、同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａ（図５（ｂ）に破線で示す）を左画像探索領域として設定する。
【数１】

【００１５】ここで、ＩＲ（ｍ，ｎ）は、図６に示す右対象物像Ｒ１内の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ−Ｍ，ｂ＋ｎ−Ｎ）は、探索領域内の座標（ａ，ｂ）を基点とした、右対象物像Ｒ１と同一形状の局所領域Ｒ３内の座標（ｍ，ｎ）の位置の輝度値である。基点の座標（ａ，ｂ）を変化させて輝度差分総和値Ｃ（ａ，ｂ）が最小となる位置を求めることにより、左対象物像の位置が特定される。
【００１６】ステップＳ１５の処理により、図７に示すように右対象物像Ｒ１と、この対象物像（すなわち同一の対象物）に対応する左対象物像Ｒ４とが抽出されるので、ステップＳ１６では、右対象物像Ｒ１の重心位置と、画像中心線ＬＣＴＲとの距離ｄＲ（画素数）及び左対象物像Ｒ４の重心位置と画像中心線ＬＣＴＲとの距離ｄＬ（画素数）を求め、右画像を基準画像としたＲＬ視差Δｄ１＝ｄＲ＋ｄＬを算出する。
【００１７】次にステップＳ１７〜Ｓ１９では、左画像を基準画像とする視差（以下「ＬＲ視差」という）を求める。すなわち、左画像から左対象物像Ｒ４を抽出し（ステップＳ１７）、左対象物像Ｒ４に対応する右対象物像を探索する右画像探索領域を右画像中に設定し、前記式（１）による相関演算を実行して左対象物像Ｒ４に対応する右対象物像を抽出する（ステップＳ１８）。そして、ステップＳ１６と同様にしてＬＲ視差Δｄ２を算出する（ステップＳ１９）。
【００１８】このようにして左対象物像Ｒ４に対応する像を右画像中で探索した結果、右対象物像Ｒ１が得られれば、ＲＬ視差Δｄ１とＬＲ視差Δｄ２とはほぼ等しくなるので、正確な視差が得られていることが検証される。そこで、ステップＳ２０では、ＲＬ視差Δｄ１と、ＬＲ視差Δｄ２との偏差の絶対値｜Δｄ１−Δｄ２｜が所定閾値ΔｄＴＨ以下か否かを判別し、｜Δｄ１−Δｄ２｜≦ΔｄＴＨであるときは、ＲＬ視差及びＬＲ視差のいずれか一方の視差または両者の平均値をΔｄとして下記式（２）に適用して、自車両１０と、対象物との距離ｚを算出する（ステップＳ２２）。
【数２】

【００１９】ここで、Ｂは基線長、すなわち図８に示すようにカメラ１Ｒの撮像素子１１Ｒの中心位置と、カメラ１Ｌの撮像素子１１Ｌの中心位置との水平方向の距離（両カメラの光軸の間隔）、Ｆはレンズ１２Ｒ、１２Ｌの焦点距離、ｐは、撮像素子１１Ｒ、１１Ｌ内の画素間隔である。
【００２０】一方ステップＳ２０で｜Δｄ１−Δｄ２｜＞ΔｄＴＨであるときは、視差を算出する際に実行している相関演算（ステップＳ１５，Ｓ１８）の結果から、ＲＬ視差Δｄ１を算出したときの第１の相関特性と、ＬＲ視差Δｄ２を算出したときの第２の相関特性とを比較して、より相関性の高い対象物像から得られた視差を選択可能かどうかを判別し（ステップＳ２１）、選択可能であるときは前記ステップＳ２２に進んで、より相関性の高い対象物像から得られた視差を用いて距離ｚの算出を行う。また、相関特性を比較しても選択できない、すなわち第１及び第２の相関特性がほぼ同一であるとき、または両相関特性とも相関性が低いことを示すものであるときは、距離算出を実行せずに処理を終了する。
【００２１】図９は、上記相関特性を説明するための図あり、２つ対象物像の相関性パラメータである輝度差分総和値Ｃ（ａ，ｂ）を変数ｂを一定として（最小の総和値が得られたときのｂ値に設定して）、変数ａの関数として示したものである。この図でラインＬ１及びＬ２は、それぞれ第１の相関特性及び第２の相関特性に対応し、この相関特性を代表する相関特性パラメータとしては、例えば総和値Ｃの最小値ＣＭＩＮ１，ＣＭＩＮ２、及び／またはその最小値をとる変数値ａ１，ａ２の近傍におけるラインＬ１，Ｌ２の傾き（例えば平均の傾きを示す直線Ｌ１ａ，Ｌ１ｂ，Ｌ２ａ，Ｌ２ｂの傾き）の絶対値ＤＣを用いる。最小値ＣＭＩＮはその値が小さいほど、相関性が高いことを示し、また傾きの絶対値ＤＣはその値が大きいほど相関性が高いことを示す。図９に示す例では、ラインＬ２で示される第２の相関特性がＮＧ（相関性が低い）ので、ＬＲ視差Δｄ２の信頼性が低いと判定して、ＲＬ視差Δｄ１を用いて距離ｚの算出を行う。相関特性は、例えば最小値ＣＭＩＮが所定閾値ＣＭＩＮＴＨより小さくかつ傾きの絶対値ＣＤが所定傾き値ＣＤＴＨより大きいとき、ＯＫと判定し、それ以外のときＮＧと判定する。第１及び第２の相関特性がともにＯＫであるときは、最小値ＣＭＩＮのより小さい方を採用する。ただし、その差ΔＣＭＩＮが小さいとき（所定値ΔＣＭＩＮＴＨ以下であるとき）は、後述するように距離の算出は行わないようにする。
【００２２】図１０は、ＲＬ視差Δｄ１と、ＬＲ視差Δｄ２と偏差が大きくなる場合を説明するための図であり、２人の人に対応する対象物像Ｒ１１，Ｒ１２が右画像中に存在するが、２人の人と自車両１０との間に破線ＯＢＪＸで示す他の車両が存在するため、左画像中では右対象物像Ｒ１２に対応する左対象物像が存在しない（他の車両の陰に隠れている）ような場合を示している。なおこの図はグレースケール画像であるが、分かり易くするために対象物像と関連する像のみ示し、また相関演算を行う範囲を示す外接四角形は図示を省略している。また同図に示す対象物像Ｒ１３，Ｒ１４は、他の車両のテールランプが高輝度領域として撮像されたものである。
【００２３】この図に示す場合には、ステップＳ１４〜Ｓ１６で右画像から右対象物像Ｒ１１を抽出して左画像から対応する左対象物像Ｒ２１を抽出し、ステップＳ１７〜Ｓ１９で左対象物像Ｒ２１に対応する右対象物像として誤ってＲ１２を抽出した場合には、ＬＲ視差Δｄ２がＲＬ視差Δｄ１より大きくなるため、ステップＳ２０の答が否定（ＮＯ）となり、ステップＳ２１に進んで相関特性の比較を行う。この例では、ＲＬ視差Δｄ１を算出したときの第１の相関特性の方が、ＬＲ視差Δｄ２を算出したときの第２の相関特性より相関性が高いので、ＲＬ視差Δｄ１を正しい視差として選択して、ステップＳ２２に進む。
【００２４】またステップＳ１４〜Ｓ１６で右画像から右対象物Ｒ１２を抽出したときは、左画像から似通ったものである左対象物像Ｒ２１が抽出されるが、ステップＳ１７〜Ｓ１９で左対象物像Ｒ２１に対応する右対象物像としてＲ１１が抽出されるので、ステップＳ２０の答が否定（ＮＯ）となり、ステップＳ２１に進む。ステップＳ２１で相関特性を比較すると今度は、ＬＲ視差Δｄ２を算出したときの第２の相関特性の方が、ＲＬ視差Δｄ１を算出したときの第１の相関特性より相関性が高いことを示すので、ＬＲ視差Δｄ２を正しい視差として、ステップＳ２２に進む。
【００２５】また右対象物像Ｒ１１とＲ１２とが非常に似通っているときは、いずれか一方の視差を選択できないので、ステップＳ２１の答が否定（ＮＯ）となって、距離ｚを算出することなく処理を終了する。以上のように本実施形態では、右画像を基準とするＲＬ視差Δｄ１と、左画像を基準とするＬＲ視差Δｄ２とを算出し、両者がほぼ一致したときに正しい視差が得られたと判定し、そのようにして得られた視差に基づいて距離ｚを算出するようにしたので、左右の画像中の対象物像の対応関係を誤って把握して視差が不正確なものとなることを防止し、対象物までの距離をより正確に検出することができる。
【００２６】またＲＬ視差Δｄ１とＬＲ視差Δｄ２との偏差が大きいときは、両者を算出したときの第１の相関特性と第２の相関特性とを比較して、相関性が高い方の視差を選択するようにしたので、例えば図９に示すような場合であっても誤りなく、距離を算出することができる。また、相関特性の比較を行っても選択できないときは、そのデータによる距離の算出を行わないようにしたので、誤ったデータの取得を防止することができる。
【００２７】画像処理ユニット２は、図３の処理により算出された対象物までの距離と、対象物の他の位置情報（自車両１０の進行方向に対して垂直な水平方向及び高さ方向の座標）とに基づいて、その対象物と自車両１０との衝突の可能性を判定し、衝突の可能性が高いときは、スピーカ３及びＨＵＤ４を介して運転者への警報を発する。
【００２８】本実施形態では、赤外線カメラ１Ｒ、１Ｌが、第１及び第２の撮像手段に相当し、画像処理ユニット２が距離検出装置を構成する。具体的には、図３のステップＳ１４〜Ｓ１６が第１の視差算出手段に相当し、同図のステップＳ１７〜Ｓ１９が第２の視差算出手段に相当し、同図のステップＳ２０，Ｓ２１が距離算出手段に相当する。そして、右対象物像及び左対象物像がそれぞれ第１対象物像及び第２対象物像に相当し、ＲＬ視差及びＬＲ視差が、第１及び第２の視差に相当する。
【００２９】なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、上述した実施形態では、ＲＬ視差Δｄ１とＬＲ視差Δｄ２との同一性は、両者の偏差の絶対値に基づいて判定したが、両者の比Δｄ１／Δｄ２が１±ＲＴＨの範囲内にあるか否かにより判定してもよい。ＲＴＨは、視差の算出誤差程度の違いは同一性の範囲内と判定するための閾値である。また撮像手段として赤外線カメラを用いたが、通常の可視光線のみ検出可能なテレビカメラなどを使用してもよい。また、２つの撮像手段は、離間して配置されていればよく、図２に示した配置に限定されるものではない。
【００３０】
【発明の効果】以上詳述したように本発明によれば、第１の撮像手段により得られる画像に含まれる第１対象物像を基準として、第２の撮像手段により得られる画像に含まれる、前記第１対象物像に対応する第２対象物像を探索することにより第１の視差が求られ、第２の撮像手段により得られる画像に含まれる前記第２対象物像を基準として、第１の撮像手段により得られる画像に含まれる、前記第２対象物像に対応する第１対象物像を探索することにより第２の視差が求められ、第１及び第２の視差がほぼ同一であるとき、第１及び第２の視差の少なくとも一方を用いて前記対象物までの距離が算出されるので、第１及び第２の撮像手段により得られる２つ画像に含まれる対象物像の対応関係を正しく把握して正確な視差を得ることができ、対象物までの距離をより正確に検出すること可能となる。
【出願人】 【識別番号】０００００５３２６
【氏名又は名称】本田技研工業株式会社
【出願日】 平成１１年６月３０日（１９９９．６．３０）
【代理人】 【識別番号】１００１０５１１９
【弁理士】
【氏名又は名称】新井 孝治
【公開番号】 特開２００１−１２９４５（Ｐ２００１−１２９４５Ａ）
【公開日】 平成１３年１月１９日（２００１．１．１９）
【出願番号】 特願平１１−１８５７１８