Warning: copy(htaccessbak): failed to open stream: No such file or directory in /home/jtokkyo/public_html/header.php on line 10
距離測定システム及び距離測定方法 - 特開2008−8687 | j-tokkyo
トップ :: G 物理学 :: G01 測定;試験

【発明の名称】 距離測定システム及び距離測定方法
【発明者】 【氏名】山田 整

【氏名】新谷 和宏

【氏名】マイケル ウェイザート

【氏名】落合 一拓

【要約】 【課題】

【構成】
【特許請求の範囲】
【請求項1】
取得した視差画像に基づいて距離画像を生成する第1の測距手段と、
入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成する第2の測距手段とを備えた距離測定システムであって、
前記第1の測距手段は、前記第2の測距手段によって取得された距離情報を初期値として距離画像を算出する距離測定システム。
【請求項2】
前記第2の測距手段は、前記第1の測距手段により算出された距離画像に応じて、複数の候補となる距離情報より任意の距離情報を選択することを特徴とする請求項1記載の距離測定システム。
【請求項3】
出射した測定光線と対象物の反射光線の位相差に基づいて距離画像を生成する第3の測距手段をさらに備え、
当該第3の測距手段は、前記第2の測距手段により選択された距離情報に基づいて走査範囲を限定して、限定された走査範囲を走査して距離画像を生成することを特徴とする請求項2記載の距離測定システム。
【請求項4】
取得した視差画像に基づいて距離画像を生成する第1の測距手段と、
出射した測定光線と対象物の反射光線の位相差に基づいて距離画像を生成する第3の測距手段とを備えた距離測定システムであって、
当該第3の測距手段は、前記第1の測距手段により生成された距離画像に基づいて走査範囲を限定して、限定された走査範囲を走査して距離画像を生成する距離測定システム。
【請求項5】
入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成する第2の測距手段と、
出射した測定光線と対象物の反射光線の位相差に基づいて距離画像を生成する第3の測距手段を備えた距離測定システムであって、
当該第3の測距手段は、前記第2の測距手段により選択された距離情報に基づいて走査範囲を限定して、限定された走査範囲を走査して距離画像を生成する距離測定システム。
【請求項6】
入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成する第2の測距手段と、
出射した測定光線と対象物の反射光線の位相差に基づいて距離画像を生成する第3の測距手段を備えた距離測定システムであって、
前記第2の測距手段は、前記第3の測距手段により算出された距離画像に応じて、複数の候補となる距離情報より任意の距離情報を選択することを特徴とする請求項1記載の距離測定システム。
【請求項7】
取得した視差画像に基づいて距離画像を生成する第1の測距手段と、
入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成する第2の測距手段とを備えた距離測定システムであって、
前記第2の測距手段は、前記第1の測距手段により算出された距離画像に応じて、複数の候補となる距離情報より任意の距離情報を選択する距離測定システム。
【請求項8】
前記第1の測距手段により生成された距離画像と、前記第2の測距手段により生成された距離情報を合成することによって、統合距離画像を生成する手段をさらに備えたことを特徴とする請求項1、2又は7記載の距離測定システム。
【請求項9】
前記第1の測距手段により生成された距離画像と、前記第2の測距手段により生成された距離情報と、前記第3の測距手段により生成された距離画像のいずれか2以上を合成することによって、統合距離画像を生成する手段をさらに備えたことを特徴とする請求項3〜6いずれかに記載の距離測定システム。
【請求項10】
入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成するステップと、
生成された距離情報を初期値として、視差画像に基づき距離画像を生成するステップを備えた距離測定方法。
【請求項11】
前記距離情報に基づいて走査範囲を限定するステップと、
出射した測定光線と対象物の反射光線の位相差に基づいて限定された走査範囲における距離画像を生成するステップをさらに備えたことを特徴とする請求項10記載の距離測定方法。
【請求項12】
取得した視差画像に基づいて距離画像を生成するステップと、
生成された距離画像に基づいて走査範囲を限定するステップと、
出射した測定光線と対象物の反射光線の位相差に基づいて限定された走査範囲における距離画像を生成するステップとを備えた距離測定方法。
【請求項13】
入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成するステップと、
生成された距離情報に基づいて走査範囲を限定するステップと、
出射した測定光線と対象物の反射光線の位相差に基づいて、前記限定された走査範囲における距離画像を生成するステップとを備えた距離測定方法。
【請求項14】
出射した測定光線と対象物の反射光線の位相差に基づいて距離画像を生成するステップと、
入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて複数の距離情報を生成するステップと、
前記距離画像に基づいて複数の距離情報より任意の距離情報を選択するステップとを備えた距離測定方法。
【請求項15】
取得した視差画像に基づいて距離画像を生成するステップと、
入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて複数の距離情報を生成するステップと、
前記視差画像を取得することにより生成された距離画像に基づいて、複数の距離情報より任意の距離情報を選択するステップとを備えた距離測定方法。
【請求項16】
得られた距離画像及び又は距離情報を合成することによって、統合距離画像を生成するステップをさらに備えたことを特徴とする請求項10〜15いずれかに記載の距離測定方法。
【発明の詳細な説明】【技術分野】
【0001】
本発明は、距離測定システム及び距離測定方法に関し、特に複数種類の距離測定技術を用いた距離測定システム及び距離測定方法に関する。
【背景技術】
【0002】
対象物までの距離を測定する距離測定システムについては、様々な方式が提案されている。例えば、代表的な方式としては、視差測定方式、位相TOF(Time Of Flight)方式やパルスTOF方式がある。
【0003】
このうち視差測定方式は、例えば、特許文献1に開示されている。視差測定方式は、2以上の異なる視点に配置した複数のカメラによって撮影した視差画像に基づいて、立体画像を合成する。また、この視差測定方式は、特許文献2においても受動的方法として説明されている。
【0004】
位相TOF方式は、例えば、特許文献3に開示されている。位相TOF方式では、強度変調された測定光線を測定対象に照射して、対象物からの反射光を検出して、光電子変換を行い、変換された光電子を複数の蓄積手段のいずれかに時間的にずらして蓄積するようにしている。この方式によれば、測定対象が遠くにあればあるほど、複数の蓄積手段のうち時間的に後のタイミングで蓄積するようにした蓄積手段に、より多くの光電子が蓄積されることになる。つまり、測定対象までの距離に応じて、複数の蓄積手段のそれぞれに蓄積される光電子数の相対的な比率や差分が決定される。この比率や差分を求めることによって測定対象までの距離を求めることができる。
【0005】
パルスTOF方式は、例えば、能動的方法として特許文献2に開示されている。パルスTOF方式は、パルス状の測定光線を測定対象物に照射して、測定対象物からの反射光と測定光線との位相差から距離を求める方式であって、測定光線を2次元的に走査し、各点で距離を測定して三次元の形状を測定するものである。
【特許文献1】特開2001−256482号公報
【特許文献2】特開平9−5050号公報
【特許文献3】特開2003−51988号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
視差測定方式は、距離情報を得るために二以上の画像同士の特徴点を照合する必要がある。一般的に特徴点の照合は画像全体に亘って実行しなければならないため、計算量が膨大となり、計算時間も長時間化するという問題があった。従って、視差測定方式では、リアルタイムに計算することが困難であり、例えば、ロボットや車両等の移動体に搭載することは困難であった。
【0007】
位相TOF方式は、光の強度を一定の周期で変調させて照射するものであるが、対象物までの距離がこの波長以上の場合には、原理的に距離算出結果は一意に決まらない。また、イメージセンサ内に光の位相を算出する機構を持つ場合には、イメージセンサの構造が複雑になり解像度を十分に高めることは困難であった。
【0008】
パルスTOF方式は、測定光線を2次元で走査して距離画像を得るためには、測定光線を発するレーザ等を揺動ミラーやポリゴンミラーを用いて上下左右に物理的に走査する必要があるため、距離画像の取得時間が長くなるという問題があった。
【0009】
本発明は、かかる課題を解決するためになされたものであり、短時間で信頼性の高い距離画像を生成することができる距離測定システム及び距離測定方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明にかかる距離測定システムは、取得した視差画像に基づいて距離画像を生成する第1の測距手段と、入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成する第2の測距手段とを備えた距離測定システムであって、前記第1の測距手段は、前記第2の測距手段によって取得された距離情報を初期値として距離画像を算出するものである。このような構成により、短い時間で信頼性の高い距離画像を算出できる。
【0011】
ここで、前記第2の測距手段は、前記第1の測距手段により算出された距離画像に応じて、複数の候補となる距離情報より任意の距離情報を選択することが好ましい。第2の測距手段において測定距離を限定する必要性がなくなるので、測定距離を長くすることができる。
【0012】
また、出射した測定光線と対象物の反射光線の位相差に基づいて距離画像を生成する第3の測距手段をさらに備え、当該第3の測距手段は、前記第2の測距手段により選択された距離情報に基づいて走査範囲を限定して、限定された走査範囲を走査して距離画像を生成することが好ましい。このような構成により、短い時間で信頼性の高い距離画像を算出できる。
【0013】
本発明にかかる他の観点による距離測定システムは、取得した視差画像に基づいて距離画像を生成する第1の測距手段と、出射した測定光線と対象物の反射光線の位相差に基づいて距離画像を生成する第3の測距手段とを備えた距離測定システムであって、当該第3の測距手段は、前記第1の測距手段により生成された距離画像に基づいて走査範囲を限定して、限定された走査範囲を走査して距離画像を生成するものである。このような構成により、短い時間で信頼性の高い距離画像を算出できる。
【0014】
本発明にかかる他の観点による距離測定システムは、入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成する第2の測距手段と、出射した測定光線と対象物の反射光線の位相差に基づいて距離画像を生成する第3の測距手段を備えた距離測定システムであって、当該第3の測距手段は、前記第2の測距手段により選択された距離情報に基づいて走査範囲を限定して、限定された走査範囲を走査して距離画像を生成するものである。このような構成により、短い時間で信頼性の高い距離画像を算出できる。
【0015】
本発明にかかる他の観点による距離測定システムは、入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成する第2の測距手段と、出射した測定光線と対象物の反射光線の位相差に基づいて距離画像を生成する第3の測距手段を備えた距離測定システムであって、前記第2の測距手段は、前記第3の測距手段により算出された距離画像に応じて、複数の候補となる距離情報より任意の距離情報を選択するものである。第2の測距手段において測定距離を限定する必要性がなくなるので、測定距離を長くすることができる。
【0016】
本発明にかかる他の観点による距離測定システムは、取得した視差画像に基づいて距離画像を生成する第1の測距手段と、入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成する第2の測距手段とを備えた距離測定システムであって、前記第2の測距手段は、前記第1の測距手段により算出された距離画像に応じて、複数の候補となる距離情報より任意の距離情報を選択するものである。第2の測距手段において測定距離を限定する必要性がなくなるので、測定距離を長くすることができる。
【0017】
さらに、前記第1の測距手段により生成された距離画像と、前記第2の測距手段により生成された距離情報を合成することによって、統合距離画像を生成する手段を備えることが望ましい。
【0018】
また、前記第1の測距手段により生成された距離画像と、前記第2の測距手段により生成された距離情報と、前記第3の測距手段により生成された距離画像のいずれか2以上を合成することによって、統合距離画像を生成する手段をさらに備えるとよい。
【0019】
本発明にかかる距離測定方法は、入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成するステップと、生成された距離情報を初期値として、視差画像に基づき距離画像を生成するステップを備えたものである。このような方法により、短い時間で信頼性の高い距離画像を算出できる。
【0020】
本発明にかかる他の観点による距離測定方法は、前記距離情報に基づいて走査範囲を限定するステップと、出射した測定光線と対象物の反射光線の位相差に基づいて限定された走査範囲における距離画像を生成するステップをさらに備える。このような方法により、短い時間で信頼性の高い距離画像を算出できる。
【0021】
本発明にかかる他の観点による距離測定方法は、取得した視差画像に基づいて距離画像を生成するステップと、生成された距離画像に基づいて走査範囲を限定するステップと、出射した測定光線と対象物の反射光線の位相差に基づいて限定された走査範囲における距離画像を生成するステップとを備える。このような方法により、短い時間で信頼性の高い距離画像を算出できる。
【0022】
本発明にかかる他の観点による距離測定方法は、入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成するステップと、生成された距離情報に基づいて走査範囲を限定するステップと、出射した測定光線と対象物の反射光線の位相差に基づいて、前記限定された走査範囲における距離画像を生成するステップとを備える。このような方法により、短い時間で信頼性の高い距離画像を算出できる。
【0023】
本発明にかかる他の観点による距離測定方法は、出射した測定光線と対象物の反射光線の位相差に基づいて距離画像を生成するステップと、入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて複数の距離情報を生成するステップと、前記距離画像に基づいて複数の距離情報より任意の距離情報を選択するステップとを備える。このような方法により、測定距離を限定する必要性がなくなるので、測定距離を長くすることができる。
【0024】
本発明にかかる他の観点による距離測定方法は、取得した視差画像に基づいて距離画像を生成するステップと、入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて複数の距離情報を生成するステップと、前記視差画像を取得することにより生成された距離画像に基づいて、複数の距離情報より任意の距離情報を選択するステップとを備える。このような方法により、測定距離を限定する必要性がなくなるので、測定距離を長くすることができる。
【0025】
さらに、得られた距離画像及び又は距離情報を合成することによって、統合距離画像を生成するステップを備えることが好ましい。
【発明の効果】
【0026】
本発明によれば、短時間で信頼性の高い距離画像を生成することができる距離測定システム及び距離測定方法を提供することができる。
【発明を実施するための最良の形態】
【0027】
本実施の形態にかかる距離測定システムの構成について、図1に示すブロック図を用いて説明する。当該距離測定システムは、視差測定方式、位相TOF方式及びパルスTOF方式を組み合わせて構成したものである。図1に示す例では、それぞれの方式を実現するための撮像装置11,21,31と、データ処理装置4を基本的な構成としているが、それぞれの方式を実現する視差測定型測距装置と、位相TOF型測距装置と、パルスTOF型測距装置をデータやり取り可能な状態で別体に構成してもよい。なお、出力装置5は任意である。この距離測定システムは、様々な用途に適用可能であるが、例えば、ロボットや車両等の移動体に搭載され、周辺にある物体までの距離の測定に用いられる。
【0028】
図1に示されるように、撮像装置として、視差測定型撮像装置11R、11Lと、位相TOF型撮像装置21及びパルスTOF型撮像装置31を備えている。データ処理部4は、視差測定型処理部41、位相TOF型処理部42、パルスTOF型処理部43及び合成画像生成部44を備えている。出力装置5は、例えば、ディスプレイである。
【0029】
図2は、視差測定型測距装置1を示すブロック図である。図2に示されるように、当該視差測定型測距装置1は、視差測定型撮像装置11R,11Lと視差測定型処理部41を備えている。視差測定型撮像装置11R,11Lは、それぞれ、CCD画像センサ(CCDカメラ)、カメラインターフェイス回路、画像メモリ、演算処理回路によって構成される。CCD画像センサの代わりにCMOS画像センサを用いることも可能である。視差測定型撮像装置11R,11Lは、同一の対象物を異なる視点から撮影し、撮影画像情報を視差測定型処理部41に出力する。視差測定型処理部41は、撮影画像情報を入力し、後に詳述するデータ処理を実行する。
【0030】
図3は、位相TOF型測距装置2を示すブロック図である。位相TOF型測距装置2は、画素単位で対象物までの距離を求めることができ、その距離測定精度は、±10%程度である。位相TOF型測距装置2では、強度変調光の周期に応じて、同じ結果がでるため、原理的に複数の距離候補が生成され、候補から選択することは困難である。例えば、20MHzの強度変調光を用いた場合には、7.5mの周期で同じ結果が得られるため、例えば、0.5mと8mのいずれかを判別することができない。このため、本発明では、複数の候補から任意の候補を選択するために、他の視差測定型測距装置1やパルスTOF型測距装置2の測定結果を用いることにした。
【0031】
図3に示されるように、当該位相TOF型測距装置2は、変調波光源211と固体撮像素子212を基本的に備えている。変調波光源211は、強度が一定の周期で変調された光を出射する光源であり、例えば、レーザや発光ダイオードを用いたAM(Amplitude Modulation:振幅変調)変調光源である。変調光は、例えば、20MHzの正弦波である。固体撮像素子212は、対象物からの反射光を検出して、光電子変換を行い、変換された光電子を複数の蓄積手段のいずれかに時間的にずらして蓄積し、蓄積された光電子数に応じて距離情報を生成する機能を有する。
【0032】
図4(a)に、固体撮像素子212の基本構成を示す。図4(b)は、図4(a)におけるA矢視図の一部を省略して示した説明図である。図に示されるように、固体撮像素子212は、本体部214の上面214aにフォトダイオード215が埋め込まれている。フォトダイオード215の両側には、2つの蓄積部216a,216bが形成されている。さらに、蓄積部216a,216b上に電極217a,217bが形成されている。蓄積部216a,216bは、図示しない読み出し回路と接続されている。さらに、固体撮像素子212は、蓄積部216a,216bのいずれに光電子を移動させるかを切り換える処理を行う光電子蓄積制御手段としてのスイッチング回路213とを有する。
なお、図4は、フォトダイオード215と2つの蓄積部216a,216bとスイッチング回路213とからなる1画素分を示すが、固体撮像素子212には、多数個の画素が2次元配列されている。
フォトダイオード215は、固体撮像素子212に入射する光を受光する受光部として機能する。フォトダイオード215は、強度変調光が入射し、入射した強度変調光の光量子を光電子変換して光電子を生成する。
【0033】
蓄積部216a,216bのそれぞれは、フォトダイオード215において生成された光電子を蓄積する。
【0034】
蓄積部216aとフォトダイオード215との間と蓄積部216bとフォトダイオード215との間には、フォトダイオード215への逆流を防止するために、不純物ドープのポテンシャルバリア218a,218bが設けられている。
【0035】
電極217a,217bは、ポテンシャル操作用の電極であり、電極217aに印加される電圧と電極217bに印加される電圧とは逆相である。
【0036】
読み出し回路は、蓄積部216a,216bに蓄積された電荷信号を転送する回路であり、例えば、CMOSやCCDによって構成できる。
スイッチング回路213は、フォトダイオード215に入射する強度変調光の周期信号に同期した信号、即ち、強度変調光の変調周期に同期した検波信号に応じて光電子が蓄積される蓄積部216a,216bのいずれかの切り換えを制御する。
【0037】
次に、当該固体撮像素子の動作について、図5を用いて説明する。図5(a)は、電極217bが正電位印加状態の場合の固体撮像素子212の画素周辺のポテンシャルを示し、図5(b)は、電極217aが正電位印加状態の場合の固体撮像素子212の画素周辺のポテンシャルを示す。
【0038】
対象物を反射した強度変調光が固体撮像素子212に入射される。フォトダイオード215は、入射した強度変調光を光電子変換し、光電子を生成する。フォトダイオード215によって生成された光電子は、検波信号に応じたスイッチング回路213の制御によって、蓄積部216aまたは蓄積部216bのいずれかに移動される。
【0039】
電極217aが正電位印加状態になると、図5(b)に示すように、フォトダイオード215によって生成された光電子は、蓄積部216aに移動して蓄積される。電極217bが正電位印加状態になると、図5(a)に示すように、フォトダイオード215によって生成された光電子は、蓄積部216bに移動して蓄積される。変調波光源211から対象物を経て固体撮像素子212までの距離に応じて蓄積部216aに蓄積される光電子数と蓄積部216bに蓄積される光電子数との比率が決まる。例えば、対象物までの距離が比較的短い場合には、蓄積部216aに蓄積された光電子数は蓄積部216bに蓄積された光電子数に比べて多くなる。逆に、対象物までの距離が比較的長い場合には、蓄積部216aに蓄積される光電子数が減少し、蓄積部216bに蓄積される光電子数が増加する。即ち、蓄積部216aに蓄積された光電子数と蓄積部216bに蓄積された光電子数との差や比率に基づいて対象物までの距離を求めることができる。
図6は、パルスTOF型測距装置3を示すブロック図である。一般的に、パルスTOF型測距装置3の距離測定精度は、±1%程度であり、位相TOF型測距装置2よりも高い。図6に示されるように、当該パルスTOF型測距装置3は、パルスTOF型撮像装置31とパルスTOF型処理部43を備えている。パルスTOF型撮像装置31は、パルス光源311、走査手段312及び撮像素子313を備えている。パルス光源311は、所定の制御によってパルス状のレーザを出射するレーザ光源である。走査手段312は、パルス光源311との間に設けられ、当該パルス光源より出射したレーザを対象物を含む所定範囲を上下左右に2次元走査する手段であって、例えば、揺動ミラーやポリゴンミラー、及びそれらを駆動する手段によって実現される。撮像素子313は、CCD画像センサやCMOS画像センサによって構成される。パルスTOF型処理部43は、撮影画像情報を入力し、後に詳述するデータ処理を実行する。
【0040】
パルス光源311から出射されたパルス状の測定光線は、対象物により反射され、撮像素子313に入射する。撮像素子313は、画素単位でその光量に応じた電気信号に変換し、出力する。パルスTOF型処理部43は、パルス光源311から出射されたパルス状の測定光線の位相と、撮像素子313に入射された反射光線の位相より位相差を算出し、位相差より距離情報に変換する。このような処理を走査手段312によって測定光線を走査し、全ての画素に関して実行することによって距離画像を得る。
【0041】
図7は、本発明にかかる距離測定システムにおける処理の流れを示すフローチャートである。図に示されるように、視差測定型測距装置1において視差画像を取得する(S101)。取得した視差画像情報を図示しない画像メモリに格納される。
【0042】
位相TOF型測距装置2においても距離画像を取得する(S201)。取得した距離画像情報は、図示しない画像メモリに格納される。次に位相TOF型測距装置2は、折り返し距離画像を付加する(S202)。ここで、折り返し距離画像とは、最も位相TOF方式により距離を算出した場合に発生する、複数の候補となる距離画像をいう。このようにして、複数の距離候補である距離情報B−1と距離情報B−2が求まる(S203,S204)。位相TOF型測距装置2は、これらの距離情報B−1と距離情報B−2のうち、短い方の距離情報B−1を初期値として視差測定型測距装置1に入力する。
【0043】
視差測定型測距装置1は、当該距離情報B−1を入力し、初期値として設定する(S102)。対象物までの距離の程度が分かれば、ある程度、視差の範囲を限定することができるので計算量を減少させることができる。視差測定型測距装置1は、設定された初期値に基づいて特徴点の照合処理(対応点の検索処理)を実行する(S103)。具体的には、異なる視点から撮影された画像において、対象物の同一位置を示す特徴点を抽出し、抽出された特徴点同士の相対的な位置ずれを検出する。そして、視差測定型測距装置1は、特徴点の照合処理の結果に基づいて、距離画像を算出する(S104)。視差測定型測距装置1は、算出した距離画像情報を位相TOF型測距装置2に出力する。
【0044】
位相TOF型測距装置2は、視差測定型測距装置1から距離画像情報を取得し、距離情報B−1か距離情報B−2のいずれかを選択する(S205)。位相TOF型測距装置2は、選択した距離情報をパルスTOF型測距装置3に対して出力する。
【0045】
パルスTOF型測距装置3は、位相TOF型測距装置2から距離情報を入力し、走査範囲を設定する(S301)。具体的には、走査範囲は、全画面ではなく、特徴点が含まれる一部に限定される。パルスTOF型測距装置3は、設定された走査範囲をパルス状のレーザを走査する(S302)。そして、パルスTOF型測距装置3は、走査されたレーザの反射光を検出して、距離画像を取得する(S303)。
【0046】
視差測定型測距装置1は、ステップS104において算出した距離画像に対して画素毎に画像信頼度の付加処理を実行し(S105)、その処理後の距離画像情報を合成画像生成部44に出力する。
【0047】
位相TOF型測距装置2は、ステップS205において選択した距離情報に対して画素毎に画像信頼度の付加処理を実行し(S206)、その処理後の距離情報を合成画像生成部44に出力する。
【0048】
パルスTOF型測距装置3は、ステップS303において取得した距離画像情報に対して画素毎に画像信頼度の付加処理を実行し(S304)、その処理後の距離画像情報を合成画像生成部44に出力する。
【0049】
合成画像生成部44は、視差測定型測距装置1より入力した距離画像情報と、位相TOF型測距装置2より入力した距離情報と、パルスTOF型測距装置3より入力した距離画像情報に基づいて、統合距離画像の合成処理を実行する(S401)。このとき、画素毎に付加した信頼度に基づいて合成処理を行う。
【0050】
以上説明したように、本発明にかかる距離測定システムでは、位相TOF型測距装置2において求められた距離情報を、視差測定型測距装置1において初期値として用いることとしたため、局所解を短い時間で求めることが可能となる。ここで、位相TOF型測距装置2は、視差測定型測距装置1と比べて距離測定精度は劣るが、視差測定型測距装置1の初期値として使用するには十分な程度の距離測定精度を有している。
【0051】
視差測定型測距装置1では、輝度差が少ない画像では特徴点を抽出することが困難であるため、複数の画像間の視差情報を得ることが困難である。位相TOF型測距装置2やパルスTOF型測距装置3では、輝度差は問題とならないため、輝度差が少ない画像において距離を算出する場合には、まず、位相TOF型測距装置2やパルスTOF型測距装置3により対象物までの距離を求め、その結果に基づいて初期値を設定するようにしてもよい。
【0052】
なお、パルスTOF型測距装置3は、視差測定型測距装置1により生成された距離画像に基づいて走査範囲を限定して、限定された走査範囲を走査して距離画像を生成するようにしてもよい。
【0053】
また、位相TOF型測距装置2は、パルスTOF型測距装置3により算出された距離画像に応じて、複数の候補となる距離情報より任意の距離情報を選択するようにしてもよい。
【図面の簡単な説明】
【0054】
【図1】本発明にかかる距離測定システムの全体を示すブロック図である。
【図2】本発明にかかる距離測定システムにおける視差測定型測距装置の構成を示すブロック図である。
【図3】本発明にかかる距離測定システムにおける位相TOF型測距装置の構成を示すブロック図である。
【図4】本発明にかかる距離測定システムにおける位相TOF型測距装置の一部構成を示す説明図である。
【図5】本発明にかかる距離測定システムにおける位相TOF型測距装置の固体撮像素子の画素周辺のポテンシャルを示す説明図である。
【図6】本発明にかかる距離測定システムにおけるパルスTOF型測距装置の構成を示すブロック図である。
【図7】本発明にかかる距離測定システムにおける処理の流れを示すフローチャートである。
【符号の説明】
【0055】
1 視差測定型測距装置
2 位相TOF型測距装置
3 パルスTOF型測距装置
4 データ処理装置
5 出力装置
11 視差測定型撮像装置
21 位相TOF型撮像装置
31 パルスTOF型撮像装置
41 視差測定型処理部
42 位相TOF型処理部
43 パルスTOF型処理部
44 合成画像生成部
【出願人】 【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
【出願日】 平成18年6月27日(2006.6.27)
【代理人】 【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健


【公開番号】 特開2008−8687(P2008−8687A)
【公開日】 平成20年1月17日(2008.1.17)
【出願番号】 特願2006−177340(P2006−177340)