トップ :: G 物理学 :: G01 測定;試験

【発明の名称】 改善された光学測距カメラ
【発明者】 【氏名】ジオラ・ヤハブ

【氏名】ガブリエル・アイ・イダーン

【要約】 【課題】一つの情景中の全ての画素から実質的に同時に深度情報を得る、改善された測距カメラを提供する。

【構成】情景中の被写体までの距離を示す画像を生成するための装置であって、第1変調関数を有し、情景に向かって放射波を向きづける変調された放射波源と、上記情景から反射され、第2変調関数により変調された放射波を検知し、上記検知され変調された放射波に応じて、上記情景の領域までの距離に対応する信号を発生する第1検知器と、上記情景から反射され、上記第2変調関数により変調されない放射波を検知するとともに、上記検知された放射波に応じて上記情景の領域から反射された光の強度に応じた信号を発生する、上記第1検知器とボアサイトされた第2検知器と、上記第1および第2検知器から信号を受信するとともに、上記装置からの被写体の距離を示す強度分布を有する、上記信号に基づいて画像を形成するプロセッサと、を含む。
【特許請求の範囲】
【請求項1】
情景中の被写体までの距離を示す画像を生成するための装置であって、
第1変調関数を有し、情景に向かって放射波を向きづける変調された放射波源と、
上記情景から反射され、第2変調関数により変調された放射波を検知し、上記検知され変調された放射波に応じて、上記情景の領域までの距離に対応する信号を発生する第1検知器と、
上記情景から反射され、上記第2変調関数により変調されない放射波を検知するとともに、上記検知された放射波に応じて上記情景の領域から反射された光の強度に応じた信号を発生する、上記第1検知器とボアサイトされた第2検知器と、
上記第1および第2検知器から信号を受信するとともに、上記装置からの被写体の距離を示す強度分布を有する、上記信号に基づいて画像を形成するプロセッサと、
を含む装置。
【請求項2】
請求の範囲第1項に記載の装置であって、上記放射波源が上記第1および第2検知器とボアサイトされている装置。
【請求項3】
請求の範囲第1項又は第2項に記載の装置であって、上記第2検知器からの信号を用いて上記第1検知器からの信号を正規化する装置。
【請求項4】
ロボットの案内のためのシステムであって、請求の範囲第1項から第3項のいずれか一項に記載の、情景中の被写体までの距離を示す画像を生成するための装置と、
案内装置により示された物体までの距離を使用して、情景中の物体に作用するロボットと、
を含むシステム。
【請求項5】
物体の大きさを決定するためのシステムであって、
請求の範囲第1項から第3項のいずれか一項に記載の、物体の領域までの距離を示す、物体の画像を生成するための装置と、
上記画像および表示された距離を使用し、上記物体の大きさを決定するコンピュータと、
を含むシステム。
【請求項6】
請求の範囲第5項に記載のシステムにおいて、上記コンピュータが上記大きさを標準のものと比較するシステム。
【請求項7】
請求の範囲第5項に記載のシステムにおいて、上記コンピュータが決定された寸法を使用して、上記物体の体積を決定するシステム。
【請求項8】
物体の三次元モデルを生成するためのシステムであって、
請求の範囲第5項に記載の物体の寸法を決定するためのシステムと、
寸法を決定するためのシステムにより決定された寸法を受けて、該寸法により三次元モデルを生成する迅速試作用装置と、
を含むシステム。
【請求項9】
請求の範囲第8項に記載のシステムにおいて、上記迅速試作用装置が上記物体の画像を生成するための装置からの画像情報を受け、該画像情報を三次元モデルの表面に適用するシステム。
【請求項10】
請求の範囲第9項に記載のシステムにおいて、上記画像情報がカラー情報を含むシステム。
【請求項11】
車両案内システムであって、
請求の範囲第1項から第3項のいずれか一項に記載の、その運動の方向で車両の前方の情景中の物体までの距離を示す画像を生成するための装置と、
上記画像および表示された距離を使用して、上記情景中の障碍物を識別するプロセッサと、
を含むシステム。
【請求項12】
内視鏡の画像形成のためのシステムであって、
患者の体内への挿入のための末端部と光学装置をそこに結合するための基部とを有する内視鏡と、
上記内視鏡を通して放射波を体の中に導き、それから反射された放射波を検知するように、上記内視鏡の基部に結合される、請求の範囲第1項から第3項のいずれか一項に記載の画像を生成するための装置と、
を含む、システム。
【発明の詳細な説明】【技術分野】
【0001】
本発明は一般的には三次元画像を発生させるためのシステムに関し、より特別には情景の画像を取り込んで、情景中の被写体および被写体の一部分までの距離を決定するカメラシステムに関する。
【背景技術】
【0002】
情景の三次元画像、即ち深度や距離情報を含む画像を発生させるための種々の技術が周知である。典型的な方法としては、いわゆる時間実測(time−of−flight)法、位相検知法および三角測距法がある。これらの技術では一般に、画像を例えばレーザビームによりスキャンし、一点毎の深度データを得ることが要求される。多くの応用のためにはしかしながら、深度情報もしくは距離情報を画像全体にわたって同時に得ることが望ましい。
【0003】
本発明の参照文献として挙げる米国特許第5,200,793号は、光源とCCDもしくは他の検知素子アレイを含む測距アレイカメラを開示している。光電変調器が光源による目的の情景の照明と、情景から検知素子アレイへ戻る反射光の両方を変調しており、照明光と反射光とは同じ変調パターンを有している。変調周波数が変化するにつれて、カメラから画素により表現された情景の部分までの距離を決定するために、コンピュータが上記アレイの各画素における強度変化を解析する。
【0004】
エス.クリスティら(S.Christie,et al)は、本発明の参照文献として挙げる、「メジャーメント・サイエンス・アンド・テクノロジー(Measurment Science and Technology)の第6号(1995年9月)」の1301ページ〜1308ページにて、二次元測距センサシステムを開示している。該システムは目的の情景を照射するレーザと、情景の画像を得るゲートおよび増強されたCCDカメラを含んでいる。上記レーザは所望の長さの照射パルスを得るために変調され、上記カメラは等しい時間の長さの間に上記情景から光を受けるためにゲートされる。カメラのゲートパルスは、照射パルスと同期しているかまたは、それに対して遅延している。上記ゲートパルスの間にCCDアレイの各画素が受光する光の全体の強度は、上記カメラから画素により画かれる情景の部分までの距離の関数である。コンピュータはこのようにして受けられた光の強度を全ての上記アレイにわたって解析し、それから測距情報を出力する。
【0005】
レンジゲート式のカメラも同様に、従来より知られている。かかるカメラは一般に、情景を照明するパルス光源もしくはストロボ光源と連携して動作するゲート検知アレイを含んでいる。上記アレイは例えば、英国、エセックス州のイムコ・エレクトロ・オプティックス社(Imco Electro−opticsLtd.,)により製造されている、「インテンシィファイド・レンズ・システム(Intensified Lens System)」のような、ゲートインテンシファイヤ(gated intensifier)をそれに結合したり、従来周知の他の手段を結合することにより、ゲートされる。上記検知アレイのゲートタイミングは光源に対して遅延されていて、それによりカメラから所望の距離範囲にある物体のみが捕捉される。上記カメラでは、上記距離範囲内の種々の物体や異なる点までの距離を決定することはできない。
【発明の開示】
【発明が解決しようとする課題】
【0006】
本発明の一つの目的は、一つの情景中の全ての画素から実質的に同時に深度情報を得る、改善された測距カメラを提供することにある。
【0007】
本発明のいくつかの見地によれば、本測距カメラは該情景の強度画像と距離画像の両方を発生し、これらイメージは相互に登録される。
【0008】
本発明の一つの見地によれば、本測距カメラは情景の三次元イメージを発生する。
【0009】
本発明の他の見地によれば、本測距カメラは該カメラからの情景中の一以上の被写体の距離に関する情報を出力する。この距離情報は上記カメラにより得られた画像をフィルタしたり、およびまたはさらに処理するために使用するか、またはカメラ自身へのフィードバックとして使用し、より大きな選択性およびまたは精度に対してその距離検知機能を適合させることができる。
【課題を解決するための手段】
【0010】
本発明の好ましい実施形態では、測距カメラは目的の情景を照射するための放射波源と検知アレイを含んでおり、該検知アレイは好ましくはCCDアレイで、情景中の被写体からの反射光の強度を検知するためのものであり、本願と同じ出願人により同じ日に出願された「オプティカル・レンジング・カメラ(Optical Ranging Camera)」なる名称を有する一番目のPCT特許出願に記載されているようなものであり、該発明は本発明の譲受人に譲渡されており、その開示は本願の参照文献とする。上記放射波源は、例えば機械式シャッタもしくは液晶シャッタにより変調され、該シャッタは予め定められた既知の期間および時間の間、上記放射波源を交互に遮断および開放する。反射波は同様に変調されて、上記検知アレイに到達する反射波は、好ましくは予め定められた既知の期間、遮断および開放され、それは上記放射波源が遮断および開放される期間と同じであるか、またはより好ましくは異なっていてもよい。上記検知アレイに到達する放射波の強度およびそれにより検知される強度は次いで、情景中の被写体のカメラからの距離を決定するために処理される。
【0011】
本発明のいくつかの好ましい実施形態では、放射波源および反射源は上記したように、一つ以上の機械式シャッタもしくは液晶シャッタにより変調される一方、周知の他の形式の放射波変調器を同様に用いることができる。このように、本発明のいくつかの好ましい実施形態では、KDP結晶変調器のような、一以上の光電変調器が放射波源およびまたは検知された放射波を変調する。それに加えてもしくはそれに代えて、本発明のいくつかの観点では、放射波源は適切な波形を放射波源を駆動している回路に印加することにより、電気的に変調することができる。さらにそれに加えてもしくはそれに代えて、反射波は従来周知のリセット/リードアウト技術により変調することができ、該技術では上記検知アレイはファーストリセットされる、すなわちアレイのエレメントは実質的にその中に集められた電荷がクリアされ、その後既知の予め定められた遅延期間の後、上記エレメントに集められた電荷が読み出されて測定される。
【0012】
上記放射波源は好ましくはレーザ光源を含んでいるが、それに代えて他のタイプの適当な光源を含んでいてもよい。
【0013】
本発明のいくつかの好ましい実施形態では、測距カメラは本発明と同日に出願された「テレセントリック・オプティカル・レンジング・カメラ(Telecentric Optical Camera)」なる名称の2番目のPCT出願に記載されているような、テレセントリック(Telecentric)光学系を含んでおり、前記出願は同様に本願の譲受人に譲渡されており、その開示は本願の参照文献とする。好ましくは、反射波は適当な集光光学系により集光されて、KDP結晶変調器のような光電変調器により変調される。より好ましくは、出射波および反射波は共通の光軸に沿う平行光とされる。一つのかかる好ましい実施形態では、出射波および反射波は同じ光電変調器により変調されるが、他の好ましい実施形態では、それらは別の変調器により別々に変調される。
本発明の好ましい実施形態では、放射源は第1の波形により変調され、反射波は第2の波形により変調される。これら第1の波形および第2の波形の形状およびこれら波形の間の遅延時間は、カメラから画素により撮像される被写体までの距離に上記検知アレイの各画素にて検知される強度に所望の関数依存性を与えるように調整される。
【0014】
好ましくは、上記第1の波形および第2の波形並びにその間の遅延時間は、距離「ウィンドウ」、すなわち被写体の距離が決定されるカメラからの被写体の距離範囲を規定するように調整される。放射波源および反射波はそれぞれ第1および第2の波形により変調される一方、カメラは上記ウインドウ内の被写体のみの画像を得る。上記ウィンドウを適当に調節することにより、カメラから上記ウィンドウ内の被写体までの距離を決定する検知された放射波の処理が単純化される、およびまたはその精度が改善される。好ましくは、上記ウィンドウはまた、目的の情景の部分に対応するカメラからの距離範囲の被写体に対するカメラのダイナミックレンジを最大にするように調整される。
【0015】
本発明のいくつかの好ましい実施形態では、上記第1の波形および第2の波形は放射波源からの放射波およびまたは反射波が上記検知アレイの単一フィールドまたはフレーム間に多数回遮断および開放される。好ましくは、上記第1および第2の波形は複数のパルスを含んでおり、第2の波形の各パルスは予め定められた、典型的には一定の、遅延時間により上記第1の波形の対応するパルスに追随する。標準的なビデオフィールドの持続時間は約16msであるのに対し、上記第1および第2の波形のパルス幅は典型的には1マイクロセコンドよりも短いことを考慮すると、単一のフィールドもしくはフレームの時間中に何百、何千というかかるパルスが含まれることが分かるであろう。かかる多重パルス変調機能はカメラにより形成される画像のS/N比を増加させるのに有用である。
【0016】
本発明のいくつかの好ましい実施形態では、上記ウィンドウは目的の一つ以上の被写体の画像のイメージが得られるように調整される。好ましくは、第1のウインドウは、カメラからの大きな距離範囲を包含していて、相対的に長いパルス幅の波形を使用している放射波源および反射波を変調することにより最初に規定されている。目的の被写体の画像はこのウィンドウ中に得られ、少なくとも一つの被写体までの距離が決定される。第2のウインドウがそのとき規定され、該ウインドウは上記少なくとも一つの被写体を含むとともに好ましくは上記第1のウィンドウよりも狭い距離範囲を包含している。このようにして、目的としない被写体の輻輳が削減され、上記少なくとも一つの目的の被写体までの距離をより正確に決定できるようにする第2の画像が得られる。
【0017】
好ましくは、上記ウインドウは以降、目的の上記少なくとも一つの被写体を追跡するように調整されている。カメラからの上記被写体の距離が変化するにつれて、変調波形は上記被写体が上記ウィンドウにより包含される距離範囲内に留まるように変化する。
それに代えてもしくはそれに加えて、目的の被写体までの距離は最初、偵察ビーム、例えばレーザ測距装置もしくは従来周知の他の測距装置を使用して決定することができる。上記ウインドウはそのとき上記被写体がそれにより包含される距離範囲内にあるように調整される。
【0018】
本発明の好ましい実施形態では、上記ウィンドウの外側にあるカメラからの距離に位置している情景の部分の画像は得られないか、または上記情景中の別の被写体画像から別に得られる。本発明はそのとき、例えば、目的の一以上の被写体をより遠い背景と区別するために使用することができる。いくつかの好ましい実施形態では、目的の被写体の物体の画像はそのとき、他の画像、例えばコンピュータ処理されたりまたはコンピュータで発生された画像と、従来周知の技術を使用して、所望の混合画像を形成するために結合される。
【0019】
本発明のいくつかの好ましい実施形態では、上記検知アレイは二次元マトリックスアレイ、例えばCCDアレイであり、一以上の光変調器が上記アレイに到達する反射光を変調し、異なる変調光は上記アレイの異なった行もしくは近接する行のグループとそれぞれ関連する。このようにして、異なった距離ウィンドウ、すなわち選択された異なった距離範囲は、異なった行もしくは近接する行のグループと連携する。かかる行もしくは近接する行のグループの各々は、線により切断された被写体の深度情報を含む情景のライン画像を発生させる。広範囲にわたる深度情報を含む情景の全体の画像を発生させるために、上記アレイの視野は一般に上記情景の上をスキャンされて、以下に述べるように、多重ライン画像が得られるともに結合される。
【0020】
いくつかのこれらの好ましい実施形態では、液晶シャッタアレイが、CCDアレイの各行もしくは近接する行の連続するグループに到達する反射光を別々に変調するように、上記CCDアレイに関して配置されている。好ましくは、上記液晶アレイは連続する行もしくは該アレイの近接する行の連続するグループが等しく、連続する期間の間に反射光が入射するように駆動される。従って、各々の連続する行もしくはグループは情景の中の連続する距離ウインドウ中の被写体からの光を受光するとともに、上記カメラからのかかる被写体の距離を決定するために使用される。
【0021】
さらに好ましくは、上記液晶アレイはその第1エッジに近接する第1行のCCDアレイがカメラに相対的に近い第1距離ウインドウからの光を受光し、その第2エッジに近接する第1エッジとは反対側の上記CCDアレイの最終行がカメラから相対的に遠い最終距離ウインドウからの光を受光するように駆動される。上記第1行と最終行との間で、上記アレイの各々の連続する行が連続する距離ウインドウからの光を受光し、その全ての距離ウインドウはともに実質的に連続して、好ましくは実質的に等しいステップで、第1ウインドウと最終ウインドウとの間の距離をカバーする。
【0022】
さらに、本発明の他の好ましい実施形態では、液晶シャッタアレイは上記CCDアレイに関して適切に配置されるとともに、上記CCDアレイ内の各画素もしくは隣接する画素グループに到達する反射光を別々に変調するように駆動され、その結果、各画素もしくは画素グループはそれに関連するそれ自身の距離ウインドウを有するようになる。上記シャッタアレイは好ましくは適切に駆動され、各距離ウインドウは画像が各画素もしくは画素グループにより捕捉される情景中の目的の被写体の点までの距離を追跡する。従って、各画素もしくは画素のグループに関連する距離ウインドウは、像の輻輳を少なくするとともに、上記点までの距離の正確な読みを包含並びに生成するように調整することができる。
【0023】
各画素がそれ自身の距離ウインドウを有している、いくつかのこれらの好ましい実施形態では、相互に隣接する画素グループは「スーパ画素」として協動するように形成されている。各々のかかるスーパ画素は、例えば9個の画素の3×3グループを含んでいてもよく、その上には実質的に共通の軸に沿って情景から反射された光が結像される。上記シャッタアレイは上記9個のピクセルの各々が上記共通軸に沿う異なった距離ウインドウからの光を受光する。このようにして、横方向の解像度は犠牲になるが、所望の距離分解度を有する深度情報を含む上記情景の完全な像が捕捉される。例えば1×2画素、2×2画素もしくは4×4画素等、任意の所望サイズのスーパ画素が距離対横方向分解度の最適な見返りを達成するために使用することができる。
【0024】
上記実施形態は液晶シャッタアレイの場合について述べたが、本発明の他の好ましい実施形態では、ゲーテッド・アドレッサブル・マイクロチャンネル・アレイ(gated addressable microchannel arrays)や、光電もしくは音響光変調器のアレイ等の他のタイプの光変調器アレイが同様の目的に使用することができる。
【0025】
異なった距離ウインドウが検知アレイの異なった行と順次協動し、その各行が情景の部分のライン画像を形成するいくつかの本発明の好ましい実施形態では、上記したように、上記アレイの視野は「プッシュ・ブルーム(push broom)」画像モードの情景を横断してスキャンされる。換言すれば、上記カメラは好ましくは、上記情景に関して横方向に、各行により形成されるライン画像が行の長さ寸法に対して実質的に垂直な方向で上記情景を横断して走査するような態様および方向で移動させる。上記カメラは連続する平行なラインに沿う検知器アレイの各行からの一連のライン画像を捕捉する。
【0026】
さらに、上記カメラの視野は走査されもよく、また情景中の被写体はカメラに関して横方向に動いても、効果は同じである。
【0027】
好ましくは、上記カメラによる画像の捕捉は、上記カメラにより捕捉された一連の画像中の任意の点におけるアレイの任意の行(第1行は除く)により画像形成された上記情景の一部分が、異なる距離ウインドウを有することを除いて、順序的に先行する点におけるアレイの先行する行により画像形成された情景の部分と実質的に同じになるように、情景に関する検知アレイの移動もしくは走査と同期させている。このようにして、情景の完全な三次元画像が得られるが、それは各情景の点に対して、反射光の強度が広い距離範囲にわたってカメラからの距離の関数として測定されるからである。
【0028】
本発明の他の好ましい実施形態では、カメラは走査光学系を含んでおり、それは情景のライン画像の焦点を合わせるとともに変調して、該ライン画像が連続的に上記検知アレイの各行の上に投射されるようにする。従って、上記アレイの各行と連携する一連の距離ウインドウがあり、そのウインドウは上記ライン画像が上記行の上で休止する時間により規定される。連続する距離ウインドウの各々で、上記ライン画像により切断された情景中の被写体までの距離は上記した方法で決定される。上記走査光学系は高速光学機械式スキャナ、音響光学式もしくは光電式の変調器、もしくは従来周知の他のタイプのスキャナを含んでいてもよい。
【0029】
本発明のいくつかの好ましい実施形態では、カメラは連携するカラーフィルタ、好ましくは従来周知の赤、緑、青の三つの検知アレイを含んでいる。それに代えて、カメラは従来周知の一つ以上のストリップもしくはモザイクカラーフィルタを有し、それによりカラー画像を得る一つまたは二つの検知アレイのみを含んでいてもよい。これにより、画像強度、カラーおよび深度情報がアレイの各画素に関して同時に得られる。
【0030】
本発明のいくつかの好ましい実施形態では、二次元強度およびまたはカラー画像および三次元距離画像(すなわち、画素毎の距離情報)がカメラのユーザに対して深度画像を発生させ、提供するために相互に登録されるとともに重畳される。かかる深度画像は、従来周知の方法を使用して、例えば二次元画像上の等しい距離にある輪郭線を画くことにより、また、白黒画像中に表示された距離に対する疑似カラーを使用することにより、さらにはコンピュータにより発生される等大投射により、発生することができる。
【0031】
本発明のいくつかの好ましい実施形態では、カメラは移動プラットホーム、例えば、その上を飛行している土地の地形図を得るために飛行機に搭載したり、もしくは水中または水上のいずれかに設置されたプラットホームや宇宙に設置されたプラットホームに搭載される。好ましくは、カメラは上記したように、プッシュ−ブルーム・モード(push−broom mode)で動作するとともに、カメラによる画像の取り込みは上記移動プラットホームの対地速度と同期している。カメラにより取り込まれた画像は、プラットホームの下方の地形や物体の図形を画くために使用されるとともに、かかる地形や物体の三次元的な大きさを計算するために使用することができる。本発明の好ましい他の実施形態では、カメラはロボットに搭載されかまたはロボットと連携し、該ロボットは所望の仕事中の動作をガイドするためにカメラから供給される三次元画像情報を使用する。
【0032】
それに代えてまたはそれに加えて、本発明のいくつかの好ましい実施形態では、カメラは例えば製造物品の多様な寸法を決定するとともに、標準値とのずれを確認するといった、製造工程の品質保証もしくは品質管理に使用される。同様に、積み荷やコンテナに貯蔵され、そのサイズをカメラを使用して同様に知ることができるか測定することができるものの表面の輪郭を測定することにより、上記積み荷や物品の大きさを決定することができる。
【0033】
本発明の他の好ましい実施形態では、カメラは目的の被写体の三次元画像を得るために、モデル・スキャナで使用される。一つのかかる好ましい実施形態では、これらの三次元画像は、表面カラー再生を含む、目的の被写体の一以上の三次元コピーもしくはモデルを再生するために、従来周知の技術のような高速三次元画像のためのシステムとともに使用される。
【0034】
本発明のさらに他の実施形態では、カメラは、例えば起こりうる障碍物を認識し、車両から障害物までの距離を決定することにより衝突を回避するためのシステムに使用するために車両に搭載される。
【0035】
本発明の他の好ましい実施形態では、上記した測距カメラは患者の体内の目的の領域の三次元画像を得るために内視鏡とともに使用される。
【0036】
本発明のいま一つの実施形態では、カメラは目の不自由な人により使用するための感覚マトリックスに結合される。例えば、上記感覚マトリックスは多数のピンを含んでいて、これらピンは目の不自由な人の皮膚、例えば額を押圧するように駆動され、各ピンにより上記皮膚に印加される圧力は目の不自由な人からカメラが視た情景中の対応する点の物体までの距離に比例する。好ましくは、目の不自由な人は、上記ピンにより印加される圧力範囲が目の不自由な人からの所望の距離範囲に対応するように、カメラの距離ウインドウを制御する。
【0037】
従って、本発明の好ましい実施形態により、情景中の物体までの距離を表示する画像を生成するための装置を提供するものであり、該装置は、第1変調関数を有し、情景に向かって放射波を投射する変調された放射波源と、上記情景から反射され、第2変調関数により変調されたた反射波を検知するとともに、検知された変調波に対応して上記情景の領域までの距離に対応する信号を発生する検知器と、上記装置からの物体の距離を示す強度分布を有する信号に基づいて、上記検知器からの信号を受信するとともに画像を形成するプロセッサと、上記プロセッサにより形成される画像の強度分布に対応する第1および第2変調関数の少なくとも一つを変化させるコントローラとを含む。
【0038】
本発明の好ましい実施形態により、さらに、情景中の物体までの距離を示す画像を発生するための装置を提供するものであり、該装置は、第1変調関数を有し、情景に向かって光を振り向ける変調された放射波源と、第2変調関数を有する検知変調器と、複数の検知エレメントを含む検知アレイとを含み、情景内の複数の平行間隔セグメントから反射された反射波を検知するとともに、検知された反射波に対応して、信号を発生する検知器と、少なくともいくつかの複数の間隔を有するセグメントを含むとともに、上記装置から物体までの距離を示す強度分布を有する画像を形成するプロセッサと、を含んでおり、複数の間隔を有するセグメントの各々が上記装置に関して距離限界を有しており、該距離限界は上記検知変調器により決定され、かつ、複数の間隔を有するセグメントの少なくとも一つは少なくとも一つの他の間隔を有するセグメントの限界とは異なる距離限界を有している。
【0039】
本発明の好ましい実施形態により、また、情景中の物体までの距離を示す拡大された画像を生成するためのシステムを提供するものであり、該システムは上記したような画像を生成するための装置であって、該装置は情景の複数の画像を形成し、複数の画像の少なくとも一つは上記画像の少なくとも一つの他の画像に含まれていない情景の一以上の領域を含む装置と、拡大された画像を形成するために複数の画像を結合し、情景中の物体までの距離を示す画像プロセッサと、を含んでいる。
【0040】
本発明の好ましい実施形態により、さらに、情景中の物体までの距離を示す画像を生成するための装置を提供するものであって、該装置は情景に向かって放射波を振り向ける、変調された放射波源と、上記情景から反射された放射波を受けるとともに平行にするテレセントリック(telecentric)光学系と、上記平行にされた放射波を変調する変調器と、上記変調され平行にされた放射波から形成された画像を検知する検知器と、検知された画像の強度分布に応じて、上記装置からの物体の距離を示す強度値分布を有する画像を形成するプロセッサと、を含み、上記放射波源および検知器は照準規正(boresighted)されており、かつ、上記情景から反射された平行な反射波を変調する変調器は上記放射波源により情景に向かって振り向けられた放射波を変調しない。
【0041】
本発明の好ましい実施形態により、さらに、情景の中の物体までの距離を示す画像を生成するための装置を提供するものであって、該装置は、第1変調機能を有しており、情景に向かって放射波を振り向ける変調された放射波源と、第2変調機能により変調された、情景からの反射波を検知するとともに、検知された変調波に応答して、上記情景の領域までの距離に応じた信号を発生する第1検知器と、上記第1検知器により照準規正(boresighted)され、上記情景から反射されたるとともに上記第2変調機能により変調されない放射波を検知し、検知された放射波に応じて、上記情景の領域から反射された放射波の強度に応じた信号を発生する第2検知器と、上記第1および第2検知器からの信号を受信して、上記装置からの物体の距離を示す強度値分布を有する、上記信号に基づいて画像を形成するプロセッサと、を含む。
【0042】
本発明の好ましい実施形態により、さらに、ロボット案内システムを提供するものであって、該システムは情景の中の物体までの距離を示す画像を発生するための上記した装置を含むとともに、案内のための上記装置により示された物体までの距離を使用して、上記情景中の物体に作用するロボットを含む。
【0043】
本発明の好ましい実施形態により、さらに、物体の寸法を決定するためのシステムを提供するものであって、該システムは上記物体の領域までの距離を示す、物体の画像を生成するための装置を含むとともに、上記画像と示された距離を使用して、上記物体の大きさを決定するコンピュータを含む。好ましくは、該コンピュータは標準のものと寸法を比較する。それに代えてもしくはさらに、上記コンピュータは、決定された寸法を使用して、物体の体積を決定する。
【0044】
本発明のさらにいま一つの好ましい実施形態により、物体の三次元モデルを生成するためのシステムをまた提供するものであって、該システムは上記したような物体の寸法を決定するためのシステムと、寸法を決定するためのシステムにより決定された寸法を受信し、上記寸法により三次元モデルを生成する迅速原型形成装置とを含む。好ましくは、上記迅速原型形成装置は、上記物体の画像を生成するための装置からの、より好ましくはカラー情報を含む画像情報を受信するとともに、該画像情報を三次元モデルの表面に付加する。
【0045】
本発明の好ましい実施形態により、車両の案内システムをさらに提供するものであって、該案内システムは、上記したように車両の運動の方向における該車両の前方の情景中の物体までの距離を示す画像を生成するための装置と、該画像と示された距離とを使用して、情景中の障碍物を特定するプロセッサとを含む。
【0046】
本発明の好ましい実施形態により、内視鏡の画像形成システムを提供するものであって、該システムは被験者の体内に挿入するための末端部を有するとともに、光学装置をそれに結合するための基部側の端部を有する内視鏡と、上記したような画像形成のための装置を含んでおり、該画像形成装置は上記内視鏡を通して体の中に放射波を投射し、そこから反射される放射波を検知するように、上記内視鏡の基部側の端部に結合される。
【0047】
本発明の好ましい実施形態により、情景の実体的な画像を生成するためのシステムをさらに提供するものであって、該システムは、上記したように情景中の複数の点に関する距離情報を含む、情景の画像を生成するための測距カメラと、被験者の体の表面に接触する、触覚プローブのアドレス可能なマトリックスとを含んでおり、各プローブは情景中の複数の各点までの距離に応じて体の表面に圧力を印加する。
【0048】
本発明の好ましい実施形態により、電子流を変調するためのマイクロチャンネルアレイ装置をさらに提供するものであって、該装置は電子がそれを通して加速されるマイクロチャンネルプレートと、該マイクロチャンネルプレートに近接するスイッチ可能な複数の電極であって、その各々の電極が上記プレートの対応する領域で電子の加速を変調する電極と、を含む。
【0049】
好ましくは、上記マイクロチャンネルアレイは、光電陰極を含んでいて、該光電陰極は上記マイクロチャンネルプレートを通して加速された電子を受けてそれに対応する光子を発生し、かつ、上記電極が上記光電陰極の上にコートされた導電性の透明材料を含んでいる。
【0050】
本発明の好ましい実施形態により、情景のイメージを形成するためのカメラシステムをまた提供するものであり、該カメラシステムは、上記情景からそれに入射する放射波に応じて、電子流を発生させる光電陽極と、上記電子流に応じて電子を発生させる上記したマイクロチャンネル・アレイ装置と、上記フォトンを受けるとともにそれに応じて情景の画像を形成する検知器と、を含む。
【0051】
本発明の好ましい実施形態により、情景中の物体への距離を示す画像を生成するための方法であって、該方法は、第1変調関数により放射波源からの放射波を変調して、該放射波を情景に向かって投射すること、第2変調機能により上記情景からの反射波を変調すること、反射波を検知し、検知された反射波に応じて、上記情景の領域間での距離に応じた信号を発生させること、上記情景中の物体までの距離の強度値分布を有する画像を形成すること、および上記画像の強度値分布に応じて、少なくとも一つの第1および第2変調機能を変化させること、を含む。
【0052】
本発明の好ましい実施形態により、情景中の物体までの距離を示す画像を発生するための方法をさらに提供するものであって、該方法は、第1変調関数により放射波源からの放射波を変調して、放射波を情景に投射すること、上記情景内に複数の平行な間隔を有し、各々が距離限界を有するセグメントを規定すること、各々の平行な間隔を有するセグメントから反射された反射波を検知するとともに、検知された反射波に応じて、情景の領域間での距離に対応する信号を発生すること、上記情景中の物体までの距離を示す強度値分布を有する画像を形成すること、を含み、上記複数の間隔を有するセグメントを規定することが複数のセグメントの各々の距離限界を規定することを含み、かつ、少なくとも一つの複数の間隔を有するセグメントの距離限界が少なくとも一つのほかの間隔を有するセグメントの距離限界と異なっている。
【0053】
本発明の好ましい実施形態により、情景中の物体までの距離を示す拡大された画像を生成するための方法をさらに提供するものであり、該方法は、上記した方法により上記第1イメージを生成すること、上記情景に関して、間隔を有するセグメントを横方向に走査すること、上記第1イメージが生成されたのと同じ方法で上記情景の第2イメージを生成すること、および上記拡大された画像を生成するために、上記第1画像を第2画像と結合し登録すること、を含む。
【0054】
本発明の好ましい実施形態により、別に得られた背景の画像の上に重畳された目的の物体を含む、混合された画像を生成するための方法をまた提供するものであって、該方法は、目的の物体を含み、情景中の物体までの距離を示す第1画像を生成すること、該第1画像により示されるような、物体までの距離を決定すること、少なくとも一つの物体までの距離を含む距離範囲を規定すること、フィルタされた画像を形成するために距離領域の外の第1画像の物体を除去すること、および上記背景画像の上にフィルタされた画像を重畳すること、を含む。
【0055】
本発明の好ましい実施形態により、混合された画像の中の選択されたゾーン中へ挿入された所望の挿入画像を含む、情景の混合された画像を生成するための方法であって、該方法は、上記情景中にゾーンを画成すること、上記情景中の物体までの距離を示し、画成された上記ゾーンを含む情景の第1画像を生成すること、上記第1画像のゾーンの境界の位置および上記ゾーンまでの距離を、上記第1画像により示されたように決定すること、上記ゾーンまでの距離に従って、上記ゾーンの境界内に合致するように上記挿入画像を計測すること、および混合された画像を形成するために上記第1画像のゾーンの上に上記計測された挿入画像を重畳すること、を含む。
【0056】
好ましくは、上記方法はさらに、上記第1画像内に挿入される物体を識別することを含み、挿入物体までの距離が上記ゾーンまでの距離よりも小さく、目的の物体のフィルタされた画像を形成するように第1画像をフィルタし、上記ゾーン内の挿入画像の上に挿入される物体のフィルタされた画像を重畳する。
【0057】
本発明は、本発明の好ましい実施形態の以下の詳細な説明並びに添付の図面を参照することにより、よりよく理解されるであろう。
【発明を実施するための最良の形態】
【0058】
図1を参照すると、同日に出願されるとともに本発明の参照文献としてあげられた二番目に言及した上記PCT出願に記載されている、本発明の好ましい実施形態の光学測距カメラが示されている。カメラ20は検知アレイ22、好ましくはニューヨーク、ロチェスタのイーストマン・コダック(Eastman Kodak)社製のKAF 0400 CCDアレイ、カリフォルニア州サニーベイルのイー・ジー・アンド・ジー(EG&G)レチコン(Reticon)社製のHS 0512J CCDアレイのようなCCDアレイを含んでいる。CCD22により発生された信号はビデオプロセッサ24により処理され、それは好ましくは上記カメラにより撮像された情景26の三次元デジタル画像、もしくは目的の物体までの距離が以下に述べるように示されている二次元ビデオ画像を生成する。
【0059】
カメラ20はさらに光学系28を有しており、それは情景26から受けた光を変調する。光学系28は入射絞り30、集光レンズ32、光変調器34、焦点レンズ36および出射絞り38を含んでいる。絞り30および集光レンズ32はテレセントリック(telecentric)光学系を形成しており、レンズ32は情景26から受けた光を変調器34に平行に入射する。光学変調器34は好ましくは、従来周知の結晶KDPもしくはほかの適当な材料からなる光電変調器を含んでいるが、それに代えて、音響光学変調器、液晶シャッタもしくは高速機械式シャッタのような、従来周知の他のタイプの光変調器を含んでいてもよい。説明の簡単化のため、光学系28はここでは図式的に示されているが、実際は、カメラ20は一般に他のレンズおよびまたは周知のほかの光学要素を含んでいることが理解されるであろう。
【0060】
カメラ20はまた、好ましくは、カリフォルニア州、シティ・オブ・インダストリ(City of Industry)のオプト・パワー・コーポレーション(Opto Power Corporation)製のOPC−1003−813レーザダイオードのような、高出力レーザダイオードを有する光源40を含むとともに、上記レーザダイオードによる情景26のほぼ均一な照明を得るために、周知の適当な光学系を含んでいる。それに代えて、光源40は他の適当なレーザを有していてもよく、また、例えばストロボランプ(strobe lamp)のようなインコーヒーレントな光源を有していてもよい。駆動回路42は、光源40に入力パワーを供給する。変調器34と同じタイプのものであってもよい光変調器44は、情景26の照明を変調するために光源40と連携している。さらに、駆動回路42は、さらなる変調器44の必要なしに上記情景の照明を変調するように光源に適当に変調された入力パワーを供給するようにしてもよい。
【0061】
コントローラ46は、上記情景から反射された光およびアレイ22に入射する光を変調するために、変調器34を制御するとともに、変調器44およびまたは回路42により、情景26の照明の変調を制御する。好ましくは、コントローラ46はビデオプロセッサ24と通信し、照明および反射光の変調が、以下に述べるように、適宜、変化するようにしてもよい。
【0062】
図2Aは、同日に出願され、本願の参照文献として挙げる上記の二番目のPCT特許出願に記載されている、テレセントリック光学測距カメラ50を含む、本発明の他の好ましい実施形態を示している。カメラ50は検知アレイ22,光学系28および光源40を含んでいる。カメラ50は一般にカメラ20と同様のものであるが、それとは、カメラ50では、共通の変調器52は光源40からの照明と情景26からアレイ22に戻る反射光との両方を変調するという点で、第1に相違している。変調器52は好ましくはKDP結晶、もしくはそれに代えて、上記したような他の適切なタイプの変調器を含んでいる。光源40からの照明光は投射レンズ54により実質的に平行光とされ、ビーム結合器58を使用して、光軸56と照準規正されている。
【0063】
変調器52は、共通の変調波形を照明光と反射光の両方に印加するために使用されてもよい。本発明の好ましい実施形態ではしかしながら、変調器52は多重光、好ましくは、照明光に印加される第1波形および反射光に印加される第2波形を、以下に述べるように印加するためにコントローラ46により駆動される。
【0064】
上記第1および第2波形がそれぞれ印加される一方、変調器52は照明光と反射光との両方を無差別に一般に伝送することが分かるであろう。好ましくは、従って、ビデオプロセッサ24はアレイ22を制御し、上記アレイは第2波形による変調器52により伝送された光にのみ応答して信号を発生する。従って、例えば、アレイ22が上に述べたようなCCDアレイを含む、本発明の好ましい実施形態では、ビデオプロセッサ24が上記アレイの電子シャッタを、周知のように、上記第2波形と同期して駆動する。同様に、駆動回路42は好ましくは、上記第1波形と同期して光源40を駆動する。
【0065】
図2Bは、テレセントリック光学測距カメラ59を含む、本発明のさらにいま一つの好ましい実施形態を示している。カメラ59は、該カメラ59が反射光を変調する変調器52と独立して情景26の照明光を変調するための変調器44を含んでいることを除いて、図2Aに示されたカメラ50と同じである。従って、カメラ20に印加される変調波形は、以下に述べるように、テレセントリックカメラ59にまた印加されても、同様の結果を得る。
【0066】
図2Cは、2つの検知アレイ22および65を有するテレセントリック光学測距カメラ64を含む、本発明のさらにいま一つの好ましい実施形態を示している。検知アレイ22は、実質的に図2Bの検知アレイに関して記載されるとともに上記した他の好ましい実施形態で記載されているような、変調器52により変調される光を受光する。アレイ65はしかしながら、上記情景からの反射の後に変調されない情景26からの光を受光する。アレイ65は、ビームスプリッタ66により、アレイ22で照準規正される。画像レンズ67および出射絞り68は従って、アレイ65の上に情景26の変調されない画像を形成し、その画像は好ましくはアレイ22の上に形成された実質的に(変調された)画像とともに登録される。
【0067】
カメラ59に関して上で注意したように、カメラ20に印加される変調波形が、以下に述べるように、カメラ64にまた印加されても、アレイ22により受光される画像に関して同様の結果を得る。アレイ65により受光される非変調画像の有用性はまた、以下に述べるであろう。
【0068】
図1,図2A,図2Bおよび図2Cに図示された好ましい実施形態はテレセントリック画像エレメントを含んでいるが、本発明の原理は上記した一番目のPCT特許出願に示されるとともに記載されているような、ノンテレセントリック光学測距カメラに同様に印加できることが理解されるであろう。
【0069】
図3は、情景26の照明光とそれからの反射光をそれぞれ変調するように、図1に示された、変調器44および34を駆動するために使用される波形を図式的に示している。両波形は、好ましくは図示されているように、矩形パルス波形を有している。各々の波形がその高い値にあるときには、各々の変調器は光がそれを通過させる。上記波形がその低い値にあるときには、上記変調器は光を遮断する。好ましくは、両波形60および62は、期間Tの間、それらの高い値を維持して、各々の上記変調器を開き、変調器34が開くタイミングが上記変調器44のタイミングに関して時間τだけ遅れている。
【0070】
図3の波形は矩形であるが、他の波形もまた使用することができ、そのいくつかの例を以下に述べる。図3のパルス波形は以下の説明の簡単のために理想化されているが、かかる理想化されたパルス波形は本発明の動作には不要であることはまた理解されるであろう。
【0071】
図4は、図1に示すようなカメラ20により撮影された情景70の模式図であり、上記カメラは図3に示された波形により制御される。情景70は、カメラ20からそれぞれ距離D1,D2およびD3に配置された第1被写体72,第2被写体74および第3被写体76を含む複数の物体を含んでいる。被写体72,74および76はカメラ20に設けられている光源40により照明され、それらはほぼカメラに向かって反射し、該反射光は光学系28により集光されるとともに検知アレイ22上に収束される。変調器34および44がCWモード、すなわち、一定の開きで動作する期間を考えると、上記各被写体からの反射光はそれぞれの被写体の画像が結像される上記検知アレイの一以上のエレメントにおいてそれぞれ実質的に一定な照射を生成する。上記照射のレベルは、とりわけ、カメラからのそれぞれの被写体の距離および上記被写体の特別な放射率とほぼ関数関係を有している。これらの実質的に一定の光の照射に応じて、検知アレイ22のエレメントは各々のベースライン信号レベルS1,S2およびS3を発生する。
【0072】
変調器34および44が波形62および60により駆動されるときには、それぞれ、しかしながら、被写体72,74および76から反射された光に応じてアレイ22により発生される信号は、各被写体に到達してカメラ20に戻るのに光源40により発射された光に対して要求される伝播時間のために、上記ベースライン信号とは異なっている。この伝播時間は一般にti=2Di/cで表され、ここでcは光速であり、添え字iは情景70中のi番目の被写体を表している。
【0073】
図3に示されるように、Tおよびτの値の選択は、最小距離および最大距離、DminおよびDmaxによりそれぞれ区画される距離ウインドウ78を規定しており、ここでDmin=(τ−T)c/2およびDmax=(τ+T)c/2であり、τ<Tでないときには、Dmin=0である。変調器34および44が示されているように動作しているときには、D3>Dmaxである被写体76のような、ウインドウ78の外にある被写体からの光は変調器34により拒絶され、従ってアレイ22はかかる被写体に対応する実質的な信号を発生しない。
【0074】
さらに、図5に示すように、被写体72もしくは74のようなウインドウ78内の物体に応答してアレイ22により発生される信号Iiの強さは、カメラからの被写体の距離に実質的にリニアに依存する。被写体72および74にそれぞれ対応する信号I1およびは、ほぼ次式により正規化される。
Ii=Ii/Siτf (1)
ここで、Iiはi番目の被写体による非正規化信号であり、fはアレイ22がサンプリングされる適当なフィールドレートもしくはフレームレートである。
【0075】
上記ベースライン信号レベルSiは、上記したように、変調器34および44が一時的に開いている間に、検知アレイ22により得られる。さらに、図2Cに示されるように、カメラ64内の検知アレイ65はこれらのベースライン信号を得るために使用されてもよい。アレイ22に入射する光は、上記したように、距離情報を得るために変調される一方、上記アレイ65に入射する光は(光源40が変調される大きさを除いて)実質的に変調されない。従って、距離に応じた信号Iiおよびベースライン信号Siは同時に得られる。
【0076】
Tおよびτがフィールドもしくはフレーム期間、1/fよりも実質的に小さく選ばれた、本発明の好ましいくつかの実施形態では、しかしながら、図3に示された波形は単一のフィールドもしくはフレームの間に引き続いて多数回、繰り返されてもよい。この場合、非正規化信号Iiは回数に比例して増加し、上記波形は各フィールドもしくはフレームの間に繰り返され、その増加は上記カメラにより捕捉された画像のS/N比を典型的に改善する。周知のように、Nを回数とすると、波形は単一のフィールドの間に繰り返され、上記ノイズが光源に支配されているか回路に支配されているかに応じて、S/N比が改善される値は典型的にNの平方根とNとの間の範囲内の値になる。Tおよびτは両方とも典型的に1マイクロセコンドよりも短いので、波形は約16ミリセコンドの単一のビデオフィールドの間に1000回(もしくはそれ以上)、好ましくは繰り返されてもよく、それにより30もしくはそれ以上のファクタのS/Nの改善がなされる。
【0077】
カメラ20からの距離に対する正規化された信号のリニアな関数依存性は、波形60が各々の被写体に到達して上記カメラに戻ってくるように光源40により発射された光に対して要求される時間2Di/cだけ効果的に遅延された後の、照明光60の反射光の変調波形62との変化するオーバラップの結果である。この機能は、被写体が距離Di=τc/2にあるときに最大値を有するとともに、Tに比例する幅(Dmax−Dmin)を有している。カメラ20からウインドウ78内の被写体までの距離は従って、上記被写体に応じて発生された正規化信号から決定される。例えば上記ウィンドウの中心近くに位置する被写体72による上記正規化信号I1は、カメラからより大きな距離に位置している被写体74によるI2よりも実質的に大きい。
【0078】
波形60および62は上では等しい幅Tを有しているとして説明されているが、それに代えて、これらの波形はそれぞれT60およびT62の幅を有していてもよい。例えば、T60もしくはT62はより強力な信号I1およびI2を供給するために延長されてもよい。
【0079】
しかしながら、その結果、被写体距離に対する正規化信号の関数依存性はもはや図5に示される三角形状を有し、どちらかといえば台形状になり、上記ウインドウの中心部における距離の差が識別されない。従って、本発明の好ましい実施形態では、波形60および62の幅は等しい。被写体距離を決定するこの方法は、本発明の参照文献として挙げる上記したPCT特許出願にさらに説明されている。これらのPCT特許出願に記載されているように、他の変調波形が変調器34および44を駆動するために同様に使用されてもよいが、被写体距離に対する正規化信号の一般的な依存性およびここで説明されているようなカメラ20の適用が図3に示された矩形のパルス波形を参照することにより最も容易に説明される。
【0080】
波形60および62は理想的な矩形形状を有しているとして示されているが、実際は、変調器34および44により投射光および反射光に与えられる波形はそれぞれ、例えば図6Aの下に図示されているように、有限の立ち上がり時間および立ち下がり時間を有している。その結果、応答関数のコーナは図5に示されているような鋭い形よりもむしろ、まるくなる。本発明の原理はしかしながら、ほかの理想的でない波形が使用されるときにも等しく適用することができる。
【0081】
上記の議論から、ウィンドウ78の中心位置はτを変化させることにより制御されてもよく、上記ウインドウの幅はTを変化させることにより制御されてもよいことがまた理解されるであろう。好ましくは、目的の被写体が情景中で識別されたときに、自動的もしくはカメラのオペレータの命令により、ウインドウの中心の近くに目的の被写体が維持されるように、τがコントローラ46により適宜に制御され、そのとき上記被写体による上記正規化信号は最大である。
【0082】
さらに、Tは好ましくは、目的の被写体があるカメラからの被写体距離の範囲のみを含むようにウインドウ78の幅を制限するように、コントローラ46により制御される。Tに対するこの制限は、図5に示すように、距離に対する正規化された信号の依存性の傾斜を増加させることにより、異なった距離にある被写体間の正規化信号の相違がより大きくなり、被写体距離決定の精度を増加させるのに有用である。Tを制限することは、例えば図4の被写体76のように、興味のない物体を、アレイ22により得られた画像から消去することにより、画像の「輻輳」を削減するのにさらに有用である。
【0083】
本発明のいくつかの好ましい実施形態では、τおよびTは被写体のダイナミックレンジおよびカメラ20による距離検知を最適化するために、コントローラ46により制御される。例えば、情景が上記カメラからの異なった距離にある目的のいくつかの被写体を含んでいるときに、τおよびTはほぼ上記カメラから最も遠い被写体の距離にウインドウの中心をシフトさせるように制御するようにしてもよい。周知のように、被写体から反射された光によりアレイ22に生成される放射照度は、ほぼカメラから被写体の3乗もしくは4乗減少する。従って、最も遠い被写体に応じて発生される(非正規化された)信号は一般に、最も弱い信号であって、ウインドウの中心を最も遠い被写体の距離にシフトすることはこの信号のダイナミックレンジを最小化するのを助ける。同様に、被写体の一つがいま他の被写体よりも実質的に低い反射率を有していると、上記ウインドウがそれによる信号のダイナミックレンジを広げるように、低い反射率の被写体に中心が合わされるようにしてもよい。
【0084】
図6Aは本発明の他の好ましい実施形態のタイミングダイヤグラムであり、照明光を変調するために印加される波形60、および反射光を変調するために印加される波形62は、ほぼ台形の形状を有しており、図3の理想化された矩形パルスよりもより実際に近い変調波形を含んでいる。さらに、波形60の持続時間T60は実質的に、波形62の持続時間T62よりも長い。
【0085】
図6Bは、カメラ20が図6Aの波形に従って動作しているときに、図4に示されるように、被写体72,74および76から受けた正規化された信号強度Iiを図式的に示している。Dminよりも小さい距離にある被写体に対する正規化信号は、上記したように、実質的にゼロに等しい。距離D3にある被写体76のように、Dmidよりも大きくDmaxまでの距離にある被写体に対して、正規化信号は実質的に1に等しい。DmidはT62および波形60および62の立ち上がり時間に大きく依存する。Dmaxは時間τおよびT60の和に依存する。好ましくは、Dmaxは情景中の最も遠い重要な被写体のカメラ20からの距離よりも大きくなるように選択される。さらには、DmaxはDmax>c/fとなるように選ばれてもよく、ここで前に述べたように、cは光速であり、fはカメラのフィールドレートもしくはフレームレートであり、従って、Dmicよりも大きい距離にある全ての物体は実質的に1に等しい正規化された信号を与える。
【0086】
このように、DminとDmidとの間の目的の距離範囲内で、正規化された上記信号は単調増加関数であり、それに基づいて、被写体72および74の各々の距離D1およびD2は本発明の原理に基づいて決定される。この範囲の外側の距離にある被写体は好ましくは無視される。上記範囲はT62を変化させることにより増加もしくは減少させるようにしてもよい。目的の範囲内の被写体に対して、正規化された信号の各値は、図5に示された関数と異なり、唯一の距離に対応しており、その中では0と1との間にある正規化された信号の与えられた値は二つの異なった被写体の距離に対応する。図5の図式において、これらの二つの距離はそのとき、他の手段、例えば異なった距離ウインドウを使用して得られる結果を比較することにより、一方を他方から一般的に区別されなければならない。
【0087】
図7は本発明の一つの好ましい実施形態を示しており、この図7において、カメラ20は情景70内の距離ウインドウ78からの三次元画像情報を得ており、該ウインドウの中心距離および幅は適宜に制御される。好ましくは、カメラ20は最初、上記したように、変調器34および44がCWモードで動作する間に、二次元画像データを受信する。上記画像データは画像解析器80により受信され、該画像解析器80は情景70内の被写体を識別するとともに、操作卓82および連携するビデオディスプレイ84を経由してオペレータにビデオ画像を提供する。画像解析器80および操作卓82は好ましくは、周知のように、画像処理に適合する一台以上のデジタルコンピュータを含んでいる。オペレータは、操作卓82と連携する、好ましくはトラックボール、マウスもしくは他の周知のポインティング入力装置を使用して、少なくとも一つの目的の被写体、例えば被写体72を情景70内で識別し、画像解析器80およびまたは別のシステムコントローラ86に対して被写体を指定したり指示する。
【0088】
いったん、目的の被写体が識別されると、システムコントローラ86は被写体72に関する初期距離の読みを要求する。図7に示されているように、この初期距離の読みは、例えばレーザ測距装置のような周知の測距装置88で被写体72を狙い、それから距離の読みを受けることにより得ることができる。該初期距離の読みは、τおよびTの適切な値を決定して好ましくは被写体72の距離に中心を有する所望の距離ウインドウを生成するためにシステムコントローラ86により使用される。
【0089】
本発明のさらに好ましい実施形態では、システムコントローラ86は、測距装置88を使用することなく、初期距離の読みを得ている。好ましくは、変調器34および44は、相対的にTの大きい値を使用して、被写体72の推定された距離に中心が合わされた広いウインドウを与えるように、コントローラ46により制御される。被写体72の距離がうまく推定されないときには、上記初期距離がみつかるまで、異なった距離で複数のウインドウを発生するようにτが所定の数値範囲にわたってスキャンされるようにしてもよい。その後、Tは好ましくは狭められて、上記ウインドウは被写体72および目的の他の被写体を含む距離範囲により近く絞り込まれ、上記したように、これらの被写体までの距離が最適な精度で決定されるとともに画像の輻輳が削減されるようにしてもよい。
【0090】
上記した好ましい実施形態では、目的の被写体は最初、オペレータによりインタラクティブに識別されているが、本発明の他の実施形態では、画像解析器80が予めプログラムされた画像の属性に基づいて、自立的に目的の被写体を識別するようにしてもよい。例えば、上記画像解析器は、従来周知の画像解析およびまたは自動標的認識の手法を使用して、車両、人もしくは構築物を識別するようにプログラムされてもよい。これらの識別情報がシステムコントローラ86に運ばれると、該システムコントローラ86が測距装置88およびまたはカメラ20を制御し、識別された被写体までの距離を求めて決定するようにしてもよい。
【0091】
しかしながら、目的の少なくとも一つの被写体が識別されてその初期距離がみつけられると、その後は画像解析器80が好ましくは被写体およびそのカメラからの距離を追跡し続ける。システムコントローラ86は、実質的に被写体に中心を有する、所望の幅でウインドウ78を維持するようにτおよびTを適宜、変化させる。
【0092】
図8Aおよび図8Bは本発明の一つの好ましい実施形態を図式的に示しており、該実施形態において、カメラ20は所望の画像を生成するために、周知の画像プロセッサ90とともに使用されている。
【0093】
混合画像は、別に撮影された背景の前に、典型的には人物であり、その画像はビデオカメラにより撮影される目的の被写体を人工的に挿入するために、エンタテイメントや、ニュースの報道で共通して使用される。目的の人物もしくは他の被写体の画像は一般に、周知の、予め定められた色、典型的には青の背景に対して得られなければならない。目的の人物もしくは他の被写体の画像が得られた後、それは色彩固定(chroma−keyed)される、すなわち、予め定められた色の画像中の全ての画素が同定され、別に得られた背景画像が上記の色が同定された画素で、画素毎に置換される。この色彩固定法は、予め定められた色の背景が人物もしくは目的の被写体の背後で固定されること、目的の人物もしくは他の被写体は実質的に予め定められた色を全く含んでいないことを要求する。
【0094】
図8Aに示すように、しかしながら、カメラ20はウインドウ96内で人物92および94の画像を選択的に得ることができるが、より離れた建物98は得られた画像から除かれる。好ましくは、τおよびTは、人物92および94の画像に応じてアレイ22により生成される正規化された信号が、人物94が人物92よりもカメラ20から遠い位置にあるにもかかわらず、実質的に等くなるように調節される。正規化された信号のかかる正規化は人物94までのより正確な決定をなすのに有用であり、両方の人物92および94のより明瞭な再生により、また、より見栄えのする画像を生成するのに有用である。
【0095】
図8Bに示すように、画像プロセッサ90はカメラ20からの選択的に得られた画像を受け、モニタ102上に所望の結合されたビデオ画像を生成、もしくは、かかる結合されたビデオ画像を記録およびまたは伝送するために、それを背景100と混合する。決まった固定幕(バックドロップ)も色彩固定も不要である。背景100は実物でも、別に得た画像でも、またさらにコンピュータ合成画像もしくは実際の画像と合成画像とが組み合わせられたものであってもよい。
【0096】
図9は本発明のいま一つの好ましい実施形態を図式的に示しており、該実施形態において、カメラ20および画像プロセッサ90は、広告掲示板104とともに使用されて、所望の絵、例えば広告のメッセージが上記広告掲示板の内側に人工的に配置された混合画像を生成する。かかる好ましい実施形態は好ましくは、国際スポーツ放送において、例えば異なる国の観客に固有の広告を出すのに使用することができる。
【0097】
従って、図示のように、カメラ20は被写体106および広告掲示板104とを含む画像を撮像し、被写体および広告掲示板までのそれぞれの距離を上記のようにして決定する。画像プロセッサ90は加えて、広告掲示板104の境界108を識別するとともに、周知の画像解析法を使用して、カメラ20に関する上記広告掲示板の位置および方向を決定する。境界108は好ましくは、容易に識別可能な特徴、例えば逆反射ストリップ、赤外線反射材料からなるストリップもしくは赤外線LEDの光もしくは他の光源の列を含んでいる。さらには、広告掲示板104は、画像プロセッサ90が正確に上記位置および方向を決定するのを助けるように、色彩固定されていてもよい。上記画像プロセッサはそのとき、所望の画像もしくはメッセージを、カメラ20から受けた画像の中の広告掲示板104内に、上記画像もしくはメッセージのサイズおよび仮想的な視野角を適宜に調節した後に挿入する。被写体106の画像は広告掲示板内の画像もしくはメッセージに重畳される。
【0098】
図10は本発明のいま一つの好ましい実施形態にかかる測距ライン画像カメラ110を図式的に表している。カメラ110は、リニアアレイCCDカメラおよびスキャナのような周知の画像取り込み装置と同じように使用することができる。かかる装置は一般に、被写体もしくは情景の狭くてリニアな部分の画像(深度情報はない)を生成する。上記装置の視界はそのとき、被写体もしくは情景の上を光学的もしくは機械的に走査されるとともに、そのようにして生成された多数の画像が単一の、二次元画像を形成するために結合される。以下に述べるように、視野測距ライン画像形成カメラ110は、好ましくは、三次元情報を含む画像を形成するために被写体もしくは情景の上を同様に走査する。
【0099】
図10に示すように、カメラ110は、カメラ20のアレイ22と同様の、好ましくはCCDアレイである、検知マトリックスアレイ112を含んでいる。アレイ112は、検知エレメントの複数の平行な行114を含んでいる。ビデオプロセッサ116は駆動信号をアレイ112に供給するとともに、それから画像応答ビデオ信号を受信する。カメラ20と同様に、情景26の画像を形成しているライン画像カメラ110が示されており、該情景は変調器44を介して、駆動回路42により駆動される光源40により照明されている。
【0100】
カメラ110の光学系118は集光レンズ120,リニアシャッタアレイ122および画像レンズ124を含んでいる。シャッタアレイ122は、複数の狭いシャッタエレメント130,132,134,…,136を含むとともに、好ましくは、行114に実質的に平行な方向に向き付けられた要素130〜136を有する、検知アレイ112の面に実質的に平行に配置されている。コントローラ126は積分スイッチング回路網128によりリニアシャッタアレイ122を制御し、所望のシーケンスに従ってシャッタエレメント130〜136の各々を開くためにコントローラ126により好ましくは制御される。コントローラ126はさらに、カメラ20のコントローラ46を参照して上に説明したように、駆動回路42および変調器44を制御するとともに、ビデオプロセッサ116からのデータを受信および制御する。
【0101】
好ましくは、シャッタアレイ122は液晶シャッタアレイであるかまたは、ゲート付きのマイクロチャンネルエレメント、または光電エレメントもしくは音響光学変調エレメントのアレイである。
【0102】
図11は例えば、本発明の一つの好ましい実施形態を示すものであって、該実施形態では、シャッタアレイ122は平行な分解断面図で示す、ゲート付きアレイを含んでいる。アレイ122は、第1ガラス板138にコートされたフォトアノード137、マイクロチャンネルプレート139、およびその上に重畳された積分スイッチング回路網128を有する第2ガラス板145を含んでいる。フォトアノード137およびフォトカソード143は、周知の適切な材料、例えば隣を含んでいる。スイッチング回路網128は好ましくは、複数の透明電極141、例えばフォトカソード143の面の上にコートされたITO(indium tin oxide)のストリップを含んでいる。図面を明瞭にするために、ガラス板138および145並びにマイクロチャンネルプレート139は図面では分離して示されているが、実際の使用では、周知のように、一般に、これらの要素は真空ケース内にて近接して保持される。
【0103】
マイクロチャンネルプレート139は好ましくは、周知の通常のマイクロチャンネルプレートと同様のものであるが、シャッタエレメント130,132,134,…,136を構成している、プレート内のマイクロチャンネルの異なるグループは、対応する電極141により、個々にスイッチもしくはゲートされる。
【0104】
上記電極は回路網128を通して、好ましくは−200VDCのレンジで、周知の負の高圧源に回路網128を通して個々にスイッチ可能に接続されている。
【0105】
図11に示すように、シャッタアレイ122の動作は、次の例から理解されるであろう。フォトアノード137に衝突する光子は、マイクロチャンネルプレート139に近接して光電子を発生する。エレメント130に対応する電極147の一つが上記負の高電圧に接続されていると、エレメント130に近接する領域で発生された光電子は、エレメント130を構成しているプレート139のマイクロチャンネルを通して加速され、さらに周知のように、マイクロチャンネル内に二次電子がさらに発生する。これらの電子はそのとき電極147を通過し、光電陰極143に入射し、エレメント130に近接するカソードの領域に光子を発生する。残る電極141が負の高電圧に接続されていないと仮定すると、しかしながら、このプロセスは他のエレメント132,134,…,136のいずれにも実質的に起きない。このようにして、シャッタエレメント130は実効的に開いており、残るシャッタエレメントは実効的に閉じている。シャッタエレメント132,134,…,136は好ましくは、エレメント130に続いて、同じようにして、順次に開かれる。
集光レンズ120は、情景26から反射された光をシャッタアレイ122の上に結像させ、該シャッタアレイ122は以下に述べるように光を変調する。上記シャッタアレイからの変調された光はその後、結像レンズ124により検知アレイ112の上に結像される。好ましくは、光学系118は、行114の数およびサイズに対比されるエレメント130〜136の数とサイズに応じて、シャッタアレイ122の各エレメント130〜136が検知アレイ112の一つの行114の上、近接する行114からなるグループの上に結像する。図10には、結像レンズ124がシャッタアレイ122をほぼ1倍の倍率で検知アレイ112の上に結像させているように示されているが、シャッタアレイ122および検知アレイ112の相対的な寸法並びにそれらのエレメント130〜136および行114の相対的な寸法に応じて、適当な倍率が結像レンズ124の適正な選択と配列により選択されてもよいことが理解されるであろう。さらに、シャッタアレイ122およびシャッタエレメント130〜136の大きさが検知アレイ112および行114の寸法に適合するように十分小さくすることができるときは、シャッタアレイ122は検知アレイ112に近接して直接、配置するとともに直接接触によりそれに結合せ、結像レンズ124を介在させる必要をよりうまく回避して光学系118を単純化するようにしてもよい。
【0106】
図12Aはタイミングダイヤグラムであって、本発明の一つの好ましい実施形態により、カメラ110の変調器44およびシャッタアレイ122に印加されるスイッチングパルスおよび変調パルス140を図式的に示している。変調器44およびシャッタエレメント130は最初は開かれていて、パルス幅がTの矩形波により、光がそれを通過するようにしている。変調器44とエレメント130とは近接しているので、実質的に同じ変調波形がエレメント132に印加される。
【0107】
エレメント132が閉じるにつれて、エレメント134が開き、以下同様にして、最後のエレメント136が開かれるまで、順次、アレイ122を下っていく。
上記したように、シャッタエレメント130〜136の各々が開くにつれて、検知アレイ112の対応する行114もしくは行グループには情景26から反射された光が入射する。
【0108】
図12Bに示すように、図12Aに示された変調パターン140は、シャッタエレメント130〜136により規定される一連の引き続く重なりを有する距離ウインドウ142を生じさせる。各行114もしくは検知アレイ112の行グループはその対応するシャッタエレメント130〜136により規定されるウインドウ内にある情景26の被写体からのみ光を受光する。ウインドウ142の幅およびそれらのそれぞれの中心距離は、正規化された信号強度とともに、図3,図4および図5、さらには図6Aおよび図6Bを参照して上に述べたようにして決定される。距離ウインドウ142の相互の重なりは、例えば図5の図式に従って、目的の被写体が単一の距離ウインドウの中にのみ含まれているときに出会う距離の曖昧さの問題を解消するために使用されてもよい。
【0109】
変調パターン140および得られたウインドウ142がここでは例として示されており、他の適当な変調パターンも同様に使用できることが理解されるであろう。例えば、変調器44に印加された変調波形は図6Aに示されるとともに該図面を参照して上で説明された波形60と同様であってもよい。シャッタエレメント130〜136に印加された波形は、波形が図6Aの波形52と同じで、ほぼ図12Aに示されるように、順次印加されるようにしてもよい。この場合、一連の重なりを有する距離ウインドウは、形が図6Bに示されたものと同様に規定される。
【0110】
さらにまた、一連のシャッタエレメント130〜136に印加される変調パルスは重なりを生じるようにタイミングを取り、対応する距離ウインドウがそれらの各々の近傍とより大きな重なりを有するようにしてもよい。さらには、遅延が距離ウインドウと離れて広がるように、変調パルスの間に導入されるようにしてもよい。さらに、一連のシャッタエレメント130〜136に印加される波形は必ずしも全て等しいパルス幅を有している必要はないが、上記アレイの下方にいくにつれて、エレメントからエレメントに増加する期間を有していて、カメラ110からのより大きな距離で、距離ウインドウが広くなるようにしてもよい。
【0111】
ライン撮像カメラ110により捕捉された各画像フレームは、画像切片のアレイを含んでいることが理解されるであろう。各画像切片は、その近傍と横方向に実質的に切れ目なく連続しているが、異なった距離ウインドウ内の被写体を捕捉する。従って、二つの画像切片の間の境界の上にある被写体は、二つの切片で正規化された強度の異なったレベルを有しているか、それは二つの切片のうちの一つの中に部分的に現れるが、他には現れないかもしれない。従って、周知の、通常のリニアアレイ画像形成装置との類似により前に言及されたように、本発明の好ましい実施形態では、画像切片は光学的および機械的に情景を横断して走査され、情景中の目的の各被写体は目的の被写体が含まれている距離ウインドウを有している少なくとも一つの画像切片中に捕捉される。
【0112】
図13は、三次元画像調査のための空挺システム146のライン撮像カメラ110の使用を図式的に示している。システム146はカメラ110を含んでおり、該カメラ110は飛行機148から下方をみるように搭載され、シャッタエレメント130〜136の長さ方向が実質的に飛行機の飛行方向に垂直である。カメラ110は、建物152および154、草木156および地形158を典型的に含んでいる。図13に示されているように、アレイ122の各シャッタエレメント130,132,134,…,136は各々の画像切片160,162,164,…,166を規定する。上記切片は好ましくは、アレイ122のシャッタエレメントの高さにより規定された実質的に等しい角度、もしくは切断厚みを有するとともに、例えば図12Bに示されているように、実質的に等しい深さを有する距離ウインドウを有している。実際はアレイ112の行114の番号に達するまで、どの切片の番号も使用することができるが、図13では少数の切片のみを含んでいる。飛行機148が情景150の上を飛行するにつれて、切片160〜166は「プッシュ−ブルーム(push−broom)(長い取って付きの箒)」形式で情景の上を走査し、それにより各切片は、その各々の距離ウインドウ内にある情景中の被写体の二次元画像内にある情景中の被写体の全二次元画像を、線毎に捕捉する。カメラ110から上記切片の任意の一つのウインドウ内の各被写体、例えば切片166内の建物152までの距離が、上記したように、その正規化された信号強度から正確に決定される。所望により、上記距離ウインドウは、地形158のスロープのような、情景中の高度の変化に適合するように適宜調節されてもよい。好ましくは、飛行機148の高度および対地速度は知られていて制御されるが、最も好ましくは一定であり、カメラ110からライン画像を受ける画像プロセッサ170は上記ライン画像と距離情報をともに、情景150のフルの三次元画像中組み込むことができる。
【0113】
さらに好ましくは、アレイ検知器112は対地速度と同期するレートでスキャンされ、カメラ110により得られた一つのフィールドもしくはフレーム中の切片160中に捕捉された情景の領域は、例えば続くフィールドもしくはフレーム内の切片162により捕捉される。よって、ビデオプロセッサ194もしくは関連する画像捕捉システムは、多数の切片および対応する深度ウィンドウを都合よくしかも正確に登録することができる。
本発明のいくつかの好ましい実施形態では、カメラ110により得られたラインイメージおよび距離情報は、建物152および154並びに地形158のような、画像化された地形の横方向寸法および地形の高度を決定するために、王次元写真測量法で使用される。これらの寸法や高度はそのとき、例えば、正確な地形の地図および土地の測量図内に組み込まれてもよい。それらは同様に、通常の写真もしくはビデオ画像から高い精度で求めることが通常、非常に困難な、例えば建物152のような、ものの体積を計算するのに使用することができる。
【0114】
図13は飛行機148に搭載されたカメラ110を示しているが、カメラが空挺プラットホームもしくはそれに代わる、宇宙もしくは海上輸送プラットホームの上に搭載されるような、本発明の他の同様の好ましい実施形態もある。例えば、上記カメラは水の下もしくは海底の地形の地形を作るために海上船舶もしくは潜水船舶に搭載するようにしてもよい。
【0115】
図14は本発明の他の好ましい実施形態を図式的に示しており、該実施形態では、カメラ110は固定されていて、被写体174,176および178に関する距離情報を含む、多数のライン画像切片160〜166を発生する。回転シャフト182に取り付けられたミラー180が情景172を横断してライン画像を走査し、画像プロセッサ170が図13に関して上に説明したのと同様にして、情景の全体の三次元画像を得ることができる。シャフト182が好ましくはガルバノメータ、ポリゴンスキャナもしくは周知の他の手段により回転される。
【0116】
図15は本発明のさらにいま一つの好ましい実施形態を示しており、該実施形態において、ライン撮像カメラ190は情景26の三次元画像を迅速に得る。カメラ190は、カメラ110のアレイ112のような、複数の行193を含む好ましくはCCDアレイのような検知アレイ192、およびビデオプロセッサ116と同様の、アレイ192に結合されたビデオプロセッサ194を含んでいる。
【0117】
上記した好ましい実施形態のように、光源40は情景26を照明するために駆動回路42により駆動される一方、変調器44は所望の変調波形に従って照明光196の通路を交互に開閉する。円筒レンズ198が情景26上に照明光の狭い光線200を発生させるようにビーム196を収束させ、照明光の光線200の長軸は図15の面に垂直であって、アレイ192の行193に実質的に平行である。走査ミラー202は、光線200を情景26の範囲に垂直に縦断して光線200を走査させるために、例えば周知のガルバノメータ装置のような走査モータ204により回転される。かかる走査は、例えばサーボモータにより適切に回転駆動される、ポリゴンミラーを使用して同様に行うことができる。
【0118】
情景26から反射した光は光学系210によりアレイ192上に集光され、走査され、かつ収束される。光学系210は入射側絞り212、集光レンズ214、光変調器216、収束レンズ218および出射絞り220を含んでいる。変調器216は好ましくは音響光学結晶を含んでおり、該変調器はアレイ192を縦断してビームをスキャンさせるように、情景26から受けた画像ビーム224を偏向するためにコントローラ222により駆動される。画像ビーム224は照明光線200と同様の、反射光の狭い線を含んでいることが分かるであろう。
【0119】
コントローラ222はさらに、図10に示されたコントローラ126を参照して説明したように、ビデオプロセッサ194からの画像データを制御するとともに受信し、ドライバ42,変調器44およびガルバノメータ204を制御する。
【0120】
好ましくは、照明ビーム196は情景26を縦断して走査し、変調器44が繰り返し開閉し、照明光線200が一連の水平な切片を照明する。各々のかかる切片に対して、変調器216は好ましくは、一番上の行からスタートして一番下の行で終わるように、順に、アレイ192の実質的に全ての行193にわたって、画像ビーム224をスキャンさせる。
【0121】
従って、画像ビーム224は、図3および図12Aに示された変調波形のパルス幅Tに関数的に等価である、実質的に等しい休止期間の間、引き続いて行193の各々にとどまる。同様に、図12Aのように、ビーム224は、上記アレイの先行する行の累積する休止期間に実質的に等しい、照明ビーム196に対する遅延時間で各行193に到達する。
【0122】
このようにして、変調器44が開いている照明光線200の位置により規定される上記26の各切片に対して、カメラ190は距離情報を含む情景のライン画像を形成することが理解されるであろう。上記切片内の距離情報が引き続く距離情報内に捕捉され、各ウインドウはアレイ192の異なった行193に対応している。モータ204およびミラー202が情景26の全体にわたってビーム196をスイープするにつれて、カメラ190は情景全体の完全な、三次元画像を形成する。
【0123】
本発明の他の好ましい実施形態では、カメラ190は、図13に示すように、例えばカメラ110の代わりに飛行機148、もしくはいくつかの他の適当なタイプの移動プラットホームにカメラを固定することにより、プッシュブルームモードで情景の上を走査する。この場合、照明光線200が飛行機の運動による情景を走査するので、モータ204は不要である。さらに、かめら190の単一のフィールドもしくはフレームで得られた全ての距離ウインドウが(カメラ110と異なり)同じ画像切片内にあり、上記カメラにより生成された個々のライン画像の結合された、三次元画像内への表示が単純化される。ミラー202は好ましくは、図2に示されたビーム結合器58のような、ビーム結合器により置換し、照明光のビーム196および反射光のビーム224が照準規正されるようにすることができる。
【0124】
以上に説明した本発明の好ましい実施形態は一般に、白黒画像もしくはカラー画像のいずれかを生成するのに適用することができる。白黒画像は、目的の情景を照明するために可視光、赤外光もしくは紫外光および適当な光学系を使用するとともに、光を制御および受光する変調器および検知器を使用することにより、生成することができる。
【0125】
さらに、本発明の原理は、他のタイプの放射波を使用して三次元画像を生成するために同様に適用することができる。例えば、ソナーもしくは超音波画像のような音響画像が、マイクロフォンもしくは圧電結晶のような周知の音響センサおよびまたは放射器のアレイを使用して生成することができ、また、画像中の被写体に関する深度情報が本発明により決定するとができる。海底音響画像に対しては、周知のように、図1および図1A〜Cに示された光学レンズに代えて、音響レンズが都合よく使用することができる。
【0126】
図16は、本発明の好ましい実施形態により、カラー画像を生成するために、カメラ110で使用するための、検知アレイ112の適用を図示している。アレイ112は多数のストライプ232を有するカラーストライプフィルタ230により覆われており、その各々は実質的に行114に対して垂直な、アレイ112の単一のそれぞれのコラムを実質的に覆っている。ストライプ232は、好ましくは、赤、緑、青、緑、赤、緑等の順に、周知のように、異なったそれぞれの色の光を交互に通過する。従って、アレイ112の行114内で隣接する画素には、赤、緑もしくは青の光が交互に入射する。(好ましくは、光源40により供給される光は白色光である。)近接する画素からの信号は好ましくは、局部の輝度およびクロミナンス情報を導出するために結合される。
【0127】
従って、カメラ110により生成される多数のライン画像の各々は一般に、強度および深度情報に加えて、カラー情報を含んでいる。これらのカラーライン情報はそのとき、好ましくは、三次元カラー画像を生成するために、例えば図13もしくは図14を参照して説明したように、スキャンされる。
【0128】
同様に、図1に示されたカメラ20、もしくは図2Aのカメラ50または図2Bのカメラ59の検知アレイ22は、図16に示されているような、カラーストライプフィルタ、もしくは周知のカラーモザイクフィルタを含んでいてもよい。
【0129】
また、例えば周知のダイクロイックプリズムのアッセンブリのような、適当なダイクロイックフィルタを有するCCD検知アレイが、RGBD(赤−緑−青−深度)画像、すなわち深度情報を含むカラー画像を発生するために、カメラ20、カメラ50、カメラ59、もしくは以下に述べるカメラ240のアレイ22に置換されてもよい。
【0130】
さらに、本発明の好ましい実施形態では、上記したいずれの光学測距カメラによって発生される三次元画像情報も融合されて、カメラにより生成される二次元強度画像を強調するために使用される。同様に、上記二次元強度画像は、三次元画像をシャープなものとするか、または強調するために使用することもできる。
【0131】
二次元および三次元画像は、それらが同じ検知アレイからのものであるので、本質的に相互に登録されることが理解されるであろう。このように、例えば、二次元および三次元画像の画像情報が画像のエッジによる輪郭をシャープにするおよびまたは滑らかにするために、およびまたは周知の画像フィルタ法を使用してかかるエッジに近い画像の色を修正するために使用されてもよい。
【0132】
図17Aは、本発明のさらにいま一つの好ましい実施形態にかかる、ピクセル−ワイズ(pixel−wise)測距カメラ240を図示している。カメラ240は、図10に示されるような、カメラ110に示されたアレイ112と同様の、複数の検知要素242を含む、検知マトリックスアレイ241を含んでいる。カメラ240はまた、カメラ110が有しているような、レンズ120および124に加えて、液晶シャッタアレイ244を含む、光学系243を含んでいる。
【0133】
図17Aに示されたカメラ240の他の部品は、カメラ110の部品と構成および機能において実質的に同じである。
【0134】
シャッタアレイ244は複数のシャッタアレイ246を含んでいる。光学系243は検知アレイ241に関して適切に整列および配置されており、各シャッタエレメント246はアレイ241の各々の検知エレメント242もしくは近接する検知エレメントのグループに到達する情景26からの反射光を個々に変調する。シャッタアレイ244はコントローラ126により制御され、異なったシャッタエレメント246が同時もしくは異なったタイミングで開閉するように変調されてもよい。従って、各検知要素242もしくはエレメントのグループは、対応するシャッタエレメントの変調に応じて、それと連携するそれ自身の距離ウインドウを持っていてもよい。
【0135】
シャッタアレイ244は、その画像がそれぞれの検知エレメント242もしくはエレメントのグループにより捕捉される情景26中の点までの距離を、各距離ウインドウが追跡するように、好ましくは適当に動作するようにしてもよい。各々のかかる距離ウインドウは、画像の輻輳を削減するとともに、上記点までの距離の正確な読みを含むとともに生成するように調整されてもよい。
【0136】
図17Bに図式的に示されているように、カメラ240を使用している本発明のいくつかの好ましい実施形態では、アレイ241の相互に近接する検知エレメント242のグループは「スーパ画素(super−pixels)」250のように連携して動作するように構成される。かかるスーパ画素250の各々は、例えば、エレメント242が9個からなる3×3のグループを含んでおり、その上に情景26から反射された光が光学系243による共通の軸に沿って実質的に画像形成される。スーパ画素250の9個のエレメント242の各々が共通の上記軸に沿って異なった距離ウインドウからの光を受けるように、シャッタアレイ244が動作する。これらのウインドウは、図17BにおいてW1〜W9の符号が付されており、図12Aに図示されている変調波形に従って、順次開閉する九個の検知エレメントと連携しているシャッタエレメント246に、例えば対応していてもよい。
【0137】
このようにして、横方向の分解度が犠牲になるが、所望の距離分解度を有する深度情報を含む、情景の完全な画像がカメラ240の単一のフィールドもしくはフレームに捕捉される。例えば1×2個の画素、2×2の画素もしくは4×4個の画素の所望のサイズのスーパ画素が情景中の被写体距離の最適な収束を達成するために使用されてもよい。
【0138】
本発明のいくつかの好ましい実施形態では、上記したような測距カメラ、例えばカメラ20は、ロボットに搭載されるかまたは連携しており、該ロボットは所望の仕事におけるその動作を案内するためにカメラから供給される三次元画像情報を使用している。
【0139】
本発明の他の好ましい実施形態では、カメラ20,50もしくは110は製造工程における品質保証もしくは品質管理、例えば製造される種々の物品の寸法を検知して標準値とどれだけずれているかを検査するのに使用される。同様に、ばらの材料の表面の輪郭を測定することにより、その材料の体積が決定される。サイズが同様に知られているかまたは上記カメラを使用して測定される、容器に貯蔵されている物の体積は、同様の手法により決定することができる。
【0140】
本発明の他の好ましい実施形態において、カメラ20,50もしくは110は目的の物体の三次元画像を得るために、モデルスキャナで使用される。一つのかかる好ましい実施形態では、これらの三次元画像が、表面のカラー再生を含む、目的の被写体の一以上の三次元コピーもしくはモデルを再生するために、周知のように、迅速な三次元モデルの試作とともに使用される。
【0141】
本発明のさらに他の好ましい実施形態では、カメラ20は例えば、衝突回避システムに使用するために、車両に搭載される。好ましくは、カメラ20は画像解析システムの一部であり、それは起こりうる障碍を認識してカメラの出力を車両から障害物までの距離を決定するために使用する。
【0142】
本発明の他の好ましい実施形態では、カメラ20もしくは50のような、上記したような測距カメラは、患者の体の内部の目的の部位の三次元画像を得るために内視鏡とともに使用される。
【0143】
本発明のいま一つの好ましい実施形態では、カメラ20もしくはカメラ50は目の不自由な人が使用するためのセンサマトリックスに接続される。該センサマトリックスは多数のピンを有していて、これらピンは目の不自由な人の皮膚、例えば額を押圧し、その際、各ピンにより皮膚に印加される圧力はその人から上記カメラにより視認された情景の対応する点における物体までの距離に比例する。
【0144】
好ましくは、目の不自由な人はカメラの距離ウインドウを制御し、上記ピンにより印加される圧力の範囲はその人からの所望の距離範囲に対応している。
【0145】
以上に説明した好ましい実施形態は例として説明したものであり、本発明の権利範囲は請求の範囲によってのみ規定されることが理解されるであろう。
【図面の簡単な説明】
【0146】
【図1】図1は、本発明の好ましい実施形態による光学測距カメラの構成の概略図である。
【図2A】図2Aは、本発明の好ましい実施形態によるテレセントリック光学カメラの構成の概略図である。
【図2B】図2Bは、本発明の他の好ましい実施形態によるいま一つのテレセントリック光学測距カメラの構成の概略図である。
【図2C】図2Cは、本発明の好ましい実施形態による二つの検知アレイを含むさらにいま一つの光学測距カメラの構成の概略図である。
【図3】図3は、本発明の好ましい実施形態による図1もしくは図2Bのカメラとともに使用するための変調の概要を示す波形の概略のダイヤグラムである。
【図4】図4は、本発明の好ましい実施形態による測距カメラにより形成される情景を示す概略図である。
【図5】図5は、本発明の好ましい実施形態による、図3に示された波形を図1もしくは図2Bのカメラに適用することにより得られた、距離に依存する画像フィルタ関数を示す概略図である。
【図6A】図6Aは、本発明のいま一つの好ましい実施形態による、図1もしくは図2Bのカメラとともに使用するための他の変調の波形図を示す概略のダイヤグラムである。
【図6B】図6Bは、図6Aで示された波形を図1もしくは図2Bのカメラに適用することにより得られる、距離に依存する画像フィルタ関数の概略図である。
【図7】図7は、本発明の好ましい実施形態による、アダプタ式光学測距カメラシステムの概略図である。
【図8A】図8Aは、本発明の好ましい実施形態による、混合されたビデオ画面を生成するための光学測距カメラシステムの概略図である。
【図8B】図8Bは、図8Aのシステムにより生成されるビデオ画像の概略図である。
【図9】図9は、本発明のいま一つの好ましい実施形態による、混合されたビデオ画像を生成するための光学測距カメラシステムの概略図である。
【図10】図10は、本発明の好ましい実施形態による、光学測距線画像カメラの概略図である。
【図11】図11は、本発明の好ましい実施形態による、好ましくは図10のカメラに使用するためのシャッタアレイの概略の分解断面図である。
【図12A】図12Aは、本発明の好ましい実施形態による、図10のカメラとともに使用するための変調の概略の波形図を示すダイヤグラムである。
【図12B】図12Bは、本発明の好ましい実施形態による、図11Aに示された波形を図10のカメラに適用することにより得られた一連の距離依存画像フィルタ関数の概略図である。
【図13】図13は、本発明の好ましい実施形態による、図10の線画像カメラに基づく地形画像形成システムの概略図である。
【図14】図14は、本発明のいま一つの好ましい実施形態による、図10の線画像形成カメラに基づくイメージ走査システムの概略図である。
【図15】図15は、本発明のいま一つの好ましい実施形態による、光学測距線画像カメラの概略図である。
【図16】図16は、本発明の好ましい実施形態による図10の線画像カメラの検知アレイとともに使用するための、カラーストライプフィルタの概略図である。
【図17A】図17Aは、本発明のさらに好ましいいま一つの実施形態による、光学測距カメラの概略図である。
【図17B】図17Bは、本発明の好ましい実施形態による、多重距離ウインドウを生成するために図17Aのカメラに使用される検知アレイの部分概略図である。
【出願人】 【識別番号】507279484
【氏名又は名称】3ディブイ・システムズ・リミテッド
【氏名又は名称原語表記】3DV SYSTEMS LTD.
【出願日】 平成19年8月20日(2007.8.20)
【代理人】 【識別番号】100101454
【弁理士】
【氏名又は名称】山田 卓二

【識別番号】100081422
【弁理士】
【氏名又は名称】田中 光雄

【識別番号】100091524
【弁理士】
【氏名又は名称】和田 充夫

【識別番号】100113170
【弁理士】
【氏名又は名称】稲葉 和久


【公開番号】 特開2008−3099(P2008−3099A)
【公開日】 平成20年1月10日(2008.1.10)
【出願番号】 特願2007−213558(P2007−213558)