トップ :: G 物理学 :: G01 測定;試験




【発明の名称】 画像処理装置および方法、並びに記録媒体
【発明者】 【氏名】三輪 祥子

【氏名】横山 敦
【要約】 【課題】カラーカメラおよび白黒カメラにより撮像された画像から、対象物までの距離を正確に検出することができるようにする。

【解決手段】ステップＳ１０１で、２台の基準カメラ（カラーカメラ）および検出カメラ（白黒カメラ）で対象物が撮影される。ステップＳ１０２で、基準カメラ画像上の、対象物の点が投影されている点ｎａを中心とする基準ブロックの輝度値ｒ，ｇ，ｂが検出される。ステップＳ１０３で、輝度補正テーブルBTが参照され、ステップＳ１０２で検出された輝度値ｒ，ｇ，ｂにより特定される要素点に設定されている輝度値ｙが検出される。ステップＳ１０４において、検出された輝度値ｙを利用して、エリアベースマッチングが行われ、対応点ｎbが検出される。ステップＳ１０５で、基準カメラ画像上の点ｎaと、ステップＳ１０４で検出された対応点ｎbの間の視差が求められ、その視差および、基準カメラと検出カメラの位置関係に基づいて、対象物までの距離が求められる。
【特許請求の範囲】
【請求項１】 第１の特性のカメラで対象物を撮像して得られる第１の画像の色基底毎の輝度値と、第２の特性のカメラで前記対象物を撮像して得られる第２の画像の輝度値との対応関係を保持する保持手段と、前記第１の画像の色基底毎の輝度値と前記第２の画像の輝度値の一方を検出する第１の検出手段と、前記第１の検出手段により検出された前記第１の画像の色基底毎の輝度値と前記第２の画像の輝度値の一方に対応する他方を、前記保持手段に保持されている前記対応関係から検出し、検出した結果に基づいて、前記第１の画像または前記第２の画像の輝度値を補正する補正手段とを備えることを特徴とする画像処理装置。
【請求項２】 前記補正手段により輝度値が補正された前記第１の画像または前記第２の画像の画素と対応する、前記第２の画像または前記第１の画像の対応画素を検出する第２の検出手段と、前記第２の検出手段よる検出結果に基づいて、前記対象物までの距離に関する距離関係情報を生成する生成手段とをさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】 前記保持手段に保持されている、前記第１の画像の色基底毎の輝度値に対応する前記第２の画像の輝度値は、保持されている隣接した前記第２の画像の輝度値と滑らかな値になるように補間されていることを特徴とする請求項１に記載の画像処理装置。
【請求項４】 第１の特性のカメラで対象物を撮像して得られる第１の画像の色基底毎の輝度値と、第２の特性のカメラで前記対象物を撮像して得られる第２の画像の輝度値との対応関係を保持する保持ステップと、前記第１の画像の色基底毎の輝度値と前記第２の画像の輝度値の一方を検出する検出ステップと、前記検出ステップの処理で検出された前記第１の画像の色基底毎の輝度値と前記第２の画像の輝度値の一方に対応する他方を、前記保持ステップの処理で保持された前記対応関係から検出し、検出した結果に基づいて、前記第１の画像または前記第２の画像の輝度値を補正する補正ステップとを含むことを特徴とする画像処理方法。
【請求項５】 第１の特性のカメラで対象物を撮像して得られる第１の画像の色基底毎の輝度値と、第２の特性のカメラで前記対象物を撮像して得られる第２の画像の輝度値との対応関係を入力する入力ステップと、前記第１の画像の色基底毎の輝度値と前記第２の画像の輝度値の一方を検出する検出ステップと、前記検出ステップの処理で検出された前記第１の画像の色基底毎の輝度値と前記第２の画像の輝度値の一方に対応する他方を、前記入力ステップの処理で入力された前記対応関係から検出し、検出した結果に基づいて、前記第１の画像または前記第２の画像の輝度値を補正する補正ステップとを含むことを特徴とする処理をコンピュータに実行させるプログラムが記録されている記録媒体。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、画像処理装置および方法、並びに記録媒体に関し、特に、得られる画像の輝度状態が異なる場合であっても、正確な輝度情報を得ることができるようにした画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】２台以上のビデオカメラで撮像することより得た複数の画像の間で、互いに対応する画素の間の視差情報（視差）を得て、対象物上の各点の距離を求め、さらには、対象物の形状を計測する、いわゆるステレオ画像処理が開示されている。
【０００３】図１は、ステレオ画像処理を実行して、対象物上の各点の距離またはその形状を計測する距離測定装置の構成例を示している。
【０００４】ビデオカメラ１およびビデオカメラ２は、異なる位置に固定された、例えばＣＣＤ（Charge Coupled Device）ビデオカメラで、その異なる位置（異なる視線方向）から対象物３を撮影し、その結果得られる画像を、カメラインターフェイス４に出力する。なお、ビデオカメラ１またはビデオカメラ２は、それぞれ、いわゆる基準カメラまたは検出カメラとして機能する。そこで、以下、適宜、ビデオカメラ１またはビデオカメラ２を、それぞれ基準カメラ１または検出カメラ２と称するとともに、それぞれが出力する画像を、基準カメラ画像または検出カメラ画像と称する。
【０００５】カメラインターフェイス４は、基準カメラ１または検出カメラ２それぞれからの基準カメラ画像または検出カメラ画像を受信し、フレームメモリ５に供給する。フレームメモリ５は、カメラインターフェイス４からの基準カメラ画像および検出カメラ画像を、例えば、フレーム単位などで記憶する。
【０００６】演算処理回路６は、フレームメモリ５に記憶された基準カメラ画像および検出カメラ画像に基づいて、基準カメラ１または検出カメラ２のうちの、例えば、基準カメラ１から対象物３までの距離に関係する距離関係情報を求め、その距離関係情報に対応する画素値を有する画像を生成する。
【０００７】即ち、演算処理回路６は、基準カメラ画像の画素と、検出カメラ画像の画素のとの間の対応をとり、基準カメラ画像の画素それぞれについて、対象物３までの距離を求めて、その距離に対応する画素値を有する画像（例えば、距離が大きいほど輝度値が大きい画像）（以下、適宜、距離画像という）を生成する。あるいは、演算処理回路６は、対応をとった画素間の視差ζを測定し、その視差ζに対応する画素値を有する画像（以下、適宜、視差画像という）を生成する。
【０００８】記憶装置７は、例えば、ＨＤ（Hard Disk）や、ＣＤ−ＲＯＭ（Compact DiscRead Only Memory）などで構成され、演算処理回路６が実行するＯＳ（Operating System）のプログラムや、上述したような処理を行うためのアプリケーションプログラムなどを記憶する。また、記憶装置７は、演算処理回路６が出力する距離画像等を記憶する。出力装置８は、例えば、ＣＲＴ（Cathode Ray Tube）や液晶パネルなどで構成され、演算処理回路６が出力する距離画像等を表示する。
【０００９】以上のように構成される距離測定装置では、基準カメラ１および検出カメラ２によって対象物３が撮影される。さらに、その結果得られる基準カメラ画像および検出カメラ画像が、カメラインターフェイス４を介してフレームメモリ５に供給されて記憶される。そして、その基準カメラ画像および検出カメラ画像を用いて、演算処理回路６において、ステレオ処理が行われる。
【００１０】ここで、ステレオ処理は、上述のように、２つ以上の方向（異なる視線方向）からカメラで同一対象物を撮影して得られる複数の画像間の画素同士を対応付けることで、対応する画素間の視差情報や、カメラから対象物までの距離、対象物の形状を求めるものである。
【００１１】即ち、例えば、図２に示すように、２台の基準カメラ１および検出カメラ２で対象物３を撮影すると、基準カメラ１からは対象物３の投影像を含む基準カメラ画像が得られ、検出カメラ２からも対象物３の投影像を含む検出カメラ画像が得られる。いま、図２における対象物３上のある点Ｘが、基準カメラ画像および検出カメラ画像の両方に表示されているとすると、その点Ｘが表示されている基準カメラ画像上の位置と、検出カメラ画像上の位置（以下、検出カメラ画像上のこの位置を対応点（対応画素）と称する）とから、視差情報を求めることができ、さらに、三角測量の原理を用いて、点Ｘの３次元空間における位置（３次元位置）を求めることができる。
【００１２】従って、ステレオ処理では、まず、対応点を検出することが必要となるが、その検出方法としては、例えば、エピポーラライン（Epipolar Line）を用いたエリアベースマッチング法などがある。
【００１３】即ち、図３に示すように、基準カメラ１においては、対象物３上の点Ｘは、その点Ｘと基準カメラ１の光学中心（レンズ中心）Ｏ1とを結ぶ直線Ｌ上の、基準カメラ１の撮像面Ｓ1（基準カメラ画像が形成される撮像面）との交点ｎaに投影される。
【００１４】また、検出カメラ２においては、対象物３の点Ｘは、その点Ｘと検出カメラ２の光学中心（レンズ中心）Ｏ2とを結ぶ直線上の、検出カメラ２の撮像面Ｓ2（検出カメラ画像が形成される撮像面）との交点ｎbに投影される。すなわち、撮像面Ｓ2上に投影された交点ｎbが、この場合の対応点である。
【００１５】この場合、直線Ｌは、光学中心Ｏ1および光学中心Ｏ2、並びに点ｎa（または点Ｘ）の３点を通る平面と、撮像面Ｓ2との交線Ｌ2として、撮像面Ｓ2上に投影される。点Ｘは、直線Ｌ上の点であるので、対応点である点ｎbは、撮像面Ｓ2上の直線Ｌ2（直線Ｌを投影した直線）上に存在する。従って、対応点ｎbの探索は、この直線Ｌ2（以下、この直線をエピポーララインＬ2と称する）上を対象に行えば良い。
【００１６】ここで、エピポーララインは、例えば、撮像面Ｓ1に形成される基準カメラ画像を構成する画素ごとに考えることができるが、基準カメラ１と検出カメラ２の位置関係が既知であれば、その画素ごとに存在するエピポーララインは求めることができる。
【００１７】エピポーララインＬ2上の点からの対応点ｎbの検出は、例えば、次のようなエリアベースマッチングによって行うことができる。
【００１８】即ち、エリアベースマッチングでは、図４（Ａ）に示すように、基準カメラ画像上の点ｎaを中心（例えば、対角線の交点）とする、例えば長方形状の小ブロック（以下、適宜、基準ブロックと称する）が、基準カメラ画像から抜き出されるとともに、図４（Ｂ）に示すように、検出カメラ画像に投影されたエピポーララインＬ2上の、ある点を中心とする、基準ブロックと同一の大きさの小ブロック（以下、適宜、検出ブロックと称する）が、検出カメラ画像から抜き出される。
【００１９】ここで、図４（Ｂ）の例においては、エピポーララインＬ2上に、検出ブロックの中心とする点として、点ｎb1乃至ｎb6の６点が設けられている。この６点ｎb1乃至ｎb6は、図３に示した３次元空間における直線Ｌを、所定の一定距離ごとに区分する点、即ち、基準カメラ１からの距離が、例えば、１ｍ，２ｍ，３ｍ，４ｍ，５ｍ，６ｍの点それぞれを、検出カメラ２の撮像面Ｓ2に投影した点で、従って、基準カメラ１からの距離が１ｍ，２ｍ，３ｍ，４ｍ，５ｍ，６ｍの点にそれぞれ対応している。
【００２０】エリアベースマッチングでは、検出カメラ画像から、エピポーララインＬ2上に設けられている点ｎb1乃至ｎb6それぞれを中心とする検出ブロックが抜き出され、各検出ブロックと、基準ブロックとの相関が、例えば、式（１）に示す評価関数を用いて演算される。そして、点ｎaを中心とする基準ブロックとの相関が最も高い検出ブロックの中心の点ｎbが、点ｎaの対応点として求められる。
【数１】

【００２１】なお、式（１）において、ｘは、対応点を求めようとして注目している基準画像上の画素（注目画素）を表し、従って、基準ブロックを構成する中心の画素を表す。また、ｙは、検出ブロックを構成する中心の画素を表し、Ｓ（ｘ，ｙ）は、基準カメラ画像上の画素ｘを中心とする基準ブロックと、検出カメラ画像上の画素ｙを中心とする検出ブロックとの相関性を示す評価値を表す。さらに、ＷAまたはＷBは、基準ブロックまたは検出ブロックをそれぞれ表し、ｊ∈ＷA，ＷBであるから、ｘ＋ｊは、基準ブロックＷAを構成する画素を表し、ｙ＋ｊは、画素ｘ＋ｊに対応する、検出ブロックＷBを構成する画素を、それぞれ表す。また、ＹA（ｘ＋ｊ）またはＹB（ｙ＋ｊ）は、それぞれ、画素（ｘ＋ｊ）または画素（ｙ＋ｊ）の例えば、輝度値を表す。
【００２２】すなわち、例えば、画素ｙを、エピポーラライン上に設定された設定点に順次ずらしながら、評価値Ｓ（ｘ，ｙ）を計算し、その評価値Ｓ（ｘ，ｙ）を最も小さくする検出カメラ画像の画素ｙ（＝ｙmin）が、基準カメラ画像の画素ｘの対応点として検出される。例えば、図５に示すような評価値（評価関数の値）が得られたとすると、この場合、評価値が最も小さい（相関が最も高い）点ｎb3が、点ｎaの対応点として検出される。なお、図５において、点ｎb1乃至ｎb6それぞれについて求められた評価値（図５において●印で示す）のうちの最小値付近のものを用いて補間を行い、評価値がより小さくなる点（図５において×印で示す）を求めて、その点を、最終的な対応点として検出することも可能である。
【００２３】ところで、基準カメラ１および検出カメラ２それぞれの感度特性や絞り値などが異なる場合、上述した例においては、基準カメラ画像上の点ｎaと検出カメラ画像上の対応点ｎbの輝度値が差が生じる場合がある。すなわち、この場合、図５に示す評価値とは異なる結果が得られ、対応点が正確に検出されない。
【００２４】そこで、図６に示すような、輝度変換テーブル（後述）に基づいて、例えば、検出カメラ画像を構成する画素の輝度値を補正し、基準カメラ画像上の画素との輝度とを減少させた後、ステレオ画像処理を実行する必要がある。輝度値変換テーブルは、検出カメラ画像上の輝度値（例えば、値０乃至値２５５）と、その輝度値のそれぞれに対応する変換値（輝度値）から構成されている。
【００２５】次に、輝度値変換テーブルの作成方法について説明する。
【００２６】はじめに、図７（Ａ）に示すような、無彩色（白色、灰色、または黒色）の明度が、Ｘ軸方向に段階的に変化するにｎ個のスケール１乃至色スケールｎが配列されたグレースケールが、基準カメラ１および検出カメラ２により撮像される。そして、その結果得られた基準カメラ画像（図７（Ｂ））および検出カメラ画像（図７（Ｃ））上の各スケール毎の輝度値（各スケール毎の小面積の平均輝度値）が検出される。
【００２７】このようにして、基準カメラ画像上の各スケールの輝度値（輝度値Ａ１乃至Ａｎ）と、検出カメラ画像上の各スケールの輝度値（輝度値Ｂ１乃至Ｂｎ）が検出されると、図８に示すような、スケール毎の基準カメラ画像および検出カメラ画像上の輝度値が得られる。
【００２８】次に、図８に示した、スケール毎の基準カメラ画像および検出カメラ画像上の輝度値に対して、３次スプライン補間を用いて補間処理が施され、図９に示すように、検出カメラ画像上の輝度値（値０乃至値２５５）のそれぞれに対応する基準カメラ画像上の輝度値が算出され、その算出結果に基づいて、図６に示した輝度値変換テーブルが生成される。
【００２９】このようにして生成された輝度値変換テーブルに基づいて、輝度値の補正が行われる。例えば、図４の例では、検出カメラ画像の点ｎb1乃至点ｎb6の輝度値が、図６の輝度値変換テーブルに示される、それぞれの輝度値に対応する変換値に変換される。これにより、基準カメラ画像上の点ｎaと検出カメラ画像上の対応点ｎbのそれぞれの輝度値の差がなくなる。
【００３０】
【発明が解決しようとする課題】しかしながら、例えば、基準カメラ１および検出カメラ２の一方が、得られる画像がカラー色で表されるカラービデオカメラで、他方が、得られる画像が白から黒にいたる灰色の濃淡のみで表される白黒ビデオカメラである場合など、基準カメラ１と検出カメラ２の機種が異なる場合、上述した輝度補正を行っても、正確な対応点ｎbが検出されず、結局、正確な距離情報が得られない場合がる。以下に、その理由を説明する。
【００３１】なお、基準カメラ１が、カラービデオカメラであり、検出カメラ１が、白黒ビデオカメラであるとし、それぞれが、同一の撮像条件（同一の輝度条件）において、外観の色が異なる２つの対象物Ａ，Ｂを撮像した場合を例として説明する。
【００３２】基準カメラ１の撮像により得られたカラー画像の輝度情報のみからなる画像を、基準カメラ画像とすると、その基準カメラ画像上の対象物Ａ，Ｂそれぞれの投影像の輝度値は、図１０（Ａ）に示すように、共に、輝度値Ａaで同値である。
【００３３】一方、検出カメラ２の撮像により得られた検出カメラ画像（白黒画像）上の対象物Ａ，Ｂそれぞれの投影像の輝度値は、図１０（Ｂ）に示すように、それぞれ異なる輝度値Ｂb1および輝度値Ｂb2となる場合がある。すなわち、この場合、上述した輝度値変換テーブルに基づいて、輝度値Ｂb1が輝度値Ａaとなるように補正した場合、輝度値Ｂb2は、輝度値Ａaに補正されず、他の輝度値Ａa'に補正されてしまう。
【００３４】すなわち、以上のように、基準カメラ１と検出カメラ２の機種が異なる場合、上述した輝度補正によっては、正確な対応点が得られず、その結局、ステレオ画像処理による距離検出および形状計測が正確に行われない課題があった。
【００３５】本発明はこのような状況に鑑みてなされたものであり、基準カメラ１と検出カメラ２が、それぞれ異なる機種である場合においても、ステレオ画像処理による距離検出および形状計測が適切に行われるようにするものである。
【００３６】
【課題を解決するための手段】 請求項１に記載の画像処理装置は、第１の特性のカメラで対象物を撮像して得られる第１の画像の色基底毎の輝度値と、第２の特性のカメラで対象物を撮像して得られる第２の画像の輝度値との対応関係を保持する保持手段と、第１の画像の色基底毎の輝度値と第２の画像の輝度値の一方を検出する第１の検出手段と、第１の検出手段により検出された第１の画像の色基底毎の輝度値と第２の画像の輝度値の一方に対応する他方を、保持手段に保持されている対応関係から検出し、検出した結果に基づいて、第１の画像または第２の画像の輝度値を補正する補正手段とを備えることを特徴とする。
【００３７】補正手段により輝度値が補正された第１の画像または第２の画像の画素と対応する、第２の画像または第１の画像の対応画素を検出する第２の検出手段と、第２の検出手段よる検出結果に基づいて、対象物までの距離に関する距離関係情報を生成する生成手段とをさらに設けることができる。
【００３８】保持手段に保持されている、第１の画像の色基底毎の輝度値に対応する第２の画像の輝度値が、保持されている隣接した第２の画像の輝度値と滑らかな値になるように補間することができる。
【００３９】請求項４に記載の画像処理方法は、第１の特性のカメラで対象物を撮像して得られる第１の画像の色基底毎の輝度値と、第２の特性のカメラで対象物を撮像して得られる第２の画像の輝度値との対応関係を保持する保持ステップと、第１の画像の色基底毎の輝度値と第２の画像の輝度値の一方を検出する検出ステップと、検出ステップの処理で検出された第１の画像の色基底毎の輝度値と第２の画像の輝度値の一方に対応する他方を、保持ステップの処理で保持された対応関係から検出し、検出した結果に基づいて、第１の画像または第２の画像の輝度値を補正する補正ステップとを含むことを特徴とする。
【００４０】請求項５に記載の記録媒体のプログラムは、第１の特性のカメラで対象物を撮像して得られる第１の画像の色基底毎の輝度値と、第２の特性のカメラで対象物を撮像して得られる第２の画像の輝度値との対応関係を入力する入力ステップと、第１の画像の色基底毎の輝度値と第２の画像の輝度値の一方を検出する検出ステップと、検出ステップの処理で検出された第１の画像の色基底毎の輝度値と第２の画像の輝度値の一方に対応する他方を、入力ステップの処理で入力された対応関係から検出し、検出した結果に基づいて、第１の画像または第２の画像の輝度値を補正する補正ステップとを含むことを特徴とする。
【００４１】請求項１に記載の画像処理装置、請求項４に記載の画像処理方法、および請求項５に記載の記録媒体のプログラムにおいては、第１の特性のカメラで対象物を撮像して得られる第１の画像の色基底毎の輝度値と、第２の特性のカメラで対象物を撮像して得られる第２の画像の輝度値との対応関係が保持され、第１の画像の色基底毎の輝度値と第２の画像の輝度値の一方が検出され、検出された第１の画像の色基底毎の輝度値と第２の画像の輝度値の一方に対応する他方が、保持された対応関係から検出され、検出された結果に基づいて、第１の画像または第２の画像の輝度値が補正される。
【００４２】
【発明の実施の形態】図１１は、本発明を適用した距離測定装置２０の構成例を示している。なお、図１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明を適宜省略する。すなわち、演算処理回路６に代えて、演算処理回路２１が設けられている。またこの例の場合、ビデオカメラ１（基準カメラ１）は、カラービデオカメラであり、ビデオカメラ２（検出カメラ２）は、白黒ビデオカメラである。
【００４３】基準カメラ１は、対象物３を撮影し、その結果得られた基準カメラ画像（カラー画像）をカメラインターフェース４に出力する。検出カメラ２は、対象物３を撮影し、その結果得られた検出カメラ画像（白黒画像）をカメラインターフェース４に出力する。
【００４４】演算処理回路２１は、フレームメモリ５に記憶された、基準カメラ画像上の対象物３の投影像の輝度値を、検出カメラ画像上の対象物３の投影像の輝度値との差が十分小さくなるように、図１２に示す輝度補正テーブルBTに基づいて補正し、その後、ステレオ画像処理を実行し、例えば、基準カメラ１から対象物３までの距離に対応する距離画像を生成したり、視差画像を生成する。
【００４５】その詳細は後述するが、輝度補正テーブルBTは、カラー画像の色基底であるＲ（赤）,Ｇ（緑），Ｂ（青）毎の輝度値ｒ，ｇ，ｂのそれぞれに対応する、３つの軸からなる３次元空間に存在し、座標（０，０，０）と座標（ｒz，ｇz，ｂz）の２つの点を対角線上の両端点とする直方体BTであり、その直方体BTの内部の、輝度値ｒの軸上の値ｒ、輝度値ｇの軸上の値ｇ、そして輝度値ｂの軸上の値ｂにより特定される点（以下、要素点と称し、座標（ｒ，ｇ，ｂ）と表す）には、所定の輝度値ｙ（この例の場合、値０乃至値２５５のいずれかの値）が設定されている。図中、ｒz，ｇz，ｂzは、輝度値ｒ，ｇ，ｂの最大値を示している。
【００４６】すなわち、演算処理回路２１は、基準カメラ画像の各画素（例えば、対象物３の投影像上の各画素）の輝度値ｒ，ｇ，ｂを検出した後、検出したそれらにより特定される要素点を検出し、さらに、検出した要素点に対応して設定されている輝度値ｙを、輝度補正テーブルBTから読み出す。そして演算処理回路２１は、読み出したその輝度値ｙと、検出カメラ画像（白黒画像）の輝度値ｙを利用して、上述したエリアベースマッチングを実行し、対応点ｎbを検出し、その対応点ｎbに基づいて、距離情報および視差情報を生成する。
【００４７】記録装置７には、輝度補正テーブルBTがさらに記憶されている。
【００４８】次に、図１３のフローチャートを参照して、輝度補正テーブルBTを生成するための処理手順を説明する。なお、この例の場合、輝度補正テーブルBTは、演算処理回路２１により生成される。
【００４９】ステップＳ１において、標本点Ｐが設定される。
【００５０】具体的には、外観の色がそれぞれ異なる複数の対象物３（この例の場合、ｎ個の対象物３）が、基準カメラ１および検出カメラ２によりそれぞれ撮影され、その結果得られた基準カメラ画像および検出カメラ画像がフレームメモリ５に記憶される。なお、この場合の対象物３は、距離情報等を得るための対象物ではなく、標本点Ｐを設定するために必要な画像を提供する対象物である。
【００５１】演算処理回路２１は、フレームメモリ５に記憶された、それぞれの対象物３の基準カメラ画像から輝度値ｒ、輝度値ｇ、および輝度値ｂを検出し、また検出カメラ画像から輝度値ｙを検出する。演算処理回路２１はさらに、検出した輝度値ｒ、輝度値ｇ、および輝度値ｂにより特定される３次元空間上の位置に、検出した輝度値ｙを対応させて標本点Ｐを設定する。すなわち、この処理により、最終的に輝度補正テーブルBTになる直方体BTに、ｎ個（撮像された対象物３の数分）の標本点Ｐが設定される。
【００５２】なお、図１２には、１つの検出カメラ画像上の対象物３の投影像から検出された輝度値ｙ１が対応する、基準カメラ画像上のその対象物３の投影像から検出された輝度値ｒ１、輝度値ｇ１、および輝度値ｂ１により特定される標本点Ｐ１が示されている。また、この対応関係を２次元的に示すと、図１４に示すようになる。すなわち、輝度補正テーブルBTでは、各標本点Ｐに、輝度値ｒ、輝度値ｇ、輝度値ｂ、および輝度値ｙのそれぞれが関連づけられている。
【００５３】次に、ステップＳ２において、輝度補正テーブルBTの拘束条件が決定される。例えば、通常のRGB空間における座標（ｒ，ｇ，ｂ）の各ボクセルの輝度値が、式（２）で示される場合、例えば、Ｒの値が固定されたときの２次元空間では、図１５に示す、座標（ｒ，ｇ，ｂ）のボクセルの輝度値ｙrgb、座標（ｒ，ｇ＋１，ｂ）のボクセルの輝度値ｙrg+1b、座標（ｒ，ｇ，ｂ＋１）のボクセルの輝度値ｙrgb+1、および座標（ｒ，ｇ＋１，ｂ＋１）のボクセルの輝度値ｙrg+1b+1は、式（３）および式（４）に示す関係を満たす。
【００５４】
輝度値ｙrgb＝（ｒ＋ｇ＋ｂ）／３・・・（２）
ｙrg+1b+1≧ｙrg+1b≧ｙrgb・・・（３）
ｙrg+1b+1≧ｙrgb+1≧ｙrgb・・・（４）
【００５５】すなわち、Ｒ、Ｇ、およびＢのうち、２つの値を固定した場合、残る１つの値が増大すれば、その座標で示されるボクセルの輝度値ｙrgbは、増大する。なお、ボクセルの輝度値ｙrgbが式（２）に基づいて算出される場合、座標（ｒ，ｇ＋１，ｂ）のボクセルの輝度値ｙrg+1bおよび座標（ｒ，ｇ，ｂ＋１）のボクセルの輝度値ｙrgb+1は等しくなるが、輝度値ｙrgbが式（５）に基づいて算出される場合、輝度値ｙrg+1bおよび輝度値ｙrgb+1の大小関係は特定されない。
輝度値ｙrgb＝16+0.25679×r＋0.50413×g＋0.09791×b・・・（５）
【００５６】以上においては、Ｒの値が固定された場合の２次元空間における輝度値ｙrgbの関係を示したが、Ｒの値も、任意とする３次元の空間においては、図１６に示すように、式（６）および式（７）に示す関係が成り立つ。
【００５７】
ｙr-1g-1b-1（図中、S-1で示されるボクセルの輝度値）≦ｙrgb ｙr-1gb-1（S-2）≦ｙrgb ｙr-1g-1b（S-3）≦ｙrgb ｙr-1gb（S-4）≦ｙrgb ｙrg-1b-1（S-5）≦ｙrgb ｙrgb-1（S-6）≦ｙrgb ｙrg-1b（S-7）≦ｙrgb ・・・（６）
ｙrg+1b（図中、L-1で示されるボクセルの輝度値）≧ｙrgb ｙrgb+1（L-2）≧ｙrgb ｙrg+1b+1（L-3）≧ｙrgb ｙr+1gb（L-4）≧ｙrgb ｙr+1g+1b（L-5）≧ｙrgb ｙr+1gb+1（L-6）≧ｙrgb ｙr+1g+1b+1（L-7)≧ｙrgb・・・（７）
【００５８】以上のような、ボクセルの輝度値ｙrgbの大小関係を、輝度補正テーブルBTの場合に当てはめると、例えば、図１７に示すように、輝度値ｙ１が設定されている、補正輝度テーブルBTにおける座標（ｒ１，ｇ１，ｂ１）の標本点Ｐ1、および輝度値ｙ２が設定されている座標（ｒ１，ｇ２，ｂ２）の標本点Ｐ２により形成される４つのボクセルＡ乃至ボクセルＤの輝度値ｙは、式（８）に示すような関係を満たすことになる。
ボクセルＡ内の輝度値ｙ≦輝度値ｙ１ ボクセルＢ内の輝度値ｙ≦輝度値ｙ２ ボクセルＣの輝度値ｙ≦輝度値ｙ２ 輝度値ｙ１≦ボクセルＤ内の輝度値ｙ≦輝度値ｙ２・・・（８）
【００５９】すなわち、換言すれば、座標（ｒ1，０，０）と標本点Ｐ（標本点Ｐ１）の２つの点を対角線上の両端点とするボクセル（ボクセルＡ）内の要素点に設定される輝度値ｙは、標本点Ｐ１に設定されている輝度値ｙ１以下でなければならない。つまり、この場合、輝度値ｙ１が、ボクセルＡ内の各要素点に設定され得る輝度値ｙの最大値であることが条件（以下、最大値拘束条件と称する）となる。また、標本点Ｐ１と、標本点Ｐ1に対して、座標（ｒ1，０，０）と反対側に位置する他の標本点Ｐ（標本点Ｐ２）の２つの点を対角線上の両端点とするボクセル（ボクセルＤ）内の要素点に設定される輝度値ｙは、標本点Ｐ１に設定されている輝度値ｙ１以上、かつ、標本点Ｐ２に設定されている輝度値ｙ２以下でなければならない。つまり、この場合、輝度値ｙ１が、ボクセルＤ内の要素点に設定され得る輝度値ｙの最小値であることが条件（以下、この条件を最小値拘束条件と称する）となる。
【００６０】以上のように、RGB空間におけるボクセルの輝度値の大小関係を利用することより、輝度補正テーブルBTにおける拘束条件（最大値拘束条件および最小値拘束条件）が決定される。なお、ここでは、標本点Ｐが２つの場合における拘束条件を説明したが、ステップＳ１で設定された、全ての標本点Ｐ間で形成される各ボクセル内の輝度値ｙも、上述した拘束条件を満たす必要がある。
【００６１】次に、ステップＳ３において、ステップＳ２で決定された最大値拘束条件に基づいて、最大値テーブルMAXＴが生成される。この最大値テーブルMAXＴの生成処理の詳細は、図１８のフローチャートに示されている。
【００６２】ステップＳ１１において、最大値テーブルMAXＴが初期化される。具体的には、輝度値ｒの軸、輝度値ｇの軸、および輝度値ｂの軸の３つの軸からなる３次元空間（図１２に示した３次元空間とは別の空間）上に、原点（０，０，０）と座標（ｒz，ｇz，ｂz）の２つの点を対角線上の両端点とする直方体MAXＴ（図１９中、点線で示されている直方体で、最終的に最大値テーブルMAXＴとなる直方体）、すなわち、輝度補正テーブルBT（直方体BT）と同じ大きさ（体積）の直方体が生成される。
【００６３】そして、その直方体MAXＴの内部の、輝度値ｒの軸上の値ｒ、輝度値ｇの軸上の値ｇ、そして輝度値ｂの軸上の値ｂにより特定される要素点の全てに、輝度補正テーブルBTに設定され得る輝度値ｙの最大値（この例の場合、輝度値ｙは、値０乃至値２５５の範囲の値であるので、値２５５）が初期設定される。
【００６４】以上のように、最大値テーブルMAXＴ（この時点において最大値テーブルMAXＴは完成していないので、正確には直方体MAXＴ）が初期化されると、ステップＳ１２において、輝度値ｙを示す変数ｗが０に初期化され、ステップＳ１３において、ステップＳ１で設定された、輝度補正テーブルBT（この時点において輝度補正テーブルは完成していないので、正確には直方体BT）の標本点Ｐの個数を示す変数ｅが１に初期化される。
【００６５】次に、ステップＳ１４において、変数ｅで示される標本点Ｐeの輝度値ｒe、輝度値ｇe、輝度値ｂe、および輝度値ｙeが、ステップＳ１で標本点Ｐが設定された直方体BTから読み出される。ステップＳ１５において、ステップＳ１４で読み出された輝度値ｙeが、変数ｗと等しいか否かが判定され、等しいと判定された場合、ステップＳ１６に進む。
【００６６】ステップＳ１６乃至ステップＳ２６の処理について、以下に説明するが、この処理により、直方体MAXＴ内部の、座標（０，０，０）および座標（ｒe，ｇe，ｂe）の２つの点を対角線上の両端点とするボクセル（図１９中、影が付されている直方体）内の要素点に、そのボクセル内部で取り得る最大の輝度値が設定される（最大値拘束条件を満たす値が設定される）。
【００６７】ステップＳ１６において、輝度値ｒを表す変数ｉが、０に初期化され、ステップＳ１７において、輝度値ｇを表す変数ｊが、０に初期化され、そして、ステップＳ１８において、輝度値ｂを表す変数ｋが、０に初期化される。
【００６８】次に、ステップＳ１９において、直方体MAXＴ（図１９）における座標（ｒi，ｇj，ｂk）の要素点に設定されている値が、値２５５（初期値）であるか否かが判定され、初期値であると判定された場合、ステップＳ２０に進む。
【００６９】ステップＳ２０で、直方体MAXＴにおける座標（ｒi，ｇj，ｂk）の要素点に設定されている値が、変数ｗの値に変更される。すなわち、この場合の変数ｗの値は、ステップＳ１４で取得された輝度値ｙeと同値であるので（ステップＳ１５）、輝度値ｙeに変更される。
【００７０】ステップＳ１９において、座標（ｒi，ｇj，ｂk）の要素点に設定されている値が値２５５（初期値）ではないと判定された場合、またはステップＳ２０で、座標（ri，ｇj，ｂk）の要素点に設定されていた値が、ステップＳ１４で読み出された輝度値ｙeに変更されたとき、ステップＳ２１に進む。
【００７１】ステップＳ２１において、変数ｋの値で示される輝度値ｂkが、ステップＳ１４で読み出された輝度値ｂeと等しいか否かが判定され、等しくないと判定された場合、ステップＳ２２に進み、変数ｋの値が１だけインクリメントされ、ステップＳ１９に戻る。すなわち、ステップＳ２１で、輝度値ｂkが輝度値ｂeと等しいと判定されるまで、ステップＳ１９乃至ステップＳ２２の処理が繰り返し実行される。これにより、直方体MAXＴにおける座標（０，０，０）乃至座標（０，０，ｂe）の全ての要素点に対して、ステップＳ１９，Ｓ２０の処理が実行される（必要に応じて、設定されていた値が輝度値ｙeに変更される）。
【００７２】ステップＳ２１で、輝度値ｂkが輝度値ｂeと等しいと判定された場合、ステップＳ２３に進み、変数ｊの値で示される輝度値ｇjが輝度値ｇeと等しいか否かが判定され、等しくないと判定された場合、ステップＳ２４に進み、変数ｊの値が１だけインクリメントされ、ステップＳ１８に戻る。すなわち、ステップＳ２３で、輝度値ｇjが輝度値ｇeと等しいと判定されるまで、ステップＳ１８乃至ステップＳ２４の処理が繰り返し実行される。これにより、座標（０，０，０）乃至座標（０，ｇe，ｂe）の全ての要素点に対して、ステップＳ１９，Ｓ２０の処理が実行される（必要に応じて、設定されていた値が輝度値ｙeに変更される）。
【００７３】ステップＳ２３で、輝度値ｇｊが輝度値ｇeと等しいと判定された場合、ステップＳ２５に進み、変数ｉの値で示される輝度値ｒiが輝度値ｒeと等しいか否かが判定され、等しくないと判定された場合、ステップＳ２６に進み、変数ｉの値が１だけインクリメントされ、ステップＳ１７に戻る。すなわち、ステップＳ２５で、輝度値ｒiが輝度値ｒeと等しいと判定されるまで、ステップＳ１７乃至ステップＳ２６の処理が繰り返し実行される。これにより、座標（０，０，０）乃至座標（ｒe，ｇe，ｂe）の全ての要素点に対して、ステップＳ１９，Ｓ２０の処理が実行される（必要に応じて、設定されていた値が輝度値ｙeに変更される）。
【００７４】ステップＳ１５において、輝度値ｙeが変数ｗの値と等しくないと判定された場合、またはステップＳ２５で、輝度値ｒiが輝度値ｒeと等しいと判定された場合、ステップＳ２７に進む。
【００７５】ステップＳ２７において、標本点Ｐeが、直方体BT（最終的に輝度補正テーブルBTになる直方体）（図１２）に設定されている最後の標本点Ｐnであるかが判定され、最後の標本点Ｐnではないと判定された場合、ステップＳ２８に進み、変数ｅが１だけインクリメントされ、ステップＳ１４に戻る。そして、直方体BTの次の標本点Ｐeに基づいて、それ以降の処理が実行される。
【００７６】ステップＳ２７において、標本点Ｐeが、直方体BTに設定されている最後の標本点Ｐnであると判定された場合、ステップＳ２９に進み、変数ｗの値が値２５４であるか否かが判定され、値２５４ではないと判定された場合、ステップＳ３０に進み、変数ｗが１だけインクリメントされ、ステップＳ１３に戻る。そして、新たな変数ｗに基づいて、それ以降の処理が実行される。
【００７７】ステップＳ２９で、変数ｗの値が値２５４であると判定された場合、直方体MAXＴを構成する全ての要素点に、最大値拘束条件を満たす所定の値が設定されたとき、最大値テーブルMAXＴは完成し、処理が終了する。その後、図１３のステップＳ４に進む。
【００７８】以上のようにして、最大値テーブルMAXＴが生成されると、今度は、ステップＳ４において、ステップＳ２で決定された最小値拘束条件に基づいて、最小値テーブルMINＴが生成される。この最小値テーブルMINＴの生成処理の詳細は、図２０のフローチャートに示されている。
【００７９】ステップＳ４１において、最小値テーブルMINＴが初期化される。具体的には、輝度値ｒの軸、輝度値ｇの軸、および輝度値ｂの軸の３つの軸からなる３次元空間（図１２および図１９に示した３次元空間とは別の空間）上に、原点（０，０，０）と座標（ｒz，ｇz，ｂz）の２つの点を対角線上の両端点とする直方体MINＴ（図２１中、点線で示されている直方体で、最終的に最小値テーブルMINＴとなる直方体）、すなわち、輝度補正テーブルBT（直方体BT）および最大値テーブルMAXＴ（直方体MAXＴ）と同じ大きさ（体積）の直方体が生成される。
【００８０】そして、その直方体MINＴの内部の、輝度値ｒの軸上の値ｒ、輝度値ｇの軸上の値ｇ、そして輝度値ｂの軸上の値ｂにより特定される要素点の全てに、輝度補正テーブルBTに設定される得る輝度値ｙの最小値（この例の場合、輝度値ｙは、値０乃至値２５５の範囲の値であるので、値０）が初期設定される。
【００８１】以上のように、最小値テーブルMINＴ（この時点において最小値テーブルMINＴは完成していないので正確には直方体MINＴ）が初期化されると、ステップＳ４２において、輝度値ｙを示す変数ｗが値２５５に初期化され、ステップＳ４３において、直方体BTの標本点Ｐの個数を示す変数ｅが１に初期化される。
【００８２】次に、ステップＳ４４において、変数ｅで示される標本点Ｐeの輝度値ｒe、輝度値ｇe、輝度値ｂe、および輝度値ｙeが、ステップＳ１で標本点Ｐが設定された直方体BTから読み出される。ステップＳ４５において、ステップＳ４４で読み出された輝度値ｙが、変数ｗと等しいか否かが判定され、等しいと判定された場合、ステップＳ４６に進む。
【００８３】ステップＳ４６乃至ステップＳ５６の処理について、以下に説明するが、この処理により、直方体MINＴ内部の、座標（ｒe，ｇe，ｂe）および座標（ｒz，ｇz，ｂz）の２点を対角線上の両端点とするボクセル（図２１中、影が付されている直方体）内の要素点に、最小値拘束条件に従って、そのボクセル内部で取り得る最小の輝度値が設定される。
【００８４】ステップＳ４６において、輝度値ｒを表す変数ｉが、輝度値ｒeを表す値に初期化され、ステップＳ４７において、輝度値ｇを表す変数ｊが、輝度値ｇeを表す値に初期化され、そして、ステップＳ４８において、輝度値ｂを表す変数ｋが、輝度値ｂeを表す値に初期化される。
【００８５】次に、ステップＳ４９において、直方体MINＴにおける座標（ｒi，ｇj，ｂk）の要素点に設定されている値が、値０（初期値）であり、かつ、変数ｗの値が、ステップＳ３で生成された、最大値テーブルMAXＴの座標（ｒi，ｇj，ｂk）の要素点に設定されている値（最大値）以下の値であるか否かが判定され、その条件を満たす場合、ステップＳ５０に進み、座標（ｒi，ｇj，ｂk）の要素点に設定されている値が、変数ｗの値に変更される。すなわち、この場合の変数ｗの値は、ステップＳ４４で取得された輝度値ｙeと同値であるので（ステップＳ４５）、輝度値ｙeに変更される。
【００８６】ステップＳ４９において、その条件が満たされないと判定された場合、またはステップＳ５０で、座標（ｒi，ｇj，ｂk）の要素点に設定されていた値が輝度値ｙeに変更されたとき、ステップＳ５１に進み、変数ｋの値で示される輝度値ｂkが輝度値ｂzと等しいか否かが判定され、等しくないと判定された場合、ステップＳ５２に進み、変数ｋの値が１だけインクリメントされ、ステップＳ４９に戻る。すなわち、ステップＳ５１で、輝度値ｂkが輝度値ｂzと等しいと判定されるまで、ステップＳ４９乃至ステップＳ５２の処理が繰り返し実行される。これにより、直方体MINＴにおける座標（ｒe，ｇe，ｂe）乃至座標（ｒe，ｇe，ｂz）の全ての要素点に対して、ステップＳ４９，Ｓ５０の処理が実行される（必要に応じて、設定されていた値が輝度値ｙeに変更される）。
【００８７】ステップＳ５１で、輝度値ｂkが輝度値ｂzと等しいと判定された場合、ステップＳ５３に進み、変数ｊの値で示される輝度値ｇiが輝度値ｇzと等しいか否かが判定され、等しくないと判定された場合、ステップＳ５４に進み、変数ｊの値が１だけインクリメントされ、ステップＳ４８に戻る。すなわち、ステップＳ５３で、輝度値ｇｊが輝度値ｇｚと等しいと判定されるまで、ステップＳ４８乃至ステップＳ５４の処理が繰り返し実行される。これにより、座標（ｒe，ｇe，ｂe）乃至座標（ｒe，ｇz，ｂz）の全ての要素点に対して、ステップＳ４９，Ｓ５０の処理が実行される（必要に応じて、設定されていた値が輝度値ｙeに変更される）。
【００８８】ステップＳ５３で、輝度値ｇjが輝度値ｇzと等しいと判定された場合、ステップＳ５５に進み、変数ｉの値で示される輝度値ｒiが輝度値ｒzと等しいか否かが判定され、等しくないと判定された場合、ステップＳ５６に進み、変数ｉの値が１だけインクリメントされ、ステップＳ４７に戻る。すなわち、ステップＳ５５で、輝度値ｒiが輝度値ｒzと等しいと判定されるまで、ステップＳ４７乃至ステップＳ５６の処理が繰り返し実行される。これにより、座標（ｒe，ｇe，ｂe）乃至座標（ｒz，ｇz，ｂz）の全ての要素点に対して、ステップＳ４９，Ｓ５０の処理が実行される（必要に応じて、設定されていた値が輝度値ｙeに変更される）。
【００８９】ステップＳ４５において、輝度値ｙeが変数ｗの値と等しくないと判定された場合、またはステップＳ５５で、輝度値ｒiが輝度値ｒzと等しいと判定された場合、ステップＳ５７に進む。
【００９０】ステップＳ５７において、標本点Ｐeが、直方体BT（最終的に輝度補正テーブルBTとなる直方体）に設定された最後の標本点Ｐnであるかが判定され、最後の標本点Ｐnではないと判定された場合、ステップＳ５８に進み、変数ｅが１だけインクリメントされ、ステップＳ４４に戻る。そして、直方体BTの次の標本点Ｐeに基づいて、それ以降の処理が実行される。
【００９１】ステップＳ５７において、標本点Ｐeが、直方体BTに設定された最後の標本点Ｐnであると判定された場合、ステップＳ５９に進み、変数ｗの値が値１であるか否かが判定され、値１ではないと判定された場合、ステップＳ６０に進み、変数ｗが１だけデインクリメントされ、ステップＳ４３に戻る。そして、新たな変数ｗに基づいて、それ以降の処理が実行される。
【００９２】ステップＳ５９で、変数ｗの値が値１であると判定された場合、すなわち、直方体MINＴを構成する全ての要素点に、最小値拘束条件を満たす所定の値が設定されとき、最小値テーブルMINＴは完成し、処理が終了する。その後、図１３のステップＳ５に進む。
【００９３】なお、ステップＳ１で、直方体BTに設定された標本点Ｐに対応する輝度値ｙeと、同じ座標上に位置する、上述したように生成された最大値テーブルMAXＴおよび最小値テーブルMINＴそれぞれの要素点に設定された値は、式（９）に示すような、大小関係を満たす。
最小値テーブルMINＴの要素点の値（最小値）≦要素点の輝度値ｙe 標本点Ｐの輝度値ｙe≦最大値テーブルの要素点の値（最大値）
・・・（９）
【００９４】ステップＳ５において、ステップＳ１で、標本点Ｐが設定された輝度補正テーブルBT（この時点において輝度補正テーブルは完成していないので、正確には直方体BT）内部の各要素点に初期値が設定される。具体的には、直方体BTにおける座標（ｒi，ｇj，ｂk）の要素点の初期値が、式（１０）に従って算出される。
初期値ijk＝（最大値テーブルの座標（ｒi，ｇj，ｂk）の値＋最小値テーブルの座標（ｒi，ｇj，ｂk）の値）／２ ・・・（１０）
【００９５】すなわち、直方体BTにおける座標（ｒi，ｇj，ｂk）の要素点の初期値は、その要素点と対応する位置に位置する、最大値テーブルMAXＴの要素点に設定されている値と、最小値テーブルMINＴの要素点に設定されている値との平均値である。
【００９６】直方体BTの各要素点の初期値がそれぞれ算出されると、その算出結果が、直方体BTの各要素点に設定される。
【００９７】このようにして、輝度補正テーブルBT（直方体BT）が初期化されると、ステップＳ６に進む。
【００９８】ステップＳ６において、ステップＳ５で直方体BTの各要素点に設定された初期値が平滑化される。なお、以下に、輝度補正テーブルBT（直方体BT）に設定された初期値の平滑処理の説明を行うが、それに先だって、１次元の輝度補正テーブルの場合を例として説明する。
【００９９】例えば、図２２に示すように、所定の対象物Ｈ（図示せず）上の点Ａが投影されている、基準カメラ画像上の点ｎa1の輝度値が値０であり、点Ａが投影されている、検出カメラ画像上の点ｎa2の輝度値が値１０であるものとする。さらに、対象物Ｈ上の他の点Ｂが投影されている、基準カメラ画像上の点ｎb1の輝度値が値７であり、検出カメラ画像上の点b2の輝度値が値３０であるものとする。
【０１００】この例の場合の最大値テーブルには、基準カメラ画像の輝度値を示す要素番号が設けられ、それらの要素番号に対応して輝度値の最大値が設定されている。図２３（Ａ）には、輝度値０乃至輝度値７を示す要素番号０乃至要素番号７とともに、それらに対応して設定されている最大値が示されている。要素番号１乃至要素番号６には、観測された、検出カメラ画像上の輝度値（値１０または値３０）の中の最大値である値３０がそれぞれ対応して設定され、要素番号０または要素番号７には、実際に観測された、検出カメラ画像の値１０または値３０が対応して設定されている。
【０１０１】また、最小値テーブルには、基準カメラ画像の輝度値を示す要素番号が設けられ、それらの要素番号に対応して輝度値の最小値が設定されている。図２３（Ｂ）には、輝度値０乃至輝度値７を示す要素番号０乃至要素番号７とともに、それらに対応して設定されている最小値が示されている。要素番号１乃至要素番号６には、観測された、検出カメラ画像上の輝度値（値１０または値３０）の中の最小値である値１０がそれぞれ対応して設定され、要素番号０または要素番号７には、実際に観測された、検出カメラ画像の輝度値１０または輝度値３０が対応して設定されている。
【０１０２】次に、上述した式（１０）に従って、輝度補正テーブルの各要素番号に対応する輝度値ｙの初期値が算出される。図２４には、輝度補正テーブルの要素番号０乃至要素番号７に対応して設定された初期値が示されている。例えば、要素番号１には、最大値テーブルの要素番号１に対応して設定されている輝度値３０と、最小値テーブルの要素番号１に対応して設定されている輝度値１０の平均値（値２０）が設定されている。なお、最大値テーブルおよび最小値テーブルにおける要素番号０および要素番号７に対応するそれぞれの値は、同値であるので、その平均値である初期値も同値である。
【０１０３】次に、図２５に示すスムージングマスクを利用して、例えば、式（１１）に従って、輝度補正テーブルの初期値が平滑化される。
【数２】

【０１０４】具体的には、２つのテーブルＡ，Ｂ（大きさが、輝度補正テーブルと同じ大きさのテーブル）が用意され、例えば、はじめに、テーブルＡに、図２４の輝度補正テーブルの初期値が、複製され、そのテーブルＡが読み出し専用テーブルＲに設定される。テーブルＢは、このとき書き込み専用テーブルＷに設定される。
【０１０５】次に、式（１１）に従って、書き込み専用テーブルＷに書き込まれる値（輝度値）が算出される。式中、ｌおよびｑは、変数であり、変数ｌは、値１乃至（値ｍ（輝度補正テーブルの要素番号の最大値）−１）の範囲内の値をとる。また、テーブルＷ［ｌ］は、書き込み専用テーブルＷの要素番号ｌに対応して設定される（書き込まれる）値を示し、テーブルＲ[ｑ]は、読み出し専用テーブルＲの要素番号ｑに対応して設定されている値を示す。
【０１０６】すなわち、式（１１）により、変数ｑ（＝ｌ−１，ｌ，ｌ＋１）で示される、読み出し専用テーブルＲ（例えば、図２４に示す輝度補正テーブルのデータが複製されたテーブルＡ）の、３つの要素番号（ｌ−１），ｌ，（ｌ＋１）のそれぞれに対応して設定されている輝度値の平均が算出され、その算出結果が、書き込み専用テーブルＷ（この場合、テーブルＢ）の要素番号ｌに対応して設定される（書き込まれる）。例えば、ｌ＝１の場合を例として説明すると、読み出し専用テーブルＲの要素番号０（＝１−１）、要素番号１、および要素番号２（＝１＋１）に対応して設定されている値１０、値２０、および値２０の平均値１７（＝（１０＋２０＋２０）／３）が算出され、書き込み専用テーブルＷの要素番号１に対応して設定される。図２６（Ａ）に、この平滑処理の処理結果を示す。
【０１０７】ところで、通常、このような平滑処理は、例えば、式（１２）で算出される、データの平滑度を示す評価値が、減少しなくなるまで、繰り返し実行される。この例の場合、上述した平滑処理が６回行われる。なお、この評価値は、値が小さければ小さいほど、データがより平滑であることを意味し、この例の場合、平滑処理が１回行われた場合（図２６（Ａ））の評価値は、値２００であり、６回行われた場合の評価値は、値９８である。そして、それ以上平滑処理が行われても、評価値は減少しない。
【数３】

【０１０８】そこで、上述した、１回目の平滑処理に引き続いて行われる、２回目の平滑処理を実行する場合の処理手順を説明する。１回目において読み出し専用テーブルＲに設定されたテーブルＡが、今度は、書き込み専用テーブルＷに設定され、また１回目において書き込み専用テーブルＷに設定されていたテーブルＢ（図２６（Ａ）のデータが格納されているテーブル）が読み出し専用テーブルＲに設定される。そして、図２５のスムージングマスクで式（１１）に従い、演算が行われ、その演算結果が、要素番号に対応して、書き込み専用テーブルＷに設定される。図２６（Ｂ）は、２回目の平滑処理の処理結果を示す。
【０１０９】すなわち、読み出し専用テーブルＲおよび書き込み専用テーブルＷに設定されるそれぞれのテーブルが、平滑処理毎に入れ替られるようにして、平滑処理が繰り返し実行される。図２６（Ｃ）は、このようにして、平滑処理が、６回繰り返し実行されたときの処理結果を示す。この場合の評価値は、上述したように値９８となり、これ以上平滑処理が行われても、その値は減少しない。すなわち、輝度値補正テーブルの輝度値は、十分平滑であると判断される。
【０１１０】次に、輝度補正テーブルBT（この時点において輝度補正テーブルは完成していないので、正確には直方体BT）の各要素点に設定された初期値を平滑する場合の手順を、図２７のフローチャートを参照して説明する。
【０１１１】ステップＳ７１において、平滑処理の回数をカウントするカウンタＷの値と、前回の平滑処理の処理結果に基づく評価値がレジストされるレジスタＳ１の値が、それぞれ０に初期化され、ステップＳ７２に進む。ステップＳ７２において、カウンタＷの値が偶数（値０を含む）かまたは奇数であるかが判定され、偶数（０も含む）であると判定された場合、ステップＳ７３に進む。
【０１１２】ステップＳ７３において、テーブルＡが読み出し専用テーブルＲに、そしてテーブルＢが書き込み専用テーブルＷに設定される。なお、テーブルＡおよびテーブルＢは、輝度補正テーブルBT（直方体BT）と同じ大きさを有し、またカウンタＷの値が０である場合、テーブルＡには、ステップＳ５で、設定された輝度補正テーブルBT（直方体BT）の各要素点の初期値が複製されている。
【０１１３】ステップＳ７２で、カウンタＷの値が、奇数であると判定された場合、ステップＳ７４に進み、テーブルＡが書き込み専用テーブルＷに、そしてテーブルＢが、読み出し専用テーブルＲに設定される。このようにして、読み出し専用テーブルＲと書き込み専用テーブルＷを、平滑処理毎に入れ替えることより、平滑処理を繰り返し実行することができる。
【０１１４】ステップＳ７３またはステップＳ７４で、読み出し専用テーブルＲおよび書き込み専用テーブルＷが設定されたとき、ステップＳ７５に進み、今回の平滑処理の処理結果に基づく評価値をレジストする他のレジスタＳ２の値が０に初期化される。
【０１１５】ステップＳ７６において、輝度値ｒを表す変数ｉが１に初期化され、ステップＳ７７において、輝度値ｇを表す変数ｊが１に初期化され、そして、ステップＳ７８において、輝度値ｂを表す変数ｋが１に初期化される。
【０１１６】次に、ステップＳ７９において、直方体BTにおける座標（ｒi，ｇj，ｂk）の要素点が、標本点Ｐであるかが判定され、標本点Ｐであると判定された場合、ステップＳ８０に進み、読み出し専用テーブルＲにおける座標（ｒi，ｇj，ｂk）の要素点に設定されている値が読み出され、書き込み専用テーブルＷに書き込まれる。
【０１１７】一方、ステップＳ７９で、直方体BTにおける座標（ｒi，ｇj，ｂk）の要素点が、標本点Ｐではないと判定された場合、ステップＳ８１に進み、式（１３）の演算が行われる。
【数４】

なお、式中、テーブルＷ[ｒi][ｇj][ｂk]は、書き込み専用テーブルＷにおける座標（ｒi，ｇj，ｂk）の要素点に設定される値を示し、テーブルＲ[ｒI][ｇJ][ｂK]は、読み出し専用テーブルＲにおける座標（ｒI，ｇJ，ｂK）の要素点に設定されている値を示す。
【０１１８】次に、ステップＳ８２において、ステップＳ８１での演算結果が、最大値テーブルMAXＴにおける座標（ｒi，ｇj，ｂk）の要素点に設定されている値より大きいか否かが判定され、大きいと判定された場合、すなわち、その値が、最大値拘束条件を満たさないとき、ステップＳ８３に進み、最大値テーブルMAXＴの要素点に設定されているその値が、書き込み専用テーブルＷに書き込まれる値の候補（以下、平滑値候補と称する）とされる。一方、演算結果が、最大値テーブルMAXＴのその要素点に設定されている値以下であると判定された場合、ステップＳ８１での演算結果が、平滑値候補とされる。
【０１１９】ステップＳ８２またはステップＳ８３で、平滑値候補が決定されたとき、ステップＳ８４に進み、ステップＳ８２またはステップＳ８３で決定された平滑値候補が、最小値テーブルMINＴにおける座標（ｒi，ｇj，ｂk）の要素点に設定されている値より小さいかが判定される。
【０１２０】ステップＳ８４で、平滑値候補が、最小値テーブルMINＴにおける要素点に設定されているその値より小さいと判定された場合、すなわち、その平滑値候補が、最小値拘束条件を満たさないとき、ステップＳ８５に進み、最小値テーブルMINＴの要素点に設定されているその値が、平滑値に決定される。一方、ステップＳ８４で、ステップＳ８２またはステップＳ８３での平滑値候補が、最小値テーブルの要素点に設定されているその値以上であると判定された場合、その平滑値候補が、そのまま平滑値に決定される。
【０１２１】ステップＳ８４またはステップＳ８５で、平滑値が決定されたとき、ステップＳ８６に進み、書き込み専用テーブルＷにおける座標（ｒi，ｇj，ｂk）の要素点に設定されている値が、ステップＳ８４またはステップＳ８５で決定された平滑値に変更される。
【０１２２】次に、ステップＳ８７において、式（１４）に従って、座標（ｒi，ｇj，ｂk）を中心とした評価値（以下、部分評価値と称する）が求められ、求められた部分評価値が、レジスタＳ２に、先にレジストされている値に加算されてレジストされる。
【数５】

【０１２３】ステップＳ８８において、変数ｋで示される輝度値ｂkの値が、輝度値ｂzより１だけ小さい輝度値と等しいか否かが判定され、等しくないと判定された場合、ステップＳ８９に進み、変数ｋの値が１だけインクリメントされ、ステップＳ７９に戻る。一方、等しいと判定された場合、ステップＳ９０に進む。
【０１２４】ステップＳ９０において、変数ｊで示される輝度値ｇjの値が、輝度値ｇzより１だけ小さい値と等しいか否かが判定され、等しくないと判定された場合、ステップＳ９１に進み、変数ｊの値が１だけインクリメントされ、ステップＳ７８に戻る。一方、等しいと判定された場合、ステップＳ９２に進む。
【０１２５】ステップＳ９２において、変数ｉで示される輝度値ｒiの値が、輝度値ｒzより１だけ小さい値と等しいか否かが判定され、等しくないと判定された場合、ステップＳ９３に進み、変数ｉの値が１だけインクリメントされ、ステップＳ７７に戻る。一方、等しいと判定された場合、ステップＳ９４に進む。すなわち、このとき、ステップＳ８７の処理により、式（１５）の演算が完了したことになる。
【数６】

【０１２６】ステップＳ９４において、カウンタＷの値が０であるか否かが判定され、０であると判定された場合、すなわち、１回目の平滑処理が実行された場合、後述するステップＳ９６がスキップされ、ステップＳ９５に進み、カウンタＷの値が１だけインクリメントされるとともに、またレジスタＳ２の値が、レジスタＳ１にそのままレジストされ、その後、ステップＳ７２に戻る。
【０１２７】ステップＳ９４で、カウンタＷの値が０ではないと判定された場合、ステップＳ９６に進み、レジスタＳ２の値（今回の評価値（式１５）の演算結果）が、レジスタＳ１の値（前回の評価値（式１５）の演算結果）より小さいか否かが判定され、小さいと判定された場合、ステップＳ９５に進み、カウンタＷの値が１だけインクリメントされるとともに、レジスタＳ１の値が、レジスタＳ２の値で入れ替えられ、ステップＳ７２に戻り、もう一度、平滑処理が実行される。一方、レジスタＳ２の値（今回の評価値）が、レジスタＳ１の値（前回の評価値）より小さくないと判定された場合、データは十分に平滑され、処理は終了する。その結果、輝度補正テーブルは完成し、図１３のフローチャートが終了する。
【０１２８】次に、以上のようにして生成された輝度補正テーブルBTに基づく、ステレオ画像処理について、図２８のフローチャートを参照して説明する。
【０１２９】ステップＳ１０１において、図２に示した位置にそれぞれ配置された、２台の基準カメラ１および検出カメラ２で対象物３（この場合の対象物３は、その距離情報を得るための対象物）が撮影される。これにより、基準カメラ１から、対象物３の投影像を含む基準カメラ画像が得られ、検出カメラ２から、対象物３の投影像を含む検出カメラ画像が得られ、フレームメモリ５に供給され記憶される。
【０１３０】ステップＳ１０２において、演算処理回路２１は、フレームメモリ５に記憶された基準カメラ画像上の、対象物３の点Ｘが投影されている点ｎa（図４）を中心とする基準ブロックの輝度値ｒ，ｇ，ｂを検出する。
【０１３１】ステップＳ１０３において、演算処理回路２１は、記憶装置７に記憶されている輝度補正テーブルBTを参照し、ステップＳ１０２で検出した輝度値ｒ，ｇ，ｂにより特定される要素点に設定されている輝度値ｙを検出する。
【０１３２】次に、ステップＳ１０４において、演算処理回路２１は、エリアベースマッチングを行い、対応点ｎbを検出する。具体的には、ステップＳ１０３で検出された輝度値ｙと、検出カメラ画像の、基準カメラ画像上の点ｎaに対応するエピポーラライン上の各検出ブロックの輝度値が、式（１）に代入され、それぞれの評価値が算出される。そして算出された評価値のうち、評価値が最も小さい点の検出ブロックの中心点が、対応点ｎbとして検出される。
【０１３３】ステップＳ１０５において、演算処理回路２１は、基準カメラ画像上の点ｎaと、ステップＳ１０４で検出した対応点ｎbの間の視差を求め、その視差および、基準カメラ１と検出カメラ２の位置関係に基づいて、対象物３までの距離を求める。演算処理回路２１は、求めた距離に対応する距離情報を生成する。
【０１３４】このようにして、対象物３までの距離が検出される。
【０１３５】なお、基準カメラ画像のカラー画像の輝度値が、値０乃至値２５５の範囲である場合、輝度補正テーブルBTの大きさは、座標（０，０，０）と座標（２５５，２５５，２５５）の２つの点を、対角線上の両端点とする直方体となる。このとき、例えば、この直方体の１／４の大きさの輝度補正テーブルBT（座標（０，０，０）と座標（６４，６４，６４）の２つの点を、対角線上の両端点とする輝度補正テーブルBT）を、はじめに生成し、その輝度補正テーブルを、２倍に拡張した後、平滑処理を行って、１／２の大きさの輝度補正テーブルを生成し、そして最終的に１／１の大きさの輝度補正テーブルを生成することもできる。
【０１３６】このように、輝度補正テーブルを、段階的に（階層的）に生成することにより、テーブルの大きさに対して、標本点Ｐが占める割合を大きくすることができる。通常、標本点Ｐの占める割合が大きければ大きいほど、輝度補正の補正結果が良好になる。また、階層的に生成することより、生成処理が短縮される。
【０１３７】また、以上においては、基準カメラ１がカラービデオカメラで、検出カメラ２が、白黒ビデオカメラである場合を例として説明したが、検出カメラ２が、基準カメラ１とその異種機器のカラービデオカメラである場合においても、本発明を適用することができる。この例の場合、３つの輝度補正テーブルBTが設けられる。
【０１３８】１つの輝度補正テーブルには、基準カメラ画像からの輝度値ｒ，ｇ，ｂにより特定される標本点Ｐに、検出カメラ画像からの輝度値ｒが対応して設定され、もう１つの輝度補正テーブルには、基準カメラ画像からの輝度値ｒ，ｇ，ｂにより特定される標本点Ｐに、検出カメラ画像からの輝度値ｇが対応して設定され、そしてもう１つの輝度補正テーブルには、基準カメラ画像からの輝度値ｒ，ｇ，ｂにより特定される標本点Ｐに、検出カメラ画像からの輝度値ｂが対応して設定される。このように、検出カメラ画像からの輝度値ｒ，ｇ，ｂのそれぞれが対応して設定される標本点Ｐが設けられている３つの輝度補正テーブルを設けることより、基準カメラ１および検出カメラ２が共にカラービデオカメラである場合においても、輝度補正を実行することができる。
【０１３９】また、以上においては、ＲＧＢの光学像の色基底を用いたが、例えば、YUVまたはHSIなどを利用して、輝度補正テーブルを生成することもできる。なお、この場合、初期値の設定方法、および拘束条件は、適宜適切に変更される。
【０１４０】また、以上においては、距離情報が生成される場合を例として説明したが、例えば、異なるカメラで撮像された複数の画像間の対応点を求めるためのマッチングを行い、その画像をつなぎ合わせる、いわゆるモザイギングを行う場合においても、応用することができる。
【０１４１】上述した一連の処理は、ハードウエアにより実現させることもできるが、ソフトウエアにより実現させることもできる。一連の処理をソフトウエアにより実現する場合には、そのソフトウエアを構成するプログラムがコンピュータにインストールされ、そのプログラムがコンピュータで実行されることより、距離測定装置２０が機能的に実現される。
【０１４２】図２９は、上述のような距離測定装置２０として機能するコンピュータ１０１の一実施の形態の構成を示すブロック図である。CPU（Central Processing Unit）１１１にはバス１１５を介して入出力インタフェース１１６が接続されており、CPU１１１は、入出力インタフェース１１６を介して、ユーザから、キーボード、マウスなどよりなる入力部１１８から指令が入力されると、例えば、ROM（Read Only Memory）１１２、ハードディスク１１４、またはドライブ１２０に装着される磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、若しくは半導体メモリ１３４などの記録媒体に格納されているプログラムを、RAM（Random Access Memory）１１３にロードして実行する。これにより、上述した各種の処理（例えば、図１３，図１８，図２０，図２７，図２８のフローチャートが行われる。さらに、CPU１１１は、その処理結果を、例えば、入出力インタフェース１１６を介して、LCD（Liquid Crystal Display）などよりなる表示部１１７に必要に応じて出力する。なお、プログラムは、ハードディスク１１４やROM１１２に予め記憶しておき、コンピュータ１０１と一体的にユーザに提供したり、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３，半導体メモリ１３４等のパッケージメディアとして提供したり、衛星、ネットワーク等から通信部１１９を介してハードディスク１１４に提供することができる。
【０１４３】なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４４】
【発明の効果】請求項１に記載の画像処理装置、請求項４に記載の画像処理方法、および請求項５に記載の記録媒体のプログラムによれば、第１の特性のカメラで対象物を撮像して得られる第１の画像の色基底毎の輝度値と、第２の特性のカメラで対象物を撮像して得られる第２の画像の輝度値との対応関係を保持し、第１の画像の色基底毎の輝度値と第２の画像の輝度値の一方を検出し、検出した第１の画像の色基底毎の輝度値と第２の画像の輝度値の一方に対応する他方を、保持した対応関係から検出するようにしたので、検出した結果に基づいて、第１の画像または第２の画像の輝度値を補正することができる。
【出願人】 【識別番号】０００００２１８５
【氏名又は名称】ソニー株式会社
【出願日】 平成１１年１２月１５日（１９９９．１２．１５）
【代理人】 【識別番号】１０００８２１３１
【弁理士】
【氏名又は名称】稲本 義雄
【公開番号】 特開２００１−１７４２１９（Ｐ２００１−１７４２１９Ａ）
【公開日】 平成１３年６月２９日（２００１．６．２９）
【出願番号】 特願平１１−３５５７４５