トップ :: G 物理学 :: G01 測定;試験




【発明の名称】 焦点光源付ステレオカメラによる３次元面形状推定方法
【発明者】 【氏名】喜多 泰代

【氏名】築山 俊史
【要約】 【課題】簡単な装置を使用することにより、特徴点のない滑らかなほぼ垂直な対象物体曲面に対して、必要な３次元物体曲面を高速演算で復元する。

【解決手段】カメラとカメラの焦点位置に仮想的に設けられた点光源装置とからなる複数台の焦点光源付カメラ及びＣＰＵを具備する焦点光源付ステレオカメラシステムであって、複数の点光源を順次点灯させて対象物体の反射光に基づく物体映像を複数台のカメラでそれぞれ撮影し、ＣＰＵはこれらの映像信号を取り込み、両映像の正反射点を求め、対象物体面の最近傍点の３次元位置情報、法線方向を算出して、対象物体の面までの距離を演算する。さらに、ＣＰＵは算出した法線方向から対象物体断面形状を推定し、これらの値と対象物体の領域内の輝度とから対象物体の面を近似演算する。
【特許請求の範囲】
【請求項１】 カメラと該カメラの焦点位置に仮想的に設けられた点光源照明とからなる複数台の焦点光源付カメラと、ＣＰＵとを具備する焦点光源付ステレオカメラを用いて、両点光源を順次点灯し、対象物体のそれぞれの反射光に基づく対象物体像を両カメラで撮影し、ＣＰＵはこれらの映像信号を取り込み、両映像中の正反射点を求め、カメラの前方に位置する対象物体面の１点の３次元座標、３点の法線方向を算出し、対象物体面を近似演算することを特徴とする焦点光源付ステレオカメラによる３次元面形状推定方法。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、ステレオ立体視型視覚センサによる三次元形状の推定方法、特に焦点光源付ステレオカメラを使用して、平面状及び曲面状物体の形状を推定する方法に関する。
【０００２】
【従来の技術】ロボットが室内を移動する際、室内に配置された物体を認識して、これらの物体を避けて移動する必要があり、このための物体を把握する視覚センサがロボットに設置されている。視覚センサを使用して物体までの距離を測定して３次元形状を推定する方法として、従来は、三角距離計測の原理を使用したステレオ立体視法、超音波やレーザーレンジファインダを用いる手法が使用されていた。
【０００３】図１０により、ステレオ立体視法による物体の３次元形状の推定方法の原理を説明する。カメラ等の視覚センサを２個左右の位置Ｒ，Ｌに並べてステレオ画像視する方法である。カメラの位置Ｒ，Ｌは定められているので、一辺ａ両端角ｂ，ｃから三角形の頂点、対象物体の一点Ｐは一意的に決定される。カメラの姿勢、レンズの焦点距離が既知であるので、右画像平面、左画像平面のＰ１，Ｐ２点から両端角ｂ，ｃは求めることができる。
【０００４】
【発明の解決しようとする課題】三角測量によるステレオ立体視法を適用する従来の方法は、２台のカメラを使用するだけなので簡便でよい。ただし、カメラの視線方向を決定するには、右画像のなかに見えている点が左画像のどこの対応しているかを探す必要がある。二つの入力画像から自動的に対応点を発見することは困難である。コンピュータにより対象物の中でも表面の明暗が急変している箇所しか対応点を決定することができないので、特徴のない一様の表面を持った物体に対しては、表面全体の三次元計測を行うことができないという問題点があった。
【０００５】又、従来の超音波やレーザーレンジファインダを使用した３次元形状推定方法では、レーザーレンジファインダーや超音波装置などの特殊装置を必要としていた。レーザーレンジファインダーを使用するものは対象物体の形状推定の演算に時間を要し、超音波装置を使用するものは演算時間は短いものの精度が悪かった。これに対して、ロボットが障害物を避けて室内を移動する時、人間の眼と同様、ロボットに必要な物体の３次元情報は障害物体の大まかな位置、大きさだけで充分であるものの、障害物体を把握する演算時間は移動時間より短くする必要があり、これらの視覚センサは移動ロボットの視覚センサとして充分なものとは言えなかった。
【０００６】
【課題を解決するための手段】上記課題を達成するために、本発明では、カメラと該カメラの焦点位置に仮想的に設けられた点光源照明とからなる複数台の焦点光源付カメラと、ＣＰＵとを具備する焦点光源付ステレオカメラを用いて、両光源の一方の照明による対象物体の反射光に基づく対象物体像を両カメラで撮影し、ＣＰＵはこれらの映像信号を取り込み、両映像中の正反射点を求め、カメラの前方に位置する対象物体面の１点の３次元座標、３点の法線方向を算出し、対象物体面を近似演算して３次元面形状を推定する方法を提供する。
【０００７】本願発明の方法によると、リング光源、カメラ、ＣＰＵ等市販されている簡単な装置により、特徴点のない滑らかで、ほぼ垂直な曲面を有する対象物体面を短時間で推定することができる。
【０００８】
【発明の実施の態様】図１は本発明の方法を実施する装置の一例を示している。１Ｒ，１Ｌはステレオカメラを構成する右，左の焦点光源付カメラで、２Ｒ，２Ｌは右，左の受光装置で、例えばカメラ、３Ｒ，３Ｌはカメラの光軸上の仮想的な位置に配置された右，左の点光源装置、４はアナログ・デジタル変換器、５はＣＰＵ、６はモニタ、７Ｒ，７Ｌは照射光、８Ｒ，８Ｌは照射光７Ｌ，７Ｒの物体表面による反射光を表している。
【０００９】点光源装置３Ｒ，３Ｌは例えば環状ストロボで、カメラ２Ｒ，２Ｌの投影中心の位置レンズと同軸に取り付けられている。一般に環状光源は、対象とする面までの距離が光源の直径の１０倍以上になると、点光源と等価になる。図１の焦点光源付ステレオカメラの点光源装置３Ｒ，３Ｌは、カメラの焦点位置に配置された点光源として機能する。図２は、点光源装置３Ｒ，３Ｌ、カメラ２Ｒ，２Ｌからなる光源付ステレオカメラを上部に配置した移動ロボットの斜視図を示している。
【００１０】アナログ・デジタル変換器４はカメラ２Ｒ，２Ｌで撮影された画像をサンプルし、各画素を輝度レベルでデジタル化し、ＣＰＵ５に送信する。ＣＰＵ５はカメラ２Ｒ，２Ｌ、光源照明３Ｒ，３Ｌを制御するとともに、アナログ・デジタル変換器４からの映像信号を記憶し、３次元情報を演算する。
【００１１】本発明の方法を図１の焦点光源付ステレオカメラを参照して、図３のフロー図により説明する。
ステップＳ１まず、焦点光源付ステレオカメラ２Ｒ，２Ｌの左，右点光源装置３Ｌ，３Ｒのいずれか一つ、例えば右点光源装置３Ｒを先ず点灯し、カメラ２Ｌ，２Ｒで対象物体を撮影し、次いで左点光源装置３Ｌを点灯しカメラ２Ｌ，２Ｒで対象物体を撮影する。これら４個の画像の映像信号はアナログ・デジタル変換されてＣＰＵ５に入力される。図４（ａ）は、右点光源照明Ｒが点灯した時の右カメラ２Ｒが撮影した右画像例である。
【００１２】ステップＳ２ＣＰＵ５は、入力された各画像から物体領域を抽出し、等輝度曲線を抽出する。先ずソーベルオペレータ（Sobel operator）とリージョンラベリング（Region labelling ）を使い、面領域の抽出を行う。ソーベルオペレータにより画素周辺の輝度の変化を調べ、変化分の小さい画素を面部分、それ以外をエッジ部分とし、画像を２つの領域に分ける。面領域に関しては、リージョンラベリングで画素の連結性を調べて、面積が一定値以上の領域を物体領域とする。
【００１３】次に、対象物体面の材質や微細な表面形状などによる輝度のむらを除去するために、各々の面領域の輝度を７×７のウィンドウオペレータにより平均化する。さらに、各平面ごとに平均化された輝度を一定のレベルごとに量子化し、同じ輝度の連結領域をリージョンラベリングにより求める。この連結領域は帯状になり、正確にはこの領域を細線化して等輝度曲線を求める。
【００１４】図４（ｂ）は、右点光源装置３Ｒが点灯した時に右カメラ２Ｒが撮影した右画像例（図４（ａ））において、抽出された物体領域像とそこに等輝度線像をのせた例を示した図である。Ｕ１’〜Ｕ４’で囲まれた領域が抽出された物体領域を、Ｅが演算された等輝度曲線を示している。この例では、表示の便宜上、輝度を２レベルごとに間引いた等輝度曲線である。輝度分布のピークになるところが正反射点であることから、ＣＰＵ５は演算された等輝度曲線の同心円群、楕円状の曲線群の中心点を基に輝度分布のピーク位置を求めて、正反射点の位置を求める。正反射光成分による輝度分布での等輝度曲線は、楕円曲線短軸が１０〜６０画素程度になる。短軸の長さの平均値が６０画素以下であれば、この輝度分布は正反射光成分であるとして良い。
【００１５】ステップＳ３点光源で照明された物体を撮影した画像において、反射光がピークとなる各局所領域に関してピークである位置での３法線方向と一点の３次元情報を、次に述べる方法により算出する。
【００１６】図５（ａ）は左点光源３Ｌを点灯した時の光の照射経路、反射経路と左，右のカメラ３Ｌ，３Ｒが撮影した画像面における反射光がピークとなる局所領域（画像面において楕円で表された領域）を示し、図５（ｂ）は右点光源３Ｒを点灯した時の光の照射経路、反射経路と左、右カメラが撮影した画像面における反射光がピークとなる局所領域を示している。図５中、物体のＡ点，Ｃ点は同じ側の、例えば左点光源３Ｌ点灯時の左カメラ画像で観測される正反射点で、その像の輝度が一番高く観測される。Ｂ点は左点光源点灯時、右点光源点灯時にそれぞれ右カメラ画像、左カメラ画像において共に輝度のピーク値が観測される点である。
【００１７】３次元座標をステレオカメラのベースラインの中点（図５のＯで示す点）に原点をとり、カメラの視線方向をＺ軸、それに直交する面の垂直下方方向をＹ軸、水平方向をＸ軸とした右手座標系とする。図５中のＬ，Ｒはそれぞれ左点光源３Ｌの位置・左カメラ２Ｌの焦点位置、右点光源３Ｒの位置・右カメラ２Ｒの焦点位置を表している。左，右カメラの焦点座標をそれぞれ次の（１）の座標とする。
【００１８】又、図５中、Ｂ点に対応する左，右カメラ画像面上の観測３次元位置、すなわち右，左の点光源を点灯した時の左，右カメラ画像面での輝度ピーク観測位置がそれぞれ次の（２）のように計測されるとする。とすると、 図５中のＢ点の３次元座標（Ｂｘ，Ｂｙ，Ｂｚ）は、次の（３）式，（４）式，（５）式で、Ｂ点の法線方向ｎＢのベクトルは、次の（６）式で表せる。
【００１９】
【数１】

【００２０】
【数２】

【００２１】図５中のＡ点，Ｃ点の法線方向ｎＡのベクトル，ｎＣのベクトルは、観測３次元位置、すなわち左，右の点光源を点灯した時の左，右画像面でのピーク観測位置をそれぞれ、次の（７）とすると、それぞれ次の（８），（９）式の値となる。なお、本明細書で同じ参照符号を使用するものは同じもの又は相当するものを表している。
【００２２】
【数３】

【００２３】ステップＳ４これら対象物体像のＡ点，Ｂ点，Ｃ点の３法線方向とＢ点の座標を用いて、２法線を含むエピポーラ面(Epipolar plane）の対象物体表面の断面形状を種々の近似曲線で近似する。２個の円弧Ｓ，Ｓ’により近似推定する例を図６により説明する。
【００２４】円弧で近似した理由は、次の２点による。
■ 滑らかな曲面を少ないパラメータで表せること。
■ 室内に実在する人工物曲面は、球やシリンダー側面などのような円弧面をもとに作製されていることが多く、近似精度が良いこと。
【００２５】まず、Ａ点とＢ点とを通る２線（図６参照）の交点ＯＡＢを求め、これを球の中心とする。実際には誤差があるので、Ａ点とＢ点とを通る２線は立体的に交差して２線が交わらない場合には、２線が最短に近づく両線上の点Ｐ１，Ｐ２を求めて、これらの中点を球の中心とする。これらＡ点とＢ点とを通る２線上のＰ１点，Ｐ２点の座標はそれぞれ、次の（１０）式，（１１）式で求まる。ゆえに、物体表面の断面を円弧で近似するための球の中心ＳＯＡＢ，半径ＳＲＡＢは次の（１２）式，（１３）式で求まる。
【００２６】
【数４】

【００２７】
【数５】

【００２８】物体表面のＡ点，Ｂ点に対応する画像上の輝度ピーク点を結ぶ直線上に存在する各画素ごとに、この球との交点を求めることにより物体表面の断面形状を得る。各画素の画像面上での３次元位置を次の（１４）とすると、これに対する球との交点は（１５）になる。物体表面のＢ点，Ｃ点に対しても球との交点は同様に算出することができる。
【００２９】
【数６】

【００３０】ステップＳ５濃淡画像上でその断面の表面に対応する画素の輝度から、対象面における入射角と面の輝度の反射マップを推定する。各画素の輝度（濃淡値）は、光源とカメラの位置、物体表面の反射係数及びその傾きによって決まる。これを利用して、その領域内の残りの法線方向をShape−From−Shading（濃淡画像から物体表面の向きを抽出して、３次元形状を再構成する方法）方法で決定していく。
【００３１】１．ステップＳ４で推定した物体断面の表面各点における入射角を算出し、対象物体面の反射関数を得る方法を図７により説明する。断面における物体表面上のＰｉ点の座標を（Ｘｉ，Ｙｉ，Ｚｉ）（ｉ＝１〜ｎ）とすると、このＰｉ点の対象物体面の法線方向ｎｐのベクトルは、断面の表面を近似した円弧の中心Ｓ０＝（Ｓ０ｘ，Ｓ０ｙ，Ｓ０ｚ）とこのＰｉ点とを結ぶ方向なので、次の（１６）式で表せる。左点光源３Ｌを用いた場合のこのＰｉ点における光源方向Ｌｎｐのベクトルは、次の（１７）式で求まる。したがって、その入射角はθｐは、（１８）式で求めることができる。
【００３２】
【数７】

【００３３】こうして求めた物体表面の断面上の各点における入射角θｐと（図７（ａ）の場合は左点光源装置３Ｌ点灯時の）観測画像上のその点の輝度の関係をプロットすると、図７（ｂ）のような曲線が得られる。これが観測面の反射特性を表す反射関数である。
【００３４】２．次に、推定形状断面以外の観測画像の各画素点に対応する３次元座標を算出する方法を図８により説明する。先ず、各画素の輝度から１．で求めた反射関数を用いて、その画素に観測される対象上の点における入射角θを得る。これにより、例えば、図８（ａ）に示すような観測画像の画素（ｉｎ，ｊｎ＋１）へのカメラ視線を中心線とする頭頂角θの円錐面上にこの画素に対する対象物体面上の点Ｐの法線方向ｎのベクトルが限定される。対象物体の面がなめらかである条件より、既知である近傍の点の法線方向ｎｎのベクトルに最も近い法線をこの円錐側面上から算出し、対応する対象面上の点における法線とする。
【００３５】これは、具体的に次のようにして決定できる。３次元座標系をこの円錐（側面長さを単位１とする）の頂点Ｏ’（図８（ｂ）参照）を原点とするように平行移動する。今、求めたい対象物体面上のＰ点における法線方向ｎのベクトルは、原点Ｏ’においたｎｎのベクトルとこの円錐の底面との交点をＰ１点とすると、これを底面の円の半径方向に伸ばした方向の円周との交点Ｐ２点終点とするベクトルである。円錐底面は、既知である点光源方向へのＶ０のベクトル（視線方向の負ベクトル）を使って、次の（１９）式で表せ、これと次の（２０）式で表せる直線との交点は次の（２１）式で求まる。したがって、求める法線方向ｎのベクトルは次の（２２）式で求まる。
【００３６】
【数８】

【００３７】
【数９】

【００３８】ここで、３次元座標系を元の原点Ｏに戻すように平行移動する。画素（ｉｎ，ｊｎ＋１）に対応する物体表面上の点Ｐは、図８（ｃ）に示すように視線方向にあり、３次元座標値を（２３）とする既知の近傍点Ｐｎから３次元座標値を（Ｐｘ，Ｐｙ，Ｐｚ）とする点Ｐへのベクトルと先に求めたｎの法線ベクトル（ｎｘ，ｎｙ，ｎｚ）とが直交することから、次の（２４）式で算出される。
【００３９】
【数１０】

【００４０】このように、形状断面位置の法線ベクトルから近傍点の法線ベクトルを順次求めることにより対象物体表面の３次元座標Ｐを算出して、対象物体面の３Ｄ形状を推定することができる。
【００４１】図９は、対象物体が平面状物体Ｕ、円筒物体Ｖである表面形状を本発明の方法により推定した一例を示している。図９中のＲ，Ｌは、右、左の点光源位置・カメラの焦点位置を表している。この例では左画像により物体領域を演算した。そのため物体領域はＬに向かっている。右画像により演算しても相違は少ない。図９（ａ）は本発明に係るステップ３の演算例で、（ｂ）はステップ４で、ステップ２で求めた位置Ｌの左カメラ２Ｌから見た物体領域の左右視覚範囲Ｕ１’〜Ｕ２’，Ｖ１’〜Ｖ２’の範囲で円弧で近似された表面断面を演算した例である。（ｃ）はステップ４で推定した断面の表面上の点において、入射角と画像面で観測される輝度とをプロットしたグラフにより反射関数を求めた例である。（ｄ）はステップ２で求めた対象物体である平面状物体Ｕ，円筒物体Ｖの物体領域内で、観測画像からShape−From−Shading方式により演算して平面状物体及び円筒物体の３Ｄ形状面を推定した例である。以上、焦点光源付カメラ２台に付いて本発明の方法を説明したが、焦点光源付カメラが３台以上であっても本発明の方法は可能である。
【００４２】
【発明の効果】従来の２台のカメラを用いるステレオ両眼立体視手法が、エッジなどの特徴のないのっぺりとした領域に対して３次元再構成が十分行えなかったのに対して、本発明の方法は、カメラとカメラに付加した焦点光源という簡便な装置により、能動的に照明を当てて輝度分布を計測して、特徴のない面上の１点の３次元位置情報、３点の法線方向を簡易に演算し、さらにShape−From−Shading方式の原理を用いてその面の３次元形状を演算できる。
【００４３】輝度分布のピーク位置は外乱の影響が少なく、かつ、その位置の推定は簡単な画像処理でできる。本発明の方法は、数メートルぐらいまでの距離にある面の位置や形状情報が得られ、建物内を移動するロボットのビジョンシステムに適している。
【出願人】 【識別番号】３０１００００１１
【氏名又は名称】経済産業省産業技術総合研究所長
【出願日】 平成１２年１月６日（２０００．１．６）
【代理人】
【公開番号】 特開２００１−１９４１２８（Ｐ２００１−１９４１２８Ａ）
【公開日】 平成１３年７月１９日（２００１．７．１９）
【出願番号】 特願２０００−７６７（Ｐ２０００−７６７）