トップ :: G 物理学 :: G01 測定;試験




【発明の名称】 三次元座標計測装置
【発明者】 【氏名】里田 浩三
【要約】 【課題】特定の撮像条件や特殊な撮像装置を必要とすることなく、入力した画像のみから特徴点やそれ以外の画素の三次元座標を高精度に求める三次元座標計測装置の提供。

【解決手段】基本形状管理部3にあらかじめ用意された直方体や長方形などのモデルを、形状適用部2a、2bにおいて回転、移動、サイズ変更を行い、そのモデルを画像上に投影し、画像中に写っている物体像と一致するようにあわせ、撮像位置計算部4で画像を撮影したカメラの位置関係を求める。また、三次元座標計算部6では、撮像位置計算部3で計算されたカメラの位置関係を用いて、特徴点入力部5で入力された特徴点や画像に写っている画素の三次元座標の計算を行う。
【特許請求の範囲】
【請求項１】物体の形状モデルを管理する基本形状管理手段と、撮像装置によりある位置で撮影された画像を入力する複数の画像入力手段と、前記複数の画像入力手段の各々に対応して設けられ、前記基本形状管理手段で管理されている形状モデルを、前記各画像入力手段に入力された画像中に投影し、その投影像を修正することで前記画像中に映っている物体の画像と一致させる形状適用手段と、前記複数の前記形状適用手段における前記形状モデルの修正パラメータから前記各画像入力手段に入力された画像の前記撮像装置の位置関係を算出する撮像位置計算手段と、を備えたことを特徴とする三次元座標計測装置。
【請求項２】前記形状適用手段が、前記画像入力手段から入力された画像を蓄積しておく入力画像蓄積手段と、オペレータが入力を行うための入力手段と、前記入力手段からの入力を解析する入力解析手段と、前記入力解析手段で解析されたオペレータの入力によって、前記基本形状管理手段で管理する物体の形状モデルの投影像を修正するパラメータを算出する投影パラメータ生成手段と、前記基本形状管理手段からオペレータの要求により必要な形状モデルを入力し、前記投影パラメータ生成手段で算出された形状モデルの投影像を修正するパラメータによって、前記形状モデルを、画像上に投影する基本形状投影手段と、前記画像入力手段によって入力された画像と前記投影された形状モデルの像を合成する基本形状表示制御手段と、前記基本形状表示制御手段で合成された画像をオペレータに提示する表示出力手段と、を備え、前記投影パラメータ生成手段は、オペレータが投影された形状モデルと一致すると判断した際に、前記撮像位置計算手段に対して、形状モデルの投影像を修正するパラメータを出力する、ことを特徴とする請求項１記載の三次元座標計測装置。
【請求項３】前記画像入力手段に入力された画像から特徴のある点（「特徴点」という）を入力する特徴点入力手段と、前記撮像位置計算手段で計算された撮像位置の位置関係と、前記特徴入力手段で入力した特徴点から、前記特徴点の三次元座標を計算する三次元座標計算手段と、を備えたことを特徴とする請求項１又は２記載の三次元座標計測装置。
【請求項４】前記撮像位置計算手段で計算された前記撮像装置の位置関係を基に、前記画像入力手段で入力された画像の画素の対応関係を計算する対応計算手段と、前記対応計算手段で計算された画素の対応関係と、前記撮像位置計算手段で計算された前記撮像装置の位置関係とから、対応画素の三次元座標を計算する三次元座標計算手段と、を備えたことを特徴とする請求項１乃至３のいずれか一に記載の三次元座標計測装置。
【請求項５】前記三次元座標計算手段で計算された特徴点又は対応画素の三次元座標から三次元形状のモデルを生成する三次元モデル生成手段を備えたことを特徴とする請求項３又は４記載の三次元座標計測装置。
【請求項６】（ａ）一又は複数の撮像装置が撮影した画像を入力する画像入力手段から入力された複数の画像について各画像に共通に写っている物体像に対して、あらかじめ用意されている直方体や長方形など比較的簡単な幾何学的形状を有する形状モデルの中から選択された形状モデルを必要に応じて、回転、移動、さらにサイズ変更を行うことで前記画像上に投影し前記形状モデルの投影像と画前記像中に写っている物体像とが一致するように当はめる手段と、（ｂ）前記選択された形状モデルについて、その投影像が前記物体像と一致するように修正したパラメータから前記各画像を撮影した前記撮像装置の位置関係を求める手段と、を備えたこと特徴とする三次元座標計算装置。
【請求項７】前記入力された複数の画像について各画像中に共通に写っている特徴点の画像中での座標位置を入力し、前記各画像を撮像した撮像装置の位置関係と、前記特徴点との対応から、前記特徴点の三次元座標を求める手段をさらに備えたこと特徴とする請求項６記載の三次元座標計算装置。
【請求項８】前記求められた各画像を撮像した撮像装置の位置関係を用いて、前記入力された複数の画像間の画素の対応関係を求め、前記求められた各画像を撮像した撮像装置の位置から前記複数画像間で対応付けられた画素の三次元座標を算出する手段をさらに備えたこと特徴とする請求項６記載の三次元座標計算装置。
【請求項９】（ａ）一又は複数の撮像装置が撮影した画像を入力する画像入力手段から入力された複数の画像について各画像に共通に写っている物体像に対して、あらかじめ用意されている直方体や長方形などの形状モデルの中から選択された形状モデルを必要に応じて、回転、移動、さらにサイズ変更を行うことで前記画像上に投影し、前記形状モデルの投影像と画前記像中に写っている物体像とが一致するように当はめる手段、及び、（ｂ）前記選択された形状モデルについて、その投影像が前記物体像と一致するように修正したパラメータから、各画像を撮影した前記撮像装置の位置関係を求める手段、の上記（ａ）、（ｂ）の各手段を三次元座標計算装置を構成するコンピュータで機能させるためのプログラムを記録した記録媒体。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、三次元座標計測装置に関し、特に、撮像装置で物体や風景を撮影し、撮像装置の位置と物体や風景の特徴点の三次元座標の計測を行う三次元座標計測装置に関する。
【０００２】
【従来の技術】従来、画像中の物体の三次元座標を計測する方式として、例えば特開昭６１−２８６９７９号公報に記載されているように、三角測量の原理により画素の三次元座標を計測する方式が知られている。この従来の計測方式は、２台の撮像装置で撮影した画像の画素の対応を探索し、画素の対応と撮像装置の位置関係から三角測量の原理により画素の三次元座標を計測するものである。
【０００３】
【発明が解決しようとする課題】しかしながら、この従来方式は、画素の三次元座標を求めるために、２台の撮像装置の位置関係を正確に求めることが必要であり、そのために、撮像装置を固定する撮影条件や、計算機等により撮像位置を正確に制御できる構成を必要とし、装置構成が複雑であり、撮影条件の設定作業等が煩雑である、という問題があった。
【０００４】一方、実在する物体を撮影した実写画像を利用して物体の三次元モデルを生成する手法が知られている。例えば特開平９−９７３５５号公報には、システムのオペレータが予め用意された物体の形状モデルを選択し、マウスドラッギング操作によりモデルを変形するようにしたモデリングシステムが提案されている。このシステムは、実画像上にそのモデルの投影像を合成し、形状モデルの投影像と実写画像中の物体が一致するように修正することで、オペレータが視覚により直感的にモデルを作成できるようにしたものである。
【０００５】しかし、この従来のシステムにおいては、オペレータが手軽に作業できるものの、モデリングできる物体は、形状モデルを用意できるような簡単な物体に限られる、という問題点を有している。
【０００６】ところで、実写画像に写っている物体と既存モデルの投影像とが一致するように修正を行う作業は、直感的で手軽に作業できるため、この手法を用いて、撮像装置の位置関係を画像から求める。
【０００７】そして、撮像装置の位置関係と画素間の対応関係を求めることができれば画素の三次元座標を計算することができる。
【０００８】したがって、本発明は、上記問題点に鑑み、本発明者による上記技術的認識に基づき創案されたものであって、その目的は、簡単な形状モデルと実写画像などの二次元画像を利用することにより、手軽に撮像装置の位置関係を求めることができ、三角測量の原理を用いて、画素間の対応がわかる任意の画素の三次元座標計測装置を提供することにある。
【０００９】
【課題を解決するための手段】上記目的を達成するため、本発明の三次元座標計測装置は、簡単な物体の形状モデルを管理する基本形状管理手段と、撮像装置によりある位置で撮影された画像を入力することができる複数の画像入力手段と、各画像入力手段で入力された画像中に共通に写っている比較的形状が簡単な物体に、基本形状管理手段で管理された形状モデルから適当な形状モデルを選択して画像上に投影し、画像中の物体像と一致するように形状モデルの投影像を修正する形状適用手段と、前記形状適用手段で各画像に写っている形状が簡単な物体に一致させるために形状モデルの投影像を修正したパラメータから各画像を撮影した撮像装置の位置関係を計算する撮像位置計算手段とを含む。
【００１０】また本発明は、前記画像入力手段に入力された画像から特徴のある点を入力する特徴点入力手段と、前記撮像位置計算手段で計算された撮像位置の位置関係と、前記特徴入力手段で入力した特徴点から、前記特徴点の三次元座標を計算する三次元座標計算手段と、を備える。
【００１１】さらに、本発明は、前記撮像位置計算手段で計算された前記撮像装置の位置関係を基に、前記画像入力手段で入力された画像の画素の対応関係を計算する対応計算手段と、前記対応計算手段で計算された画素の対応関係と、前記撮像位置計算手段で計算された前記撮像装置の位置関係とから、対応画素の三次元座標を計算する三次元座標計算手段と、を備える。
【００１２】そして本発明は、記三次元座標計算手段で計算された特徴点又は対応画素の三次元座標から三次元形状のモデルを生成する三次元モデル生成手段を備える構成としてもよい。
【００１３】
【発明の実施の形態】本発明の実施の形態について以下に説明する。
【００１４】本発明の三次元座標計測装置は、その好ましい実施の形態において、図１を参照すると、簡単な物体の形状モデルを管理する基本形状管理手段（３）と、撮像装置により、ある位置で撮影された画像を入力することができる複数の画像入力手段（１ａ，１ｂ…）と、各画像入力手段（１ａ，１ｂ…）で入力された画像中に共通に写っている、比較的形状が簡単な物体像に、基本形状管理手段（３）で管理されている形状モデルから適当な形状モデルを選択して画像上に投影し、画像中の物体像と一致するように、選択した形状モデルの投影像を修正する形状適用手段（２ａ，２ｂ，…）と、形状適用手段（２ａ，２ｂ，…）で各画像に写っている形状が簡単な物体に一致させるために形状モデルの投影像を修正したパラメータから各画像を撮影した撮像装置の位置関係を計算する撮像位置計算手段（４）と、を有する。
【００１５】本発明の、三次元座標計測装置は、その好ましい実施の形態において、各形状適用手段（２ａ，２ｂ，…）は、図２を参照すると、画像入力手段で得られた画像を蓄積しておくことができる入力画像蓄積手段（２１）と、オペレータが入力を行うことができる入力手段（３１）と、オペレータの入力を解析する入力解析手段（２３）と、解析されたオペレータの入力によって、形状モデルの投影像を修正するパラメータを計算する投影パラメータ生成手段（２４）と、オペレータの入力により基本形状管理手段（３）で管理された形状モデルから適当な形状モデルを入力し、形状モデルの投影像を修正するパラメータによってその形状モデルの投影像を修正し、これを画像に投影する基本形状投影手段（２２）と、入力画像と投影された形状モデルを合成する基本形状表示手段（２５）と、合成された画像をオペレータに提示する表示手段（３０）と、を備え、前記投影パラメータ生成手段（２４）は、投影された形状モデルと一致するとオペレータが判断した場合、撮像位置計算手段（４）に対して、形状モデルの投影像を修正するパラメータを出力する。
【００１６】また、本発明の三次元座標計測装置は、その好ましい第２の実施の形態において、図３を参照すると、前記した画像入力手段（１ａ，１ｂ…）、形状適用手段（２ａ，２ｂ…）、基本形状管理手段（３）、撮像位置計算手段（４）に加え、三次元座標を計測するため、複数の画像入力手段（１ａ，１ｂ…）が取得した各画像中に共通に写っている点を特徴点として指示するための特徴点入力手段（５）と、撮像位置計算手段（４）が計算した各画像の撮像位置を用いて特徴点入力手段（５）により指示された特徴点の三次元座標を計算する三次元座標計算手段（６）と、を有する。
【００１７】また本発明の三次元座標計測装置は、その好ましい第３の実施の形態において、図４を参照すると、前記した画像入力手段（１ａ，１ｂ…）、形状適用手段（２ａ，２ｂ…）、基本形状管理手段（３）、撮像位置計算手段（４）に加え、撮像位置計算手段（４）が計算した各画像の撮像装置の位置関係を用いて画像入力手段（１ａ，１ｂ…）が取得した画像間で画素の対応を検出する対応計算手段（７）と、撮像位置計算手段（４）が計算した各画像の撮像位置を用いて対応計算手段（７）よって検出された複数画像間で対応付けられた画素の三次元座標を計算する三次元座標計算手段（６）と、を有する。
【００１８】さらに本発明の三次元座標計測装置は、その好ましい第４の実施の形態において、図５を参照すると、前記第２の実施の形態の構成に加え、前記三次元座標計算手段（６）で計算された特徴点や画素の三次元座標から、三次元パッチを貼ることにより、三次元モデルを作成する三次元モデル生成手段（８）を備える。
【００１９】
【実施例】上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の実施例について図面を参照して以下に詳細に説明する。
【００２０】［実施例１］図１は、本発明に係る三次元座標計測装置の第１の実施例の構成を示すブロック図である。図１を参照すると、本発明の第１の実施例において、対象となる物体や風景を撮影するカメラ（撮像装置）からの画像を入力する複数の画像入力部１ａ、１ｂ…と、簡単な形状モデルを管理する基本形状管理部３と、各画像入力部１ａ、１ｂ…に対応して設けられ、各画像入力部１ａ、１ｂ…で撮影された各画像に共通に写っている、比較的形状が簡単な、物体（このような物体を「基本物体」という）に、基本形状管理部３で管理される簡単な形状モデルを、画像上に投影し、その投影像を修正して基本物体の像と基本形状の投影像が一致するように当てはめる形状適用部２ａ、２ｂ…と、複数の形状適用部２ａ、２ｂで当てはめるために、形状モデルの投影像を修正したパラメータから、各画像を撮影した撮像装置の位置関係を計算する撮像位置計算部４と、を備えて構成される【００２１】本発明の三次元座標計測装置の第１の実施例の動作について以下に説明する。まず、画像入力部１ａ、１ｂ…で三次元座標計測の対象となる物体や風景をカメラで撮影する。画像入力部は複数用意し、それぞれ異なるカメラあるいは一台のカメラで複数枚撮影した画像を入力する。
【００２２】形状適用部２ａ、２ｂ…では、各画像入力部１ａ、１ｂ…から入力された画像に共通に写っている基本物体を選ぶ。ここで、選択される基本物体とは、どのようなものであってもよいが、適用の容易さから、例えば長方形、直方体など、簡単な幾何学的な形状を有することが好ましい。
【００２３】次に、選択した基本物体の像に適用するための形状モデルを、基本形状管理部３で選択し、形状適用部２ａ、２ｂ…にそれぞれ入力する。
【００２４】図６には、形状モデルを当てはめる例を説明するための画像の一例が示されている。図６を参照すると、室内の情景を撮影したＳ１の画像の窓部分を基本物体とし、長方形を形状モデルとして、この長方形Ｐ１を、画像中の窓部分に当てはめている。
【００２５】図７に示すように、形状モデルとして与えられる物体には、基本物体固有の座標系を持つものとする。また、物体座標系のＸｏ、Ｙｏ、Ｚｏ軸は、カメラ座標系でＸｏ´、Ｙｏ´、Ｚｏ´の方向ベクトルを持ち、物体座標系の原点Ｏｏはカメラ座標系でＯｏ´の位置にあるものとする。図８にカメラの座標系を示す。図８において、Ｏｃはカメラ座標系の原点、Ｓｃはカメラの投影面、ｆはカメラの焦点距離、Ｘｃ、Ｙｃ、Ｚｃはカメラ座標系のＸ、Ｙ、Ｚ軸である。
【００２６】また、基本物体を、各軸方向にｓｘ、ｓｙ、ｓｚ倍した場合、物体座標系で（ｘ、ｙ、ｚ）にある点Ｐがカメラ座標系でＰ´（ｘ´、ｙ´、ｚ´）に変換されたとすると、次式（１）で表わされる。
【００２７】
【数１】

【００２８】ただし、Ｒは３ｘ３行列であり、各列はＸｏ´、Ｙｏ´、Ｚｏ´の三次元列ベクトル成分である。
【００２９】これを画像中に投影した場合、投影される画素（ｕ、ｖ）のｕ、ｖは、それぞれ次式の（２）、（３）で表わされる。
【００３０】
【数２】

【００３１】ただし、ｆはカメラの焦点距離、ｃｘ、ｃｙは画像中心である。
【００３２】例えば、図６の長方形Ｐ１を形状モデルとして選んだ場合、４点（０．５、０．５、０）、（０．５、−０．５、０）、（−０．５、−０．５、０）、（−０．５、０．５、０）の投影点と、これらを結んだ４本の辺の投影像が選択した画像中の物体に一致するように、Ｒ、Ｏｏ´、ｓｘ、ｓｙ、ｓｚを選ぶ。
【００３３】以上が形状適用部２ａ、２ｂ…の動作である。
【００３４】形状適用部２ａ、２ｂ…では、各画像入力部１ａ、１ｂ…に対して入力された画像すべてに対して、Ｒ、Ｏｏ’を求める。
【００３５】ここで、複数の画像のすべての画像に対して、同じ形状モデルを基本形状管理部３から選択して用いているため、ｓｘ、ｓｙ、ｓｚはすべての画像で同一である。
【００３６】一方、Ｒ、Ｏｏ´は各画像で異なり、画像ｎのＲ、Ｏｏ´を、Ｒｎ、Ｏｏｎ´と呼ぶことにする。
【００３７】２枚の画像ｍ、ｎで、形状適用後のパラメータが、Ｒｍ、Ｏｏｍ´、Ｒｎ、Ｏｏｎ´とすると、画像ｍ、ｎを撮影したカメラの位置関係は、画像ｎのカメラ座標系で座標Ｐｎである点が、画像ｍのカメラ座標系では、次式（４）のように記述される。
【００３８】
【数３】

【００３９】撮像位置計算部３では、この関係式を出力する。
【００４０】このように、本発明の第１の実施例によれば、対象となる物体や風景を撮影し、画像入力部１ａ、１ｂ…に入力された画像に対して、基本形状管理部３で管理されている形状モデルを選択し、形状適用部２ａ、２ｂ…で、その形状モデルを変形、回転、移動を行い、その投影像と、画像中に共通に写っている基本物体の画像とが一致するようにする。
【００４１】この形状モデルの投影像が画像中で基本物体と一致するように変形したパラメータから、撮像位置計算部３で各画像を撮影した位置の関係を計算する。このように、形状適用部２ａ、２ｂ…と撮像位置計算部３を有することで、カメラの位置関係を求めるために特殊な機器が必要でなく、簡単に、カメラの位置関係を求めることができる。
【００４２】［実施例２］本発明の第２の実施例について説明する。図２は、本発明における形状適用部２の構成の一例を示した図である。図２を参照すると、形状適用部２は、入力画像蓄積部２１と、マウスやキーボードなどのポインティングデバイスを用いた入力機器３１と、オペレータが入力機器３１を通じて入力した結果を解析する入力解析部２３と、入力解析部２３で解析された結果から形状モデルを画像上へ投影するためのパラメータを生成する投影パラメータ生成部２４と、基本形状管理部３で管理されている形状モデルからオペレータが適当な形状モデルを選択し、投影パラメータ生成部２４で生成される投影パラメータによって画像上に投影する基本形状投影部２２と、入力画像蓄積部２１で貯えられている画像と基本形状投影部２２で形状モデルを投影した画像とを合成する基本形状表示部２５と、これを表示するＣＲＴなどの表示機器３０からなる。
【００４３】本実施例の形状適用部２の動作について説明する。以下では、図６に示すような室内の情景を撮影した画像の窓に対して形状モデルとして長方形を当てはめる場合を例に説明する。
【００４４】入力画像蓄積部２１には画像入力部１から室内画像が送られてくる。オペレータはＳ１（図６参照）を見て、基本形状管理部３に管理されている形状モデルのうち長方形のモデルを窓部分に当てはめるのが適当であると判断するとする。もちろん、基本物体と形状モデルの組み合わせはどのようなものであってもよい。
【００４５】形状モデルとそれを当てはめるべき基本物体を選択すれば、オペレータは形状モデルの回転、移動、サイズ変更を行い、画像上に形状モデルを投影する。この時、マウスなどのポインティングデバイスを入力機器３１として、オペレータが操作し、その操作入力を入力解析部２３が解析する。
【００４６】例えば、（１）基本物体の各座標軸をマウスの右ボタンを押しながらマウスドラッギングを行うと、マウスの移動分だけその軸方向の大きさが変化する（サイズ変更）。
【００４７】（２）基本物体の物体座標系のＸ軸をマウスドラッギングにより横方向に移動した場合は、横方向移動分だけ物体をＹ軸周りに回転を行う。縦方向の移動の場合はＺ軸周りの回転を行う。Ｙ軸、Ｚ軸のドラッグも同様にある軸まわりに回転を行う（回転）。
【００４８】（３）原点Ｏをマウスドラッギングにより動かすと物体をマウス移動分だけ移動を行う（移動）。
【００４９】（４）原点Ｏをマウスの右ボタンを押しながらマウスドラッギングを行うと、マウス移動分だけ物体が前後に移動する（移動）。
【００５０】以上のようなルールをあらかじめ決めておき、上記操作入力によって、移動、回転、サイズ変更のパラメータを計算する。
【００５１】また、他の入力として、カメラの焦点距離ｆなどの数値データをキーボードにより入力することも可能であり、そのような入力を入力解析部２３で解析する。
【００５２】入力解析部２３で解析された移動、回転、サイズのパラメータから、投影パラメータ生成部２４で、物体座標系とカメラ座標系の間の回転行列と並進ベクトルを求める。これは、上式（１）で示すところのＲ、Ｓ、Ｏｏ´である。
【００５３】投影パラメータが求まると、基本形状投影部２３で、選択した形状モデルの各頂点、各辺が画像中でどこに投影されるか計算を行い、基本形状表示部２５で入力画像上に上書きされる。
【００５４】その結果が表示機器３０によってオペレータに提示され、オペレータは形状モデルの投影図と基本物体の画像がうまく一致するまでこの作業を繰り返す。
【００５５】図６に示すように、最初はＳ１のように、窓にあてはめようとする長方形は何も変換されずにそのまま投影されるが、オペレータの指示に従い、適当なパラメータが生成されると、図６のＳ２に示すように、長方形のモデルが窓にぴったりと合うことになる。この場合のパラメータが、形状適用部２で求めるべき回転、移動のパラメータである。
【００５６】以上の説明では、形状モデルに形が近いものを画像中から選択して既存モデルを当てはめていた。しかし、実際にはそのような物体が写っていない場合がある。この場合を模式的に説明したものが図９である。
【００５７】例えば、Ｏ１のようにコーヒーカップが、既存モデルを当てはめるべき基本物体であるものとする。これに合うような形状モデルが用意されていない場合、例えば形状モデルとして、直方体Ｐ２を用意し、これをＯ１に当てはめる（Ｓ３）。
【００５８】この場合、別の画像中でもＯ１にＰ２を当てはめるが、コーヒーカップの口や把っ手またはカップの模様などを手がかりにして、Ｏ１とＰ２の関係が、Ｓ１と同じになるように、回転、移動、サイズ変更を行うようにして、Ｓ４のような当てはめを行う。
【００５９】このような場合、手がかりとなるものとして、頂点や辺といった合わせやすいものがないため、オペレータの作業が増えるが、カメラの位置関係は計算できることとなる。
【００６０】このように、本実施例によれば、オペレータが対話的に物体と形状モデルの位置あわせを確認しながら行うことができるため、オペレータの作業が直感的に行うことができ、手軽にカメラの位置関係を求めることができる。
【００６１】［実施例３］図３は、本発明の第３の実施例の構成を示す図である。図３を参照すると、本発明の第２の実施例は、対象となる物体や風景を撮影する撮像装置からの画像を入力する複数の画像入力部１ａ、１ｂ…と、画像入力部で撮影された各画像に共通に写っている物体に簡単な形状モデルを当てはめる形状適用部２ａ、２ｂ…と、形状モデルを管理する基本形状管理部３と、形状適用部２ａ、２ｂ…で当てはめるために形状モデルの投影像を修正したパラメータから各画像を撮影した撮像装置の位置関係を計算する撮像位置計算部４と、撮像位置計算部４で計算された各カメラの位置関係と画像入力部１ａ、１ｂ…に入力された画像中に共通に写っている特徴点を指示する特徴点入力部５と、撮像位置計算部４で計算された各画像を撮影した撮像装置の位置関係と特徴点入力部５で入力した特徴点の対応から特徴点の三次元座標を計算する三次元座標計算部６と、を備えて構成される。
【００６２】前記した実施例では、複数の画像入力部１ａ、１ｂ…に入力された画像を撮影したカメラの位置関係を求めることができる。
【００６３】本発明の第３の実施例では、画像入力部１ａ、１ｂ…で入力された画像に、特徴点入力部５においてキーボードやマウス等の入力手段を用いて、画像中の特徴点の位置とその対応関係が入力される。ここで、特徴点とは、すべての画像中に共通に撮影されている三次元上の点ならば、どのようなものでも構わない。しかし、何もないところでは特徴点の指示が困難であることから、色の変わり目や物体の角のように識別しやすい点を指示するのが常である。なお、撮影環境により可能な場合は特殊な色の物体や発光する電球などの特徴的な物体をカメラで撮影する範囲内に配置しておき、特殊な色や発光体を画像処理により抽出しても良い。
【００６４】このようにして、撮像位置計算部４で計算された撮像位置の位置関係と、特徴点入力部５で入力された特徴点の対応関係から、その特徴点の三次元座標を三角測量の原理によって三次元座標計算部６で計算する。
【００６５】本発明の第３の実施例によれば、前記実施例によって求めることができるカメラの位置関係と、オペレータが入力する特徴点の対応によって、特徴点の三次元座標を計算することができる。
【００６６】［実施例４］図４は、本発明の第４の実施例の構成を示す図である。前記第３の実施例では、三次元座標計算部６において特徴点入力部５で入力された特徴点の画像中における座標位置を入力し、この特徴点の三次元座標のみを計算することにしているが、本発明の第４の実施例では、図４に示すように、各画像中のすべての画素の対応関係を探索する対応計算部７を設けている。
【００６７】この対応計算部７には、画像入力部１ａ，１ｂ…に入力されたすべての画像と、撮像位置計算部４で計算された各カメラの位置関係が入力される。そして、このカメラの位置関係を基にエピポーラ条件を求め、すべての画素の対応関係を計算する。
【００６８】三次元座標計算部６においては、対応探索部６で探索された画素の対応関係と、撮像位置計算部４で計算したカメラの撮像位置との対応関係と、から各画素の三次元座標を計算する。
【００６９】このように、本発明の第４の実施例によれば、対応探索部７を設けることにより、特徴点入力部５で与えた特徴点だけでなく、画像に写っているすべての画素の三次元座標を計算することができる。
【００７０】［実施例５］図５は、本発明の第５の実施例の構成を示すブロック図である。図５を参照すると、本発明の第５の実施例は、前記第３、第４の実施例に、三次元座標計算部６で求めた特徴点の三次元座標を結び、平面のポリゴンを作ることで三次元モデルを作ることができる三次元モデル生成部８を加えて構成されている。
【００７１】特徴点入力部５で入力した特徴点や、対応計算部７で計算した画素の三次元座標から三次元モデルを生成する三次元モデル生成部８では、主に点を３点ずつ選んで三角形のパッチを作っていく。この手法は、パッチの頂点をマウス等でオペレータが与える手法が最も簡単である。
【００７２】このように構成することで、特徴点の三次元座標だけでなく、三次元のＣＧ（コンピュータグラフィックス）モデルを生成することができる。
【００７３】
【発明の効果】以上説明したように、本発明によれば下記記載の効果を奏する。
【００７４】本発明の第１の効果は、直感的で手軽な手法により画像を撮影した撮像装置の位置関係を計算することができる、ということである。
【００７５】その理由は、本発明においては、基本形状管理手段にあらかじめ用意された直方体や長方形などのモデルを、形状適用手段において回転、移動、サイズ変更を行い、そのモデルを画像上に投影し、画像中に写っている物体像と一致するようにあわせ、撮像位置計算手段で画像を撮影したカメラの位置関係を求めるように構成したためである。
【００７６】本発明の第２の効果は、直感的で手軽な手法により求めた撮像装置の位置関係と入力した特徴点の三次元座標を計算することができる、ということである。
【００７７】その理由は、本発明においては、撮像位置計算手段で計算されたカメラの位置関係を用いて、特徴点入力手段で入力された特徴点や画像に写っている画素の三次元座標の計算を行うように構成したためである。
【００７８】本発明の第３の効果は、撮像装置の位置関係を簡単に求めることができ、画素の対応関係を探索することにより任意の画素の三次元座標を計算することができる、ということである。
【００７９】また、本発明の第４の効果は、求めた画素の三次元座標に三次元の平面パッチを貼ることで、三次元モデルを生成することができる、ということである。
【出願人】 【識別番号】０００００４２３７
【氏名又は名称】日本電気株式会社
【出願日】 平成１０年（１９９８）２月２７日
【代理人】 【弁理士】
【氏名又は名称】加藤 朝道
【公開番号】 特開平１１−２４８４３５
【公開日】 平成１１年（１９９９）９月１７日
【出願番号】 特願平１０−６４７２０