| 【発明の名称】 |
３次元位置計測装置及び方法並びに３次元位置計測プログラムを記録した記録媒体 |
| 【発明者】 |
【氏名】木田 憲一
【氏名】井原 雅行
【氏名】志和 新一
【氏名】石橋 聡
|
| 【要約】 |
【課題】本発明の課題は、マーカーの近接や交差が発生した場合に、リアルタイムにマーカーの位置及び計測窓の位置を補正してその後のマーカー位置の正しい計測を可能にする３次元位置計測装置及び方法並びに３次元位置計測プログラムを記録した記録媒体を提供することにある。
【解決手段】本発明は、各マーカーに対して、他のマーカーとの相対的な位置関係から計測窓の位置を再設定するためのデータを算出、蓄積しておき、初期設定時の計測結果に基づいて、計測窓が設定されるべき予測範囲を算出し、マーカーが一定時間を越えて予測範囲外にあると測定された場合に、蓄積されたデータをもとに他のマーカーとの位置関係から計測窓を再設定する。 |
【特許請求の範囲】
【請求項１】 物体動作を認識するために、複数のマーカーを物体に装着し、複数台のカメラを用いて、前記マーカーを撮影し、ステレオ視の原理を用いることによりリアルタイムに３次元位置を計測する３次元位置計測装置において、カメラにより撮影された画像が入力され、画像上のマーカーの２次元位置の計測可能範囲を示す計測窓のサイズ、位置を用いて１つまたは複数の計測窓から他の計測窓の位置を予測する条件を算出して蓄積する初期設定手段と、画像上の計測窓内にあるマーカーの２次元位置を計測する２次元位置計測手段と、前記２次元位置計測手段により計測した２次元位置を用いてマーカーがあると予測される画像上の範囲を算出して蓄積する予測範囲更新手段と、前記２次元位置計測手段により計測したマーカーの２次元位置が、前記予測範囲更新手段により蓄積した範囲内にあるかを判別する判別手段と、前記判別手段により判別した結果、範囲内にマーカーの２次元位置がある場合には１つのマーカーに対する複数の２次元位置データからステレオ視の原理を用いて３次元位置を計測する３次元位置計測手段と、前記判別手段により判別した結果、範囲内にマーカーの２次元位置がない場合には範囲内にマーカーがない時間を基に前記初期設定手段により蓄積したその計測窓の予測条件を用いて計測窓を再設定する計測窓再設定手段とを具備することを特徴とする３次元位置計測装置。
【請求項２】 予測範囲更新手段として、画像上にある複数のマーカーの２次元位置を２次元位置計測手段により計測し、計測した複数の２次元位置間を結ぶ線分を算出する線分算出手段と、前記線分算出手段により算出した線分を基に、各マーカーがあると予測される画像上の範囲を算出する範囲算出手段と、前記範囲算出手段により算出した範囲を蓄積する範囲蓄積手段とを具備することを特徴とする請求項１記載の３次元位置計測装置。
【請求項３】 動物体に装着された複数のマーカーを複数のカメラから撮影し、各カメラから撮影された画像からマーカーの２次元位置を検出し、複数の２次元位置の計測結果からマーカーの３次元位置を算出する３次元位置計測方法において、マーカーの動きに追従して移動する計測窓を用いて、画像から検出されたマーカーが対応する計測窓内にあるか否かにより該マーカーが正しく検出されたかを識別する方法であって、計測窓ごとに他の１以上の計測窓との相対的な位置関係から２次元位置を再設定するための再設定情報を測定開始時に予め算出、蓄積するステップと、直前の他のマーカーの２次元位置の測定結果から計測窓が存在すると予測される範囲を算出するステップと、計測窓が予測範囲外に設定された場合、蓄積済みの再設定情報をもとに他の計測窓の２次元位置の測定結果から該マーカーの位置を再設定するステップとを具備することを特徴とする３次元位置計測方法。
【請求項４】 予測範囲の算出方法として、計測窓Ｗ，Ｘ，Ｙ，Ｚの２次元位置をもとに各計測窓を結ぶ線分を求めることにより、計測窓Ｗ，Ｘ，Ｙ，Ｚを頂点とする四角形領域を計測窓Ｋの予測範囲として求めることを特徴とする請求項３記載の３次元位置計測方法。
【請求項５】 動物体に装着された複数のマーカーを複数のカメラから撮影し、各カメラから撮影された画像からマーカーの２次元位置を検出し、複数の２次元位置の計測結果からマーカーの３次元位置を算出する３次元位置計測プログラムを記録した記録媒体において、マーカーの動きに追従して移動する計測窓を用いて、画像から検出されたマーカーが対応する計測窓内にあるか否かにより該マーカーが正しく検出されたかを識別する３次元位置計測プログラムであって、計測窓ごとに他の１以上の計測窓との相対的な位置関係から２次元位置を再設定するための再設定情報を測定開始時に予め算出、蓄積する手順、直前の他のマーカーの２次元位置の測定結果から計測窓が存在すると予測される範囲を算出する手順、計測窓が予測範囲外に設定された場合、蓄積済みの再設定情報をもとに他の計測窓の２次元位置の測定結果から該マーカーの位置を再設定する手順をコンピュータに実行させるための３次元位置計測プログラムを記録した記録媒体。
【請求項６】 予測範囲の算出手順として、計測窓Ｗ，Ｘ，Ｙ，Ｚの２次元位置をもとに各計測窓を結ぶ線分を求めることにより、計測窓Ｗ，Ｘ，Ｙ，Ｚを頂点とする四角形領域を計測窓Ｋの予測範囲として求めることを特徴とする請求項５記載の３次元位置計測プログラムを記録した記録媒体。３次元位置計測方法。
|
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、３次元位置計測技術に係り、詳しくはマーカーを装着した動物体の３次元位置を計測する装置及び方法並びに３次元位置計測プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】物体の動作中にこの物体の各箇所をリアルタイムに３次元位置計測したいという要求がある。要求を解決する方式の１つに、特開平１１−５１６１５号公報に示されているような３次元位置を計測する光学式の計測方式がある。すなわち、人または物体（対象物）に相異なる色を放射または反射するカラーマーカーを装着し、前記マーカーの色とその装着部位（例えば人物ならば右肩、右手、右膝などの身体部位）を予めメモリ等に記憶しておく。複数のカメラから対象物を撮影し、同一時刻に撮影された各画像からマーカーの２次元位置を検出し、複数の画像から得られた同一マーカーに対する複数の２次元位置からステレオ視の原理を用いて３次元位置を算出し、マーカーを装着した部位の３次元位置を算出する。前記メモリ等に記憶したマーカー色と装着位置の対応関係から該マーカーを装着した部位の３次元位置を得る方式である。この方式にはマーカーが小型であり、自由な動作が可能という利点がある。
【０００３】次に、計測窓を用いたマーカー位置計測について図１９を参照して説明する。すなわち、既存の計測システムにおいて、身体に装着したマーカーの３次元位置をステレオ視の原理を用いて計測するとき、カメラで撮影した画像上にあるマーカーに対して計測窓と呼ばれる計測範囲を設定する。計測システムは計測窓が示す計測範囲内を探索し、マーカーを検出した場合、検出した位置をマーカーの２次元位置として出力する。同様の処理により複数の画像上でマーカーの２次元位置を出力した場合、ステレオ視の原理を用いて３次元位置を算出し、出力する。
【０００４】具体的には計測前に、計測窓のサイズを予め設定し、各マーカーが計測窓内に含まれるように設定する。この処理は人間の手動で行う。この処理後、計測システムはマーカーが計測窓の中心の位置になるよう調整する。
【０００５】計測時において、計測窓の位置は予測したマーカーの２次元位置を中心として、設定する。マーカーの２次元位置の予測例を次に示す。時間Ｔ−１のマーカーの２次元位置を（Ｘ１，Ｙ１）、時間Ｔのマーカーの２次元位置を（Ｘ２，Ｙ２）とした場合、等速で移動していると仮定して、時間Ｔ＋１のマーカーの２次元位置を（２×Ｘ２−Ｘ１，２×Ｙ２−Ｙ１）と予測する。予測したマーカー位置を中心に計測窓を設定し、計測窓内でマーカーを探索する。この処理を逐次、行う。
【０００６】計測窓の設定により処理時間の短縮化とカラーマーカーによる対象物姿勢の認識が可能である。しかし計測時にマーカーの交差が発生すると、交差した後、正しいデータが計測不可になる点が問題である。
【０００７】このときリアルタイムにマーカー位置を補正し、即時に正しいデータを計測可能にする３次元位置計測方法は実現されていない。
【０００８】
【発明が解決しようとする課題】特開平１１−５１６１５号公報に示されているような３次元位置を計測する光学式の計測方式では、通常カラーマーカーの色の種類は限られている（例えば６色）ため、対象物に多数（例えば１６箇所）のマーカーを装着して各部位の位置を計測し、対象物の姿勢や動作の認識等に適用することは困難である問題がある。
【０００９】一方、計測窓を用いたマーカー位置計測については、装着部位（マーカー）ごとに計測窓を設定し、その内部に対象とするマーカーがあるかをチェックするため、上記の問題は解決する。
【００１０】しかし、対象物の動きにより同一色のマーカーが近接した場合、各マーカーに対応した計測窓が入れ替わったり統合されたりして、その後の正確な計測ができない問題がある。
【００１１】光学式による３次元位置計測で、マーカーの交差が発生すると、そのマーカー位置が計測不可になるのが問題である。従来の技術では交差が発生した後、リアルタイムに正しい３次元位置を計測できなかった。
【００１２】本発明は上記の事情に鑑みてなされたもので、マーカーの近接や交差が発生した場合に、リアルタイムにマーカーの位置及び計測窓の位置を補正してその後のマーカー位置の正しい計測を可能にする３次元位置計測装置及び方法並びに３次元位置計測プログラムを記録した記録媒体を提供することを目的とする。
【００１３】
【課題を解決するための手段】上記目的を達成するために本発明は、物体動作を認識するために、複数のマーカーを物体に装着し、複数台のカメラを用いて、前記マーカーを撮影し、ステレオ視の原理を用いることによりリアルタイムに３次元位置を計測する３次元位置計測装置において、カメラにより撮影された画像が入力され、画像上のマーカーの２次元位置の計測可能範囲を示す計測窓のサイズ、位置を用いて１つまたは複数の計測窓から他の計測窓の位置を予測する条件を算出して蓄積する初期設定手段と、画像上の計測窓内にあるマーカーの２次元位置を計測する２次元位置計測手段と、前記２次元位置計測手段により計測した２次元位置を用いてマーカーがあると予測される画像上の範囲を算出して蓄積する予測範囲更新手段と、前記２次元位置計測手段により計測したマーカーの２次元位置が、前記予測範囲更新手段により蓄積した範囲内にあるかを判別する判別手段と、前記判別手段により判別した結果、範囲内にマーカーの２次元位置がある場合には１つのマーカーに対する複数の２次元位置データからステレオ視の原理を用いて３次元位置を計測する３次元位置計測手段と、前記判別手段により判別した結果、範囲内にマーカーの２次元位置がない場合には範囲内にマーカーがない時間を基に前記初期設定手段により蓄積したその計測窓の予測条件を用いて計測窓を再設定する計測窓再設定手段とを具備することを特徴とするものである。
【００１４】また本発明は、前記３次元位置計測装置において、予測範囲更新手段として、画像上にある複数のマーカーの２次元位置を２次元位置計測手段により計測し、計測した複数の２次元位置間を結ぶ線分を算出する線分算出手段と、前記線分算出手段により算出した線分を基に、各マーカーがあると予測される画像上の範囲を算出する範囲算出手段と、前記範囲算出手段により算出した範囲を蓄積する範囲蓄積手段とを具備することを特徴とするものである。
【００１５】また本発明は、動物体に装着された複数のマーカーを複数のカメラから撮影し、各カメラから撮影された画像からマーカーの２次元位置を検出し、複数の２次元位置の計測結果からマーカーの３次元位置を算出する３次元位置計測方法において、マーカーの動きに追従して移動する計測窓を用いて、画像から検出されたマーカーが対応する計測窓内にあるか否かにより該マーカーが正しく検出されたかを識別する方法であって、計測窓ごとに他の１以上の計測窓との相対的な位置関係から２次元位置を再設定するための再設定情報を測定開始時に予め算出、蓄積するステップと、直前の他のマーカーの２次元位置の測定結果から計測窓が存在すると予測される範囲を算出するステップと、計測窓が予測範囲外に設定された場合、蓄積済みの再設定情報をもとに他の計測窓の２次元位置の測定結果から該マーカーの位置を再設定するステップとを具備することを特徴とする。
【００１６】また本発明は、前記３次元位置計測方法において、予測範囲の算出方法として、計測窓Ｗ，Ｘ，Ｙ，Ｚの２次元位置をもとに各計測窓を結ぶ線分を求めることにより、計測窓Ｗ，Ｘ，Ｙ，Ｚを頂点とする四角形領域を計測窓Ｋの予測範囲として求めることを特徴とする。
【００１７】また本発明は、動物体に装着された複数のマーカーを複数のカメラから撮影し、各カメラから撮影された画像からマーカーの２次元位置を検出し、複数の２次元位置の計測結果からマーカーの３次元位置を算出する３次元位置計測プログラムを記録した記録媒体において、マーカーの動きに追従して移動する計測窓を用いて、画像から検出されたマーカーが対応する計測窓内にあるか否かにより該マーカーが正しく検出されたかを識別する３次元位置計測プログラムであって、計測窓ごとに他の１以上の計測窓との相対的な位置関係から２次元位置を再設定するための再設定情報を測定開始時に予め算出、蓄積する手順、直前の他のマーカーの２次元位置の測定結果から計測窓が存在すると予測される範囲を算出する手順、計測窓が予測範囲外に設定された場合、蓄積済みの再設定情報をもとに他の計測窓の２次元位置の測定結果から該マーカーの位置を再設定する手順をコンピュータに実行させるためのものである。
【００１８】また本発明は、前記３次元位置計測プログラムを記録した記録媒体において、予測範囲の算出手順として、計測窓Ｗ，Ｘ，Ｙ，Ｚの２次元位置をもとに各計測窓を結ぶ線分を求めることにより、計測窓Ｗ，Ｘ，Ｙ，Ｚを頂点とする四角形領域を計測窓Ｋの予測範囲として求めることを特徴とするものである。
【００１９】従来の技術とは、各マーカーに対して、他のマーカーとの相対的な位置関係からマーカー位置（計測窓の位置）を再設定するためのデータを算出、蓄積しておき、初期設定時の計測結果に基づいて、マーカーがあると予測される範囲（計測窓が設定されるべき予測範囲）を算出し、マーカーが一定時間を越えて予測範囲外にあると測定された場合に、蓄積されたデータをもとに他のマーカーとの位置関係から計測窓を再設定する点が異なる。
【００２０】
【発明の実施の形態】以下図面を参照して本発明の実施形態例を詳細に説明する。
【００２１】図１は本発明の実施形態例を示す構成説明図である。すなわち、物体動作を認識するために、複数のマーカー１１を物体１２に装着する。このとき、例えばＣＲＴ等のディスプレイ１３で観察しながら、例えばマウス等の入力装置１４より３次元位置計測装置１５を操作し、複数台のカメラ１６１，１６２を用いて、マーカー１１を撮影し、ステレオ視の原理を用いることによりリアルタイムに３次元位置を計測する。
【００２２】暗闇で身体部位の３次元位置を計測しようとする場合、マーカーとして、高輝度ＬＥＤを使用する場合が考えられる。但し、現状のデバイス技術では色の数は赤、橙、黄、黄緑、緑、青の６色に限定される。よって人間の身体部位のうち、両方の耳、首、両肩、両肘、両手、腹、両腰、両膝、両足の計１６箇所を計測しようとする場合、同色のＬＥＤマーカーを複数箇所に使わざるを得ない。人間の動作によってＬＥＤのマーカーの色が同じである２つの計測窓の領域が重なる場合がある。この場合に、各マーカーの計測窓が入れ替わり、１つの計測窓が他方の計測窓に吸収されることがある。結果として、画像上でマーカーの２次元位置を誤って計測し出力する。このような問題を回避するためには、同色のＬＥＤマーカーを可能な限り離れた位置に設定する必要がある。例として図２を示す。
【００２３】しかしながら、図２の配置においても人間の動作によって「右手」と「首」または「左肘」と「腹」の計測窓が重なる場合がある。このときに生じる誤計測を補正し、正しいデータを出力できるようにする必要がある。
【００２４】図３（ａ）、（ｂ）は本発明の実施形態例に係る初期設定時の処理及び予測範囲の処理を示すフローチャートである。すなわち、対象物の物体１２を静止させた状態で映像を撮影し、その画像をディスプレイ１３上に表示させる。ディスプレイ１３上に表示された各画像を見ながら計測窓のサイズの設定を入力装置１４から行う（ステップ１００）と共に、計測窓の位置を各マーカー１１ごとに入力装置１４で設定する（ステップ１０１）。例えば、図４に示すように、画像１，２に対する計測窓Ａ，Ｂ，Ｃを対応するマーカー位置をマウスでポイントするなどして指定しながら設定する。また図５に示すように、各マーカーの色とその装着位置は、予め３次元位置計測装置１５に記憶した情報を用いることも、初期設定時に指定することも可能である。次に、各計測窓間の距離、方向を算出し（ステップ１０２）、各計測窓間の方向、距離により１つまたは複数の計測窓から他の計測窓の位置を予測する条件を算出し（ステップ１０３）、算出した予測条件を蓄積する（ステップ１０４）。各計測窓に対して、どの計測窓を予測に用いるかは予め３次元位置計測装置１５に設定（記憶）しておくことも、初期設定時に指定することも可能である。図６は計測窓３の予測に用いる他の計測窓１，２，４の探索順序を示す。図６のように指定され、初期設定時の画像が図７のようなとき、図８のような情報が計測窓の再設定情報として蓄積される。すなわち、図７は人物動作を測定する前に設定する計測窓の位置とそれらの計測窓間の距離と方向の例を示す。図８は図７により求められた計測窓３に対する計測窓１，２，４の距離と方向を示す。計測窓３内のマーカーが隠れた場合、計測窓１，２，４の順に探索し、マーカーを含む計測窓から計測窓３の位置を予測し、計測窓３を設定する。
【００２５】各計測窓に対する予測範囲の算出条件は予め３次元位置計測装置１５に設定、記憶されている。例えば、計測窓Ａ（首の付け根）に対して、「計測窓Ｗ（右肩）、Ｘ（右腰）、Ｙ（左肩）、Ｚ（左腰）を頂点とする四角形」が予測範囲の算出条件として記憶されている。この場合、各マーカーの計測窓Ｗ、Ｘ、Ｙ、Ｚの２次元位置を計測し（ステップ１０５）、計測した計測窓Ｗ、Ｘ、Ｙ、Ｚの２次元位置間を結ぶ線分を算出し（ステップ１０６）、算出した線分を基にマーカーがあると予測される範囲を算出（ステップ１０７）することにより、計測窓Ｗ、Ｘ、Ｙ、Ｚを頂点とする四角形領域を計測窓Ｋの予測範囲として求めることができる。算出した予測範囲は３次元位置計測装置１５に蓄積される（ステップ１０８）。３次元位置計測装置１５に蓄積された予測範囲は更新処理される（ステップ１０９）。
【００２６】図９〜図１２は本発明の実施形態例に係る測定時の処理を示すフローチャートである。すなわち、３次元位置計測時には、各カメラから撮影された複数の画像を入力し、各マーカーに対して、図９〜図１２の処理を行う。
【００２７】図９は３次元位置計測時のマーカー単位の処理フローチャートである。すなわち、各画像に対して画像単位の処理を実行し（ステップ１１１）、少なくとも２以上の画像に対して２次元位置計測に成功したかを調査し（ステップ１１２）、２以上の画像に対して２次元位置計測に成功した場合には、３次元位置計測処理を行い（ステップ１１３）、３次元位置計測結果を出力する（ステップ１１４）。２以上の画像に対して２次元位置計測に成功しなかった場合には、３次元位置計測エラーを出力する（ステップ１１５）。
【００２８】尚、２次元位置計測処理においては、当該マーカーの色に応じて、画像上の各画素の画素値をチェックすることにより、マーカーの画像上の２次元座標値を算出し出力する。
【００２９】また、３次元位置計測処理においては、ステレオ視の原理を用いて３次元位置を計測する。
【００３０】すなわち、ステレオ視の原理とは、空間上の一点が左右の二平面に投影された時、この二点を同一の点に整合することであって、ステレオ整合により２次元画像から３次元位置を得ることができる。図１３は、同一対象物に対して相異なる二画像の同一マーカーをステレオ整合して、３次元位置を得る図であって、図１３に示す第１及び第２のカメラの位置と焦点距離は既に知られていると仮定する。
【００３１】図１３を参照するに、第１カメラ部３００による第１画像３０４での対象物Ｗの位置（ｘ１，ｙ１）、第２カメラ部３０２による第２画像３０６での対象物Ｗの位置（ｘ２，ｙ２）からＷの３次元位置Ｗ（ｚ，ｙ，ｚ）は次のように得られる。まず、第１カメラ部３００の焦点距離をｆ１とすれば、（ｘ１，ｙ１）は、ｘ１＝ｆ１ｘ／（ｆ１−ｚ），ｙ１＝ｆ１ｙ／（ｙ１−ｚ）
となる。これより第１カメラ部３００から始まって、（ｘ，ｙ，ｚ）を通過する直線Ｌ１の式が得られる。次に、第２カメラ部３０２の焦点距離をｆ２とすれば、（ｘ２，ｙ２）は、ｘ２＝ｆ２ｘ／（ｆ２−ｚ），ｙ２＝ｆ２ｙ／（ｆ２−ｚ）
となる。これより第２カメラ３０２から始まって、（ｘ，ｙ，ｚ）を通過する直線Ｌ２の式が得られる。この二直線Ｌ１とＬ２とが交差する点、つまり、Ｌ１＝Ｌ２を満足する（ｘ，ｙ，ｚ）が得ようとした実際の３次元位置となる。
【００３２】図１０は３次元位置計測時の画像単位の処理フローチャートである。すなわち、２次元位置計測処理を行い（ステップ１２１）、計測に成功したか調査する（ステップ１２２）。計測に成功した場合には、計測した２次元位置が蓄積済みの予測範囲内にあるか調査する（ステップ１２３）。計測した２次元位置が蓄積済みの予測範囲内にない場合、または２次元位置計測に成功しなかった場合には、計測窓再設定処理を行い（ステップ１２４）、２次元位置計測エラーを出力して（ステップ１２５）、予測範囲の更新処理を行う（ステップ１２６）。計測した２次元位置が蓄積済みの予測範囲内にある場合には、計測窓の位置を計測されたマーカー位置に更新し（ステップ１２７）、２次元位置計測結果を出力して（ステップ１２８）、予測範囲の更新処理を行う（ステップ１２６）。
【００３３】図１１は３次元位置計測時の計測窓再設定の処理フローチャートである。すなわち、蓄積した再設定情報を参照し探索順序１の再設定情報を取得し（ステップ１３１）、予測に用いる計測窓に対応したマーカーの２次元位置の測定に成功済みか調査する（ステップ１３２）。予測に用いる計測窓に対応したマーカーの２次元位置の測定に成功済みの場合、読み出した再設定情報に基づき、再設定に用いる計測窓に対応したマーカーの２次元座標を用いて当該計測窓の位置を算出し（ステップ１３３）、算出結果に基づき、当該予測窓の位置を更新する（ステップ１３４）。予測に用いる計測窓に対応したマーカーの２次元位置の測定に成功済みでない場合、次の探索順位の再設定情報があるか調査する（ステップ１３５）次の探索順位の再設定情報がある場合、次の探索順位の再設定情報を取得し（ステップ１３６）、予測に用いる計測窓に対応したマーカーの２次元位置の測定に成功済みか調査する（ステップ１３２）。次の探索順位の再設定情報がない場合には処理を終了する。
【００３４】図１２は３次元位置計測時の計測窓予測範囲更新の処理フローチャートである。すなわち、蓄積した予測範囲算出条件を読み出し（ステップ１４１）、予測範囲算出に用いる計測窓に対応したマーカーの２次元位置の測定に全て成功したか調査する（ステップ１４２）。予測範囲算出に用いる計測窓に対応したマーカーの２次元位置の測定に全て成功した場合には、蓄積した予測範囲算出条件に基づき、予測に用いる計測窓に対応したマーカーの２次元座標を用いて当該計測窓の予測範囲を算出し（ステップ１４３）、算出結果に基づき、当該計測窓の予測範囲を更新する（ステップ１４４）。
【００３５】図１４は本発明の実施形態例に係る３次元位置計測装置を示す構成説明図である。すなわち、物体動作を認識するために、複数のマーカーを物体に装着し、複数台のカメラを用いて、前記マーカーを撮影し、ステレオ視の原理を用いることによりリアルタイムに３次元位置を計測する３次元位置計測装置において、複数台のカメラにより撮影された画像は画像入力部２１に入力される。前記画像入力部２１は入力画像を初期設定部２２及び２次元位置計測部２３に出力する。一方、入力装置のマウスのデータが入力部２４に入力され、前記入力部２４は入力データを前記初期設定部２２に出力する。前記初期設定部２２は図１５（ａ）に示すように、前記画像入力部２１からの画像は計測窓サイズ設定部２５に入力され、計測窓サイズ設定部２５は画像上で、マーカーの２次元位置の計測可能範囲を示す計測窓のサイズを設定する。前記計測窓サイズ設定部２５によりサイズを設定した計測窓は計測窓位置設定部２６により計測窓の位置を各マーカーごとに設定する。前記計測窓位置設定部２６により設定した計測窓は計測窓間情報算出部２７により各計測窓間の方向、距離を算出する。前記計測窓間情報算出部２７により算出した各計測窓間の方向、距離を用いて予測条件算出部２８により１つまたは複数の計測窓から他の計測窓の位置を予測する条件を算出する。前記予測条件算出部２８により算出した予測条件を予測条件蓄積部２９に蓄積する。前記２次元位置計測部２３は前記画像入力部２１から入力された画像上の計測窓内にあるマーカーの２次元位置を計測する。前記２次元位置計測部２３は画像上にある複数のマーカーの２次元位置を計測して予測範囲更新部３０に出力する。前記予測範囲更新部３０は図１５（ｂ）に示すように構成され、線分算出部３１は前記２次元位置計測部２３により計測した複数の２次元位置間を結ぶ線分を算出する。前記線分算出部３１により算出した線分は範囲算出部３２に出力され、前記範囲算出部３２は算出した線分を基に、各マーカーがあると予測される画像上の範囲を算出する。前記範囲算出部３２により算出した範囲は範囲蓄積部３３に蓄積される。前記２次元位置計測部２３は画像上の計測窓内にあるマーカーの２次元位置を計測して判別部３４に出力する。前記判別部３４は前記２次元位置計測部２３により計測したマーカーの２次元位置が、前記範囲蓄積部３３により蓄積した範囲データ内にあるかを判別する。前記判別部３４により判別した結果、範囲内にマーカーの２次元位置がある場合、３次元位置計測部３５により、１つのマーカーに対する複数の２次元位置データをもとにステレオ視の原理を用いて、３次元位置を計測し、出力部３６よりディスプレイのＣＲＴに３次元位置データを出力する。前記判別部３４により判別した結果、範囲内にマーカーの２次元位置がない場合にはマーカーの２次元位置がないことを示すデータを計測窓再設定部３７に出力する。前記計測窓再設定部３７は図１５（ｃ）に示すように、時間測定部３８により範囲内にマーカーがない時間を測定して時間比較部３９に出力する。前記時間比較部３９は前記時間測定部３８により測定した時間と予め定めた制限値を比較する。前記時間比較部３９により比較した結果、測定した時間が制限値より短いまたは同じ場合、前記３次元位置計測部３５により３次元位置を計測し、出力部３６よりディスプレイのＣＲＴに３次元位置データを出力する。前記時間比較部３９により比較した結果、測定した時間が制限値より長い場合、計測窓位置予測部４０により前記予測条件蓄積部２９により蓄積したその計測窓の予測条件を用いて、計測窓の位置を予測して計測窓位置再設定部４１に出力する。前記計測窓位置再設定部４１は前記計測窓位置予測部４０により予測した位置に、その計測窓を再設定する。なお、計測窓位置更新部４２は前記２次元位置計測部２３における画像上の計測窓を更新する。
【００３６】図１６は本発明の実施形態例に係る身体部位の予測範囲の例であり、首のつけねと腹におけるマーカー位置を予測する場合の予測範囲例である。この予測範囲は両方の耳と腰のマーカー位置により構成される四角形として定義される。
【００３７】図１７は本発明の実施形態例に係る交差の例であり、実際に発生するマーカー交差の例を示す。この図の（ａ）初期状態で右手と首の付けねのマーカー位置および計測窓を示している。次に（ｂ）交差中は２つのマーカーが交差した状態を示す。（ｃ）は交差後の例を示す。この場合、各計測窓が入れ替わっている。（ｄ）も交差後の例を示している。この場合、首のつけねの計測窓が右手の計測窓と同一になっている。
【００３８】図１８は本発明の実施形態例に係る交差後の処理である計測窓の再設定を示している。図１７（ｃ）と（ｄ）のように交差後に計測窓が入れ替わり、計測窓が他の計測窓に吸収される場合がある。この場合、計測窓の誤った設定により誤った計測が行われる。そこで図１６の予測範囲を基に、首のつけねと腹が長時間、両方の耳と腰により構成される四角形内にない場合、計測窓を再設定し、正しく計測できるようにする。
【００３９】尚、前記３次元位置計測方法は、具体的にはパーソナルコンピュータ（ＰＣ）等のコンピュータにより、予め所定の記録媒体に記録された３次元位置計測プログラムに基づいて実行される。
【００４０】すなわち、動物体に装着された複数のマーカーを複数のカメラから撮影し、各カメラから撮影された画像からマーカーの２次元位置を検出し、複数の２次元位置の計測結果からマーカーの３次元位置を算出する３次元位置計測プログラムを記録した記録媒体において、マーカーの動きに追従して移動する計測窓を用いて、画像から検出されたマーカーが対応する計測窓内にあるか否かにより該マーカーが正しく検出されたかを識別する３次元位置計測プログラムであって、計測窓ごとに他の１以上の計測窓との相対的な位置関係から２次元位置を再設定するための再設定情報を測定開始時に予め算出、蓄積する手順、直前の他のマーカーの２次元位置の測定結果から計測窓が存在すると予測される範囲を算出する手順、計測窓が予測範囲外に設定された場合、蓄積済みの再設定情報をもとに他の計測窓の２次元位置の測定結果から該マーカーの位置を再設定する手順をコンピュータに実行させる。
【００４１】また、前記３次元位置計測プログラムを記録した記録媒体において、予測範囲の算出手順として、計測窓Ｗ，Ｘ，Ｙ，Ｚの２次元位置をもとに各計測窓を結ぶ線分を求めることにより、計測窓Ｗ，Ｘ，Ｙ，Ｚを頂点とする四角形領域を計測窓Ｋの予測範囲として求める。
【００４２】
【発明の効果】以上述べたように本発明によれば、マーカーの交差による誤計測が発生した場合もリアルタイムに補正することにより、正しい３次元位置の計測が可能である。
|
| 【出願人】 |
【識別番号】０００００４２２６
【氏名又は名称】日本電信電話株式会社
|
| 【出願日】 |
平成１１年１１月１６日（１９９９．１１．１６） |
| 【代理人】 |
【識別番号】１０００５８４７９
【弁理士】
【氏名又は名称】鈴江 武彦 （外２名）
|
| 【公開番号】 |
特開２００１−１４１４１８（Ｐ２００１−１４１４１８Ａ） |
| 【公開日】 |
平成１３年５月２５日（２００１．５．２５） |
| 【出願番号】 |
特願平１１−３２５８５３ |
|