トップ :: G 物理学 :: G06 計算;計数




【発明の名称】 モーションキャプチャシステム
【発明者】 【氏名】伊東 啓樹
【要約】 【課題】身体の動きを束縛することなく、測定環境の制限が少なく、確実に人間などの動きを把握できるようにする。

【解決手段】身体の動作要点部１２ａ〜１２ｆの各々に複数のアンテナエレメントを取り付け、身体に着けた無線送信装置１３から各アンテナエレメントを識別可能な無線信号を送出し、これを各アンテナから送出する。この無線信号を周囲に配置した無線受信装置１４ａ〜１４ｆで受信し、各信号の受信電界強度から動作要点部の位置、動き、向きをデータ処理装置１５で計算し、動きの自由度の高いリアルタイムのモーションキャプチャシステムを提供する。
【特許請求の範囲】
【請求項１】 被測定者の動作要点部の動きを検出し、シミュレートするモーションキャプチャシステムにおいて、被測定者の動作要点部の各々に複数個ずつ取り付けられたアンテナエレメントと、このアンテナエレメントの各々を識別可能な無線信号を生成して各アンテナエレメントへ送出する無線送信装置と、前記アンテナエレメントの各々から送信された無線信号を受信する複数の無線受信装置と、この無線受信装置により受信された各無線信号の受信電界強度から前記動作要点部の位置、動き、向きの少なくとも１つを検出する処理手段とを備えたことを特徴とするモーションキャプチャシステム。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、人間の身体の動きを解析するモーションキャプチャシステムに関するものである。
【０００２】
【従来の技術】今日では、ＣＧ（コンピュータグラフィック）技術の発展により、人間の身体（オブジェクト）の動きのデータを抽出し、オブジェクトを計算機によって自然に表現できるようになっている。この方法は、人間の身体の関節等の主要ポイント（動作要点部）に白いマークやランプを貼り付け、実際の人間の動きを数台のテレビカメラで違った角度から撮影し、コンピュータでその映像を解析して、ＣＧのスケルトン（骨格み）データを動きとして解析する方法である。
【０００３】また最近は、このような画像解析を使用せず、バーチャルリアリティー技術を応用したＣＧ技術としての磁気式と光学式の二つのモーションキャプチャシステムも用いられている。このうち、磁気式は強力な磁場で被写体の人間の動く空間を覆い、体の関節部分に取り付けた磁気センサで空間の位置を割り出す方法である。データがリアルタイムに入手できるので、ＴＶなどの番組作成に欠かせないものになっている。
【０００４】一方、最近主流になりつつあるのが光学式である。この方式によるモーションキャプチャシステムの利点は、精度の高さ、被写体の人間にコードがないので自然な演技をしやすいことにある。図２に光学式のモーションキャプチャシステムの構成例を示す。被測定者（モデル人物）２１には、白丸で示すようにマーカが頭、首、肩、腕、手首、腰、膝、足首などの動作要点部に取り付けられている。このマーカは自転車の反射板シートを貼りつけた反射球で出来ている。照明装置２２ａ〜２２ｆはデータ処理装置２５と同期を取って、定期的に赤外線を発光している。その光は、被測定者２１の動作要点部に取り付けられた反射球であるマーカから反射し、高速度高感度カメラ２３ａ〜２３ｆがその反射光を捉え、照明装置２２ａ〜２２ｆの発光ごとのマーカの位置が画像データとしてデータ処理装置２５へ取り込まれる。取り込まれた画像は、画像処理後に、三点計測で、三次元形状モデルで空間状の点として変換されるものである。
【０００５】
【発明が解決しようとする課題】磁気式モーションキャップチャシステムの場合においては、通常、被測定者の体中にセンサが貼つけられ、このセンサからの電気信号を伝達するためのケーブルを引きずった状態で被測定者が動作せねばならず、自由度がないという問題があった。また、近くに金属があると、磁界が歪むために、測定を行う場所の設定に苦労や手間がかかるという問題点があった。さらに、三次元座標を求めるのには一定の磁場強度を必要とするが、磁界が円を描いて回っているために、磁界の中心から離れていくほど磁力が弱くなり（歪み）、位置検出精度が悪くなる。そのため画像処理に問題が生じ、測定誤差が発生しやすいという問題点があった。
【０００６】一方、光学式モーションキャプチャシステムの場合、反射球の移動位置を全体の画像として取り込むため、背景が画像に入らないように、何らかの幕で覆われた空間環境で被写体が動作する必要があった。また、大掛かりな画像キャプチャシステムで、高速度高感度カメラの台数分だけ照明装置が必要となり、三点計測を行つた後、どの点に、どのマーカがあつたのか条件設定を考慮しなければならず、リアルタイムの運用が非常に難しい。 さらに、被写体の動作要点部に取り付けられているマーカである反射球と他の反射球が重なったり、画像を捉える高速度高感度カメラの死角に移動したときなどには、各反射球の識別に誤りが生じ易く、データ処理を誤るといった問題点があつた。【０００７】本発明は、以上の問題を解決するためになされたものであり、ＣＧ(コンピュータグラフィック）で映像解析の評価を行う従来の方式とは異なり、無線技術(ワイヤレス)を用いることで被測定者の向きや姿勢を容易に検出することが可能で、一般の人でも違和感なく動作を測定できるモーションキャプチャシステムを提供することを目的としている。【０００８】
【課題を解決するための手段】上記の目的を達成するために、本発明は、被測定者の動作要点部の動きを検出し、シミュレートするモーションキャプチャシステムにおいて、被測定者の動作要点部の各々に複数個ずつ取り付けられたアンテナエレメントと、このアンテナエレメントの各々を識別可能な無線信号を生成して各アンテナエレメントへ送出する無線送信装置と、前記アンテナエレメントの各々から送信された無線信号を受信する複数の無線受信装置と、この無線受信装置により受信された各無線信号の受信電界強度から前記動作要点部の位置、動き、向きの少なくとも１つを検出する処理手段とを備えたことを特徴とするモーションキャプチャシステムを提供する。
【０００９】
【発明の実施の形態】以下、本発明の実施の形態を詳細に説明する。図１は、本発明モーションキャプチャーシステムの構成例を示す図で、動き（モーション）を検出・捕捉（キャプチャ）される被測定者１１の動作要点部（主に関節部）を白丸で示す。図では頭部１２ａ、左肩１２ｂ、左腕１２ｃ、左手首１２ｄ、右膝１２ｅ、右足首１２ｆなど１３個の動作要点部がある場合を示している。各動作要点部には複数のアンテナエレメントが設置され、そのアンテナエレメントには被測定者１１の背中に設けた斜線で示す無線送信装置１３から、そのアンテナエレメントの位置を示す位置信号が送られ無線電波として送出されている。動作要点部がｍ個あり、各動作要点部にｎ個のアンテナエレメントを設置するとすると、アンテナエレメントの総数はｍ×ｎ個となる。無線送信機１３からはｍ×ｎ個のアンテナエレメントにそれぞれのアンテナエレメントを識別できる位置信号を送出している。
【００１０】図１では、被測定者１１の周囲に６台の無線受信装置１４ａ〜１４ｆが配置されている例を示している。もちろん、実際に周囲に設置するのは受信アンテナのみで、受信機などの位置は周囲に分布している必要はない。また、必要により６台以上の無線受信装置を設置する場合もある。各無線受信装置からは受信結果がデータ処理装置１５に送られている。各無線受信装置１４ａ〜１４ｆは、それぞれが、すべての動作要点部のアンテナエレメントから送出される位置信号を受信できるものである。この各アンテナエレメントを識別する位置信号の構成法として最も簡単なものは、ｍ×ｎ個のアンテナエレメントからすべて異なる無線周波数を送出する方法である。この方法はアンテナエレメントの数が少ない場合は容易に実現できるが、アンテナエレメントの数が多くなると送受信機の数が膨大になる。図１の場合、動作要点部が１３個、各動作要点部に４個のアンテナエレメントを設置すると、アンテナエレメントの個数は５２個となる。これに全て異なる無線周波数を割り当てるとすると、無線送信装置１３には５２の異なる無線周波数の送信機、無線受信装置１４ａから１４ｆの６個の無線受信装置も各々、５２の周波数の受信機を持つ必要がある。
【００１１】送信周波数の数を少なくするには、アンテナエレメントからの電波の送出を時分割で行う方法がある。例えば一つの動作要点部に４個のアンテナエレメントがあるとすると、一つの動作要点部の４つのアンテナエレメントからはｆ１〜ｆ４までの異なる無線周波数を同時に送出するが、異なる動作要点部には異なる時間に同じｆ１からｆ４までの無線周波数を送出する。すなわち、図１で左肩１２ｂの周囲に設置した４個のアンテナエレメントからｆ１からｆ４までの無線周波数を送出し、Ｔ時間送出すると左肩１２ｂのアンテナエレメントからの送出を中止し、次は左腕１２ｃにある４個のアンテナエレメントから無線周波数ｆ１〜ｆ４を送出し、Ｔ時間経過すると次は左手首１２ｄの４個のアンテナエレメントから送出するというように、被測定者１１のすべての動作要点部から順次ｆ１〜ｆ４の無線周波数を時分割的に送出する。このようにすると送信する無線周波数は４個だけに減少する。しかし、無線送信装置１３には被測定者１１の動作要点部の数だけ、順次にアンテナエレメントを切り換える切り替え装置が必要となる。これにより無線受信装置においても、無線受信装置１４ａから１４ｆの無線受信機の受信周波数はｆ１からｆ４までの４つでよいが、受信した無線周波数がどの動作要点部のものかの識別が必要となる。これは、無線送信装置１３から動作要点部ごとに順次アンテナエレメントを切り換えて送信するので、その順序をあらかじめ決めておけば、無線受信装置でも送信側と同期をとって受信することで可能である。この同期の取り方は、例えば無線送信装置から何も送出しない時間をとり、その次に最初に送出する動作要点部は頭部１２ａとし、順次各動作要点部から電波を送出し一回りすればまた何も送信しない時間をとることで容易に実現できる。
【００１２】なお、動作要点部ごとの時分割送信で、同期を取った一周期内ですべての動作要点部で送信回数を同じにする必要はなく、動作が激しいと考えられる手首などの動作要点部からは一周期内でも複数回電波を送出し、首や腰のアンテナエレメントからは１回だけにするなどの制御も可能である。また動作要点部識別を、同期と送信順序で行わずに、アンテナエレメントから送出する無線電波を単にキャリア周波数の送信だけにするのでなく、動作要点部を表すデータで変調して送出することもできる。すなわち、各動作要点部にその動作要点部を識別するＩＤを付与し、そのＩＤのデータで動作要点部のアンテナエレメントから送出する無線周波数を変調すれば、受信側では、データを復調することでどの動作要点部からの位置信号であるかが識別できる。この方法をとれば、動作要点部ごとに時分割で送信することは同じだが、動作要点部の送信順序は自由に変更できる。動きが激しい動作要点部からは順序に関係なく頻繁に送信することも可能となる。
【００１３】次に、本発明の動作原理を手首の動きを例に説明する。図３は、動作要点部としての手首とその周囲に設置されたアンテナエレメントの配置例を示す断面図である。手首３１の周囲に４個のアンテナエレメント３２ａ、３２ｂ、３２ｃ、３２ｄが設置されている。一般に、動作要点部にｎ個のアンテナエレメントを設置するには、動作要点部の周囲に３６０／ｎ度ごとに等間隔に設置するのが好ましい。図では４個なので９０度間隔に取り付けている。アンテナエレメントを手首に取り付けるにはリストバンドなどを用いると容易である。今、無線送信装置１３からはアンテナエレメント３２ａには無線周波数ｆ１が、アンテナエレメント３２ｂには無線周波数ｆ２が、アンテナエレメント３２ｃには無線周波数ｆ３が、アンテナエレメント３２ｄには無線周波数ｆ４と周波数の異なる電波が送出されているものとする。他の動作要点部との識別は時分割で行っているものとする。手首３１の周囲には６台の無線受信装置１４ａ〜１４ｆがある。各無線受信装置は動作要点部３１の各アンテナエレメントからの電波を受信し、その電界強度を検出してデータ処理装置１５に送出している。
【００１４】説明を簡単にするために、図３の無線受信装置１４ａ〜１４ｆは、平面的に配置されているとして説明する。一つのアンテナエレメントから送出された電波は、そのアンテナエレメントに近い無線受信装置では電界強度が強く受信され、離れれば受信電界強度は低い。図３の状態では、アンテナエレメント３２ｂからの無線周波数ｆ２の電波は無線受信装置１４ｂでもっとも電界強度が強く受信され、無線受信装置１４ｅでの受信電界強度が最も低い。一方、アンテナエレメント３２ｄからの無線周波数ｆ４の電波は、無線受信装置１４ｅで最も強く受信され無線受信装置１４ｂでは最も弱く受信される。他のアンテナエレメントからの電波も同様に近い無線受信装置の受信電界強度が大きく計測される。そのため、各アンテナエレメントからのデータを受信したデータ処理装置１５では、図３の状態に手首があることを識別している。
【００１５】手首３１が右に９０度回転した場合の図が、図４である。図３から図４に手首が回転すると、無線受信装置１４ｂではアンテナエレメント３２ｂから送出される周波数ｆ２の電界強度が下がり、アンテナエレメント３２ｃから送出される周波数ｆ３の電波がもっとも強く受信される。一方無線受信装置１４ｅでは、アンテナエレメント３２ｄからの周波数ｆ４の受信電界強度が下がり、アンテナエレメント３２ａからの周波数ｆ１の電波が最も強く受信される。これらのデータがデータ処理装置１５に送られ、データ処理装置１５は手首３１が図３の状態から図４の９０度右に回転したことを知る。
【００１６】次に、図４で、手首３１が右に移動したとすると、無線受信装置１４ｂで受信した各アンテナエレメントから受信した電波、すなわちアンテナエレメント３２ａから送信される周波数ｆ１の電波、３２ｂから送信される周波数ｆ２の電波、３２ｃから送信される周波数ｆ３の電波、３２ｄから送信される周波数ｆ４の電波の受信電界強度は、いづれも右に移動しなかった状態の値より低下し、無線受信装置１４ｅで受信されるこれらの電波の電界強度は逆に強くなる。このデータがデータ処理装置１５に送られるので、データ処理装置１５では手首３１が右に移動したことを知る。
【００１７】以上、動作要点部の位置の検出、動き、向きの測定について定性的に説明したが、実際の測定は、アンテナエレメントからの送信電波の受信電界強度を各無線受信装置で定量的に測定し、そのデータをもとに動作要点部の位置を計算する。そして、この計算された位置の時間的変化から、動作要点部の動きの大きさ、向きなどを求める。原理的には、一次元の直線上の移動であれば、一つの無線受信装置の受信電界強度から位置が決定でき、二次元の平面上の動きであれば二台の無線受信装置の受信電界強度で位置が決定できる。また三次元の立体的な動きであれば３台の無線受信装置での受信電界強度から位置が決定可能である。しかし実際には、身体の陰で受信不能な状態もあるので、多数の無線受信装置の配置が必要となる。図３、図４では無線受信装置１４ａから１４ｆは平面的に設置されていると仮定して位置や動きの検出原理を説明したが、実際の無線受信装置の配置は立体的に設置され、また各無線受信装置に設けられている受信アンテナは、指向性の高いアンテナ（八木アンテナ、ヘリカルアンテナ、コーナレフレクタアンテナなど）であるので、受信電界強度から位置を求めるには、これらの特性を考慮する必要がある。さらには、手首などの動作要点部は、体の陰になることもあり、体の反対側の無線受信装置では、距離による電波の減衰よりも大きな減衰を受けた受信電界強度となる。そのような場合のためには、すべての無線受信装置からの受信電界強度のデータを用いるのでなく、ある閾値より強く受信されている無線受信装置のデータのみから、位置を計算することも必要である。
【００１８】以上説明したように、実際は、無線受信装置のアンテナは立体的に配置され、動作要点部の位置は３次元的に検出される。すなわち、無線受信装置の受信アンテナの受信電界強度からベクトル演算等を用いて空間的な座標を割り出し、その値を用いて演算・解析し被測定者の動作要点部の向き・動きを検出し、動作状況を割り出すことになる。しかしながら、ある動作要点部のアンテナエレメントが体の陰になり、無線受信装置の受信電界強度の値が測定不能となったりして、位置検出が難しい状態が生じることも考えられる。このような場合に対処するため、他の動作要点部の計算できた位置の値から検出できなかった動作要点部の位置を推定する。このために、あらかじめ、位置が検出できた動作要点部と位置が検出できなかった動作要点部の組合せのパターンを用意しておく。組合せのパターン例を図５に示す。これは、動作要点部の位置が受信した電界強度から検出できたかどうかを示していて、“１”は検出できた場合で、“０”が検出できなかった場合である。
【００１９】データ処理装置１５のＲＯＭ（リードオンリメモリ）には、図５に示すように、ある動作要点部の一つで位置が検出できなかった場合のパターンと、その検出できなかった動作要点部の位置をどのような演算式で計算して推定するかの式が記憶されている。図６にその一つのパターンを例に詳細に示す。図６では最初の欄が首の動作要点部で、次の欄が腰の動作要点部、その次が右肩の動作要点部を示し、その各々の値は“１”であるので、位置が検出できていることを表している。最初から９つ目の欄は左手首の動作要点部でその値は“０”である。演算式の欄には、左手首の位置が検出出来なかったときに、他の動作要点部の位置から推定する計算式が書かれている。この例では、左手首の位置が計算できない場合とは、左手首が腹部に覆われる場合であると考え、首の位置と腰の位置の中間にあると推定する。そのため、演算式には（首の位置座表＋腰の位置座標）／２が記入されている。従って、左手首の位置が検出できなかった場合には、ＲＯＭに記憶されている図５に示す検出不能パターンの中から、左手首の動作要点部が“０”である場合のパターンを抽出し、そこに書かれている演算式を実行し、左手首の位置とする。この場合は、首の位置座標が（ａ１，ｂ１，ｃ１）で、腰の位置座表が（ａ２，ｂ２，ｃ２）であるとすると、（（ａ１＋ａ２）／２，（ｂ１＋ｂ２）／２，（ｃ１＋ｃ２）／２）を計算し左手首の動作要点部の位置とする。このようにすることで、動作要点部のアンテナエレメントからの無線電波が無線受信装置に届かないことが生じても、他の動作要点部の位置から推定することができる。
【００２０】
【発明の効果】本発明により以下の効果がある。
（１）無線技術を応用し、被測定者の動作要点部の周囲に複数のアンテナエレメントを配置し、受信側で受信電界強度を検出し、演算・解析することで被測定者の向きや姿勢の動作データを確実に得ることが出来る。（２）マーカの識別がむずかしい光学式と比較し、演算処理が迅速に容易に行え、リアルタイムでのシステム運用が可能となる。（３）磁気式のように周辺に金属があると磁界が歪む問題もなく、光学式のように周囲を幕で覆う必要がないなど、測定を行う場所の設定に苦労や手間がかかることがない。
（４）被測定者の自由度が増し、被測定者が動作できる空間があれば、どのような場所でも測定を実施できる。
（５）一つの位置の検出が困難な動作要点部があっても、他の既知の動作要点部の位置から推定することで、検出不能の場合に対処可能である。
【出願人】 【識別番号】０００００１１２２
【氏名又は名称】株式会社日立国際電気
【出願日】 平成１２年３月２１日（２０００．３．２１）
【代理人】 【識別番号】１０００９３８７２
【弁理士】
【氏名又は名称】高崎 芳紘
【公開番号】 特開２００１−２６５５２１（Ｐ２００１−２６５５２１Ａ）
【公開日】 平成１３年９月２８日（２００１．９．２８）
【出願番号】 特願２０００−７７４３９（Ｐ２０００−７７４３９）