トップ :: G 物理学 :: G01 測定;試験




【発明の名称】 三次元形状測定装置および三次元形状測定方法、および表情しわの形状・ひずみ・応力の自動検出システム
【発明者】 【氏名】蔦 紀夫

【氏名】岩本 剛

【氏名】藤村 朋宏

【氏名】河野 利夫

【氏名】金子 治
【要約】 【課題】局所平面の法線ベクトルの方向が場所によって著しく異なる対象の三次元形状を正確に測定し、局所領域の変形過程を正確に計測する。

【解決手段】カメラ１２およびスリット撮影機２８を搭載した移動計測ビークル１８を半円周軌道固定台１６上に載せる。カメラ１２およびスリット撮影機２８は上下方向の移動も可能である。局所領域の変形過程の計測のためには、格子模様が描かれた柔軟な生地を対象に貼り付ける。
【特許請求の範囲】
【請求項１】 可動体上に搭載された左カメラおよび右カメラと、該可動体の動きを測定対象物の周囲の軌道上に規制する規制手段と、測定対象物の周囲の複数の位置から左カメラおよび右カメラが撮影した画像から測定対象物の三次元形状を計算する計算手段とを具備する三次元形状測定装置。
【請求項２】 表面に格子模様を有する柔軟なシート部材を測定対象物の表面に貼り付け、該シート部材が貼り付けられた測定対象物の表面の動画を左カメラおよび右カメラで連続的に撮影し、左カメラおよび右カメラでそれぞれ撮影された動画を解析して、時間とともに変化する測定対象物の三次元形状を決定するステップを具備する三次元形状測定方法。
【請求項３】 表情変化時に表情筋の収縮により生じる顔面ヒフの座屈表情しわの３次元変形形状、発生時間点、発生場所、しわ発生後の成長過程、およびしわ底ひずみやしわ底応力の時系列変化を任意の対象モデルについて自動的に検出する方法。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、三次元形状測定装置と三次元形状測定方法および表情しわの形状・ひずみ・応力の自動検出システムに関する。
【０００２】
【従来の技術】特願平９−２６６８８１号には、顔の表面の三次元形状測定に適した手法として、計測対象を左カメラと右カメラで撮影し、計測対象表面上の特定の３次元点について、それに対応する左カメラおよび右カメラの時間的に同期した２つの平面画像上の対応点を特定する方法と、特定した２つの平面座標点から対象表面上の点の３次元座標を計算する方法と、この手続きを２つの平面画像の全点にくり返して、計測対象の３次元ディジタル座標を求める方法とこの過程を、各（１／３０秒毎の）時間点毎にくり返して得られる対象物体の３次元形状のディジタルデータの時間的変化から表情しわの発生点や、成長過程の３次元しわ形状のディジタルデータの刻々の分布を求める方法と、これらを特願平９−５５１９３号に述べる有限要素法と組合せてヒフの各部の伸縮変化によるひずみや応力分布の時間変化を求める方法が提案されている。上記の出願には上述の目的のため一方の平面画像上の各点に対応する他方の平面画像上の点を迅速に決定するため、スライドプロジェクタによりマルチスリットを計測対象に投影することが提案されている。
【０００３】
【発明が解決しようとする課題】顔全体の三次元形状を測定する場合、人間の顔は場所によって局所平面の法線ベクトルの方向がかなり異なっているので、前述の従来の方法のようにカメラをある一方向に固定して顔を撮影すると、カメラの向きと、顔の局所平面の法線ベクトルが大きく異なる場合は、得られる三次元座標に大きな誤差を生じる可能性があり、顔の部分によっては撮影自体が不可能な場合もある。
【０００４】局所領域の表情変形過程は、これを正確に計測して得られる、表情筋の収縮による座屈現象として発生する対象物体の３次元ディジタルデータの時系列データから表情しわの発生部位や発生時間点及びしわの成長過程の変形や、しわ底ひずみやしわ底応力集中（永久しわ生成の主原因として重要）などを任意の対象モデルについて正確に求められるようにする必要がある。このためには皮膚上の各点の三次元座標の変化を測定する前述のマルチスリット投影法では、皮膚の変形とともにスリットが投影される皮膚上の位置が変わるので、スリットの投影位置を基準とした場合、皮膚上の同一点についての三次元座標の時間的変化の測定は困難であるという問題がある。
【０００５】したがって本発明の第１の目的は、顔全体の三次元形状を測定する場合のように局所平面の法線ベクトルの方向が場所によって著しく異なっている場合でも正確な三次元形状を測定することのできる三次元形状測定装置を提供することにある。本発明の第２の目的は、任意の対象モデルについて局所領域の表情変形過程の計測を自動的に行なうに適した三次元形状測定方法を提供することにある。本発明の第３の目的は、次の通りである。顔面表情筋は２８種類あり、喜怒哀楽の各種の表情を作るために、それぞれに適した筋が組合せて収縮量を含めてバランスよく収縮する事により、顔面にはそれらに応じた表情が、形成される。その際顔面のヒフは表情筋の収縮に応じてヒフ面内で圧縮ひずみをうけ、これが略１０％程度の一定値を越えると、ヒフはこれに耐えきれなくなって、座屈表情しわが発生し、それ以上の表情筋の収縮に応じて、表情しわが、成長する。（しわ深さが増加する）これらは喜怒哀楽の表情のタイプに応じて、主役となる表情筋が異るため、顔面の各部には、表情タイプに応じた表情しわが顔面各部に発生する。このとき、しわ底には、過大な圧縮応力集中が生じるが、これらをｉｎ ｖｉｖｏ状態で定量的に検出する方法はこれまでのところ明らかにされていない。しかし、ヒフは粘弾性体であるために、これらのしわが数秒から数十秒程度継続されると、しわ底には、この圧縮応力集中の大きさに応じたクリープひずみ（非回復のひずみ）が残留蓄積し、これらが年毎に蓄積されると、（成長期以降（３０才前後）のヒフの劣化と呼応して）たとえ無表情時でも永久しわがそのしわ線に沿って、残留・蓄積するようになる。これらは中年以降の顔の美容科学上重要な問題となる。またこれらの永久しわの発生過程の解明は、以後の永久しわ回復機構の究明に重要な示唆を与える。本発明の第３の目的は、表情タイプに応じて特定されるそれぞれの局所領域において、顔面表情しわの発生部位、しわピッチ、発生時間点と対応する表情筋収縮量との関係、成長過程のしわの変形形状や、しわ底応力集中（広島大学研究報告、４６、ｐ５９〜７１併用）などをｉｎ ｖｉｖｏ状態で、任意の対象モデルについて正確に求める手段を提供する事にある。（この手段が確立されれば、中年以降に目立ち始める永久しわの発生原因や成長過程及びしわ取りのための研究基盤が確立される。）
【０００６】
【課題を解決するための手段】前述の第１の目的は、可動体上に搭載された左カメラおよび右カメラと、該可動体の動きを測定対象物の周囲の軌道上に規制する規制手段と、測定対象物の周囲の複数の位置から左カメラおよび右カメラが撮影した画像から測定対象物の三次元形状を計算する計算手段とを具備する三次元形状測定装置によって達成される。
【０００７】前述の第２の目的は、表面に格子模様を有する柔軟なシート部材を測定対象物の表面に貼り付け、該シート部材が貼り付けられた測定対象物の表面の動画を左カメラおよび右カメラで連続的に撮影し、左カメラおよび右カメラでそれぞれ撮影された動画を解析して、時間とともに変化する測定対象物の三次元形状を決定するステップを具備する三次元形状測定方法によって達成される。前述の第３の目的は２台のビデオカメラから、得られる各時間点の同期平面画像から、実モデルの顔面に生じる局所表情しわなどの、顔面ヒフの法線変位を含む３次元ディジタルデータを求め、これらの時系列変化の各データを、筋−ヒフ連成表情解析有限要素解析システム（広島大学研究報告、４６、ｐ５９〜７１参照）および特願平１１−１３２９２２の自動メッシュ生成システムを組合せたシステムに与える事により、自動的に行なえるようにする手段が提供できる。
【０００８】
【発明の実施の形態】本発明の実施形態を説明する前に、特願平９−２６６８８１号に記載された、２台のカメラで撮影した画像から三次元形状を決定する両眼立体視法について、式の導出過程を省略して簡単に説明する。物体表面の各点の三次元座標（ｘ，ｙ，ｚ）からそれを２つのカメラで撮影して得られる２つの画像の二次元座標（ｘ′，ｙ′）k （ｋ＝１，２）への変換マトリックスを次式のように定義する。
【０００９】
【数１】

【００１０】既知の６点の三次元座標を（ｘ1 ，ｙ1 ，ｚ1 ）、（ｘ2 ，ｙ2 ，ｚ2 ）、（ｘ3 ，ｙ3 ，ｚ3 ）、（ｘ4 ，ｙ4 ，ｚ4 ）、（ｘ5 ，ｙ5 ，ｚ5 ）、および（ｘ6 ，ｙ6 ，ｚ6 ）とすると、各変換マトリックスの要素は、 [Ｔ″] ＝〔 [Ａ″] T [Ａ″] 〕-1 [Ａ″] T [Ｃ] （２）
で決定される、ただし、【００１１】
【数２】

【００１２】である。なお、Ｔ44が１になるように正規化されている。２つの画像の各々について（２）式を適用して２つの変換マトリックスの要素が決定されたら、測定対象の３次元座標（ｘ，ｙ，ｚ）は [Ｘ] ＝〔 [Ａ] T [Ａ] 〕-1 [Ａ] T [Ｂ] （３）
で計算される。ただし、【００１３】
【数３】

【００１４】である。顔全体の三次元形状を測定する場合、人間の顔は場所によって局所平面の法線ベクトルの方向がかなり異なっているので、カメラをある一方向に固定して顔を撮影すると、カメラの向きと、顔の局所平面の法線ベクトルが大きく異なる場合は、得られる三次元座標に大きな誤差を生じる可能性があり、顔の部分によっては撮影自体が不可能な場合もある。従って、本発明の第１の実施形態に係る計測装置は、人間の顔表面上における任意の計測領域に対して正面から計測できるように、モデル１０の周りで円周軌道方向（図１）、また上下方向（図２）に２台のカメラ１２を移動、位置決めする機能を備える。
【００１５】また、２台のカメラ１２の焦点を計測領域に向けるため、図３に示すように２台のカメラを水平回転させ光線交角を調整する機能を備える。両眼立体視計測では２台のカメラより取り込んだ２枚の二次元画像から対応点を見つけることでその点の三次元座標を得る。この計測装置では線状マルチスリットをモデルに投影することにより、顔表面に映し出されたスリットラインを基準にして２枚のカメラ画像の対応点探索を行うため、図４に示すようにスリット投影機１４を搭載する。
【００１６】図５は円周方向の移動のための機構を説明する図である。装置本体は、計測対象物体と対面する位置にセットされ、計測対象物体を中心としたドーナツ状の半円周軌道固定台１６上にカメラ、スリット投影機などを搭載した移動計測ビークル１８を載せ、ビークル１８に連結させたワイヤー２０を遠隔位置にセットしたステッピングモーターに巻き取らせることにより、移動計測ビークル１８を円周軌道上で移動、位置決めが行えるようになっている。図示した装置は例えば左右方向に１５度、３０度、４５度の移動、位置決めが可能である。
【００１７】移動計測ビークル１８は図６に示すように内部が内箱２２と外箱２４の二重構造になっており、内箱２２の内部にセットされた上下リフト用モーター２６によって内箱２２が上下に移動できるようになっている。内箱２２内部にはカメラ１２などの計測機器がセットされており、計測領域を上下にカバーできるようになっている。移動範囲は、最大１５０mmとなっており、ミリ単位で位置決めが行えるようになっている。
【００１８】移動計測ビークル１８の内箱内部には２台のカメラ１２がセットされており、同様に内箱内部にセットされたステッピングモーターによって図７に示すように２台のカメラ１２を水平回転させることで、２台のカメラの焦点を合わせられるようになっている。移動計測ビークル内部の２台のビデオカメラ１２の間にスリット投影機２８を搭載することで、常に計測領域に対して正面からスリットラインを投影でき、また２台のカメラの間のほぼ同じ高さ位置にセットできるようになっているため、計測対象物の形状が多少複雑でも比較的安定したスリットラインを撮影できる。
【００１９】図８はカメラ１２が撮影した画像を処理して三次元形状を計算する画像処理装置の構成を示す。図８の画像処理装置３０は、パーソナルコンピュータ３１、パーソナルコンピュータ３１の拡張スロットに挿入される画像処理ボード３２、画像処理ボード３２に接続されるモニタ３３及びディジタルビデオデッキ３４、パーソナルコンピュータ３１に接続されたプリンタ３６、ハードディスク３８、及びマウス４０から構成される。画像処理ボード３２はディジタルビデオデッキ３４からの画像信号を画像メモリに格納するとともにディジタル化された画像信号をＤ／Ａ変換してモニタ３３に出力する。モニタ３３に出力された画像を見ながら時刻ステップ毎の画像の取り込み、画像処理の実行、マウス４０を使った対応点の抽出などが行なわれる。全画像データはハードディスク３８に格納して任意の画像データの呼び出しを可能にしている。プリンタ３６は三次元形状の測定結果を例えばワイヤフレームモデルの形で出力するために用いられる。
【００２０】本計測装置は、任意の計測領域に対して正面位置から計測できるように測定対象物を中心とした半径５００mmの円周軌道上、またその上下方向の任意の位置から計測ができるようになっている。しかし、その任意の計測位置においてそのつど計測基準物体を計測し、カメラパラメータの同定を行っていたのでは計測に時間がかかり、それぞれの計測位置においてカメラパラメータの誤差も生じることになり、精度が悪い。また、計測で得た三次元座標はワールド座標に変換されていないため、違う計測位置において計測した複数の三次元データを合成する際に計測三次元座標のワールド座標への変換が必要になる。
【００２１】そこで、基準となる計測位置を設定することで、この問題を解決した。基準計測位置は１８０度の半円周軌道上で角度９０度の位置における高さ０mmの位置とする。まず最初に、この基準計測位置で正面にセットした基準物体の計測・録画を行い、その時に得た基準物体の持つ６点の実空間三次元座標とカメラ画像上の二次元座標をデータファイルとして保存しておく。このとき、実空間三次元座標は円周軌道の中心点を座標の原点として考える。以後この作業をキャリブレーションと呼ぶ。
【００２２】任意の計測位置に移動した場合のカメラパラメータの決定は、図９に示すように計測基準物体を任意の計測位置に対して、基準計測位置の場合と同じように正面位置にセットしたと仮定して、データファイルに残しておいた計測基準物体の実空間三次元座標だけを計測位置に合わせて変換する。この変換した６点の実空間三次元座標を用いてカメラパラメータを算出することで任意の計測位置におけるカメラパラメータの同定が行える。
【００２３】このようにして得たカメラパラメータを用いると、計測三次元座標は既にワールド座標に変換された形で算出されるため、複数の三次元データの合成が容易になる。また、一度キャリブレーションによってカメラパラメータを決定すれば、何らかの影響で誤差が生じない限り、再びキャリブレーションを行う必要はない。
【００２４】図１０には顔を方向、高さを変えて撮影した画像から導出した４つの三次元形状測定結果を示し、図１１にはそれらを合成した結果を示す。次に、本発明の第２の実施形態に係る局所領域の表情変形過程の計測方法を説明する。この方法では、スリットの代わりに、図１２に示す、直線の格子模様を描いた柔軟な生地を皮膚上に貼り付けることで、スリットによる計測方法を応用して皮膚上の点の動きを認識しつつ、三次元形状を計測する。使用する生地は、皮膚に直接張り付ける場合、皮膚の動きを拘束しないもの、例えばテーピング用アンダーラップを用いる。これは、薄いスポンジ状の生地で、伸縮性に優れているため皮膚の動きを拘束することなく変形形状を表すことができる。
【００２５】計測において任意の格子点の位置座標を得る方法は、まずマルチスリットを用いた計測法を応用して、計測領域の三次元座標の算出を行う。ここで、計測データは、生地上の白ラインに沿って計測されるため、三平方の定理を用いてデータ間の三次元距離を次々と求めることで、白ラインの三次元的な長さを算出できる。そこで、算出した白ラインの三次元長さを任意の分割数で分割し、得られた分割点の三次元形状上の座標を逆算によって求め、この座標位置を格子点として決定する。
【００２６】図１２に示す格子模様を有する生地を目尻の皮膚に貼り付け、前述の計測装置により目尻のしわの発生による皮膚の形状変化を測定した結果を図１９および図１３に示す。図１３には、図１９に示す目尻しわについてしわを横切る方向（Ｙ方向）の直線上にとられた各点の深さ方向（Ｚ方向）の座標値の変化を示している。図１４および図１５には特願平９−２６６８８１号に記載された手法によりグリーン歪とキルヒホッフ応力を計算した結果を示す。図２０、図２１は、目尻付近の眼輪筋の収縮率の変化（＝ヒフの収縮率の変化）に伴う目尻しわの発生（εcrs ＝１１％）や収縮率の増加に伴うしわ数やしわ深さの変化、およびしわ底を含む目尻付近のひずみや応力の変化の様子を示している。また図１６は図２２に示す額のしわの発生過程の測定結果を示し、図１７及び図１８はそれから計算されたグリーンひずみとキルヒホッフ応力を示す。また図２３、図２４は座屈表情しわの発生ひずみ、前頭筋の収縮率（＝ヒフの収縮率）の増加に伴うしわ数やしわ深さ、しわ底ひずみやしわ底応力などの発生・成長過程が記述されている。以上のしわ計測では、しわ線直交方向の変位分布は、しわなどのかくれ線が発生すると、それと直交する方向にスプライン関数を用いて、法線変位の分布が自動的に補間される方法がとられており、これらが、しわ形状の正確な計測に寄与していることがわかる。
【００２７】
【発明の効果】以上述べてきたように本発明によれば、局所平面の法線ベクトルの方向が場所によって著しく異なる対象の三次元形状の正確な測定が可能になり、また、局所領域の変形過程の正確な計測が可能になる。またこれを前述の文献（広島大研究報告、４６、ｐ５９〜７１）に述べた方法、即ち有限要素法の増分剛性方程式を解く代りに、計測節点変位増分を用いて、ヒフなどのグリーンひずみやキルヒホッフ応力を求める方法を併用する事により、従来困難であった、ｉｎ ｖｉｖｏ状態で表情筋の収縮に伴う座屈表情しわの発生点（εcr：クリティカルひずみ）を検出すること、および収縮率の増加に伴う表情しわ深さやしわ数の増加およびしわ底ひずみやしわ底応力集中の成長などが、任意のモデルについてほぼ自動的に検出できるようになった。
【出願人】 【識別番号】０００００１９５９
【氏名又は名称】株式会社資生堂
【出願日】 平成１２年５月８日（２０００．５．８）
【代理人】 【識別番号】１０００７７５１７
【弁理士】
【氏名又は名称】石田 敬 （外４名）
【公開番号】 特開２００１−１９４１２７（Ｐ２００１−１９４１２７Ａ）
【公開日】 平成１３年７月１９日（２００１．７．１９）
【出願番号】 特願２０００−１３５０６１（Ｐ２０００−１３５０６１）