トップ :: G 物理学 :: G01 測定;試験




【発明の名称】 ３次元データ処理装置
【発明者】 【氏名】平山 直之

【氏名】藤原 浩次
【要約】 【課題】３次元計測で欠落した３次元形状データの補間を簡易で迅速に行える３次元形状データ処理装置を提供する。

【解決手段】ステップＳ１８で、人物の頭部を表した基準立体モデルを人物撮影した２次元カラー画像にサイズに応じてスケール変換を行う。ステップＳ１９では、人物の３次元距離画像に適合するようにスケール変換された立体モデルの３次元座標系における位置を決定する。そして、ステップＳ２０では、位置が特定された立体モデルから３次元形状データの補間するための処理基準となる背景面を決定する。よって、このように背景面の決定が容易に行えるため、３次元計測で欠落した３次元形状データの補間を簡易で迅速に行える。
【特許請求の範囲】
【請求項１】 所定の基準位置から立体的な対象物の対向表面各部までの距離を表現した距離画像と前記対象物の２次元画像とを含む基礎データに基づいて、前記対象物を表現した３次元データを生成する３次元データ処理装置であって、(a) 前記対象物の立体モデルの２次元的輪郭と前記２次元画像とを平面的に適合させ、かつ前記立体モデルの奥行き分布と前記３次元的な距離画像とを奥行き方向に適合させることによって前記立体モデルの３次元的な位置を決定する立体モデル位置決定手段と、(b) 前記３次元的な位置が特定された前記立体モデルに対して所定の位置関係にある処理基準面を決定する処理基準面決定手段と、(c) 前記基礎データと前記処理基準面とに基づいて前記３次元データを生成する３次元データ生成手段と、を備えることを特徴とする３次元データ処理装置。
【請求項２】 請求項１に記載の３次元データ処理装置において、前記処理基準面は、前記基準位置から前記立体モデルを見た場合の視線方向を基準として決定されることを特徴とする３次元データ処理装置。
【請求項３】 請求項１または請求項２に記載の３次元データ処理装置において、前記立体モデル位置決定手段は、(a-1) 前記立体モデルの２次元輪郭に応じたマスク画像と前記対象物のリアルタイム２次元画像とを重ねて表示する表示手段と、(a-2) 前記マスク画像と前記対象物のリアルタイム２次元画像とが前記表示手段の画面上で適合した状態で操作入力を行う操作入力手段と、を備え、前記操作入力によって、前記対象物の立体モデルの２次元的輪郭と前記２次元画像とが２次元的に適合した状態が特定されることを特徴とする３次元データ処理装置。
【請求項４】 請求項１ないし請求項３のいずれかに記載の３次元データ処理装置において、前記立体モデル位置決定手段は、(a-3) 所定のサイズの基準立体モデルを前記２次元画像のサイズに応じてスケーリングすることによって前記立体モデルを決定する手段、を備えることを特徴とする３次元データ処理装置。
【請求項５】 所定の基準位置から立体的な対象物の表面各部までの距離を表現した距離画像と前記対象物の２次元画像とを含む基礎データに基づいて、前記対象物を表現した３次元データを生成する３次元データ処理装置であって、(a) 前記３次元的な距離画像の所定位置から所定方向に所定のオフセットだけ離れた面を処理基準面として決定する処理基準面決定手段と、(b) 前記基礎データと前記処理基準面とに基づいて前記３次元データを生成する３次元データ生成手段と、を備えることを特徴とする３次元データ処理装置。
【請求項６】 請求項５に記載の３次元データ処理装置において、前記距離画像における前記所定位置は、前記距離画像のうち前記基準位置に最も近い位置であることを特徴とする３次元データ処理装置。
【請求項７】 所定の基準位置から立体的な対象物の表面各部までの距離を表現した距離画像と前記対象物の２次元画像とを含む基礎データに基づいて、前記対象物を表現した３次元データを生成する３次元データ処理装置であって、(a) 前記距離画像と所定の処理基準面の画像とを重ねて表示する表示手段と、(b) 所定の操作入力に基づいて、前記表示手段に表示された前記距離画像と前記処理基準面の画像との相対的位置関係を調整する調整手段と、(c) 前記基礎データと、前記調整手段によって位置調整がなされた前記処理基準面とに基づいて前記３次元データを生成する３次元データ生成手段と、を備えることを特徴とする３次元データ処理装置。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、立体形状を有する物体を表現した３次元データを作成するための３次元形状データ処理装置に関する。
【０００２】
【従来の技術】例えば、特開平９−１４５３１９号公報に開示されるように可搬型の非接触式３次元計測装置（３次元カメラ）が商品化され、ＣＧ（コンピュータグラフィック）システムやＣＡＤシステムへのデータ入力、身体計測、ロボットの視覚認識などに利用されている。非接触の計測方法としては、スリット光投影法（光切断法）が一般的であるが、他にもパターン光投影法、ステレオ視法、干渉縞法などが知られている。
【０００３】また、パーソナルコンピュータで利用可能な３次元ＣＧソフトウェア、及びホビー用の小型の３次元切削マシンが市販されている。これらを用いれば、一般家庭でも模型や創作物を手軽に製作することができる。
【０００４】一方、利用客の顔写真シールをその場で作成する一種の自動販売機が人気を集めている。利用客は料金を投入し、モニタ画面を見ながらカメラの前で好みのポーズをとる。そして、所定の操作を行うと、一定数のシールが並んだシートが作成されて取出口に排出される。大半の機種では、顔写真の形状や写し込み模様などについて複数の選択肢が設けられている。
【０００５】
【発明が解決しようとする課題】上述の３次元計測装置によれば、写真をとるのと同程度の手軽さで人体を含む各種人物の形状をデータ化することができる。非接触式であるため、人体を計測する場合であっても、計測対象者が煩わしさを感じることはない。そこで、この３次元計測装置を顔写真ならぬ顔面模型の作成に利用することが考えられる。つまり、３次元加工機と組み合わせれば、人物の顔を計測して、その場で適当な倍率の模型を作成することが可能である。
【０００６】ところが、上述した非接触の３次元計測を用いてレンジファインダーで人物の顔を測定すると、顔の輪郭近傍領域、黒髪や眉毛といった反射率が低い領域や、測定光の届かない顎領域等の３次元形状データを取得できず欠落データが存在する。特に、人物の周辺領域が高い確率で欠落するため、実際よりも小さな人物領域でしか３次元形状データを得ることができないという問題点があった。
【０００７】上記問題点を解決する方法の１つとして、特開平６−１８５９９３号公報に開示された方法がある。この方法は、２次元画像における背景の境界付近の輝度に基づき、輝度の小さな領域では、境界領域のみに着目して得られた３次元形状データを採取し、輝度の大きな領域では、レーザ照射位置検出ユニットで得られた通常の３次元形状データを採用することにより、実際に近い人物領域の３次元形状データを得ていた。
【０００８】しかしながら、上記方法は、通常の３次元データの他に、境界領域のみに着目した３次元形状データを得る必要があるため、境界検出ユニットと呼ばれる特殊な装置を設けて境界領域のみに着目した３次元形状データを作成する分、装置コストの増大につながる問題点があった。
【０００９】本発明は、上記課題に鑑みてなされたものであり、３次元計測で欠落した３次元形状データの補間を簡易で迅速に行える３次元形状データ処理装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】上記の課題を解決するため、請求項１の発明は、所定の基準位置から立体的な対象物の対向表面各部までの距離を表現した距離画像と前記対象物の２次元画像とを含む基礎データに基づいて、前記対象物を表現した３次元データを生成する３次元データ処理装置であって、(a)前記対象物の立体モデルの２次元的輪郭と前記２次元画像とを平面的に適合させ、かつ前記立体モデルの奥行き分布と前記３次元的な距離画像とを奥行き方向に適合させることによって前記立体モデルの３次元的な位置を決定する立体モデル位置決定手段と、(b)前記３次元的な位置が特定された前記立体モデルに対して所定の位置関係にある処理基準面を決定する処理基準面決定手段と、(c)前記基礎データと前記処理基準面とに基づいて前記３次元データを生成する３次元データ生成手段と、を備える。
【００１１】また、請求項２の発明は、請求項１の発明に係る３次元データ処理装置において、前記処理基準面は、前記基準位置から前記立体モデルを見た場合の視線方向を基準として決定される。
【００１２】また、請求項３の発明は、請求項１または請求項２の発明に係る３次元データ処理装置において、前記立体モデル位置決定手段は、(a-1)前記立体モデルの２次元輪郭に応じたマスク画像と前記対象物のリアルタイム２次元画像とを重ねて表示する表示手段と、(a-2)前記マスク画像と前記対象物のリアルタイム２次元画像とが前記表示手段の画面上で適合した状態で操作入力を行う操作入力手段と、を備え、前記操作入力によって、前記対象物の立体モデルの２次元的輪郭と前記２次元画像とが２次元的に適合した状態が特定される。
【００１３】また、請求項４の発明は、請求項１ないし請求項３のいずれかの発明に係る３次元データ処理装置において、前記立体モデル位置決定手段は、(a-3)所定のサイズの基準立体モデルを前記２次元画像のサイズに応じてスケーリングすることによって前記立体モデルを決定する手段、を備える。
【００１４】また、請求項５の発明は、所定の基準位置から立体的な対象物の表面各部までの距離を表現した距離画像と前記対象物の２次元画像とを含む基礎データに基づいて、前記対象物を表現した３次元データを生成する３次元データ処理装置であって、(a)前記３次元的な距離画像の所定位置から所定方向に所定のオフセットだけ離れた面を処理基準面として決定する処理基準面決定手段と、(b)前記基礎データと前記処理基準面とに基づいて前記３次元データを生成する３次元データ生成手段と、を備える。
【００１５】また、請求項６の発明は、請求項５の発明に係る３次元データ処理装置において、前記距離画像における前記所定位置は、前記距離画像のうち前記基準位置に最も近い位置である。
【００１６】また、請求項７の発明は、所定の基準位置から立体的な対象物の表面各部までの距離を表現した距離画像と前記対象物の２次元画像とを含む基礎データに基づいて、前記対象物を表現した３次元データを生成する３次元データ処理装置であって、(a)前記距離画像と所定の処理基準面の画像とを重ねて表示する表示手段と、(b)所定の操作入力に基づいて、前記表示手段に表示された前記距離画像と前記処理基準面の画像との相対的位置関係を調整する調整手段と、(c)前記基礎データと、前記調整手段によって位置調整がなされた前記処理基準面とに基づいて前記３次元データを生成する３次元データ生成手段と、を備える。
【００１７】
【発明の実施の形態】＜立体模型作成装置の要部構成＞図１は、本発明の実施形態に係る３次元データ処理装置が組み込まれた立体模型作成装置１の外観図である。
【００１８】立体模型作成装置１は、立体模型を作成するための３次元的なオリジナル物体（以下「対象物」）の形状を計測し、その計測データに基づいて素材を、その場で加工する機能を有しており、利用客の顔をかたどった小物品の自動販売機として使用される。作成される物品は、所定形状（例えば四角形）の板面から顔面の模型がレリーフ状に突き出た立体である。板面（背景部分）に特定の起伏模様を付加することも可能である。このような物品に適当な金具を取り付ければ、ペンダント、ブローチ、キーホルダなどのアクセサリーとなる。予め素材に金具を取り付けておいてもよい。
【００１９】ほぼ等身大の筐体１０の上半部の前面に、利用客がポーズを確認するためのディスプレイ１６とともに、光学式３次元計測のための投光窓１２および受光窓１４が設けられている。受光窓１４は２次元のカラー撮影にも用いられる。この受光窓１４の奥には、画像データを取得するための撮影装置３０が設けられている。そして、筐体１０の下半部は上半部よりも前方側に張り出しており、その上面が操作パネル１８となっている。商品の取出口２０は下半部の前面に設けられている。
【００２０】図２は、操作パネル１８の平面図である。
【００２１】操作パネル１８には、スタートボタン１８１、確認ボタン１８２、キャンセルボタン１８３、ジョイスティック１８４、及び硬貨の投入口１８５が設けられている。ジョイスティック１８４は模型の構図の変更指示と、後述する背景面の設定操作に用いられる。左右に傾けるパーン操作、上下に傾けるチルト操作、及びノブを回転させるロール操作に呼応して３次元形状モデルの回転操作が行われ、処理結果が逐次表示される。また、キャンセルボタン１８３は、利用客が表示された３次元形状モデルが気に入らないときなどに再計測を指示するためのボタンである。ただし、キャンセルボタン１８３には有効回数が設定されており、無制限に再計測を指示することはできない。
【００２２】図３は、立体模型作成装置１の機能ブロックである。
【００２３】立体模型作成装置１は、模型サイズの３次元形状モデルを生成するモデリングシステム１Ａと、３次元形状モデルを顕在化する加工システム１Ｂとから構成されている。
【００２４】モデリングシステム１Ａは、オリジナル物体である利用客の外観情報をデジタルデータに変換（データ化）する撮影装置３０を含んでいる。撮影装置３０は、スリット光投影法で形状情報をデータ化して、３次元の距離画像データ（３次元画像データ）ＤＳを出力する３次元計測装置３４、色情報をデータ化して２次元のカラー画像データＤＣを出力する２次元撮像装置３６、及びコントローラ３８より構成されている。
【００２５】ここで、距離画像データＤＳはＸＹＺの直交座標系における座標値として与えられるデータであり、３次元計測装置３４内の計測基準点から対象物の対向表面上の各計測点までの距離の分布情報を与える距離分布画像データである。距離画像データＤＳには、対象物からの反射光の計測データが得られたか否かを示す有効フラグの情報も含まれる。
【００２６】他方、カラー画像データＤＣは、対象物の２次元的カラー画像の各画素を、３原色データ、即ち、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）のそれぞれの色成分の階調によって表現したデータである。ここでは、３次元計測と２次元撮影とを同一視点から行う撮影装置３０を用いているため、距離画像データＤＳとカラー画像データＤＣとの対応付けを極めて容易に行うことができる。
【００２７】勿論、３次元計測と２次元撮影とをそれぞれ異なる視点で行った場合でも、距離画像データＤＳ、カラー画像データＤＣにはそれぞれ視点情報が付加されており、且つ３次元計測結果と２次元計測結果との座標の相対関係は既知であるため、距離画像データＤＳ、カラー画像データＤＣとの対応付けを支障なく行うことができる。このような距離画像データＤＳ及びカラー画像データＤＣは、後述する３次元形状データ処理装置４０に入力される。
【００２８】なお、３次元計測法として、スリット光投影法に代えて他の手法を用いてもよい。
【００２９】３次元形状データ処理装置４０は、データ修正を含む各種のデータ処理を行い、本発明の中核部分である。３次元形状データ処理装置４０のコントローラ４２は、ＣＰＵおよびメモリを含んで構成されており、周辺のハードウエア回路と協働しつつ、所定のソフトウエアに従って後記の画像処理を含む各種のデータ処理を行う。また、このコントローラ４２は、立体模型作成装置１の全体的な制御をも担い、投影システム３０のコントローラ３８及び加工システム１Ｂのコントローラ１７６に適切な指示を与える。このコントローラ４２には、ディスプレイ１６及び操作入力システム４４が接続されている。操作入力システム４４は、上述の操作パネル１８と料金受領機構とからなる。
【００３０】一方、加工システム１Ｂは、樹脂ブロックなどの材料を切削する加工装置１７２、材料の加工位置への供給と加工品の取出口２０への搬送を行う材料供給装置１７４、コントローラ１７６、及び取出口センサ１７８を備えている。取出口センサ１７８の検出信号はコントローラ４２に入力される。
【００３１】なお、撮影装置３０及び加工システム１Ｂの制御をコントローラ４２に受け持たせ、コントローラ３８及びコントローラ１７６を省略した回路構成を採用してもよい。
【００３２】＜立体模型作成装置の動作の概要＞図４は、立体模型作成装置１の動作の概要を説明するフローチャートである。以下、同図を参照して、その基本動作の処理手順を説明する。
【００３３】電源が投入された後、後で詳述する利用客に対する撮影および計測データの処理準備を行う（ステップＳＴ１０）。
【００３４】そして、所定のデータ処理を行う（ステップＳＴ２０）。ここでは、図５（ａ）に示す２次元においてデータの欠落のないカラー画像８１を用い、距離画像におけるデータ欠落箇所を補間する。具体的には、後述する３次元座標系における背景面（処理基準面）６１にカラー画像８１の人物領域（後述する人物画像データＤＢ２で表される画像）の輪郭曲線８１ｔを作成し、この輪郭曲線８１ｔと、３次元のデータ取得されている距離画像８２の周辺部分８２ｔとを直線補間等することで、欠落した距離画像８３（仮想線で示す）を復元する処理を主に行う。また、ステップＳＴ２０では、この他、例えば補間データのスムージング等の処理も行う。
【００３５】さらに、ステップＳＴ２０で得られた３次元形状モデルを表示する（ステップＳＴ２２）。このとき、影を付すといった公知のグラフィック手法を適用して見栄えを高める。そして、指示操作を待つ。ただし、待ち時間は有限であり、時限を過ぎれば確認操作が行われたものとみなす。
【００３６】ジョイスティック１８４が操作されると、上述のように３次元形状モデルを操作に応じて回転させて表示する（ステップＳＴ２４、ＳＴ３８）。キャンセルボタン１８３が押される（ステップＳＴ４０）と、ステップＳＴ１０に戻る。ただし、この場合、利用客が料金を改めて投入する必要はなく、スタートボタン１８１を押せば、再計測が行われる。
【００３７】確認ボタン１８２が押されると（ステップＳＴ２６）、３次元形状モデルに基づいて加工条件データベースを参照して加工制御用のデータを生成し（ステップＳＴ２８）、材料の加工を行う（ステップＳＴ３０）。加工が終わると、商品を排出し（ステップＳＴ３２）、取出口センサ１７８によって商品が取り出されたのを確認（ステップＳＴ３４）して、ステップＳＴ１０に戻る。
【００３８】撮影・データ処理準備の動作の詳細については、５種類（第１〜第５）の動作形態を以下で説明する。
【００３９】＜撮影・データ処理準備の第１の動作形態＞撮影・データ処理準備の第１の動作形態を説明する前に、本動作形態で利用される人物の頭部の概括的な形状を幾何学的な立体形状で表現した立体モデルを、まず説明する。なお、ここでいう「立体モデル」は、図３のモデリングシステム１Ａで生成される再生モデルとは異なり、予め対象物の種類を想定して準備されるテンプレート的なモデルである。
【００４０】図６は、人物の頭部の外形を模式的に表す基準立体モデル５０を示す図である。図６における平行斜線部で示した箇所が基準立体モデル５０に該当する。基準立体モデル５０は、楕円球の形状である。この楕円球が外接する直方体（最大矩形体）５０ｗは、Ｘ方向の大きさｘｆｍ、Ｙ方向の大きさｙｆｍ、Ｚ方向の大きさｚｆｍを有している。また、便宜上、ｘｙ方向を正面、ｚ方向を奥行きとする。なお、基準立体モデルは、楕円球が必須ではなく、例えば、モデル的な人物の頭部を比較的忠実に再現した複雑な形状であってもよい。
【００４１】次に、撮影・データ処理の第１の動作形態を説明する。図７は、撮影・データ処理準備の動作形態を説明するフローチャートであり、図４に示すフローチャートのＳＴ１０に対応する。
【００４２】まず、ステップＳ１０では、ディスプレイ１６にマスク領域５０１を表示する。マスク領域５０１は、図６に示す基準立体モデル５０を正面から見た２次元輪郭に対応しており、最大矩形（ｘｆｍ×ｙｆｍ）に内接する楕円形である。したがって、マスク領域５０１は、図６の楕円球５０のＸＹ最大断面に相当する。
【００４３】ステップＳ１１では、利用客の２次元のカラー画像５１を撮影する。
【００４４】ステップＳ１２では、撮影された２次元のカラー画像５１をリアルタイムでディスプレイ１６に表示する（図８参照）。ここでは、画像表示とともに定期的にガイダンスを表示してもよい。
【００４５】次に、ステップＳ１３では、操作入力が行われたかを判断する。すなわち、料金が投入されてスタートボタン１８１が利用客により押下される操作入力が行われていれば、ステップＳ１４に進み、押下されていなければステップＳ１１に戻り、引続き２次元画像をディスプレイ１６に表示する。図８（ａ）に示すようにマスク領域５０１とカラー画像５１とが適合していない状態の時は利用客が自身の頭部を移動させて、図８（ｂ）に示すようにマスク領域５０１とカラー画像５１とを適合させる。具体的には、利用客が自身の頭部をＸＹ面内方向に移動させれば２次元カラー画像５１がディスプレイ１６中で左右上下方向に移動し、頭部をＺ方向に移動させればディスプレイ１６中における２次元カラー画像５１の全体サイズが変化する。そして、図８（ｂ）のように２次元カラー画像５１がマスク領域５０１にほぼ適合する状態であると利用客が判断すると、その利用客はスタートボタン１８１を操作することによって、２次元カラー画像５１の位置およびサイズを確定する。
【００４６】ステップＳ１４では、撮影装置３０によって利用客の２次元のカラー画像データＤＣを取得する。ここにおいて、図８のようなマスク領域５０１との適合のための２次元カラー画像５１の取得（準備撮影）が高分解能で行われてる場合には、そのような準備撮影で繰り返して取り込まれている２次元画像データのうち、スタートボタン１８１を操作した時点の画像の情報を２次元カラー画像データＤＣとして採用してもよいが、準備撮影を低分解能で行っている場合にはこの時点で高分解能の撮影を行うことによって、３次元加工のための高分解能の２次元カラー画像データＤＣを取得する。
【００４７】ステップＳ１５では、３次元データ、すなわち距離画像データＤＳを取得する。
【００４８】ステップＳ１６では、ステップＳ１４、Ｓ１５にて取得したカラー画像データＤＣおよび距離画像データＤＳに対する平滑化処理を施す。平滑化処理により、各データＤＣ、ＤＳのノイズの除去が行われる。
【００４９】次に、ステップＳ１７では、人物領域の抽出処理を行う。つまり、カラー画像データＤＣから人物領域の抽出処理を行い、最終的に背景画像データＤＢ１及び人物画像データＤＢ２を得る。これらの画像データＤＢ１、ＢＤ２は、２値画像データで十分であるが、カラー画像データであってもよい。
【００５０】ステップＳ１８では、基準立体モデル５０を対象物との距離に応じてスケーリングを行う。つまり、図９に示すように、２次元のマスク領域５０１のサイズと、撮影装置３０におけるカメラパラメータ（対象物との距離データ等の３次元距離画像データの取得条件）とから、３次元距離画像が存在する３次元座標系にまだ関連づけられていない基準立体モデル５０を相似変形（スケール変換）して、３次元座標系に関連づけられた立体モデル５０３を得る。この相似変形は、次のように定められる。
【００５１】１）２次元のマスク領域のサイズとカメラパラメータとから３次元座標系に変換されたマスク領域のサイズｘｍまたはｙｍを定める。
【００５２】２）１）で算出したｘｍまたはｙｍと基準立体モデル５０のＸ，Ｙ各方向のサイズｘｆｍまたはｙｆｍを数１に代入して相似比ｋを定める。
【００５３】３）基準立体モデル５０のＸＹＺ各方向のサイズｘｆｍ、ｙｆｍ、ｚｆｍと相似比ｋから数２に代入して立体モデル５０３のＸ、Ｙ、Ｚ方向の各サイズｘｍ、ｙｍ、ｚｍを定める。
【００５４】
【数１】ｘｍ／ｘｆｍ＝ｋ または ｙｍ／ｙｆｍ＝ｋ【００５５】
【数２】
ｋ＝ｘｍ／ｘｆｍ＝ｙｍ／ｙｆｍ＝ｚｍ／ｚｆｍここでは、人間においても片目のみでは対象物の絶対的な大きさを把握できないのと同様に、２次元画像の平面的な情報のみでは人物の頭部の大きさを特定できないため、これに撮影装置３０から人物までの距離情報を加えることにより、３次元座標系の人物の頭部（立体モデル５０３）の大きさを特定している。
【００５６】ステップＳ１９では、距離画像に適合する立体モデル５０３の位置を決定する。
【００５７】まず、ＸＹ座標系における立体モデル５０３の位置決めについては、撮影装置３０により取得した距離画像データとカラー画像データとはＸＹ座標系については対応付けられているため、この対応関係（カメラパラメータ）を用いて、立体モデルの平面的な表現であるマスク領域５０１を距離画像が存在する３次元座標系に移すことで位置決めを行う。
【００５８】次に、残るＺ座標（奥行き）における立体モデル５０３の位置決めについては、図１０に示すように、３次元の距離画像８２の最前点８２ｆ（距離画像データＤＳのうちＺが最大となるデータの点）と、立体モデル５０３の最前点５０３ｆ（立体モデルを形成するデータのうちＺが最大となるデータの点）とが一致するように立体モデル５０３を変位させて、立体モデル５０３のＺ座標における位置を決定する。
【００５９】ステップＳ２０では、３次元座標の位置が特定された立体モデル５０３から、撮影装置３０からの視線方向を考慮して背景面６１を決定する。つまり、図１１に示すように、撮影装置３０の視線基準点１５ｃから立体モデル５０３の表面に対する接線を引き、この接線の接点５０３ａおよび５０３ｂを求める。そして、これらの接点５０３ａおよび５０３ｂを結ぶことにより輪郭線を得、その輪郭線により背景面６１を作成する。ここでは、説明の便宜上、２つの接点（５０３ａ、５０３ｂ）を挙げて２次元で説明しているが、実際は、これを３次元に展開して背景面６１が決定される。
【００６０】このような３次元的な展開においては、立体モデル５０３の形状などによって、図１２に示すように、視点基準点１５ｃから立体モデル５０３への各接線との接点Ｐ１の集合としての閉曲線ＰＬがひとつの平面上に乗る場合と、図１３のようにその閉曲線ＰＬが３次元的にゆがむ場合とがある。ただし、図１２（ｂ）は図１２（ａ）中の背景面６１の側面図に相当し、図１３（ａ），（ｂ）の相互関係も同様である。
【００６１】これらのうち図１２の場合には全接点Ｐ１が乗る平面によって背景面６１を定義すればよいが、図１３のような場合には背景面をどのようにするかについての選択肢がある。
【００６２】その第１は、そのような３次元的なゆがみを持った閉曲線ＰＬが乗るような曲面を背景面として採用するという方法であり、この方法は立体モデルの形状を忠実に反映することができる一方で、データ処理量が増大する。それを防止するためには図１３中に示すようにその曲面を近似する平面６１ｂによって背景面６１を定義することが好ましい。
【００６３】たとえば、図１３中に示した例では、輪郭線ＰＬを規定する接点群のうち、Ｘ方向およびＹ方向のそれぞれについて、最大の座標値を持つ接点と最小の座標値を持つ接点とを特定して、計４つの接点Ｐ１を定義し、これら４つの接点Ｐ１の３次元的な重心点ＰＬＭを求め、その重心点ＰＬＭを通るとともに視線中心軸ＬＭに直交する面６１ａを背景面６１として採用している。ただし、この視点中心軸ＬＭは、視点基準点１５ｃと上記の重心点ＰＬＭとを結ぶ直線として定義されており、点Ｐ２は接点Ｐ１の面６１ａへの射影に相当する。
【００６４】以上より、データ補間処理の基準となる背景面６１が迅速に設定できるため、３次元形状データの補間が簡易で迅速に行える。そして、リアルタイムに近いレスポンスが要求されるベンディングマシンである立体模型作成装置１上においても支障なく使用することができる。
【００６５】また、特に撮影装置３０からの視線方向を考慮して背景面６１を定めているため、図１４に示すように、絶対座標系の鉛直面に沿って背景面６１ｙを定める場合と比較して、撮影装置３０によって取得した距離画像データに不足している部分を正確に把握してその部分を補間できる。これは、撮影装置３０の光学的軸線が水平方向から傾いている場合に特に有効である。
【００６６】＜撮影・データ処理準備の第２の動作形態＞図１５は、撮影・データ処理準備の第２の動作形態を説明するフローチャートであり、図４に示すフローチャートのＳＴ１０に対応する。また、図７に示すフローチャートに類似しており、相違するのは、図７のステップＳ１０が削除され、また、ステップＳ１８がステップＳ３７に代わっているところである。既述した第１の動作形態では人体の頭部の２次元画像と立体モデルとの位置やサイズの適合化処理をディスプレイの画面上で利用者が視認をしながら行っているが、この第２の動作形態では、そのような適合化処理を自動的に行うようになっている。
【００６７】ステップＳ３７では、ステップＳ３６で抽出された人物領域のサイズに応じて、基準立体モデル５０のスケーリングを行う。つまり、図１６（ａ）に示すように、人物画像データＤＢ２が表す人物画像を、撮影装置３０におけるカメラパラメータにより、３次元座標系に関連づけられた人物画像５２に変換して得られる最大矩形５２ｒのＹ方向の大きさｙｒを求める。そして、基準立体モデル５０の最大矩形のＹ方向の大きさが上記のｙｒと等しくなるように基準立体モデル５０のスケール変換を行い、立体モデル５０３を得る（図１６（ｂ））。
【００６８】また、ステップＳ３８では、距離画像データＤＳに適合する立体モデル５０３の位置を決定する。まず、ＸＹ座標における位置決めについては、図１７に示すように、立体モデル５０３の重心を人物画像５２の最大矩形５２ｒの重心に合致させるように、位置決めを自動的に行う。そして、残るＺ座標における位置決めは、図７に示すステップＳ１９と同様の動作を行う。
【００６９】以上で説明したステップ以外は、第１の動作形態と同様であり、この第２の動作形態によりデータ補間処理の基準となる背景面６１が迅速に設定できるため、３次元形状データの補間が簡易で迅速に行える。
【００７０】＜撮影・データ処理準備の第３の動作形態＞図１８は、撮影・データ処理準備の第３の動作形態を説明するフローチャートであり、図４に示すフローチャートのＳＴ１０に対応する。また、図７に示すフローチャートと類似しており、相違するのは、図７のステップＳ１０が削除され、また、ステップＳ１８〜Ｓ２０がステップＳ４７に代わっているところである。
【００７１】ステップＳ４７では、距離画像データＤＳにおける所定の位置に基づいて背景面６１を決定する。ここでは、対象物の形状の概要や大きさの範囲が既知であるような場合に特に有効であり、図１９に示すように、距離画像８２のうち、最前部となる撮影装置３０に最も近い位置８２ｓの距離画像データＤＳのＺ座標を基準に、Ｚ方向に所定のオフセットＯＦだけ離れた面を背景面６１と設定する。
【００７２】なお、基準を撮影装置３０に最も近い位置を利用することは必須ではなく、位置の特定が容易な箇所、例えば距離画像の表面から撮影装置３０の視線に対して、直交する方向に広がった面素片（直交面素片）の上に基準位置を定めてもよい。図２０（ａ）には、そのような面素片ＰＸが例示されており、撮影装置３０の撮像中心軸Ａと直交し、かつ所定の閾値面積以上の面積を有する面素片ＰＸが直交面素片として定義されている。図２０（ｂ）は直交面素片ＰＸの斜視拡大図である。
【００７３】図１９の例では人物の頭部像であるために、鼻の先端部分が撮影装置３０に最も近い最前部でもあり、直交面素片である可能性が高い。ただし、上記の閾値面積を比較的大きく設定したときには、顔面の頬や額の領域が直交面素片となる。直交面素片が複数あった場合には、そのうちで最も撮影装置３０に近いものを背景面のオフセット基準として採用すればよい。
【００７４】図２０（ａ）の例でもわかるように、直交面素片ＰＸは距離画像の辺縁部のぎりぎりの位置ではなく、比較的中心寄りの部分に現れることが多いために、距離画像のデータのうちそのような直交面素片ＰＸのあたりのデータは信頼性が高い。このため、そのような直交面素片の位置からオフセットを持たせて背景面６１を定めることにより、距離画像のデータの不足部分に起因する誤差の発生を防止できる。
【００７５】以上で説明したステップ以外は、第１の動作形態と同様であり、この第３の動作形態によりデータ補間処理の基準となる背景面６１が迅速に設定できるため、３次元形状データの補間が簡易で迅速に行える。
【００７６】＜撮影・データ処理準備の第４の動作形態＞図２１は、撮影・データ処理準備の第４の動作形態を説明するフローチャートであり、図４に示すフローチャートのＳＴ１０に対応する。また、図１８に示すフローチャートに類似しており、相違するのは、ステップＳ４７がステップＳ５７に代わっているところである。
【００７７】このステップＳ５７は、ステップＳ４７において対象物の形状の概要や大きさの範囲が既知であることを前提としていたのに対して、対象物の大きさが未知で形状の概要が既知である場合に特に有効な動作形態である。すなわち、対象物の大きさをあらかじめ想定していないような場合には、図１９のオフセットＯＦの大きさを一定値にしておくと、大きな対象物の場合には背景面６１が浅くなり過ぎた印象を与えるために立体感が乏しいものになり、小さな対象物の場合には背景面６１が奥に下がり過ぎた印象を与えるために過度に浮き上がった立体像になってしまう。このような事態を防止するため、対象物のＸＹ面内での平面サイズに応じてＺ方向のオフセット量を変えようとしているのが、この第４の動作態様である。ここでは、図２２に示すように、まず、ステップＳ５６で抽出された人物画像データＤＢ２を表した人物画像５２の最大矩形５２ｒから、そのＸＹ方向の大きさbx、byを求める。
【００７８】そして、ステップＳ４７と同様に、距離画像８２で最前部８２ｓにおける距離画像データＤＳのＺ座標を基準に、bx、byに応じたオフセットbzだけＺ方向に離れた面を背景面６１とする。このbzの算出は、例えば次式（数３〜数６）のいずれかを使用することができる。
【００７９】
【数３】bz＝bx×α【００８０】
【数４】bz＝by×β【００８１】
【数５】bz＝(bx×α＋by×β)／(α＋β)【００８２】
【数６】bz＝sqrt(bx×by)×γただし、α、β、γは定数であり、記号「sqrt」は平方根を示す。
【００８３】以上で説明したステップ以外は、第３の動作形態と同様であり、この第４の動作形態によりデータ補間処理の基準となる背景面６１が迅速に設定できるため、３次元形状データの補間が簡易で迅速に行える。
【００８４】＜撮影・データ処理準備の第５の動作形態＞図２３は、撮影・データ処理準備の第５の動作形態を説明するフローチャートであり、図４に示すフローチャートのＳＴ１０に対応する。また、図１８に示すフローチャートに類似しており、相違するのは、ステップＳ４７がステップＳ６７〜Ｓ６９に代わっているところである。この第５の動作態様は、距離画像に対する背景面のＸ方向の位置を、利用者がディスプレイの画面上で視認しながら操作入力手段を使用して指定するように構成されている。
【００８５】ステップＳ６７では、取得された３次元の距離画像８２をディスプレイ１６に表示し、重ねて背景面６１も表示する。ここでは、図２４に示すように、ディスプレイ１６の左半分１６Ｌで背景面６１に垂直に投影された画像を表示し、右半分１６Ｒで側方から見た画像（ＹＺ座標系の画像）を表示する。
【００８６】ステップ６８では、ジョイスティック１８４を操作することにより、背景面６１を設定する。まず、図２４（ａ）の状態でジョイスティック１８４を左に傾けると図２４（ｂ）のようになる。このようにジョイスティック１８４を左右に傾けることにより背景面６１の位置を決定する。また、図２４（ａ）の状態（背景面の位置決定の画面とは別モードの画面）でジョイスティック１８４を例えば、右に傾けると図２４（ｃ）のようになる。このようにジョイスティック１８４を左右に傾けることにより対象物を左右から見た背景面６１の向きを決定する。同様に図２５（ａ）に示す画面の状態でジョイスティック１８４を左右に傾けることにより対象物を上下から見た背景面６１の向きを決定する。
【００８７】ステップＳ６９では、背景面６１の位置が決定できたかを判定する。つまり、ステップＳ６８での背景面６１に対する位置調整により、背景面６１の距離画像８２に対する相対的な位置関係が決定できたときには、確認ボタン１８２を押下する。そして、確認ボタン１８２が押下された場合にはステップＳＴ２０に進み、押下されていない場合にはステップＳ６７に戻る。
【００８８】以上で説明したステップ以外は、第３の動作形態と同様であり、この第５の動作形態によりデータ補間処理の基準となる背景面６１が利用者の意図に従って迅速に設定できるため、３次元形状データの補間が簡易で迅速に行える。
【００８９】＜変形例＞◎上記の撮影・データ処理準備の第５の動作形態における背景面６１の位置調整操作については、図２５に示すように、距離画像８２を上方から見た画像（ＸＺ座標系の画像）の表示を追加し、または側方から見た画像（ＹＺ座標系の画像）に代えて表示してもよい。この場合においても、ジョイスティック１８４の操作により、図２５（ａ）の状態から、図２５（ｂ）に示す背景面６１が傾く状態に移行ができることとなる。
【００９０】◎上記の撮影・データ処理準備の各動作形態では、人物の頭部に関しての３次元データ処理の手法を述べたが、人物の上半身、全身においても適用が可能である。さらに、人に限らず動物他の立体形状をもつ物体に適用できる。
【００９１】◎上記の実施形態では、２次元画像としてカラー画像を用いているが、モノクロ画像でもよい。
【００９２】◎撮影・データ処理準備の第２の動作形態では、図１３に示す最大矩形５２ｒのＹ方向の大きさｙｒから立体モデルのスケールを決定していたが、最大矩形５２ｒのＹ方向の大きさｙｒに対するＸ方向の大きさの比率から、基準立体モデルをＸ方向に、この比率に適合するようなスケール変換をさらに加えてもい。すなわち、最大矩形がＹ方向の大きさｙｒとＸ方向の大きさｘｒとを有している場合、基準立体モデルとしての楕円球の扁平率を比率（ｘｒ／ｙｒ）に応じて変化させる。たとえば比較的丸顔の場合には立体モデルは球に近いものになり、面長の場合には立体モデルも比較的長形になって、個々の対象物（各人の頭部）の立体再現性が高まる。
【００９３】
【発明の効果】以上説明したように、請求項１に発明によれば、対象物の立体モデルの２次元的輪郭と２次元画像とを平面的に適合させ、かつ立体モデルの奥行き分布と前記３次元的な距離画像とを奥行き方向に適合させることによって前記立体モデルの３次元的な位置を特定し、この立体モデルに対して所定の位置関係にある処理基準面を決定する。そして、処理基準面に基づいて３次元データを生成する。その結果、３次元計測で欠落した３次元形状データの補間を簡易で迅速に行える。
【００９４】また、請求項２に発明によれば、処理基準面は、基準位置から立体モデルを見た場合の視線方向を基準として決定されるため、精度のよい３次元形状データの補間を行うための処理基準面の決定が正確に行える。
【００９５】また、請求項３に発明によれば、立体モデルの２次元輪郭に応じたマスク画像と対象物のリアルタイム２次元画像とを重ねて表示し、マスク画像と対象物のリアルタイム２次元画像とが画面上で適合した状態で操作入力を行うことによって、対象物の立体モデルの２次元的輪郭と２次元画像とが２次元的に適合した状態が特定されるため、３次元形状データの補間がより迅速に行える。
【００９６】また、請求項４に発明によれば、所定のサイズの基準立体モデルを２次元画像のサイズに応じてスケーリングすることによって立体モデルを決定するため、精度のよい３次元形状データの補間を行うための処理基準面の決定がより正確に行える。
【００９７】また、請求項５に発明によれば、３次元的な距離画像の所定位置から所定方向に所定のオフセットだけ離れた面を処理基準面として決定し、処理基準面に基づいて３次元データを生成する。その結果、３次元計測で欠落した３次元形状データの補間を簡易で迅速に行える。
【００９８】また、請求項６に発明によれば、距離画像における所定位置は、距離画像のうち基準位置に最も近い位置であるため、精度のよい３次元形状データの補間を行うための処理基準面の決定がより簡易に迅速に行える。
【００９９】また、請求項７の発明によれば、距離画像と所定の処理基準面の画像とを重ねて表示し、距離画像と処理基準面の画像との相対的位置関係を調整する。そして、位置調整がなされた処理基準面に基づいて３次元データを生成する。その結果、３次元計測で欠落した３次元形状データの補間を簡易で迅速に行える。
【出願人】 【識別番号】０００００６０７９
【氏名又は名称】ミノルタ株式会社
【出願日】 平成１１年６月２９日（１９９９．６．２９）
【代理人】 【識別番号】１０００８９２３３
【弁理士】
【氏名又は名称】吉田 茂明 （外２名）
【公開番号】 特開２００１−１２９２２（Ｐ２００１−１２９２２Ａ）
【公開日】 平成１３年１月１９日（２００１．１．１９）
【出願番号】 特願平１１−１８３７０１