トップ :: G 物理学 :: G01 測定;試験




【発明の名称】 ３次元形状計測装置及びそれを用いた３次元彫刻装置
【発明者】 【氏名】河本 明哲
【要約】 【課題】３次元形状計測装置において、コスト及び操作面から商用利用が容易で、かつ人物の頭髪部の３次元形状のように、背景と境界を接する３次元形状の欠落を補間可能な３次元形状の計測を実現することにある。

【解決手段】検出ヘッド１０２等は、バックボード２０１に測定対象１０１である人物の顔を近接させて、その３次元形状を計測する。形状演算部１１０は、３次元形状データにおいて、バックボード２０１に対応する背景データ値を有する画素からなる背景領域と、測定対象１０１に対応する有効データ値を有する画素からなる測定対象有効領域に囲まれ、無効データ値を有する画素からなる欠落領域を抽出し、その抽出された欠落領域を構成する画素を補間する。この結果、測定対象１０１である人物の頭髪部の欠落領域が復元される。
【特許請求の範囲】
【請求項１】 ３次元形状計測機能を有する３次元計測装置であって、計測された測定対象の３次元形状を示す３次元形状データから該測定対象とその背景領域との境界を示す背景境界情報を取得する背景境界取得ユニットと、該取得された背景境界情報に基づいて、前記３次元形状データにおける前記測定対象の欠落領域を補間する補間演算ユニットと、を含むことを特徴とする３次元計測装置。
【請求項２】 ３次元形状計測機能を有する３次元計測装置であって、３次元形状を計測可能な特性を有するバックボードに測定対象を近接させて、該測定対象の３次元形状を前記バックボードの３次元形状と共に計測する計測ユニットと、該計測された３次元形状を示す３次元形状データにおいて、前記バックボードに対応する背景データ値を有する画素からなる背景領域と、前記測定対象に対応する有効データ値を有する画素からなる測定対象有効領域に囲まれ、無効データ値を有する画素からなる背景境界欠落領域を抽出する背景境界欠落領域抽出ユニットと、該抽出された背景境界欠落領域を囲む前記背景領域を構成する画素と該抽出された背景境界欠落領域を囲む前記測定対象有効領域を構成する画素とから、該抽出された背景境界欠落領域を構成する画素を補間する背景境界欠落領域補間演算ユニットと、を含むことを特徴とする３次元計測装置。
【請求項３】 請求項２に記載の装置であって、前記背景境界欠落領域抽出ユニットは、前記３次元形状データにより表現される画像上の水平方向の各画素位置毎に、該画像上の上端から下方に向かって探索を行うことにより、前記３次元形状データの値が前記背景データ値から前記無効データ値に変化する画素を上部輪郭画素として抽出し、その上部輪郭画素から更に下方に向かって探索を行うことにより、前記３次元形状データの値が前記無効データ値から前記有効データ値に変化する画素を下部輪郭画素として抽出し、前記上部輪郭画素と前記下部輪郭画素が共に検出された場合に、該上部輪郭画素と該下部輪郭画素の間を所定の補間演算に基づいて補間し、その間の領域内の各画素位置毎の補間データ値を演算する、ことを特徴とする３次元計測装置。
【請求項４】 請求項２又は３の何れか１項に記載の装置であって、前記背景境界欠落領域抽出ユニットは、前記３次元形状データにより表現される画像上の垂直方向の各画素位置毎に、該画像上の左端から右方に向かって探索を行うことにより、前記３次元形状データの値が前記背景データ値から前記無効データ値に変化する画素を左部輪郭画素として抽出し、その左部輪郭画素から更に右方に向かって探索を行うことにより、前記３次元形状データの値が前記無効データ値から前記有効データ値に変化する画素を右部輪郭画素として抽出し、前記左部輪郭画素と前記右部輪郭画素が共に検出された場合に、該左部輪郭画素と該右部輪郭画素の間を所定の補間演算に基づいて補間し、その間の領域内の各画素位置毎の補間データ値を演算する、ことを特徴とする３次元計測装置。
【請求項５】 請求項２乃至４の何れか１項に記載の装置であって、前記背景境界欠落領域抽出ユニットは、前記３次元形状データにより表現される画像上の垂直方向の各画素位置毎に、該画像上の右端から左方に向かって探索を行うことにより、前記３次元形状データの値が前記背景データ値から前記無効データ値に変化する画素を右部輪郭画素として抽出し、その右部輪郭画素から更に左方に向かって探索を行うことにより、前記３次元形状データの値が前記無効データ値から前記有効データ値に変化する画素を左部輪郭画素として抽出し、前記右部輪郭画素と前記左部輪郭画素が共に検出された場合に、該右部輪郭画素と該左部輪郭画素の間を所定の補間演算に基づいて補間し、その間の領域内の各画素位置毎の補間データ値を演算する、ことを特徴とする３次元計測装置。
【請求項６】 請求項２乃至５の何れか１項に記載の装置であって、前記３次元形状データにおいて、前記測定対象に対応する有効データ値を有する画素からなる測定対象有効領域に囲まれ、無効データ値を有する画素からなる穴状欠落領域を抽出する穴状欠落領域抽出ユニットと、該抽出された穴状欠落領域を囲む前記測定対象有効領域を構成する画素から、該抽出された穴状欠落領域を構成する画素を補間する穴状欠落領域補間演算ユニットと、を更に含むことを特徴とする３次元計測装置。
【請求項７】 請求項２乃至６の何れか１項に記載の３次元形状計測装置を用いた３次元彫刻装置であって、前記背景境界欠落領域又は前記穴状欠落領域を構成する画素が補間された前記３次元形状データを入力して、該３次元形状データに基づいて彫刻ユニットを制御する制御ユニットを含む、ことを特徴とする３次元彫刻装置。
【請求項８】 ３次元形状計測機能を有するコンピュータにより使用されたときにそれによって読み出されるプログラムを記録した記録媒体であって、計測された測定対象の３次元形状を示す３次元形状データから該測定対象とその背景領域との境界を示す背景境界情報を抽出する機能と、該抽出した背景境界情報に基づいて、前記３次元形状データにおける前記測定対象の欠落領域を補間する機能と、を前記コンピュータに行わせるためのプログラムを記録したコンピュータ読出し可能記録媒体。
【請求項９】 ３次元形状計測機能を有するコンピュータにより使用されたときにそれによって読み出されるプログラムを記録した記録媒体であって、３次元形状を計測可能な特性を有するバックボードに測定対象を近接させて、該測定対象の３次元形状を前記バックボードの３次元形状と共に計測する機能と、該計測された３次元形状を示す３次元形状データにおいて、前記バックボードに対応する背景データ値を有する画素からなる背景領域と、前記測定対象に対応する有効データ値を有する画素からなる測定対象有効領域に囲まれ、無効データ値を有する画素からなる背景境界欠落領域を抽出する機能と、該抽出された背景境界欠落領域を囲む前記背景領域を構成する画素と該抽出された背景境界欠落領域を囲む前記測定対象有効領域を構成する画素とから、該抽出された背景境界欠落領域を構成する画素を補間する機能と、を前記コンピュータに行わせるためのプログラムを記録したコンピュータ読出し可能記録媒体。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、測定対象を撮像して得られる画像データに基づいて３次元形状を計測する３次元形状計測技術に関する。
【０００２】
【従来の技術】測定対象を撮像して得られる画像データに基づいて３次元形状を計測する３次元計測技術は、様々な産業分野での応用がなされている。
【０００３】その代表的な応用分野として、測定対象である人物等を撮像して得られる画像データから演算される３次元形状データに基づいて、３次元彫刻機を制御することにより、貴金属メダル、エンブレム、又は木工品等に人物の顔形状等を彫刻可能とする３次元彫刻システムが知られている。
【０００４】このような商業利用を可能とすべく、従来、種々の３次元形状計測システムが商用化されている。そのようなシステムの代表例として、レーザスリット光源から測定対象にレーザスリット光を照射し、そのときの照射角度と測定対象に対する撮像画像データとに基づいて３次元形状を演算する技術が知られている。
【０００５】
【発明が解決しようとする課題】上述のような３次元形状計測システムの実現においては、その利用目的に応じて、測定対象に対応する３次元形状をいかに忠実に再現するかが重要な課題となってくる。
【０００６】しかし、レーザスリット光を利用した非接触型３次元計測システムを代表とする従来の３次元計測技術においては、例えば人物の顔部分の３次元形状の計測において、頭髪部はレーザスリット光を反射しにくいため、頭髪部の３次元形状を正確に再現することが困難で、３次元形状が欠落した領域が発生しやすいという問題点を有している。
【０００７】このため、従来の３次元形状計測技術を、人物の顔形状等をメダルに刻印するシステムに適用しようとした場合に、メダルに刻印された人物の顔像において、頭髪部が不自然にのっぺりしてしまい、商用営業に堪えないメダル商品等が多く製造されてしまうという問題点を有している。
【０００８】人物の頭髪部の３次元形状を正確に再現することのできる３次元形状計測システムを開発することは不可能ではないが、センサの精度、光源の調整、測定時間等の点から、測定対象に多くの制限が課されたり、非常に高精度なセンサが要求されてしまう結果を招き、結局、コスト及び操作面から商用利用が困難なものになってしまうという問題点を有している。
【０００９】本発明の課題は、コスト及び操作面から商用利用が容易で、かつ例えば人物の頭髪部の３次元形状のように、背景と境界を接する３次元形状の欠落を補間可能な３次元形状の計測を実現することにある。
【００１０】
【課題を解決するための手段】本発明は、３次元形状計測機能を有する３次元計測装置を前提とする。この３次元形状計測機能としては、例えば左右からのレーザスリット光の照射に基づく方式、単一のレーザ光の照射に基づく方式、或いは、レーザ光は特には用いない通常の撮像手段に基づく方式等、様々な方式を適用できる。
【００１１】本発明の第１の基本構成は、以下の構成を有する。まず背景境界取得ユニット（形状演算部１１０）は、計測された測定対象（測定対象１０１）の３次元形状を示す３次元形状データからその測定対象とその背景領域との境界を示す背景境界情報（上部輪郭画素の情報）を取得する。この背景境界取得ユニットは、例えばバックボードとともに計測された３次元形状から、バックボードに対応する背景データ値を有する画素からなる背景領域と、無効データ値を有する画素からなる背景境界欠落領域との境界を示す背景境界情報である上部輪郭線情報を抽出する。或いは、背景境界取得ユニットは、例えばバックボードは特には使用せずに計測された３次元形状から、測定対象に対応する有効データ値を有する画素からなる測定対象有効領域の輪郭線情報を、欠落領域にかかる輪郭線部分も含めて背景境界情報として抽出する。この場合に、欠落領域にかかる輪郭線部分は、例えば有効領域の輪郭線部分から、曲線近似等の手法によって復元され、或いは、予め蓄積されている多数の顔の輪郭線情報から選択される。
【００１２】補間演算ユニット（形状演算部１１０）は、抽出された背景境界情報に基づいて、３次元形状データにおける測定対象の欠落領域を補間する。本発明の第２の基本構成は、以下の構成を有する。
【００１３】計測ユニット（検出ヘッド１０２、イメージエンコーダ１０７、スキャナドライバ１１１、パーソナルコンピュータ１０９）は、３次元形状を計測可能な特性を有するバックボード（バックボード２０１）に測定対象（測定対象１０１）を近接させて、その測定対象の３次元形状をバックボードの３次元形状と共に計測する。
【００１４】背景境界欠落領域抽出ユニット（形状演算部１１０）は、その計測された３次元形状を示す３次元形状データにおいて、バックボードに対応する背景データ値を有する画素からなる背景領域と、測定対象に対応する有効データ値を有する画素からなる測定対象有効領域に囲まれ、無効データ値を有する画素からなる背景境界欠落領域を抽出する。
【００１５】背景境界欠落領域補間演算ユニット（形状演算部１１０）は、その抽出された背景境界欠落領域を囲む背景領域を構成する画素とその抽出された背景境界欠落領域を囲む測定対象有効領域を構成する画素とから、その抽出された背景境界欠落領域を構成する画素を補間する。
【００１６】本発明の第３の基本構成は、上述の本発明の第２の基本構成を有する３次元形状計測装置から、背景境界欠落領域又は穴状欠落領域を構成する画素が補間された３次元形状データを入力して、その３次元形状データに基づいて彫刻ユニットを制御する制御ユニットを含む３次元彫刻装置として実現される。
【００１７】上記本発明の各構成により、測定対象である人物等の横顔と背景領域との境界情報又は輪郭情報を正確に抽出することができ、その抽出された境界情報又は輪郭情報に基づいて、背景と境界を接する人物の頭髪部等の３次元形状の欠落を補間することができる。
【００１８】更に具体的には、測定対象である人物等の後ろに立てられ例えばレーザスリット光を反射可能なバックボードと共に、人物の横顔等の３次元形状が計測されることによって、バックボードに対応する背景データ値を有する画素からなる背景領域と、測定対象に対応する有効データ値を有する画素からなる測定対象有効領域に囲まれ、無効データ値を有する画素からなる背景境界欠落領域を容易に抽出することが可能となり、その抽出された背景境界欠落領域を構成する画素の補間を容易に行うことができる。
【００１９】このようにして補間された３次元形状データを用いることにより、３次元彫刻装置による貴金属メダル等への測定対象である人物の横顔等の３次元像の彫刻において、より自然な仕上がりを得ることができる。
【００２０】なお、本発明は、コンピュータにより使用されたときに、上述の本発明の各構成によって実現される機能と同様の機能をコンピュータに行わせるためのコンピュータ読出し可能記録媒体として構成することもできる。
【００２１】
【発明の実施の形態】以下、図面を参照しながら本発明の実施の形態について詳細に説明する。
＜本発明の実施の形態の特徴＞以下に説明する本実施の形態では、測定対象である人物の後ろに立てられレーザスリット光を反射可能なバックボードと共に、人物の横顔の３次元形状が計測されることにより、人物の横顔の輪郭情報を正確に抽出することができる。そして、その抽出された輪郭情報に基づいて、背景と境界を接する人物の頭髪部の３次元形状の欠落を補間することができる。これが、本発明に関連する大きな特徴である。
＜本発明の実施の形態の構成＞図１は本発明による３次元形状計測／３次元彫刻システムの実施の形態の構成図である。
【００２２】３次元形状計測システムは、大きく分けて、検出ヘッド１０２、スキャナドライバ１１１、イメージエンコーダ１０７、及び形状演算部１１０を内蔵するパーソナルコンピュータ１０９とから構成される。
【００２３】検出ヘッド１０２は、測定対象１０１の表面に斜め前方に配置されたレーザスリット光源１０４からレーザスリット光を走査させながら照射させ、ＣＣＤカメラ１０５に各走査位置毎のレーザスリット光の画像を撮像させる装置である。測定時の死角を少なくするために、回転ステージ１０３に載せられたレーザスリット光源１０４が、ＣＣＤカメラ１０５の両側に２台配置される。
【００２４】スキャナドライバ１１１は、回転ステージコントローラ１１３とレーザコントローラ１１２とから構成される。回転ステージコントローラ１１３は、パーソナルコンピュータ１０９からの制御信号に基づいて、２つの回転ステージ１０３のそれぞれの回転動作を制御することにより、それらに載せられている２つのレーザスリット光源１０４によるレーザスリット光の走査動作を制御する。
【００２５】レーザコントローラ１１２は、２つのレーザスリット光源１０４が照射する２つのレーザスリット光の各照射タイミングを制御する。イメージエンコーダ１０７は、ＣＣＤカメラ１０５から出力されるビデオ信号１０６を処理することにより、投光角度コード画像、最大輝度画像、及び最小輝度画像を合成し、それぞれの画像データを合成画像データ１０８としてパーソナルコンピュータ１０９に出力する。
【００２６】パーソナルコンピュータ１０９は、イメージエンコーダ１０７及びスキャナドライバ１１１を制御するほか、測定終了後は、形状演算部１１０がイメージエンコーダ１０７から出力される合成画像データ１０８（投光角度コード化画像データ、最大輝度画像データ、及び最小輝度画像データ）に基づいて、測定対象１０１に対応する３次元形状を演算する。
【００２７】形状演算部１１０が出力する形状データ１１５は、３次元彫刻機１１６に入力される。この３次元彫刻機１１６は、貴金属メダルに、測定対象１０１である人物の横顔の３次元像を彫刻する。
＜バックボード２０１の説明＞図２は、測定対象１０１に対する３次元形状の測定イメージを、上から見た平面図である。
【００２８】本実施の形態では、測定対象１０１は人物の横顔である。この場合に、測定対象１０１は、レーザスリット光を反射可能な例えば黒色のバックボード２０１に寄り掛かるように位置決めされる。
【００２９】検出ヘッド１０２は、バックボード２０１と共に人物の横顔に対して、前述した計測動作を実行することになる。このような計測形態によって、バックボード２０１の仮想平面に対する高さ情報が常に計測可能となるため、人物の横顔の輪郭情報を正確に抽出することが可能となる。そして、この抽出された輪郭情報に基づいて、後述するように、背景と境界を接する人物の頭髪部の３次元形状の欠落を補間することができるのである。
＜本発明の実施の形態による３次元形状計測動作＞図３及び図４は、本実施の形態の全体動作フローチャートである。
計測処理最初に、検出ヘッド１０２による計測処理が実行される（図３のステップ３０１）。
【００３０】図１５は、本実施の形態における３次元形状計測の原理図である。この計測処理においては、図１５に示されるように、まず、検出ヘッド１０２内の左側に配置されるレーザスリット光源１０４（左側レーザスリット光源１０４）から測定対象１０１に向けてレーザスリット光が照射され、その左側レーザスリット光が測定対象１０１の表面全体を走査する。
【００３１】各走査位置毎にＣＣＤカメラ１０５によって撮像された画像は、図１５に示されるように、ビデオ信号１０６として、モニタ装置１５０２に入力されその画像が表示されるほか、イメージエンコーダ１０７に入力する。
【００３２】イメージエンコーダ１０７は、ＣＣＤカメラ１０５から出力されるビデオ信号１０６を処理することにより、測定対象１０１の各表面部分毎に、その表面部分の明るさの変化をリアルタイムにチェックし、レーザスリット光が通過することによってその表面部分が最も明るくなったタイミングを検出し、そのタイミングで回転ステージコントローラ１１３から入力されている回転角度信号１１４を取り込むことにより、各表面部分毎のレーザスリット光の投光角度θ（ｘ，ｙ）からなる投光角度コード画像データ１５０１を合成し、それを左側計測データとしてイメージエンコーダ１０７内の特には図示しない画像メモリに保持する。
【００３３】このとき同時に、イメージエンコーダ１０７は、測定対象１０１の各表面部分毎に、その表面部分が最も明るくなったタイミングにおける明るさを記録して得られる最大輝度画像データと、その表面部分が最も暗くなったタイミングにおける明るさを記録して得られる最小輝度画像データを演算して、それらを左側計測データとしてイメージエンコーダ１０７内の特には図示しない画像メモリに保持する。
【００３４】左側レーザスリット光源１０４によるレーザスリット光の走査が終わると、検出ヘッド１０２内の右側に配置されるレーザスリット光源１０４（右側レーザスリット光源１０４）から測定対象１０１に向けてレーザスリット光が上述の場合と同様に照射され、そのレーザスリット光が測定対象１０１の表面全体を走査することによって、イメージエンコーダ１０７内の画像メモリに、もう１組の投光角度コード画像データ１５０１、最大輝度画像データ、及び最小輝度画像データが、右側計測データとして得られる。
左右計測データの高さ画像データへの変換／合成処理上述した計測処理が終了すると、パーソナルコンピュータ１０９内のＣＰＵが特には図示しないディスク装置に記憶された制御プログラムを実行する動作として実現される形状演算部１１０は、イメージエンコーダ１０７内の特には図示しない画像メモリから左側計測データを取得し、それに基づいて、左側レーザスリット光源１０４によるレーザスリット光の照射に対応する測定対象１０１の半面形状（プロフィル）を示す左側高さ画像データを演算する（図３のステップ３０２）。
【００３５】次に、形状演算部１１０は、イメージエンコーダ１０７内の画像メモリから右側計測データを取得し、それに基づいて、右側レーザスリット光源１０４によるレーザスリット光の照射に対応する測定対象１０１の半面形状を示す右側高さ画像データを演算する（図３のステップ３０３）。
【００３６】その後、形状演算部１１０は、左側高さ画像データと右側高さ画像データを合成することにより、死角の少ない形状データを算出する。まず、左側計測データから左側高さ画像データへの変換処理（図３のステップ３０２）の詳細について説明する。
【００３７】図５は、図３のステップ３０２（及びステップ３０３）の詳細動作を示す動作フローチャート、図１６及び図１７はその説明図である。始めに、形状演算部１１０は、投光角度コード画像において、レーザスリット光が照射されなかった部分を除いて有効領域のみを抽出するマスキング処理を実行するための、マスク画像の作成処理を実行する（図５のステップ５０１）。
【００３８】最大輝度画像から最小輝度画像を差し引くとレーザスリット光の照射による明るさを表わす差画像が得られる。これを利用して、図１６(a) に示されるように、形状演算部１１０は、イメージエンコーダ１０７内の画像メモリから左側計測データに含まれる最大輝度画像データと最小輝度画像データを取得した後、画素毎に、最大輝度画像データから最小輝度画像データを差し引いて差画像データを演算し、その差画像データを２値化することにより、マスク画像を構成するマスク画像データを演算する。マスク画像データは、レーザスリット光が照射された画素において値“１”を有し、レーザスリット光が照射されなかった画素において値“０”を有する。
【００３９】続いて、形状演算部１１０は、イメージエンコーダ１０７内の画像メモリから左側計測データに含まれる投光角度コード画像データ１５０１を取得し、それに対して、生成されたマスク画像データを用いてマスキング処理を実行する（図５のステップ５０２）。
【００４０】具体的には形状演算部１１０は、画素毎に、その画素に対応するマスク画像データの値が“１”なら、その画素に対応する投光角度コード画像データ１５０１の値をそのまま残し、その画素に対応するマスク画像データの値が“０”なら、その画素に対応する投光角度コード画像データ１５０１の値を“０”とする。
【００４１】上記マスキング処理の結果、図１６(b) に示されるように、投光角度コード画像において、レーザスリット光が照射されなかった部分が除かれて有効領域のみが抽出される。
【００４２】続いて、形状演算部１１０は、マスキング処理後の投光角度コード画像に対して、コードノイズ除去処理を実行する（図５のステップ５０３）。この処理においては、マスキングされた投光角度コード画像における投光角度の連続性が判定されることによって、図１６(c) に示されるように、レーザスリット光が照射されなかったノイズ領域が除去される。
【００４３】具体的には、形状演算部１１０は、第１のコードノイズ除去処理として、図１８(a) に示される３画素×３画素からなる空間フィルタを用いたフィルタリング処理を、マスキング後の投光角度コード画像に対し実行する。より具体的には、形状演算部１１０は、各画素位置の投光角度コード画像データ１５０１に、図１８(a) に示される３画素×３画素の空間フィルタの中心位置ａ0 を重ね合わせることにより、投光角度θ（ｘ，ｙ）の連続性を判定するための以下の判定処理を実行する。
【００４４】即ち、形状演算部１１０は、各画素位置の投光角度コード画像データ１５０１に、図１８(a) に示される３画素×３画素の空間フィルタの中心位置ａ0 を重ね合わせる毎に、その中心位置ａ0 に対応する投光角度コード画像データ１５０１について、上記中心位置ａ0 の８近傍位置ａ1 〜ａ8 のそれぞれに対応する各画素位置の投光角度コード画像データ１５０１との間で次式を判定する。なお、次式中のａ0 及びａn （１≦ｎ≦８）は、それぞれ図１８(a) に示される空間フィルタの各位置ａ0 及びａn （１≦ｎ≦８）に対応する画素位置の投光角度コード画像データ１５０１の値（投光角度θ（ｘ，ｙ））を示す。
【００４５】
【数１】｜ａ0 −ａn ｜≦Ｔ1 （１≦ｎ≦８）
ここで、Ｔ1 は第１の閾値レベルである。
【００４６】形状演算部１１０は、上記判定処理の結果、数１式を満たすａn に対応する投光角度コード画像の画素の数がＴ2 画素以上存在する場合に、上記空間フィルタの中心位置ａ0 に対応する投光角度コード画像データ１５０１をそのまま残し、そうでない場合は、上記空間フィルタの中心位置ａ0 に対応する投光角度コード画像データ１５０１を−３２７６８の値に設定する。ここで、Ｔ2 は第２の閾値レベルである。
【００４７】上記第１のコードノイズ除去処理によって、レーザスリット光が照射されなかった大部分のノイズ領域が除去される。次に形状演算部１１０は、第２のコードノイズ除去処理として、図１８(b) に示される３画素×３画素からなる空間フィルタを用いたフィルタリング処理を、上記第１のコードノイズ除去処理後の投光角度コード画像に対し実行する。より具体的には、形状演算部１１０は、各画素位置の投光角度コード画像データ１５０１に、図１８(b) に示される３画素×３画素の空間フィルタの中心位置ａ0 を重ね合わせることにより、孤立画素を除去するための以下の処理を実行する。
【００４８】即ち、形状演算部１１０は、各画素位置の投光角度コード画像データ１５０１に、図１８(b) に示される３画素×３画素の空間フィルタの中心位置ａ0 を重ね合わせる毎に、上記中心位置ａ0 の４近傍位置ａ1 、ａ3 、ａ5 、ａ7 のそれぞれに対応する各画素位置の投光角度コード画像データ１５０１が０以上の値を有する有効データであるか否かを判定する。
【００４９】形状演算部１１０は、上記判定処理の結果、有効データである画素の数がＴ3画素以上存在する場合に、上記空間フィルタの中心位置ａ0 に対応する投光角度コード画像データ１５０１をそのまま残し、そうでない場合は、上記空間フィルタの中心位置ａ0 に対応する投光角度コード画像データ１５０１を−３２７６８の値を有する無効データに設定する。ここでＴ3 は第３の閾値レベルである。
【００５０】上記第２のコードノイズ除去処理によって、レーザスリット光が照射されなかったノイズ領域である孤立画素が除去される。次に、図１７(d) に示されるように、左側計測データである上記第１及び第２のコードノイズ除去処理後の投光角度コード画像データ１５０１から左側高さ画像データへの変換処理が実行される（図５のステップ５０４）。
【００５１】具体的には、形状演算部１１０は、コードノイズ除去処理後の投光角度コード画像データ１５０１を構成する測定対象１０１の各表面部分に対する左側レーザスリット光の投光角度θ（ｘ，ｙ）（図１５参照）を用いて、次式に対応する演算処理を実行することによって、左側レーザスリット光の照射に対応する測定対象１０１の半面形状（プロフィル）を示す左側高さ画像データｆ（ｘ，ｙ）を計測する。
【００５２】
【数２】
ｆ（ｘ，ｙ）＝ｚ0 −（ｘ0 −ｘ）ｔａｎθ（ｘ，ｙ）
ここで図１５に示されるように、ｘ0 はレーザスリット光源１０４の回転中心のｘ座標、ｚ0 はＣＣＤカメラ１０５の焦点と測定対象１０１との距離である。
【００５３】以上図５のステップ５０１〜５０４の一連の処理によって示される図３のステップ３０２の処理によって、左側計測データから左側高さ画像データへの変換処理が実現される。左側高さ画像データは、符号付きの２バイト整数として出力され、１０進値で−３２７６８〜＋３２７６７の範囲の値を有する。この場合に、後述する欠落部分は、−３２７６８の値を有する無効データとなる。
【００５４】次に、形状演算部１１０は、イメージエンコーダ１０７内の画像メモリから右側計測データを取得し、それに含まれる最大輝度画像データ、最小輝度画像データ、及び投光角度コード画像データ１５０１に対して、上述の左側計測データから左側高さ画像データへの変換処理の場合と全く同様の、図５のステップ５０１〜５０４の一連の処理で示される図３のステップ３０３の処理を実行することにより、右側計測データから右側高さ画像データへの変換処理を実行する。
【００５５】その後、図１７(e) に示されるように、形状演算部１１０は、図３のステップ３０２で得られた左側高さ画像データとステップ３０３で得られた右側高さ画像データを合成する（図３のステップ３０４）。
【００５６】この合成処理の目的は、左側高さ画像データと右側高さ画像データは、それぞれの画像における死角を補完し合う関係にあるため、２つの画像データの有効領域が重ね合わせられて合成されることにより、死角の少ない高さ画像データを得られるためである。
【００５７】具体的には、形状演算部１１０は、各画素位置毎に、左側高さ画像データと右側高さ画像データを比較し、値が小さい方（高さが低い方）のデータを選択し、その結果得られる高さ画像データを出力する。
【００５８】なお、形状演算部１１０は、各画素位置毎に、左側高さ画像データ又は右側高さ画像データの何れか一方のみが−３２７６８の値を有する無効データである場合には、有効データを選択する。
欠落部分抽出処理図３のステップ３０４によって高さ画像データが合成された後に、その高さ画像データから欠落部分を抽出するための処理が実行される（図４のステップ３０５）。
【００５９】「発明が解決しようとする課題」の項において説明したように、頭髪部はレーザスリット光を反射しにくいため、上述のようにして得られた高さ画像データのうち、頭髪部に対応する高さ画像データにおいて欠落が発生しやすい。
【００６０】このような領域の検出精度を向上させることはコスト及び操作面から非現実的である。そこで、本実施の形態では、欠落部分を検出し、その部分に対して補間処理を実行することにより、見かけ上の不自然感をなくすことを可能とする。
【００６１】ここで、欠落部分のようにレーザスリット光が反射しない領域は−３２７６８の値を有する無効データとなるため、無効データを検出することにより欠落部分を抽出することができる。
【００６２】ところが、測定対象１０１である人物の背景に何も無い場合には、背景部分のデータも無効データとなる。このため、単に無効データが検出されるだけでは、背景と境界を接する人物の頭髪部で欠落が生じた場合に、検出された無効データが欠落部分なのか背景部分なのかを判定することができない。
【００６３】このため、本実施の形態においては、図２に示されるように、測定対象１０１である人物が、レーザスリット光を反射可能な例えば黒色のバックボード２０１に寄り掛かるように位置決めされ、検出ヘッド１０２が、バックボード２０１と共に人物の横顔に対して、前述した計測動作を実行する。このような計測形態により、バックボード２０１の仮想平面に対する高さ情報が常に計測可能となるため、人物の横顔の輪郭情報を正確に抽出することが可能となる。そして、この抽出された輪郭情報に基づいて、背景と境界を接する人物の頭髪部の３次元形状の欠落を補間することができるのである。これが本発明に関連する大きな特徴である。
【００６４】図６は図４のステップ３０５の欠落部分抽出処理の詳細を示す動作フローチャート、図１９及び図２０はその処理の説明図である。まず、図１９に示されるように、形状演算部１１０は、図３のステップ３０４で合成された高さ画像データのうち、高さ画像の左上隅の画素に対応する高さ画像データの値を、仮想平面に対するバックボード２０１の高さと仮定し、このデータ値に所定のオフセット値を加えて得られる値を、カットレベルとして抽出する（図６のステップ６０１）。
【００６５】次に、形状演算部１１０は、図３のステップ３０４で合成された各画素毎の高さ画像データから上記カットレベルを減算し、その結果０より小さくなった高さ画像データは全て、−３２７６８の値を有する無効データに変換するレベルカット処理を実行し、この結果得られるデータを新たな高さ画像データとする（図６のステップ６０２）。
【００６６】上述の欠落抽出処理によって、背景部分は０の値を有する有効データとなるため、図２０(a) に示されるように、測定対象１０１である人物の輪郭を明確に決定することができる。そして、欠落部分のみを−３２７６８の値を有する無効データとすることができる。この場合に、背景と境界を接する人物の頭髪の輪郭部分は０の値を有する有効データとなっているため、形状演算部１１０は、後述する頭髪部補間処理によって、図２０(b) に示されるように、０の値を有する背景領域と有効データを有する測定対象１０１の領域とに囲まれた無効データの値を有する領域を検出することにより、背景と境界を接する人物の頭髪部の３次元形状の欠落を補間することが可能となる。
高さノイズ除去処理形状演算部１１０は、図４のステップ３０５によって得たレベルカットされた高さ画像データに対して、高さノイズ除去処理を実行する（図４のステップ３０６）。この処理においては、レベルカットされた高さ画像における高さの連続性が判定されることによって、図１７(f) に示されるように、孤立点画素が除去される。
【００６７】具体的には、形状演算部１１０は、図２１に示される５画素×５画素からなる空間フィルタを用いたフィルタリング処理を、レベルカットされた高さ画像データに対し実行する。より具体的には、形状演算部１１０は、各画素位置の高さ画像データに、図２１に示される５画素×５画素の空間フィルタの中心位置ａ0 を重ね合わせることにより、高さの連続性を判定するための以下の判定処理を実行する。
【００６８】即ち、形状演算部１１０は、各画素位置の高さ画像データに、図２１に示される５画素×５画素の空間フィルタの中心位置ａ0 を重ね合わせる毎に、その中心位置ａ0 に対応する高さ画像データにつき、上記中心位置ａ0 の８近傍位置ａ1〜ａ8 のそれぞれに対応する各画素位置の高さ画像データとの間で次式を判定する。なお、次式中のａ0 及びａn （１≦ｎ≦８）は、それぞれ図２１に示される空間フィルタの各位置ａ0 及びａn （１≦ｎ≦８）に対応する画素位置の高さ画像データの値を示す。
【００６９】
【数３】｜ａ0 −ａn ｜≦Ｔ4 （１≦ｎ≦８）
ここで、Ｔ4 は第４の閾値レベルである。
【００７０】形状演算部１１０は、上記判定処理の結果、数３式を満たすａn に対応する高さ画像の画素の数がＴ5 画素以上存在する場合に、上記空間フィルタの中心位置ａ0 に対応する高さ画像データをそのまま残し、そうでない場合には、上記空間フィルタの中心位置ａ0 に対応する高さ画像データを−３２７６８の値を有する無効データに設定する。ここで、Ｔ5 は第５の閾値レベルである。
頭髪部補間処理次に、形状演算部１１０は、図４のステップ３０６によって高さノイズが除去された高さ画像データに対して、頭髪部補間処理を実行する（図４のステップ３０７）。この処理では、形状演算部１１０は、図２０(b) に示されるように、０の値を有する背景領域と有効データを有する測定対象１０１の領域とに囲まれた無効データの値を有する領域を検出し、その無効データ領域に対して補間処理を実行することにより、背景と境界を接する人物の頭髪部の３次元形状の欠落を補間する。
【００７１】図７は、図４のステップ３０７の頭髪部補間処理を示す動作フローチャートである。形状演算部１１０は、上→下方向補間処理（ステップ７０１）、左→右方向補間処理（ステップ７０２）、右→左方向補間処理（ステップ７０３）、及び各方向補間結果の合成処理（ステップ７０４）の順に実行する。図８及び図９に示される動作フローチャートは、図７のステップ７０１、７０２、及び７０３の各方向補間処理の詳細を示す共通の動作フローチャートであって、Ｃ１、Ｃ２、Ｃ３を任意の文字列としたときに、括弧とスラッシュで囲まれた部分「（Ｃ１／Ｃ２／Ｃ３）」は、図７のステップ７０１の説明においては文字列「Ｃ１」と読み替え、図７のステップ７０２の説明においては文字列「Ｃ２」と読み替え、図７のステップ７０３の説明においては文字列「Ｃ３」と読み替えるものとする。
【００７２】まず、図７のステップ７０１の上→下方向補間処理の詳細について、図８及び図９に示される動作フローチャートと、図２２に示される説明図に基づいて説明する。
【００７３】上→下方向補間処理では、形状演算部１１０（図１）は、図２２(a) に示されるように、図４のステップ３０６により高さノイズが除去された高さ画像において、その高さ画像の水平方向の各画素位置毎に、上端から下方に向かって高さ画像データを探索し、高さ画像データが背景データ→無効データと変化する画素を上部輪郭画素とし、更に下方向に探索を続け、高さ画像データが無効データ→有効データと変化する画素を下部輪郭画素とする。そして、形状演算部１１０は、図２２(b) に示されるように、上記高さ画像の水平方向の各画素位置毎に、上部輪郭画素と下部輪郭画素を検出した場合のみ、上部輪郭画素と下部輪郭画素の間をγ次曲線によって補間し、その領域内の各画素位置毎の補間データ値を演算する。
【００７４】具体的には、図８及び図９に示される動作フローチャートにおいて、高さ画像データは、高さ画像の水平方向画素位置を指定する水平ポインタと、垂直方向画素位置を指定する垂直ポインタとによって、各画素位置に対応する高さ画像データが読み出されるように、パーソナルコンピュータ１０９内の特には図示しない画像メモリに２次元配列として記憶されている。なお、水平ポインタ値は左端画素に対応する値が０でそこから右方向が正方向、垂直ポインタ値は上端画素に対応する値が０でそこから下方向が正方向であるとする。
【００７５】まず、形状演算部１１０は、水平ポインタを高さ画像の左端画素を指示する値０（図２２(a) 参照）にセットする（図８のステップ８０１）。次に、形状演算部１１０は、図８のステップ８０２で垂直ポインタを高さ画像の上端画素を指示する値０にセットした後、図８のステップ８０３で無効データが出現したと判定されるか、図８のステップ８０５で探索画素が下端画素に達したと判定されるまで、図８のステップ８０４でその垂直ポインタの値を＋１ずつインクリメントしながら探索画素位置を順次下方向に移動させてゆく探索処理を繰り返し実行する（図８のステップ８０３→８０４→８０５→８０３のループ処理）。
【００７６】形状演算部１１０は、上述の探索処理ループにおける図８のステップ８０５で探索画素が下端画素に達したと判定した場合には、水平ポインタによって示される現在の水平方向画素位置での処理を中止し、図９のステップ８１５以降の次の水平方向画素位置に対する処理を実行する（図８のステップ８０５→図９のステップ８１５）。
【００７７】一方、形状演算部１１０は、上述の探索処理ループにおける図８のステップ８０３で探索画素のデータが背景データ（０の値を有するデータ）から−３２７６８の値を有する無効データに変化したことを検出すると、現在の探索画素の画素位置を上部輪郭画素（図２２(b) の上部輪郭線を形成する画素）として記憶する（ステップ８０３→８０６）。
【００７８】その後、形状演算部１１０は、図８のステップ８０８で探索画素が下端画素に達したと判定されるか、図８のステップ８０９で無効データが出現したと判定されるまで、図８のステップ８０７で垂直ポインタの値を＋１ずつインクリメントしながら探索画素位置を更に順次下方向に移動させてゆく探索処理を繰り返し実行する（図８のステップ８０７→８０８→８０９→８０７のループ処理）。
【００７９】形状演算部１１０は、上述の探索処理ループにおける図８のステップ８０８で探索画素が下端画素に達したと判定した場合には、水平ポインタによって示される現在の水平方向画素位置での処理を中止し、図９のステップ８１５以降の次の水平方向画素位置に対する処理を実行する（図８のステップ８０８→図９のステップ８１５）。
【００８０】一方、形状演算部１１０は、上述の探索処理ループにおける図８のステップ８０９で探索画素のデータが−３２７６８の値を有する無効データから０より大きい正の値を有する有効データに変化したことを検出すると、その有効データ画素の画素位置とデータ値を記憶する（ステップ８０９→８１０）。
【００８１】続いて、形状演算部１１０は、垂直ポインタの値を更に＋１して（図８のステップ８１１）、上記有効データ画素の１画素下の探索画素も有効データであるか否かを判定する（図８のステップ８１２）。
【００８２】形状演算部１１０は、上記１画素下の探索画素が有効データではないと判定した場合は、図８のステップ８０８以降の探索処理ループに戻る（ステップ８１２→８０８）。即ち、この場合には、上記有効データ画素は孤立点であるため、ノイズとして無視される。
【００８３】一方、形状演算部１１０は、上記１画素下の探索画素も有効データであると判定した場合は、図８のステップ８１０で記憶した有効データ画素と現在の探索画素とで、データ値の大きい方の画素の画素位置とデータ値を下部輪郭画素（図２２(b) の下部輪郭線を形成する画素）として記憶する（図８のステップ８１２→図９のステップ８１３）。
【００８４】上述のようにして現在の水平方向画素位置において、上部輪郭画素と下部輪郭画素がともに検出された場合には、形状演算部１１０は、上部輪郭画素と下部輪郭画素の間で、γ次曲線補間処理を実行する（図９のステップ８１４）。具体的には図２５に示されるように、形状演算部１１０は、図８のステップ８０６で記憶された上部輪郭画素の画素位置のデータ値を所定の補間初期オフセット値にセットし、その上部輪郭画素の画素位置及びデータ値と、図８のステップ８１３で記憶された下部輪郭画素の画素位置及びデータ値を用いて、特には図示しない周知のγ次曲線補間計算式に基づくγ次曲線補間処理を実行することにより、その領域内の各画素の補間データ値を演算し、それぞれを各画素の画素位置と共に記憶する。
【００８５】なお、上部輪郭画素のデータ値を背景データのデータ値０にしないのは、本実施の形態が実現する３次元彫刻機１１６（図１）による貴金属メダルへの測定対象１０１である人物の横顔の３次元像の彫刻において、より自然な結果が得られるためである。
【００８６】但し、上部輪郭画素と下部輪郭画素の画素間隔が所定の閾値を超える場合は、補間処理は中止される。また、補間画素位置が、高さ画像データの下半分の領域にかかる場合には、頭髪部の下の顔部分での余計な補間処理を回避するために、その領域での補間データ値の演算は実行されない。
【００８７】上述のようにして、形状演算部１１０は、現在の水平方向画素位置における補間処理が終了した後、水平ポインタの値を＋１インクリメントすることにより、探索処理を実行する水平方向画素位置を１画素右に移動させる（図９のステップ８１５）。
【００８８】続いて、形状演算部１１０は、新たな水平方向画素位置が高さ画像の右端画素位置を超えたか否かを判定する（図９のステップ８１６）。形状演算部１１０は、新たな水平方向画素位置が高さ画像の右端画素位置を超えていないと判定した場合には、その新たな水平方向画素位置に対して、上述した図８のステップ８０２以降の一連の補間処理を実行する（図９のステップ８１６→図８のステップ８０２）。
【００８９】一方、形状演算部１１０は、新たな水平方向画素位置が高さ画像の右端画素位置を超えたと判定した場合には、図７のステップ７０１の上→下方向補間処理を終了する。
【００９０】以上のようにして、図２２(b) に示されるように、各水平方向画素位置毎に、上部輪郭画素と下部輪郭画素とが探索され、両方が検出できた場合にそれらの画素間でγ次曲線補間処理が実行される。
【００９１】形状演算部１１０は、図７のステップ７０１の上→下方向補間処理を終了した後、図７のステップ７０２の左→右方向補間処理を実行する。左→右方向補間処理では、形状演算部１１０は、上述した図８及び図９に示される動作フローチャートに基づいて、図２３(a) に示されるように、図４のステップ３０６により高さノイズが除去された高さ画像において、その高さ画像の垂直方向上半分の各画素位置毎に、左端から右方に向かって高さ画像データを探索し、高さ画像データが背景データ→無効データと変化する画素を左部輪郭画素とし、更に右方向に探索を続け、高さ画像データが無効データ→有効データと変化する画素を右部輪郭画素とする。そして、形状演算部１１０は、上記高さ画像の垂直方向上半分の各画素位置毎に、左部輪郭画素と右部輪郭画素を検出した場合のみ、左部輪郭画素と右部輪郭画素の間をγ次曲線によって補間し、その領域内の各画素位置毎の補間データ値を演算する。図２３の例では、図２３(b) に示されるように、垂直方向上半分の全ての画素位置で左部輪郭画素を検出できないため、補間処理は実行されない。
【００９２】左→右方向補間処理に対する図８及び図９の動作フローチャートの基本的な制御手順は、上→下方向補間処理の場合と同様であるためその詳細な説明は省略するが、前述したように、図８及び図９の動作フローチャートにおいて、Ｃ１、Ｃ２、Ｃ３を任意の文字列としたときに、括弧とスラッシュで囲まれた部分「（Ｃ１／Ｃ２／Ｃ３）」は、左→右方向補間処理では、文字列「Ｃ２」と読み替えて実行される。
【００９３】なお、左→右方向補間処理で、垂直方向上半分の各画素位置のみで上部輪郭画素と下部輪郭画素の探索処理が実行される（図９のステップ８１６参照）のは、常識的に前髪の頭髪部がその領域にしか存在し得ないためである。
【００９４】また、図９のステップ８１４での実際の補間処理の実行時には、補間画素位置が、高さ画像データの右１／３の領域にかかる場合には、前髪に相当する頭髪部以外の領域での余計な補間処理を回避するために、その領域での補間データ値の演算は実行されない。
【００９５】形状演算部１１０は、上述のようにして図７のステップ７０２の左→右方向補間処理を終了した後、図７のステップ７０３に示される右→左方向補間処理を実行する。
【００９６】右→左方向補間処理では、形状演算部１１０は、前述した図８及び図９に示される動作フローチャートに基づいて、図２４(a) に示されるように、図４のステップ３０６によって高さノイズが除去された高さ画像において、その高さ画像の垂直方向の各画素位置毎に、右端から左方に向かって高さ画像データを探索し、高さ画像データが背景データ→無効データと変化する画素を右部輪郭画素（図２４(b) の右部輪郭線を構成する画素）とし、更に左方向に探索を続け、高さ画像データが無効データ→有効データと変化する画素を左部輪郭画素（図２４(b) の左部輪郭線を構成する画素）とする。そして、形状演算部１１０は、上記高さ画像の垂直方向の各画素位置毎に、右部輪郭画素と左部輪郭画素を検出した場合のみ、右部輪郭画素と左部輪郭画素の間をγ次曲線によって補間し、その領域内の各画素位置毎の補間データ値を演算する。図２４の例では、図２４(b) に示されるようにして、垂直方向の各画素位置で補間処理が実行される。
【００９７】右→左方向補間処理に対する図８及び図９の動作フローチャートの基本的な制御手順は、上→下方向補間処理の場合と同様であるためその詳細な説明は省略するが、前述したように、図８及び図９の動作フローチャートにおいて、Ｃ１、Ｃ２、Ｃ３を任意の文字列としたときに、括弧とスラッシュで囲まれた部分「（Ｃ１／Ｃ２／Ｃ３）」は、右→左方向補間処理では、文字列「Ｃ３」と読み替えて実行される。
【００９８】なお、右→左方向補間処理では、左→右方向補間処理の場合とは異なり、垂直方向の上端から下端までの各画素位置で上部輪郭画素と下部輪郭画素の探索処理が実行される（図９のステップ８１６参照）。これは、後ろ髪の頭髪部がその領域全体で存在し得るためである。
【００９９】形状演算部１１０は、上述のようにして図７のステップ７０３の右→左方向補間処理を終了した後、図７のステップ７０４に示される各方向補間結果の合成処理を実行する。
【０１００】この処理では、形状演算部１１０は、高さ画像の各画素位置毎に、図７のステップ７０１〜７０３での各方向補間処理によって算出された何れか１つの補間データ値のみが存在する場合には、その補間データ値をその画素の高さ画像データとし、図７のステップ７０１〜７０３での各方向補間処理によって算出された何れか２つ以上の補間データ値が存在する場合には、それらの補間データ値の平均値をその画素の高さ画像データとし、そのようにして得られる高さ画像データを頭髪部補間処理前の高さ画像データと合成して出力する。なお、この場合に、適当な空間フィルタを用いて隣接画素間での平滑化が実行されてもよい。
【０１０１】以上のようにして、図４のステップ３０７に示される頭髪部補間処理が実行されることにより、発明が解決しようとする課題であった、背景と境界を接する人物の頭髪部の３次元形状の欠落の補間が実現される。この頭髪部補間処理による効果は、図２６(a) に示される頭髪部補間処理前の高さ画像と、図２６(b) に示される頭髪部補間処理後の高さ画像とを比較すると、非常に大きいものであることが理解される。
穴埋め処理続いて、形状演算部１１０は、図４のステップ３０７により頭髪部が補間された高さ画像データに対して、穴埋め処理を実行する（図４のステップ３０８）。この処理では、形状演算部１１０は、図２７(a) →(f) に示されるように、０より大きい正の値の有効データを有する測定対象１０１の領域に囲まれた無効データの値を有する穴領域を検出し、その穴領域に対して補間処理を実行することにより、上述の頭髪部補間処理において補間されずに残った領域や、前述のコードノイズ除去処理や高さノイズ除去処理でできた無効データ領域を穴埋めする。
【０１０２】図１０は、図４のステップ３０８の穴埋め処理を示す動作フローチャートである。形状演算部１１０は、上→下方向補間処理（ステップ１００１）、左→右方向補間処理（ステップ１００２）、各方向補間結果の合成処理（ステップ１００３）、及び残りの処理（ステップ１００４）の順に実行する。
【０１０３】図１１及び図１２に示される動作フローチャートは、図１０のステップ１００１及び１００２の各方向補間処理の詳細を示す共通の動作フローチャートであって、Ｃ１及びＣ２を任意の文字列としたとき、括弧とスラッシュで囲まれた部分「（Ｃ１／Ｃ２）」は、図１０のステップ１００１の説明においては文字列「Ｃ１」と読み替え、図１０のステップ１００２の説明においては文字列「Ｃ２」と読み替えるものとする。
【０１０４】まず、図１０のステップ１００１の上→下方向補間処理の詳細について、図１１及び図１２に示される動作フローチャートと、図２７に示される説明図に基づいて説明する。
【０１０５】上→下方向補間処理では、形状演算部１１０は、図２７(a) →(b) に示されるように、図４のステップ３０７によって頭髪部補間処理が施された高さ画像において、その高さ画像の水平方向の各画素位置毎に、上端から下方に向かって高さ画像データを探索し、高さ画像データが有効データ→無効データと変化する境界画素である上部穴画素、更にそこから下方に無効データ→有効データと変化する境界画素である下部穴画素を探索し、上部穴画素と下部穴画素を検出した場合のみ、それらの間を直線補間し、その領域内の各画素位置毎の補間データ値を演算する。
【０１０６】なお、穴埋めされる領域は小さい領域である場合がほとんどであるため、穴埋め処理において実行される補間処理では、γ次曲線補間演算が実行される必要はなく、直線補間演算で十分である。
【０１０７】具体的には、図１１及び図１２に示される動作フローチャートにおいて、高さ画像データは、高さ画像の水平方向画素位置を指定する水平ポインタと、垂直方向画素位置を指定する垂直ポインタとによって、各画素位置に対応する高さ画像データが読み出されるように、パーソナルコンピュータ１０９内の特には図示しない画像メモリに２次元配列として記憶されている。なお、水平ポインタ値は左端画素に対応する値が０でそこから右方向が正方向、垂直ポインタ値は上端画素に対応する値が０でそこから下方向が正方向であるとする。
【０１０８】まず、形状演算部１１０は、水平ポインタを高さ画像の左端画素を指示する値０にセットする（図１１のステップ１１０１）。次に、形状演算部１１０は、図１１のステップ１１０２で垂直ポインタを高さ画像の上端画素を指示する値０にセットした後、図１１のステップ１１０３で有効データが出現したと判定されるか、図１１のステップ１１０５で探索画素が下端画素に達したと判定されるまで、図１１のステップ１１０４でその垂直ポインタの値を＋１ずつインクリメントしながら探索画素位置を順次下方向に移動させてゆく探索処理を繰り返し実行する（図１１のステップ１１０３→１１０４→１１０５→１１０３のループ処理）。
【０１０９】形状演算部１１０は、上述の探索処理ループにおける図１１のステップ１１０５で探索画素が下端画素に達したと判定した場合には、水平ポインタによって示される現在の水平方向画素位置での処理を中止し、図１２のステップ１１１５以降の次の水平方向画素位置に対する処理を実行する（図１１のステップ１１０５→図１２のステップ１１１５）。
【０１１０】一方、形状演算部１１０は、上述の探索処理ループにおける図１１のステップ１１０３で探索画素のデータが背景データ（０の値を有するデータ）から０より大きい正の値を有する有効データに変化したことを検出すると（図１１のステップ１１０３の判定がＹＥＳ）、図１１のステップ１１０７で探索画素が下端画素に達したと判定されるか、図１１のステップ１１０８で無効データが出現したと判定されるまで、図１１のステップ１１０６で垂直ポインタの値を＋１ずつインクリメントしながら探索画素位置を更に順次下方向に移動させてゆく探索処理を繰り返し実行する（図１１のステップ１１０６→１１０７→１１０８→１１０６のループ処理）。
【０１１１】形状演算部１１０は、上述の探索処理ループにおける図１１のステップ１１０７で探索画素が下端画素に達したと判定した場合には、水平ポインタによって示される現在の水平方向画素位置での処理を中止し、図１２のステップ１１１５以降の次の水平方向画素位置に対する処理を実行する（図１１のステップ１１０７→図１２のステップ１１１５）。
【０１１２】一方、形状演算部１１０は、上述の探索処理ループにおける図１１のステップ１１０８で探索画素のデータが０より大きい正の値を有する有効データから−３２７６８の値を有する無効データに変化したことを検出すると、その直前の画素の画素位置と有効データ値を、上部穴画素として記憶する（ステップ１１０８→１１０９）。
【０１１３】続いて、形状演算部１１０は、図１２のステップ１１１１で探索画素が下端画素に達したと判定されるか、図１２のステップ１１１２で０より大きい正の値を有する有効データが出現したと判定されるまで、図１２のステップ１１１０で垂直ポインタの値を＋１ずつインクリメントしながら探索画素位置を更に順次下方向に移動させてゆく探索処理を繰り返し実行する（図１２のステップ１１１０→１１１１→１１１２→１１１０のループ処理）。
【０１１４】形状演算部１１０は、上述の探索処理ループにおける図１２のステップ１１１１で探索画素が下端画素に達したと判定した場合には、水平ポインタによって示される現在の水平方向画素位置での処理を中止し、図１２のステップ１１１５以降の次の水平方向画素位置に対する処理を実行する（図１２のステップ１１１１→１１１５）。
【０１１５】一方、形状演算部１１０は、上述の探索処理ループにおける図１２のステップ１１１２で探索画素のデータが−３２７６８の値を有する無効データから０より大きい正の値を有する有効データに変化したことを検出すると、現在の探索画素の画素位置と有効データ値を、下部穴画素として記憶する（ステップ１１１２→１１１３）。
【０１１６】上述のようにして現在の水平方向画素位置において、上部穴画素と下部穴画素がともに検出された場合には、形状演算部１１０は、図１１のステップ１１０９で記憶された上部穴画素の画素位置及び有効データ値と図１２のステップ１１１３で記憶された下部穴画素の画素位置及び有効データ値の間で、直線補間処理を実行することにより、その領域内の各画素の補間データ値を演算し、それぞれを各画素の画素位置と共に記憶する（図１２のステップ１２１４）。
【０１１７】上述のようにして、形状演算部１１０は、現在の水平方向画素位置における補間処理が終了した後、水平ポインタの値を＋１インクリメントすることにより、探索処理を実行する水平方向画素位置を１画素右に移動させる（図１２のステップ１１１５）。
【０１１８】続いて、形状演算部１１０は、新たな水平方向画素位置が高さ画像の右端画素位置を超えたか否かを判定する（図１２のステップ１１１６）。形状演算部１１０は、新たな水平方向画素位置が高さ画像の右端画素位置を超えていないと判定した場合には、その新たな水平方向画素位置に対して、上述した図１１のステップ１１０２以降の一連の補間処理を実行する（図１２のステップ１１１６→図１１のステップ１１０２）。
【０１１９】一方、形状演算部１１０は、新たな水平方向画素位置が高さ画像の右端画素位置を超えたと判定した場合には、図１０のステップ１００１の上→下方向補間処理を終了する。
【０１２０】以上のようにして、図２７(b) に示されるように、各水平方向画素位置毎に、上部穴画素と下部穴画素とが探索され、両方が検出できた場合にそれらの画素間で直線補間処理が実行される。
【０１２１】形状演算部１１０は、図１０のステップ１００１の上→下方向補間処理を終了した後、図１０のステップ１００２の左→右方向補間処理を実行する。左→右方向補間処理では、形状演算部１１０は、上述した図１１及び図１２に示される動作フローチャートに基づいて、図２７(c) に示されるように、図４のステップ３０７により頭髪部補間処理が施された高さ画像において、その高さ画像の垂直方向の各画素位置毎に、左端から右方に向かって高さ画像データを探索し、高さ画像データが有効データ→無効データと変化する境界画素である左部穴画素、更にそこから右方に無効データ→有効データと変化する境界画素である右部穴画素を探索し、左部穴画素と右部穴画素を検出した場合のみ、それらの間を直線補間し、その領域内の各画素位置毎の補間データ値を演算する。
【０１２２】左→右方向補間処理に対する図１１と図１２の動作フローチャートの基本的な制御手順は、上→下方向補間処理の場合と同様であるためその詳細な説明は省略するが、前述したように、図１１と図１２の動作フローチャートにおいて、Ｃ１及びＣ２を任意の文字列としたときに、括弧とスラッシュで囲まれた部分「（Ｃ１／Ｃ２）」は、左→右方向補間処理では、文字列「Ｃ２」と読み替えて実行される。
【０１２３】以上のようにして、図２７(c) に示されるように、各垂直方向画素位置毎に、左部穴画素と右部穴画素とが探索され、両方が検出できた場合にそれらの画素間で直線補間処理が実行される。
【０１２４】形状演算部１１０は、上述のようにして図１０のステップ１００２の左→右方向補間処理を終了した後、図１０のステップ１００３に示される各方向補間結果の合成処理を実行する。
【０１２５】この処理において、形状演算部１１０は、図２７(d) 、(e) 、及び(f) に示されるように、高さ画像の各画素位置毎に、図１０のステップ１００１及び１００２での各方向補間処理によって算出された両方の補間データ値が存在する場合、即ちその画素が閉じた穴の領域内の画素である場合のみ、それらの補間データ値の平均値をその画素の高さ画像データとし、そのようにして得られる高さ画像データを穴埋め処理前の高さ画像データと合成して出力する。なお、この場合に、適当な空間フィルタを用いて隣接画素間での平滑化が実行されてもよい。
【０１２６】一方、形状演算部１１０は、高さ画像の各画素位置毎に、図１０のステップ１００１及び１００２での各方向補間処理によって算出された両方の補間データ値が存在しない場合、即ちその画素が閉じていない穴の領域内の画素である場合には、その画素はバックボード２０１中の誤データであるとして、その画素のデータ値を強制的に背景データ値０に変換し、そのようにして得られる高さ画像データを穴埋め処理前の高さ画像データと合成して出力する。
【０１２７】最後に、形状演算部１１０は、上述の図１０のステップ１００３の各方向補間結果の合成処理の結果として出力される高さ画像データにおいて、最後に残ってしまっている−３２７６８の値を有する無効データを有する画素については、その高さ画像データの値を強制的に背景データ値０に変換し、そのようにして得られる高さ画像データを図１０のステップ１００３の各方向補間結果の合成処理の結果として出力される高さ画像データと合成して出力する（図１０のステップ１００４）。
【０１２８】以上のようにして、図４のステップ３０８に示される穴埋め処理が実行されることにより、余計な無効データ領域が穴埋めされる。
オフセット補正処理続いて、形状演算部１１０は、図４のステップ３０８により穴埋めがなされた高さ画像データに対して、オフセット補正処理を実行する（図４のステップ３０９）。
【０１２９】前述した図４のステップ３０５の欠落部分抽出処理では、図２８(a) に示されるように、各画素毎の高さ画像データから背景の高さに対応するカットレベルが減算されることにより、高さ画像データにおいて背景部分（＋所定のオフセット値）が高さ０の有効データとなるようなレベルカットが実行される。
【０１３０】以下に説明するオフセット補正処理では更に、図２８(b) に示されるように、レーザスリット光の照射における死角部分となる、背景部分から測定対象１０１である人物の顔の鼻部分までの高さに相当するオフセットが補正される。
【０１３１】但し、図１に示される３次元彫刻機１１６による彫刻時には、人物形状はメダルの基部からわずかに盛り上がっている方が鼻より遠い位置の頭髪等が残されて自然な仕上がりを得られるため、実際のオフセット補正処理では、図２８(c) に示されるように、（鼻の高さ−彫刻時のオフセット） のオフセット量がレベルカットされる。
【０１３２】図１３は、図４のステップ３０８のオフセット補正処理の詳細を示す動作フローチャートである。まず、形状演算部１１０は、モニタ装置１５０２（図１５）に、図４のステップ３０８により穴埋めがなされた高さ画像とカーソル線を表示させる（図１３のステップ１３０１）。
【０１３３】次にオペレータが、マウス等の入力装置を用いて、モニタ装置１５０２上のカーソル線を、高さ画像上の鼻の頭に合わせる（図１３のステップ１３０２）。形状演算部１１０は、カーソル線の位置に対応する水平ライン上の各画素の高さ画像データを順次読み込み、最初に見つかった０より大きい値を有する有効データを、鼻の頭と判定する。形状演算部１１０は、その鼻の頭の画素位置から右へｎ画素（例えば１０画素）分の高さ画像データの平均値を演算し、それを鼻の高さとして算出する（図１３のステップ１３０３）。
【０１３４】次にオペレータが通常モードを指定している場合は、形状演算部１１０は、ステップ１３０３で算出した鼻の高さを用い、（鼻の高さ−彫刻時のオフセット）のオフセット量を、図４のステップ３０８により穴埋めがなされた各画素毎の高さ画像データから減算（レベルカット）する（図１３のステップ１３０４→１３０５）。
【０１３５】ここで、測定対象１０１である人物が、頭髪を後ろで束ねていたり、顔の右側（図１の検出ヘッド１０２と反対側）で束ねていると、それらに対応する高さ画像データがレベルカットされてしまう場合がある。
【０１３６】そこで、本実施の形態では、オペレータが上記通常モードのほかに特殊モードを指定できるように構成され、オペレータが特殊モードを指定している場合は、形状演算部１１０は、鼻の高さより低い高さを示す有効データについては、その最大値が鼻の高さになるように、それらの有効データを比例圧縮する（図１３のステップ１３０４→１３０６）。
【０１３７】その後、形状演算部１１０は、鼻の高さより高い高さを示す有効データを抽出し（図１３のステップ１３０７）、それらの有効データから、（鼻の高さ−彫刻時のオフセット） のオフセット量を減算（レベルカット）する（図１３のステップ１３０７→１３０５）。
彫刻データへの変換処理最後に、形状演算部１１０は、図４のステップ３０９によりオフセット補正がなされた高さ画像データを、３次元彫刻機１１６（図１）が処理することのできる彫刻データに変換する（図４のステップ３１０）。
【０１３８】図１４は、図４のステップ３１０の詳細を示す動作フローチャートである。まず、形状演算部１１０は、図４のステップ３０９によりオフセット補正がなされた２５６×２４０画素からなる高さ画像データ（各データは符号付き２バイトデータ）を、２画素×２画素の部分領域に分割し、各部分領域毎に、その部分領域に含まれる４画素分の高さ画像データの平均値を演算して出力する（図１４のステップ１４０１）。この結果、２５６×２４０画素からなる高さ画像データが１２８×１２０個の高さ画像データに圧縮される。
【０１３９】次に、形状演算部１１０は、上記１２８×１２０個の高さ画像データにつき、その最大値が例えば１１４になるように正規化（比例圧縮）する（図１４のステップ１４０２）。この１１４という値の例は、３次元彫刻機１１６による彫刻時のｚ軸方向（深さ方向）の分解能であり、３次元彫刻機１１６の性能に応じて決定される。
【０１４０】続いて、形状演算部１１０は、正規化された１２８×１２０個の高さ画像データにおいて、それが示す高さ画像の左端辺と右端辺に対応する画素の高さ画像データを０とする（図１４のステップ１４０３）。
【０１４１】次に、形状演算部１１０は、上記１２８×１２０個の高さ画像データのそれぞれを、隣接データに対する差分を示すデータ（符号付き１バイトデータ）に変換する（図１４のステップ１４０３）。
【０１４２】更に、形状演算部１１０は、上記１２８×１２０個の高さ差分画像データに対してチェックサムを演算し、その結果得られる１バイトのチェックサムコードを上記１２８×１２０個の高さ差分画像データに付加する（図１４のステップ１４０５）。
【０１４３】最後に、形状演算部１１０は、上記（１２８×１２０個の高さ差分画像データ＋１バイトのチェックサムコード）を、図１に示されるように、形状データ１１５として３次元彫刻機１１６に出力する。
【０１４４】以上のようにして、３次元彫刻機１１６は、特に背景と境界を接する人物の頭髪部の３次元形状の欠落が適切に補間された形状データ１１５に基づいて、非常に自然な３次元人物像を、貴金属メダルに彫刻することができる。
他の実施の形態上述の実施の形態は、３次元彫刻機１１６による貴金属メダルへの３次元人物像の彫刻を目的としたシステム構成を有しているが、本発明はこれに限られるものではなく、プラスチックエンブレムへの３次元人物像の刻印のための金型を目的としたもの、或いは、木工製品への彫刻を目的としたもの等全てに適用することが可能である。
【０１４５】また、本発明は、必ずしも３次元彫刻を目的としたシステムに適用される必要はなく、測定対象１０１を３次元計測した結果を表示又は印刷するようなシステムに適用することもできる。
【０１４６】また、本発明は、バックボードを使用して欠落部分の輪郭情報を抽出する技術に限られるものではなく、例えばバックボードは特には使用せずに計測された３次元形状から抽出された有効な輪郭線情報から、欠落部分にかかっている輪郭線部分を曲線近似等の手法によって復元し、或いは、予め蓄積されている多数の顔の輪郭線情報から選択する手法によって復元し、その復元された欠落部分の輪郭線の情報を用いて欠落部分を補間するように構成されてもよい。
【０１４７】更に、本発明が対象とする３次元形状の計測方式は、左右からのレーザスリット光の照射に基づく方式に限定されるものではなく、レーザ光に限定されるものでもない。
【０１４８】加えて、本発明は、欠落部分は必ずしも人物の頭髪である必要はないことは勿論である。
本実施の形態を実現するプログラムが記録された記録媒体についての補足本発明は、コンピュータにより使用されたときに、上述の本発明の実施の形態の各構成によって実現される機能と同様の機能をコンピュータに行わせるためのコンピュータ読出し可能記録媒体として構成することもできる。
【０１４９】この場合、例えばフロッピィディスク、ＣＤ−ＲＯＭディスク、光ディスク、リムーバブルハードディスク等の可搬型記録媒体や、ネットワーク回線経由で、本発明の実施の形態の各種機能を実現するプログラムが、コンピュータの本体内のメモリ（ＲＡＭ又はハードディスク等）にロードされて、実行される。
【０１５０】
【発明の効果】本発明によれば、測定対象である人物等の横顔と背景領域との境界情報又は輪郭情報を正確に抽出することができ、その抽出された境界情報又は輪郭情報に基づいて、背景と境界を接する人物の頭髪部等の３次元形状の欠落を補間することが可能となる。
【０１５１】更に具体的には、測定対象である人物等の後ろに立てられ例えばレーザスリット光を反射可能なバックボードと共に、人物の横顔等の３次元形状が計測されることによって、バックボードに対応する背景データ値を有する画素からなる背景領域と、測定対象に対応する有効データ値を有する画素からなる測定対象有効領域に囲まれ、無効データ値を有する画素からなる背景境界欠落領域を容易に抽出することが可能となり、その抽出された背景境界欠落領域を構成する画素の補間を容易に行うことが可能となる。
【０１５２】このようにして補間された３次元形状データを用いることにより、３次元彫刻装置による貴金属メダル等への測定対象である人物の横顔等の３次元像の彫刻において、より自然な仕上がりを得ることが可能となる。
【出願人】 【識別番号】５９１０１３７６８
【氏名又は名称】株式会社ペティオ
【識別番号】５９７１３１４０６
【氏名又は名称】河本 明哲
【出願日】 平成９年（１９９７）９月３０日
【代理人】 【弁理士】
【氏名又は名称】野村 泰久
【公開番号】 特開平１１−１０８６３３
【公開日】 平成１１年（１９９９）４月２３日
【出願番号】 特願平９−２８１０６６