| 【発明の名称】 |
多眼式データ入力装置 |
| 【発明者】 |
【氏名】浜口 敬行
【氏名】上古 琢人
【氏名】広瀬 悟
|
| 【要約】 |
【課題】簡単な構成により、オクルージョンがなく視差が小さくなるような撮影条件を確認しながら撮影を行えるようにし、対応点の探索の精度を向上させて3次元形状を再構成する際の精度を向上させることのできる多眼式データ入力装置を提供すること。
【解決手段】被写体Qの2次元画像QL,QRを互いに異なる複数の視点位置から入力する画像入力部と、表示部12c,13cと、入力された複数の2次元画像QL,QRを互いに重ね合わせて形成される重ね合わせ画像を表示部13cに表示するための重ね合わせ表示制御部と、を有した構成とする。 |
【特許請求の範囲】
【請求項1】被写体の2次元画像を互いに異なる複数の視点位置から入力する画像入力部と、表示部と、入力された複数の2次元画像を互いに重ね合わせて形成される重ね合わせ画像を前記表示部に表示するための重ね合わせ表示制御部と、を有してなることを特徴とする多眼式データ入力装置。 【請求項2】前記2次元画像に基づいて前記被写体の3次元データを算出する算出部を有してなる、請求項1記載の多眼式データ入力装置。 【請求項3】前記画像入力部の基線長が変更可能に構成されてなる、請求項1又は請求項2記載の多眼式データ入力装置。 【請求項4】前記画像入力部の各撮影方向が変更可能に構成されてなる、請求項1又は請求項2記載の多眼式データ入力装置。 【請求項5】前記画像入力部が、それぞれ別個の本体に独立して設けられてなる、請求項1又は請求項2記載の多眼式データ入力装置。 【請求項6】前記重ね合わせ表示制御部は、複数の2次元画像を前記表示部に同時に表示することによって前記重ね合わせ画像を形成する、請求項1乃至請求項5記載の多眼式データ入力装置。 【請求項7】前記重ね合わせ表示制御部は、複数の2次元画像を前記表示部に一定時間毎に交互に表示することによって前記重ね合わせ画像を形成する、請求項1乃至請求項5記載の多眼式データ入力装置。 【請求項8】前記被写体において3次元データの算出の対象とすべき部分を2次元画像から抽出する抽出部を有し、前記抽出部によって抽出された2次元画像によって前記重ね合わせ画像を形成する、請求項1乃至請求項7記載の多眼式データ入力装置。
|
【発明の詳細な説明】【0001】 【発明の属する技術分野】本発明は、3次元データの取得のための多眼式データ入力装置に関する。 【0002】 【従来の技術】従来より、多眼式データ入力装置は、パッシブタイプの3次元データ入力装置の1つとして知られている。多眼式データ入力装置は、2次元画像を得るための複数の入力部、得られた複数の2次元画像に基づいて3次元データを算出する算出部などを有している。 【0003】このような装置を用いて3次元データを生成するには、得られた複数の2次元画像のうち、その1つを基準画像とする。基準画像における被写体を示す領域内の全ての座標点について、他の2次元画像においてそれらに対応する座標点を求める。座標点(対応点)の対応関係に基づいて、ステレオ視の原理により、3次元空間上での点の位置を求める。求められた点の位置データの集合が被写体についての3次元データである。 【0004】 【発明が解決しようとする課題】上に述べた従来の装置では、1つの2次元画像に存在する領域が他の1つの2次元画像に存在しない場合には、それらの間で対応点を求めることができない。また、誤った点を対応点としてしまうことがある。そのような場合には、誤りを含んだ3次元データが生成され、精度のよい3次元形状が形成されない。 【0005】したがって、3次元形状を精度よく再構成するためには、対応点の探索の精度を向上させる必要がある。そのためには、複数の2次元画像の被写体を示す領域について、オクルージョン(死角)をできるだけなくす必要がある。また、複数の2次元画像間において、被写体の注視点を示す座標が大きくずれておらず、視差が余り大きくない2次元画像を得る必要がある。 【0006】ステレオカメラの視差を小さくする技術として、特開平9−74572号公報に記載の装置が提案されている。この従来装置によると、左右の2次元画像をそれぞれの画面に表示するとともに、視差計算部、表示画面制御部、及び読出しパルス制御部などの専用の回路を設け、専用の回路によって画面上における左右の2次元画像の視差を制御する。しかし、この装置では、専用の回路を用いて演算により視差を制御するので、回路が複雑である。 【0007】本発明は、上述の問題に鑑みてなされたもので、簡単な構成により、オクルージョンがなく視差が小さくなるような撮影条件を確認しながら撮影を行えるようにし、対応点の探索の精度を向上させて3次元形状を再構成する際の精度を向上させることのできる多眼式データ入力装置を提供することを目的とする。 【0008】 【課題を解決するための手段】請求項1の発明に係る装置は、図1乃至図6に示すように、被写体Qの2次元画像QL,QRを互いに異なる複数の視点位置から入力する画像入力部12,13と、表示部12c,13c,22と、入力された複数の2次元画像QL,QRを互いに重ね合わせて形成される重ね合わせ画像QSを前記表示部13c,22に表示するための重ね合わせ表示制御部151,21と、を有してなる。 【0009】請求項2の発明に係る装置は、前記2次元画像QL,QRに基づいて前記被写体Qの3次元データを算出する算出部151,21を有してなる。請求項3の発明に係る装置は、前記画像入力部12,13の基線長が変更可能に構成されてなる。 【0010】請求項4の発明に係る装置は、前記画像入力部12,13の各撮影方向が変更可能に構成されてなる。請求項5の発明に係る装置は、前記画像入力部12,13が、それぞれ別個の本体に独立して設けられてなる。 【0011】請求項6の発明に係る装置では、図6に示すように、前記重ね合わせ表示制御部151は、複数の2次元画像QL,QRを前記表示部13cに同時に表示することによって前記重ね合わせ画像QSを形成する。 【0012】請求項7の発明に係る装置では、図8に示すように、前記重ね合わせ表示制御部151は、複数の2次元画像QL,QRを前記表示部13cに一定時間毎に交互に表示することによって前記重ね合わせ画像QSを形成する。 【0013】請求項8の発明に係る装置は、図11及び図12に示すように、前記被写体Qにおいて3次元データの算出の対象とすべき部分を2次元画像QL,QRから抽出する抽出部151を有し、前記抽出部151によって抽出された2次元画像QLE,QREによって前記重ね合わせ画像QSEを形成する。 【0014】 【発明の実施の形態】〔第1の実施形態〕図1は本発明の第1の実施形態を示す多眼入力カメラ5の斜視図、図2は多眼入力カメラ5を含んだ3次元データ生成装置1の構成の例を示す図、図3は多眼入力カメラ5を用いて被写体Qを撮影する際の様子を概念的に示す図である。 【0015】図1に示すように、多眼入力カメラ5には、カメラ本体11、撮影レンズ12a,13aをそれぞれ有する画像入力部12,13、及びシャッター155などが設けられている。なお、図1には示されていないが、多眼入力カメラ5の内部には処理回路15が内蔵されている。 【0016】図2に示すように、3次元データ生成装置1は、情報処理装置4及び多眼入力カメラ5からなる。情報処理装置4は、処理装置21、表示面HGを有した表示装置22、キーボード及びマウスを始めとする入力装置23などからなる。処理装置21には、CPU、RAM、ROM、その他の周辺素子、インタフェース装置、ハードディスク装置、フロッピィディスク装置、CD−ROM装置、モデム、及びその他の機器が内蔵されている。このような情報処理装置4として、適当なプログラムをインストールしたパーソナルコンピュータなどを用いることができる。 【0017】多眼入力カメラ5には、図2に示すように、撮影した2次元画像QL,QR及び後述する重ね合わせ画像を表示するための、液晶パネルなどからなる表示装置12c,13cがそれぞれ設けられている。 【0018】多眼入力カメラ5と情報処理装置4との間では、データ転送を行うことができる。また、多眼入力カメラ5から入力された2次元画像を情報処理装置4において表示することも可能である。情報処理装置4は、多眼入力カメラ5から入力された2次元画像に基づいて、3次元データを生成し、生成した3次元データを表示面HGに表示することができる。 【0019】図3に示すように、被写体Qは、その背景QKとともに2つの撮影レンズ12a,13aによって視差を有して取り込まれ、それぞれの表示装置12c,13cに、2次元画像QL,QRとして表示されている。これらの2次元画像QL,QRに基づいて、3次元データの生成の前処理として、対応点の探索を行う。つまり、2つの2次元画像QL,QRのうちの1つを基準画像とし、基準画像における被写体Qを示す領域内の全ての座標点について、他の2次元画像においてそれらに対応する対応点を求める。対応点に基づいて、ステレオ視の原理によって3次元データを演算により求める。なお、本明細書において、対応点を探索することを対応点探索ということがある。 【0020】図4は対応点探索の概念を説明するための図である。図4において、被写体Qの画像は、画像入力部12,13に設けられた撮像素子12b,13bの撮像面上に結像している。左方の撮像素子12bに結像する2次元画像QLを基準画像とする。なお、撮像素子12b,13bで得られる2次元画像QL,QRは、表示装置12c,13cに表示される2次元画像QL,QRと同じである。対応点探索は、次のようにして行われる。 【0021】すなわち、対応点探索は、被写体Q上の任意の点を注視点Aとした場合に、基準画像を撮像する撮像素子12bの撮像面上における注視点Aを示す点L1が、他の撮像素子13cの撮像面上において如何なる座標の点に対応しているかを求める作業である。対応点探索において、2次元画像QL,QRの輝度を用い、また勾配法又は相関法などの従来公知の方法を用いることができる。これらの方法を用いることにより、図4においては、撮像素子12bの撮像面上の点L1は、撮像素子13cの撮像面上のR1に対応していることが分かる。被写体Q上の全ての点について、このような対応点探索を行うことにより、全ての点について3次元座標上での位置が分かり、被写体Qの3次元形状を求めることができる。 【0022】対応点探索において、基準画像上の各点に対する対応点を求める際に、2次元画像QL,QRにおける注視点Aの相対的な位置の差(視差)が小さい程、対応点を正確に求めることが容易である。そのため、多眼入力カメラ5では、画角内での被写体Qの各点の視差が小さくなるような位置で撮影が可能である。 【0023】図5は多眼入力カメラ5の構成を示すブロック図、図6は表示装置12c,13cに表示される画像の例を示す図、図7は多眼入力カメラ5の概略の動作を示すフローチャートである。 【0024】図5において、多眼入力カメラ5は、上にも述べたように、画像入力部12,13及び処理回路15などからなる。画像入力部12,13には、撮影レンズ12a,13a及び撮像素子12b,13bが設けられる。撮像素子12b,13bとして、モノクロ又はカラーのCCDなどが用いられる。処理回路15は、CPU151、メモリ152,153、位置合わせボタン154、シャッター155、及び表示装置12c,13cなどからなる。なお、図示は省略したが、多眼入力カメラ5の通常の操作のための種々のボタン、その他の機器も備えられている。 【0025】通常は、図6の上段に示すように、撮像素子12bに入力された2次元画像QLは表示装置12cで、撮像素子13bに入力された2次元画像QRは表示装置13cで、それぞれ表示される。位置合わせボタン154を押すと、図6の中段に示すように、2つの2次元画像QL,QRが重ね合わせられ、得られた重ね合わせ画像QSが表示装置13cに表示される。 【0026】重ね合わせの処理は次のようにして行われる。すなわち、撮像素子12b,13bに入力された画像データは、メモリ152,153に一旦格納される。メモリ152,153に格納された画像データは、CPU151によって読み出され、それぞれの輝度値の2分の1の値の画像データが生成され、それらの画像データが、表示装置13cによって元の位置と同じ位置で表示される。 【0027】図6の中断に示す重ね合わせ画像QS1では、2つの2次元画像QL,QRは互いにかなりずれており、視差が大きく、オクルージョンが存在する可能性がある。 【0028】そこで、ユーザは、表示装置13cに表示された重ね合わせ画像QSを見ながら、2つの2次元画像QL,QRのずれが少なくなるようにする。画像のずれを少なくするための方法として、次の方法が考えられる。 ■ 多眼入力カメラ5を移動することなく、その場で振って撮影方向を変える。 ■ 多眼入力カメラ5を被写体Q近づけ又は遠ざけて距離を変える。 ■ 多眼入力カメラ5を被写体Qに向けた状態で距離を保ちながら円弧を描くように移動する。 【0029】また、多眼入力カメラ5の構造が許すならばさらに次の方法が考えられる。 ■ 2つの画像入力部12,13の光軸の交わる角度である輻輳角を変える。 ■ 2つの画像入力部12,13の光軸間の距離である基線長を変える。 【0030】また、上の方法を適当に組み合わせる。これによって、例えば図6の下段に示す重ね合わせ画像QS2のように、2つの2次元画像のずれが少なくなったときに、シャッター155を押す。これによって、そのときの2次元画像QL,QRがメモリ152,153に格納される。その後、CPU151によって、3次元データの再構成のための処理が行われる。 【0031】図7において、画像入力部12,13に入力された2次元画像QL,QRを表示装置12c,13cに表示する(#11)。位置合わせボタン154が押されると(#12でイエス)、重ね合わせ画像QSを表示する(#13)。ユーザは、重ね合わせ画像QSを見ながら、オクルージョンが小さくなるように多眼入力カメラ5を移動し(#14)、適当なところでシャッター155を押して撮影する(#15)。 【0032】このように、多眼入力カメラ5によると、オクルージョンがなく視差が小さくなるような撮影条件を確認しながら、撮影を行うことができる。したがって、対応点の探索の精度を向上させ、3次元形状を再構成する際の精度を向上させることができる。しかも、多眼入力カメラ5の構成が比較的簡単である。 【0033】なお、上の説明では、多眼入力カメラ5において3次元データの生成を行ったが、多眼入力カメラ5に入力された2次元画像QL,QRのデータを情報処理装置4に転送し、情報処理装置4において3次元データの生成を行ってもよい。また、2次元画像QL,QR及び重ね合わせ画像QSを情報処理装置4の表示装置22に表示してもよい。 〔第2の実施形態〕次に、第2の実施形態について説明する。 【0034】図8は第2の実施形態の表示装置13cに表示される画像の例を示す図、図9は多眼入力カメラ5の概略の動作を示すフローチャートである。第2の実施形態において、3次元データ生成装置1の構成は基本的には第1の実施形態と同一である。第1の実施形態では、重ね合わせ画像QSとして、2つの2次元画像QL,QRの輝度値の2分の1の画像データを表示装置13cに同時に表示したが、第2の実施形態では、2次元画像QL,QRの輝度値を変更することなく、一定時間毎に交互に表示する。つまり、各2次元画像QL,QRの表示時間を2分の1にする。この場合の一定時間として、数十分の1秒、例えば60分の1乃至30分の1秒程度とすることができる。 【0035】すなわち、通常は、表示装置12c,13cには、図6の上段に示すように各撮像素子12b,13bに入力された2次元画像QL,QRは、表示装置12c,13cにそれぞれ表示される(#21)。位置合わせボタン154を押すと(#22)、図8(a)に示す2次元画像QLと図8(b)に示す2次元画像QRとが、表示装置13cに交互に表示される。これをユーザが見ると、残像現象によって、図8(c)に示す重ね合わせ画像QS3が観察される(#23)。 【0036】重ね合わせの処理は次のようにして行われる。すなわち、メモリ152,153に格納された2次元画像QL,QRのデータは、CPU151によって読み出され、それぞれ一定時間毎に表示装置13cによって表示される。 【0037】そこで、ユーザは、表示装置13cに表示された重ね合わせ画像QS3を見ながら、2つの2次元画像QL,QRのずれが少なくなるように多眼入力カメラ5を移動する(#24)。例えば図8(d)に示す重ね合わせ画像QS4のように、2つの2次元画像のずれが少なくなったときに、シャッター155を押す(#25)。これによって、そのときの2次元画像QL,QRがメモリ152,153に格納される。 【0038】このように、第2の実施形態においても、オクルージョンがなく視差が小さくなるような撮影条件を確認しながら、撮影を行うことができる。 〔第3の実施形態〕次に、第3の実施形態について説明する。 【0039】図10は第3の実施形態の多眼入力カメラ5Cの構成を示すブロック図、図11及び図12は表示装置12c,13cに表示される画像の例を示す図、図13は多眼入力カメラ5Cの概略の動作を示すフローチャートである。 【0040】第3の実施形態において、3次元データ生成装置1の構成は基本的には第1の実施形態と同一である。第1の実施形態では、被写体Qのみでなく、その背景QKについても、表示装置12c,13cに表示したが、第3の実施形態では、2次元画像QL,QRの中から被写体Qについての領域のみを抽出して表示装置12c,13cに表示する。 【0041】図10において、多眼入力カメラ5Cは、第1の実施形態の多眼入力カメラ5に対して、領域抽出ボタン156が追加されている。領域抽出ボタン156は、これを押すことにより、表示装置12c,13cの表示面上においてカーソルで指定された領域を、領域抽出のための領域として決定する。なお、図示は省略したが、カーソルを移動するためのカーソルボタンが設けられている。 【0042】図11の上段に示すように、通常は、表示装置12c,13cには、各撮像素子12b,13bに入力された2次元画像QL,QRがそれぞれ表示される。表示装置12cにはカーソルCUが表示される。この状態で、図11の中段に示すように、被写体QにカーソルCUを合わせる。そこで領域抽出ボタン156を押すと、左右の2次元画像QL,QRについて抽出処理が行われ、抽出画像QLE,QREが得られる。抽出処理はCPU151によって行われる。 【0043】抽出処理に当たっては、カーソルCUで示される部分の色情報に基づいて、それと同じ色情報を持った領域が抽出画像QLE,QREとして抽出される。図11の例では、被写体Qの顔の部分が抽出画像QLE,QREである。図11の下段に示すように、表示装置12c,13cには、抽出画像QLE,QREが表示される。なお、抽出画像QLE,QREは、抽出された領域についての2次元画像であるが、領域のみを示してもよい。 【0044】そこで、位置合わせボタン154を押すと、図12に示すように、2つの抽出画像QLE,QREが重ね合わせられ、得られた重ね合わせ画像QSEが表示装置13cに表示される。この場合の重ね合わせにおいては、第1の実施形態と同様に、2つの抽出画像QLE,QREが同時に表示される。ユーザは、重ね合わせ画像QSEを見ながら、オクルージョンが小さくなるように多眼入力カメラ5を移動させる。3次元データの再構成のための処理は、抽出画像QLE,QREについてのみ行われる。 【0045】図13において、2次元画像QL,QRを表示装置12c,13cに表示した後(#31)、被写体Qを指定するために領域抽出ボタン156を押すと、被写体Qの抽出が行われる(#32,33)。位置合わせボタン154が押されると(#34でイエス)、重ね合わせ画像QSEを表示する(#35)。ユーザは、重ね合わせ画像QSEを見ながら、オクルージョンが小さくなるように多眼入力カメラ5Cを移動し(#36)、適当なところでシャッター155を押して撮影する(#37)。 【0046】第3の実施形態においては、被写体Qについての領域のみが表示され、背景QKが削除されているので、ユーザにとって見やすく、画像のずれを少なくするための操作が容易である。3次元データの生成が被写体Qの領域のみについて行われ、無駄な演算が行われないので処理時間が短縮される。また、オクルージョンがなく視差が小さくなるような撮影条件を確認しながら、撮影を行うことができる。 〔第4の実施形態〕次に、第4の実施形態について説明する。 【0047】第4の実施形態において、3次元データ生成装置1の構成は基本的には第2の実施形態と同一である。第4の実施形態では、2次元画像QL,QRの中から被写体Qについての領域のみを抽出して表示装置12c,13cに表示する。つまり、第4の実施形態は、第1の実施形態に対する第2の実施形態及び第3の実施形態の各特徴を組み合わせたものである。 【0048】すなわち、第4の実施形態では、領域抽出ボタン156を押すことにより、第3の実施形態と同様に2次元画像QL,QRに対して抽出処理が行われ、抽出画像QLE,QREが得られる。そして、位置合わせボタン154を押すことにより、第2の実施形態と同様に、2つの抽出画像QLE,QREが一定時間毎に交互に表示される。ユーザは、重ね合わせ画像QSEを見ながら、オクルージョンが小さくなるように多眼入力カメラを移動させる。 〔さらに他の実施形態〕上に述べた第1から第4の実施形態に対して、さらに以下に説明する変形例を組み合わせることができる。 〔第5の実施形態〕図14は第5の実施形態を示す多眼入力カメラ5Eの斜視図である。 【0049】図14に示すように、多眼入力カメラ5Eの画像入力部12E,13Eは、左右方向に移動可能な撮影レンズ12Ea,13Eaを備えている。撮影レンズ12Ea,13Eaが移動することによって、基線長が変更される。 【0050】したがって、基線長を変更して、2つの2次元画像QL,QR又は抽出画像QLE,QREのずれが少なくなるように、容易に調整することができる。この多眼入力カメラ5Eは、上の第1から第4の実施形態のいずれにも適用可能である。 〔第6の実施形態〕図15は第6の実施形態を示す多眼入力カメラ5Fの斜視図である。 【0051】図15に示すように、多眼入力カメラ5Eの画像入力部12F,13Fは、水平面内における撮影方向を変更することが可能な撮影レンズ12Fa,13Faを備えている。撮影方向を変更することによって、輻輳角αが変更される。 【0052】したがって、輻輳角αを変更して、2つの2次元画像QL,QR又は抽出画像QLE,QREのずれが少なくなるように容易に調整することができる。この多眼入力カメラ5Fは、上の第1から第5の実施形態のいずれにも適用可能である。 〔第7の実施形態〕図16は第7の実施形態を示す多眼入力カメラ5Gの斜視図である。 【0053】図16に示すように、多眼入力カメラ5Gは、単眼の複数のカメラ5Ga,5Gb、及び基台5Gzからなる。基台5Gz上において、カメラ5Ga,5Gbの設置位置及び撮影方向を調整することにより、基線長及び輻輳角αを任意に設定することが可能である。この多眼入力カメラ5Gは、上の第1から第4の実施形態のいずれにも適用可能である。 【0054】上述の実施形態においては、2次元画像QL,QRとして静止画を入力した場合について説明したが、2次元画像QL,QRとして動画を入力する場合にも同様に適用することが可能である。その他、情報処理装置4、多眼入力カメラ5,5C,5E,5F,5G、3次元データ生成装置1の全体又は各部の構成、形状、材質、処理内容及び順序などは、本発明の趣旨に沿って適宜変更することができる。 【0055】 【発明の効果】本発明によると、簡単な構成により、オクルージョンがなく視差が小さくなるような撮影条件を確認しながら撮影を行える。したがって、対応点の探索の精度を向上させ、3次元形状を再構成する際の精度を向上させることができる。 【0056】請求項3乃至5の発明によると、オクルージョンが少なくなるように容易に調整することができる。請求項8の発明によると、無駄な演算を省略して処理時間を短縮することができる。
|
| 【出願人】 |
【識別番号】000006079 【氏名又は名称】ミノルタ株式会社
|
| 【出願日】 |
平成11年6月29日(1999.6.29) |
| 【代理人】 |
【識別番号】100086933 【弁理士】 【氏名又は名称】久保 幸雄
|
| 【公開番号】 |
特開2001−12910(P2001−12910A) |
| 【公開日】 |
平成13年1月19日(2001.1.19) |
| 【出願番号】 |
特願平11−182735 |
|