| 【発明の名称】 |
撮像装置および方法 |
| 【発明者】 |
【氏名】林 和慶
【氏名】芦ヶ原 隆之
|
| 【要約】 |
【課題】ステレオ法に用いて好適な３枚の画像を既存のカメラを用いて当時に撮影する。
【解決手段】ステレオアタッチメント４は、被写体の光画像の光量を落としてレンズ２に入射させる減光フィルタ５、仮想的な視点Ａで観察される被写体の光画像がミラー７に向けて反射するように設けられたミラー６、ミラー６からの被写体の光画像がレンズ２に入射されるように配置されたミラー７、仮想的な視点Ｂで観察される被写体の光画像がミラー９に向けて反射するように設けられたミラー８、および、ミラー８からの被写体の光画像がレンズ２に入射されるように配置されたミラー９から構成される。 |
【特許請求の範囲】
【請求項１】 被写体の３次元形状をステレオ法に基づいて計測するとき用いる画像データを生成する撮像装置において、光画像に感光して画像データを生成する感光手段と、前記感光手段に前記被写体の前記光画像を入射する入射手段と、前記入射手段の視野を３つに分割する分割手段とを含むことを特徴とする撮像装置。
【請求項２】 前記分割手段は、前記入射手段が異なる３点の視点に対応する３つの前記光画像を前記感光手段に入射するように、前記入射手段の前記視野を３つに分割することを特徴とする請求項１に記載の撮像装置。
【請求項３】 前記３点の異なる前記視点のうちの両端の前記視点の一方から前記被写体までの距離は、他方から前記被写体までの距離と等しいことを特徴とする請求項２に記載の撮像装置。
【請求項４】 前記３点の異なる前記視点のうちの両端の前記視点の一方から前記被写体までの距離は、他方から前記被写体までの距離と異なることを特徴とする請求項２に記載の撮像装置。
【請求項５】 前記分割手段は、前記入射手段が前記異なる３点の前記視点に対応する３つの前記光画像のうち、中心の前記光画像が上方または下方のうちの一方にずらされ、且つ、両端の前記光画像が上方または下方のうちの他方にずらされて前記感光手段に入射するように、前記入射手段の前記水平方向視野を３つに分割することを特徴とする請求項１に記載の撮像装置。
【請求項６】 前記分割手段は、脱着可能であることを特徴とする請求項１に記載の撮像装置。
【請求項７】 被写体の３次元形状をステレオ法に基づいて計測するとき、感光手段に光画像を入射して画像データを生成する撮像装置の撮像方法において、光画像に感光して画像データを生成する前記感光手段に前記被写体の前記光画像を入射する入射ステップと、前記感光手段に対する視野を３つに分割する分割ステップとを含むことを特徴とする撮像方法。
|
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、撮像装置および方法に関し、例えば、被写体の３次元形状をステレオ法に基づいて計測するとき用いる画像を撮像する場合に用いて好適な撮像装置および方法に関する。
【０００２】
【従来の技術】物体の３次元形状を計測するために、当該物体（以下、被写体と記述する）を異なる複数の視点から同時に撮影し、得られる画像間で各画素の対応点を探索し、対応する画素の視差に基づいて、視点から被写体までの距離を得る方法が知られている。この方法は、一般にステレオ法と呼ばれている。
【０００３】一方、微細な視差がある２枚の画像を人が両目で見た場合、当該画像を立体的に視覚できることが知られており、そのような２枚の画像（以下、ステレオ画像と記述する）を同時に撮影することができるステレオカメラが存在する。既存のステレオカメラには、２枚の画像を撮影するために２つのレンズを備えるものや、レンズを１つ備える通常のカメラの当該レンズの被写体側に、レンズの視野を２つに分割するアタッチメントを取り付けるものがある。
【０００４】既存のステレオカメラによって撮影されるステレオ画像は、人が両眼で見ることによって立体的に視覚することを目的としているので、その枚数は２枚であり、２枚の画像のサイズおよび画角が同一とされている。
【０００５】
【発明が解決しようとする課題】ところで、上述したステレオ法を、既存のステレオカメラで撮影したステレオ画像に適用して、被写体の３次元形状を計測することも可能ではあるが、次のような課題が存在する。
【０００６】例えば、人の顔のような中央に凸部（人の鼻等）がある被写体の場合、凸部の両端部分において、隠れが生じ、一方の画像には写し出されるが、他方の画像には写し出されないことがあり、その領域はステレオ画像間で対応点付けができないので、その領域の３次元形状を計測することができない課題があった。
【０００７】ステレオ画像間の各画素で対応点を探索する場合、一般には、注目した画素を中心とする所定の大きさの画像領域を比較して対応点を決定するブロックマッチング方式が用いられるが、被写体がステレオカメラに対して並行ではなく斜めに位置する場合、実際には対応している点同士であっても、ステレオ画像のそれぞれのマッチングブロック内の画像が異なるものとなってしまう。この現象は、ステレオカメラに対する被写体の傾きが増すほど顕著になり、マッチングエラーが生じ易くなる課題があった。
【０００８】３次元形状の計測結果を用いて、例えばコンピュータグラフィックスにより被写体の３次元モデルを生成する場合、ステレオ画像のうちの一方の画像をテクスチャとして、計測した３次元形状にレンダリングすることになる。したがって、例えば人の顔が画被写体であって、ステレオ画像が顔の正面からそれぞれ左右にずれた位置からの画像である場合、生成された３次元モデルの視線が正面を向かない課題があった。また、ステレオ画像のうち、一方の画像が顔の正面からの画像であり、他方の画像が左右のどちらかにずれた位置からの画像である場合、生成される３次元モデルが左右対称とならない課題があった。
【０００９】ステレオ法では、ステレオ画像のうち、一方を基準画像とし、他方を参照画像として対応点付けを行うが、さらに参照画像の数が増加すれば、より高精度に対応点付けが行えることが知られている。しかしながら、従来のステレオカメラでは、同時に２枚だけしか撮影することができない課題があった。
【００１０】また、通常のカメラにアタッチメントを取り付けてステレオカメラとする方法に関して、当該カメラにオートフォーカス機能が備えられている場合、オートフォーカスは一般的に画像の中心部分を用いてフォーカス調整するため、アタッチメントを付けた状態では、画像の中心で領域が分割されるので、正確なオートフォーカスを実行することが困難である課題があった。
【００１１】本発明はこのような状況に鑑みてなされたものであり、ステレオ法に用いて好適な３枚の画像を既存のカメラを用いて当時に撮影することができるようにすることを目的とする。
【００１２】
【課題を解決するための手段】本発明の撮像装置は、光画像に感光して画像データを生成する感光手段と、感光手段に被写体の光画像を入射する入射手段と、入射手段の視野を３つに分割する分割手段とを含むことを特徴とする。
【００１３】前記分割手段は、入射手段が異なる３点の視点に対応する３つの光画像を感光手段に入射するように、入射手段の視野を３つに分割するようにすることができる。
【００１４】前記分割手段は、入射手段が異なる３点の視点に対応する３つの光画像のうち、中心の光画像が上方または下方のうちの一方にずらされ、且つ、両端の光画像が上方または下方のうちの他方にずらされて感光手段に入射するように、入射手段の水平方向視野を３つに分割するようにすることができる。
【００１５】前記分割手段は、脱着可能であるようにすることができる。
【００１６】本発明の撮像方法は、光画像に感光して画像データを生成する感光手段に被写体の光画像を入射する入射ステップと、感光手段に対する視野を３つに分割する分割ステップとを含むことを特徴とする。
【００１７】本発明の撮像装置および方法においては、視野が３つに分割された状態で、被写体の光画像が入射され、光画像に感光して画像データが生成される。
【００１８】
【発明の実施の形態】本発明を適用したステレオ画像撮影システムの構成例について、図１を参照して説明する。図１は、ステレオ画像撮影システムを真上から見下ろした状態を示している。ステレオ画像撮影システムは、通常のカメラ１、およびカメラ１の被写体側に装着されるステレオアタッチメント４から構成される。
【００１９】カメラ１は、既存のフィルムカメラ、ディジタルスチルカメラ、ビデオカメラ等である。カメラ１は、ステレオアタッチメント４を介して入力される被写体の光画像を撮像素子３に集光するレンズ２、および、レンズ２により集光された光画像を画像データとして保持する撮像素子３から構成される。カメラ１がフィルムカメラである場合、撮像素子３はフィルムに相当し、カメラ１がディジタルスチルカメラまたはビデオカメラである場合、撮像素子３はCCD(Charge Coupled Device)等の光電変換素子に相当する。撮像素子３では、光画像の輝度値が上限値（飽和値）を超えず、また、光画像中の暗い部分もノイズに埋もれることなく検知して、光画像のダイナミックレンジをできるだけ大きくする。
【００２０】カメラ１の撮影視野は、レンズ２と撮像素子３の位置関係により決定される。図１においては、水平視野角度が４４度（３５ミリ換算で焦点距離ｆ＝４５ミリ）の例を示している。
【００２１】ステレオアタッチメント４は、カメラ１の被写体側の面に備えられているフィルタネジ（不図示）、またはカメラ１の本体に備えられている保持機構（不図示）により、カメラ１に脱着可能に装着できるようになされている。
【００２２】ステレオアタッチメント４は、被写体の光画像の光量を落としてレンズ２に入射させる減光フィルタ５、仮想的な視点Ａで観察される被写体の光画像がミラー７に向けて反射するように設けられたミラー６、ミラー６からの被写体の光画像がレンズ２に入射されるように配置されたミラー７、仮想的な視点Ｂで観察される被写体の光画像がミラー９に向けて反射するように設けられたミラー８、および、ミラー８からの被写体の光画像がレンズ２に入射されるように配置されたミラー９から構成される。ミラー６乃至８の反射率は、通常、１．０よりも小さい。
【００２３】減光フィルタ５は、ミラー６，７、またはミラー８，９によって反射された後にレンズ２に入射される被写体の光画像の光量（反射率が１．０よりも小さいので光量が落ちている）と、減光フィルタ５を介してレンズ２に入射される被写体の光画像の光量を揃えるために設けられる。したがって、ミラー６乃至８の反射率がほぼ１．０であり、反射によって光量が落ちていないようであれば、減光フィルタ５を省略してもかまわない。
【００２４】ミラー６乃至９の配置および角度は、被写体までの距離（撮影距離）に応じて、適宜、調整が可能である。また、ミラー７，９の配置および角度を変更することにより、撮像素子３の中心領域に集光される光画像の水平視野角度を変更することが可能である。図１においては、中心領域の水平視野角度は１５度とされ、撮像素子３の左右それぞれの領域に集光される光画像の水平視野角度は、それぞれ、１４．５度とされている。
【００２５】次に、動作について説明する。ステレオアタッチメント４は、３つの異なる視点（点Ａ，Ｂ、およびレンズ２の中心点）から観察される被写体の３つの光画像をカメラ１に入射させ、カメラ１のレンズ２は、３つの光画像を撮像素子３の異なる領域に集光する。具体的には、図２に示すように、仮想的な視点Ａで観察される被写体の光画像は、カメラ１から被写体に向いた方向で、撮像素子３の右側の約１／３の領域に集光される。仮想的な視点Ｂで観察される被写体の光画像は、同方向で、撮像素子３の左側の約１／３の領域に集光される。また、レンズ２の中心点で観察される被写体の光画像は、撮像素子３の中心の約１／３の領域に集光される。
【００２６】なお、撮像素子３の中心の領域に写像された画像は、ステレオ法における基準画像として用いられ、撮像素子３の左右それぞれの領域に写像された画像は、ステレオ法における参照画像として用いられる。したがって、当該ステレオ画像撮影システムによれば、１枚の基準画像に対して、２枚の参照画像を得られることになる。
【００２７】次に、図３にカメラ１から被写体を向いた方向における、カメラアタッチメント４を構成するミラー６乃至９の配置を示している。同図に示すように、ミラー６乃至９は、カメラ１、ステレオアタッチメント４および被写体がなす平面に対して、垂直に配置される。ただし、カメラ１およびステレオアタッチメント４に対して、被写体が上方または下方に位置する場合、カメラ１およびステレオアタッチメント４が成す平面に対して、ミラー６乃至９を垂直に配置しなくてもよい。
【００２８】このように、撮像素子３の中心領域に集光される光画像の水平視野角度は、次の理由により、カメラ１の水平視野角の１／３よりも若干大きい角度に設定する。
【００２９】第１の理由について説明する。撮像素子３の中心領域に集光される光画像に対応する視点（レンズ２の中心点）は、仮想的な視点Ａ，Ｂに比較して、被写体との距離が若干近い。よって、撮像素子３の左右それぞれの領域に集光される光画像としての被写体の大きさは、撮像素子３の中心領域に集光される光画像としての被写体の大きさよりも小さくなる。
【００３０】したがって、撮像素子３の中心領域に集光される光画像の水平視野角度と、撮像素子３の左右それぞれの領域に集光される光画像のそれぞれの水平視野角度を等しくした場合、撮像素子３の中心領域に比較して、撮像素子３の左右それぞれの領域では、被写体以外の背景等が占める無駄な部分が多くなる。そこで、撮像素子３の中心領域に集光される光画像の水平視野角度を他よりも若干広くすることで、撮像素子３を有効に利用するようにする。
【００３１】第２の理由について説明する。例えば、被写体上のＤ点を、仮想的な視点Ａから撮影することができるが、仮想的な視点Ｂから撮影することは困難である。仮に、仮想的な視点Ｂから撮影することができたとしても、視線方向と被写体表面の法線方向との違いが大きいので、斜め方向から撮影することになり、撮影された像が大きく歪んでしまい対応点付けが困難となる。
【００３２】したがって、被写体上のＤ点を、敢えて仮想的な視点Ｂから撮影する必要はなく、仮想的な視点Ａから撮影した画像を対応点付けに用いた方がよい。よって、仮想的な視点Ｂから撮影する画像は、被写体の向かって左側（Ｄ点側）が若干欠けていてもよい。同様に、仮想的な視点Ａから撮影する画像は、被写体の向かって左側（Ｃ点側）が若干欠けていてもよい。したがって、撮像素子３の左右それぞれの領域に集光される光画像のそれぞれの水平視野角度が、撮像素子３の中心領域に集光される光画像の水平視野角度よりも若干狭くてもよい。
【００３３】次に、被写体の形状が円形である場合において、撮像素子３の領域をより有効に分割する方法について説明する。具体的には、図４および図５に示すように、ミラー６，８の上部を被写体から遠ざけるようにして反射面を傾け、且つ、ミラー７，９の形状を台形とする。さらに、ミラー６乃至９で反射されずに入射される光画像が、撮像素子３の上部に射影されるように、被写体を若干下方から見上げるように撮影する。
【００３４】これにより、撮像素子３の領域は、図６に示すように分割され、左右の各領域に入射される光画像は、領域の下部に射影され、中央の領域に入射される光画像は、領域の上部に射影される。
【００３５】なお、ミラー６乃至９の角度や形状は、撮像素子３に入射される３つの光画像が、図６に示すように写像されるのであれば、図４および図５に示したものに限定されない。
【００３６】図６に示した撮像素子３の分割の例が、図２に示した撮像素子３の分割の例よりも、撮像素子３の領域をより有効に利用できることについて、図７および図８を参照して説明する。なお、説明を簡略化するために、以下においては、撮像部３に入射される被写体の写像の大きさが等しいものとする。
【００３７】図３に示したミラー６乃至９の配置および角度によれば、撮像素子３は、図７に示すように、３つの長方形の領域に分割される（図２に示した例と同様である）。いま、撮像素子３の縦の幅をＨとし、横の幅をＷとし、３つの長方形の各領域に入射される円形の被写体の写像をそれぞれ円Ｃ１乃至Ｃ３とした場合、円形の写像Ｃ１乃至Ｃ３の直径Ｌの最大値Ｌmax＝Ｗ／３となる。
【００３８】一方、ミラー６乃至９を図４および図５に示したように調整して、被写体の光画像が、図８に示すように、撮像素子３の中心の領域においては、上部にオフセットして写像され、撮像素子３の左右それぞれの領域においては、下部にオフセットして写像されるようにした場合、撮像素子３の領域は、線ＱＰおよび線ＳＰにより分割されることになる。ただし、点Ｐは、撮像素子３の横の幅の中点とする。すると、左右それぞれの領域の円形の写像Ｃ２’，Ｃ３’の中心の横方向の位置と、点Ｓまたは点Ｑの横方向の位置が一致することになる。
【００３９】この場合、各領域の円形の写像Ｃ１’乃至Ｃ３’の直径Ｌ’の最大値Ｌ’maxは、次式を解くことにより算出される。
ｒ3−Ｗｒ2＋（（ＷＨ／２）＋Ｗ2／４）ｒ−ＨＷ2／８＝０ただし、ｒ＝Ｌ’max／２である。
【００４０】例えば、撮像素子３の縦横比が一般的なCCDと同様に、３：４（Ｈ＝３，Ｗ＝４）である場合、図７の円形の写像Ｃ１乃至Ｃ３の直径Ｌの最大値Ｌmax＝４／３＝１．３３となり、図８の円形の写像Ｃ１’乃至Ｃ３’の直径Ｌ’の最大値Ｌ’max＝１．６２（ｒ＝０．８１）となる。
【００４１】例えばまた、撮像素子３の縦横比が一般的な３５ミリフィルムと同様に、２：３（Ｈ＝２，Ｗ＝３）である場合、図７の円形の写像Ｃ１乃至Ｃ３の直径Ｌの最大値Ｌmax＝３／３＝１．０となり、図８の円形の写像Ｃ１’乃至Ｃ３’の直径Ｌ’の最大値Ｌ’max＝１．１７となる。
【００４２】したがって、図７の例よりも図８の例の方が、円形の写像が占める撮像素子３の領域が広くなるので、対応点付けの精度をより高めることが可能となる。
【００４３】図８の例のように撮像素子３を分割することによる他の利点について、図９を参照して説明する。図９において、Ｓ０は撮像素子３の中心の領域を示しており、Ｓ１は撮像素子３の左側の領域を示しており、Ｓ２は撮像素子３の右側の領域を示している。領域Ｓ０の点Ｒに対応する領域Ｓ１または領域Ｓ２上の対応点を探索する場合には、領域Ｓ１または領域Ｓ２上のエピポーララインに沿って対応点を探索する方法が一般的である。
【００４４】ここで、エピポーララインとは、領域Ｓ０の一点Ｒに写像される実空間上の直線ＰＱが、領域Ｓ１に写像される直線Ｐ１Ｑ１、および、領域Ｓ２に写像される直線Ｐ２Ｑ２を指している。
【００４５】ところで、撮像素子３を図７の例のように分割して利用した場合、左右それぞれの領域におけるエピポーララインは、撮像素子３上において水平な直線となる。しかしながら、撮像素子３を図８の例のように分割して利用した場合、左右それぞれの領域におけるエピポーララインは、図９に示すように、撮像素子３上において斜めの直線となる。
【００４６】一般に、ステレオ画像間の対応点付けでは、撮影する画像の中には水平線や垂直線が多く含まれているので、エピポーララインが水平であるよりも斜めである方が、対応点を探索し易く、ロバスト性が高まることが知られている。
【００４７】したがって、図８の例のように撮像素子３を分割することにより対応点付けにおいてロバスト性を高めることが可能となる。
【００４８】なお、図６に示した例とは反対に、被写体の光画像が、撮像素子３の中心の領域においては、下部にオフセットして写像され、撮像素子３の左右それぞれの領域においては、上部にオフセットして写像されるようにしても、同様の効果を得ることができる。
【００４９】ところで、ステレオ法において、１枚の基準画像に対して複数の参照画像を用いる場合、参照画像毎に基線長（基準画像を撮像する視点と参照画像を撮像する視点の距離）を変化させることによって、対応点付けの精度およびロバスト性を高めることができる。なお、１枚の基準画像に対して、基線長が異なる複数の参照画像を用いる方法は、マルチベースラインステレオ法と呼ばれている。
【００５０】図１０は、マルチベースラインステレオ法に用いることができる画像を撮像するステレオ画像撮影システムの構成例を示している。この構成例は、図１の構成例のミラー８、９がミラー２１，２２に置換されたものであり、他の構成要素は同一である。
【００５１】図１１は、カメラ１側から見た、ミラー８，９およびミラー２１，２２の配置、角度、およびサイズを示している。なお、ミラー８，９およびミラー２１，２２の配置、角度、およびサイズは、図１１に示した例に限定されるものではなく、撮像素子３に入射される３つの光画像が、図１２に示すように写像されるのであればよい。
【００５２】ミラー２１は、ミラー６に比較して反射面が大きい。よって、ミラー２１，２２に対応する仮想的な視点Ｂ’は、ミラー６，７に対応する仮想的な視点Ａよりも被写体からの距離が遠くなる。したがって、ミラー２１，２２で反射された後にレンズ２を介して撮像素子３に入射される写像の大きさは、図１２に示すように、ミラー６，７で反射された後にレンズ２を介して撮像素子３に入射される写像の大きさよりも若干小さいものとなる。ただし、図１２は、撮像素子３の写像をレンズ２側から見た状態を示している。
【００５３】なお、ミラー８，９およびミラー２１，２２の配置、角度、およびサイズは、図１１に示した例に限定されるものではなく、撮像素子３に入射される３つの光画像が、図１２に示すように写像されるのであればよい。
【００５４】また、図１１に示したミラー８，９およびミラー２１，２２に関し、ミラー６，２１については、図４に示したミラー６，８と同様に、上部を被写体から遠ざけるようにして反射面を傾け、且つ、ミラー７，２２については、図４に示したミラー７，９と同様に、形状を台形とするようにすれば、図６の例と同様の効果を得ることができる。
【００５５】以上のように、本発明によれば、３つの視点からの画像を撮像することができるので、３次元形状を計測可能な範囲が広くなる。また、３つの視点の全てから撮影することができる被写体に部位については、マルチベースラインステレオ法が適用できるので、３次元形状の計測精度が向上する。
【００５６】また、本発明のステレオアタッチメント４は、撮像素子３の中心部分を分割しないので、撮像素子３の中心部分の画像を用いてフォーカス調整を実行するオートフォーカス機能をカメラ１に備えるようにすることができる。
【００５７】また、本発明によれば、撮像素子３の中心の領域の写像を基準画像とするので、左右対称に３次元形状を計測することが可能となる。また、正面から被写体を撮影した正面画像が得られるので、３次元コンピュータグラフックスソフトウェアでレンダリングした場合、正面画像をテクスチャとして用いることができるので、被写体の視線がずれている等の不自然な描写を抑止することが可能となる。
【００５８】なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００５９】
【発明の効果】以上のように、本発明の撮像装置および方法によれば、水平方向視野を３つに分割した状態で被写体の光画像を入射するようにしたので、ステレオ法に用いて好適な３枚の画像を既存のカメラを用いて当時に撮影することが可能となる。
|
| 【出願人】 |
【識別番号】０００００２１８５
【氏名又は名称】ソニー株式会社
|
| 【出願日】 |
平成１２年４月２０日（２０００．４．２０） |
| 【代理人】 |
【識別番号】１０００８２１３１
【弁理士】
【氏名又は名称】稲本 義雄
|
| 【公開番号】 |
特開２００１−３０５６８２（Ｐ２００１−３０５６８２Ａ） |
| 【公開日】 |
平成１３年１１月２日（２００１．１１．２） |
| 【出願番号】 |
特願２０００−１１８８４３（Ｐ２０００−１１８８４３） |
|