トップ :: G 物理学 :: G01 測定;試験




【発明の名称】 画像生成装置および画像生成方法
【発明者】 【氏名】洗井 淳

【氏名】星野 春男

【氏名】三科 智之

【氏名】山田 光穂

【氏名】岡野 文男
【要約】 【課題】撮影画像から視差画像を生成するに際し、装置構成の簡略化と作業の効率化を図ること。

【解決手段】１個のカメラ１３によって、複数のレンズ３５〜３７がアレイ状に配列されたレンズアレイ３８を介して被写体１１，１２を撮影し、該撮影画像を各レンズ３５〜３７に対応した領域に分割して、複数の視差画像を生成する。
【特許請求の範囲】
【請求項１】 被写体を異なる位置から撮影して、画像を生成する装置であって、少なくとも１つの被写体を撮影する１台のカメラと、前記被写体と前記１台のカメラとを結ぶ視線の間に設けられ、前記視線に交差する方向に複数のレンズがアレイ状に配列されたレンズアレイと、前記レンズアレイの各レンズを介して前記１台のカメラにより撮影された撮影画像が入力され、該撮影画像の各部分を前記複数のレンズの各レンズ位置に対応させて領域分割して複数の視差画像を形成する領域分割手段とを具えたことを特徴とする画像生成装置。
【請求項２】 前記領域分割手段は、前記レンズアレイ内における各レンズのレンズ位置を認識する手段と、前記認識されたレンズ位置の各レンズ内に含まれる撮影領域を認識する手段と、前記認識された各レンズに対応した撮影領域に基づいて、複数の視差画像を作成する手段とを含むことを特徴とする請求項１記載の画像生成装置。
【請求項３】 前記レンズアレイは、凹レンズをアレイ状に配列したレンズアレイであることを特徴とする請求項１又は２記載の画像生成装置。
【請求項４】 前記レンズアレイは、凸レンズをアレイ状に配列したレンズアレイであることを特徴とする請求項１又は２記載の画像生成装置。
【請求項５】 被写体を異なる位置から撮影して、画像を生成する画像生成方法であって、少なくとも１つの被写体を、アレイ状に配列された複数のレンズを有するレンズアレイを介して、１台のカメラに入力して撮影する撮影工程と、前記１台のカメラに撮影された撮影画像の各部分を、前記複数のレンズの各レンズ位置に対応させて領域分割して複数の視差画像を形成する領域分割工程とを具えたことを特徴とする画像生成方法。
【請求項６】 前記領域分割工程は、前記レンズアレイ内における各レンズのレンズ位置を認識する工程と、前記認識されたレンズ位置の各レンズ内に含まれる撮影領域を認識する工程と、前記認識された各レンズに対応した撮影領域に基づいて、複数の視差画像を作成する工程とを含むことを特徴とする請求項５記載の画像生成方法。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、画像生成装置および画像生成方法に関し、特に、物体の奥行きを計測する装置に入力するための視差画像を生成する視差画像生成装置および視差画像生成方法に関する。
【０００２】
【従来の技術】従来、異なる位置から撮影された複数の画像を用いて、被写体が撮影される該画像中の位置の違いを測定することにより、カメラから被写体までの距離（奥行き）を計測する奥行き計測装置なるものがある。
【０００３】この奥行き計測装置に入力する複数の画像（視差画像という）は、複数のカメラを並べて撮影することにより生成されていた。
【０００４】ここで、従来における被写体の撮影方法について説明する。図７の装置は、ステレオカメラと呼ばれるもので、左カメラ９３と右カメラ９４とからなる。なお、カメラ９３、９４の光軸９５、９６は、平行であるとする。
【０００５】図８（ａ）〜（ｃ）は、カメラ９３，９４により撮影された被写体の撮影画像である。
【０００６】図８（ａ）は、左カメラ９３が撮影する物体Ｐ９１，Ｑ９２の画像８１を示す。
【０００７】図８（ｂ）は、右カメラ９４が撮影する物体Ｐ９１，Ｑ９２の画像８２を示す。
【０００８】図８（ｃ）は、画像８１，８２を重ねて描いたものであり、カメラから被写体までの距離（奥行き）を計測するために用いられる。
【０００９】そして、図７において、物体Ｐ９１が左右のカメラ９３，９４で撮影される位置の違いに基づく距離８３と、物体Ｑ９２が左右のカメラ９３，９４で撮影される位置の違いに基づく距離８４とを比較すると、より近い位置にある物体Ｑ９２の位置の違いによる距離８４の方が、物体Ｐ９１の位置の違いによる距離８３よりも大きい。
【００１０】従って、このように左右のカメラ９３，９４で撮影される位置の違いによる距離８３，８４を比較することにより、物体の奥行きを計測することができる。
【００１１】また、他の従来例として、光軸を平行にしない例、カメラの台数を２台より多くした例、カメラを水平に並べるだけでなく垂直にも並べる例等の方法が提案されているが、いずれも、複数のカメラを並べて画像を撮影するという共通点がある。
【００１２】
【発明が解決しようとする課題】しかし、上記従来例では、被写体を撮影する場合、複数のカメラを並べて撮影する場合、特に、撮影された画像を用いて奥行きを計測する場合は、各カメラの特性を十分に揃えておく必要がある。
【００１３】なぜならば、各カメラの特性が揃っていないと、同一の物体が各カメラで異なる輝度で撮影される。輝度の異なる物体は、違う物体として認識されるので、その物体の奥行きを計測することはできない。
【００１４】図９のように、右カメラ７４から見て物体Ｐ７１が物体Ｑ７２の陰に隠れる場合を考える。
【００１５】このとき、左のカメラ７３が撮影する画像６１は、図１０（ａ）のようになり、右のカメラ７４が撮影する画像６２は、図１０（ｂ）のようになる。
【００１６】画像６２では、物体Ｐ７１が撮影されないので、物体Ｐ７１が撮影される位置の違いを、画像６１と画像６２との間で測定することはできない。従って、物体Ｐ７１の奥行きを計測することができない。この不都合は、使用するカメラの台数を増やすことによって改善することができる。
【００１７】例えば、図９において破線で示すように、別のカメラ７５を配置すれば、新たに図１０（ｃ）に示す画像６３を撮影することができ、画像６１と画像６３との間で物体Ｐ７１が撮影される位置の違いを測定すれば、その奥行きを計測することができる。
【００１８】しかし、カメラの台数が増えるほど、各カメラの特性を一致させる作業は煩雑になる。
【００１９】そこで、本発明の目的は、撮影画像から視差画像を生成するに際し、装置構成の簡略化および作業の効率化を図ることが可能な画像生成装置および画像生成方法を提供することにある。
【００２０】
【課題を解決するための手段】本発明は、被写体を異なる位置から撮影して、画像を生成する装置であって、少なくとも１つの被写体を撮影する１台のカメラと、前記被写体と前記１台のカメラとを結ぶ視線の間に設けられ、前記視線に交差する方向に複数のレンズがアレイ状に配列されたレンズアレイと、前記レンズアレイの各レンズを介して前記１台のカメラにより撮影された撮影画像が入力され、該撮影画像の各部分を前記複数のレンズの各レンズ位置に対応させて領域分割して複数の視差画像を形成する領域分割手段とを具えることによって、画像生成装置を構成する。
【００２１】本発明は、被写体を異なる位置から撮影して、画像を生成する画像生成方法であって、少なくとも１つの被写体を、アレイ状に配列された複数のレンズを有するレンズアレイを介して、１台のカメラに入力して撮影する撮影工程と、前記１台のカメラに撮影された撮影画像の各部分を、前記複数のレンズの各レンズ位置に対応させて領域分割して複数の視差画像を形成する領域分割工程とを具えることによって、画像生成方法を提供する。
【００２２】ここで、前記領域分割手段は、前記レンズアレイ内における各レンズのレンズ位置を認識する手段と、前記認識されたレンズ位置の各レンズ内に含まれる撮影領域を認識する手段と、前記認識された各レンズに対応した撮影領域に基づいて、複数の視差画像を作成する手段とを含むことができる。
【００２３】前記レンズアレイとして、凹レンズをアレイ状に配列したレンズアレイ、又は、凸レンズをアレイ状に配列したレンズアレイを用いてもよい。
【００２４】
【発明の実施の形態】以下、図面を参照して、本発明の実施の形態を詳細に説明する。
【００２５】［第１の例］本発明の第１の実施の形態を、図１〜図３に基づいて説明する。
【００２６】（システム構成）まず、本発明に係る画像生成装置の構成について説明する。
【００２７】本装置は、被写体側に配設された複数のレンズがアレイ状に配列されたレンズアレイと、光学写真機又はテレビカメラからなるカメラと、カメラの撮影した画像を領域分割する領域分割装置とから構成される。
【００２８】具体的には、図１に示すように、被写体としての２つの物体１１，１２側に配置された凹レンズアレイ１８と、テレビカメラ１３と、テレビカメラ１３の出力側に接続された領域分割装置１４とによって構成される。
【００２９】凹レンズアレイ１８は、凹レンズ１５，１６，１７が横一列に３個並べて構成される。レンズの個数は、特に限定されるものではない。
【００３０】テレビカメラ１３は、凹レンズアレイ１８越しに物体１１，１２を撮影する。
【００３１】領域分割装置１４は、カメラ１３によって撮影された撮影画像２１の各部分がどの位置の凹レンズを通過したのかに応じて、該撮影画像２１を領域分割する。
【００３２】また、レンズアレイ１８を構成するレンズの個数が２以上であれば、どのような配列でも奥行きの計測を行うことができる。この場合、領域分割装置１４の後段に、奥行き測定装置５０を接続することによって、物体間の奥行きを測定する。
【００３３】なお、レンズアレイ１８を構成する各レンズは、凹レンズに限定されるものではなく、凸レンズ、一般的な球面レンズや非球面レンズ、さらには、これらのレンズと同等の光学特性を有する屈折率分布型光ファイバーを用いてもよい。
【００３４】また、領域分割装置１４としては、テレビの番組制作で用いるワイプ装置を流用してもよい。この場合、ワイプ装置は、アナログ方式、デジタル方式のいずれでもよい。
【００３５】（システム動作）次に、本装置の動作について説明する。
【００３６】ここでは、２つの物体Ｐ１１、Ｑ１２を撮影し、その視差画像２２，２３，２４を得る場合について説明する。
【００３７】まず、テレビカメラ１３は、凹レンズアレイ１８越しに物体１１，１２を撮影する。
【００３８】このとき、各凹レンズ１５〜１７によって光が屈折するため、物体１１，１２からテレビカメラ１３に至る光路は複数存在し、物体１１，１２の像が複数撮影される。
【００３９】図２は、テレビカメラ１３によって撮影された撮影画像２１を示す。
【００４０】撮影画像２１の中で、３つの円は、凹レンズ１５〜１７の外形を示す。各凹レンズ１５〜１７の側面部分は光を通さないので、レンズアレイ１８をテレビカメラ１３で撮影すると、レンズの外形が現れる。なお、各レンズ１５〜１７の側面を黒く塗ることによって、より明確なレンズの外形をテレビカメラ１３によって撮影することもできる。
【００４１】そして、外形を示す３つの円で区切られた領域には、対応するレンズ１５〜１７を通った被写体の像が撮影される。このようにして撮影された撮影画像２１は、領域分割装置１４に入力される。この領域分割装置１４では、撮影画像２１の各部分がどの凹レンズ１５〜１７を通過したのかに応じて、該撮影画像２１の領域分割を行う。
【００４２】（領域分割）ここで、入力された撮影画像２１から、各レンズを通過した部分を切り出して、視差画像を作成する領域分割方法について説明する。
【００４３】レンズアレイ１８を構成する凹レンズ１５の外形は、上述したように容易に視認することができる。
【００４４】レンズアレイ１８とテレビカメラ１３との位置関係が固定であるとすると、凹レンズ１５の外形は、常に撮影画像２１内の同じ位置に撮影される。従って、本装置を組み立てた後、テレビカメラ１３が撮影する撮影画像２１を見ながら、撮影画像２１中の凹レンズ１５の外形で囲まれる部分だけを選択して、出力されるようにすればよい。ただし、この選択調整は、マニュアル的な操作のみならず、プログラムによる自動認識によっても行うことができ、装置の組み立て後、位置関係が変わらなければ、１度だけ行えばよい。
【００４５】このようにして撮影画像２１の切り出しを行うことにより、視差画像２２を切り出すことができる。また、他の凹レンズ１６，１７を通過した部分だけを切り出す方法についても同様である。
【００４６】言い替えると、まず、レンズアレイ１８内における各凹レンズ１５のレンズ位置を認識し、その認識されたレンズ位置の各レンズに含まれる撮影画像２１の撮影領域を認識する。その後、その認識されたレンズ位置に対応して撮影領域を分割することによって、図３に示すような視差画像２２〜２４を作成する。
【００４７】図３は、領域分割によって得られた、３つの視差画像２２〜２４を示す。このようにして得られた視差画像２２〜２４は、テレビカメラを３台並べて撮影される前述した画像６１〜６３（図１０（ａ）〜（ｃ）参照）に等しいものである。
【００４８】これにより、視差画像２２〜２４を奥行き計測装置５０に入力することによって、前述した従来の場合と同様な手法により、物体１１と物体１２との間の奥行きを計測することができる。
【００４９】上述したように、凹レンズ１５〜１７を有するレンズアレイ１８を介して、テレビカメラ１３により複数の画像１１，１２を異なる位置から撮影し、この撮影画像２１を領域分割装置１４に入力して領域分割処理を行うことによって視差画像２２〜２４を作成することができ、これにより、従来のような複数台のカメラを並列に配置する必要がないため、カメラの特性の調整といった繁雑な作業をなくすことができる。
【００５０】また、その作成された視差画像２２〜２４を奥行き計測装置に入力することにより、被写体が撮影される該画像中の位置の違いを測定することにより、カメラから被写体までの距離（奥行き）を計測することができる。
【００５１】［第２の例］本発明の第２の実施の形態を、図４〜図６に基づいて説明する。なお、前述した第１の例と同一部分については同一符号を用い、その説明は省略する。
【００５２】本例では、凹レンズ１５，１６，１７の代わりに、凸レンズ３５，３６，３７を用いて凸レンズアレイ３８を構成したものである。その他の構成は、第１の例と同一である。
【００５３】ここでは、２つの物体１１（Ｐ），１２（Ｑ）を撮影し、その撮像画像から視差画像を作成する場合について説明する。
【００５４】テレビカメラ１３は、凸レンズアレイ３８を介して、物体１１，１２を撮影する。このとき、各凸レンズ３５〜３７によって光が屈折するため、物体１１，１２からテレビカメラ１３に至る光路は複数存在し、被写体である物体１１，１２の像が複数撮影される。
【００５５】第１の例と異なり、光は凸レンズ３５〜３７を通過するため、物体の倒立像が撮影される。
【００５６】このことに注意しながら、テレビカメラ１３により撮影を行うと、図５に示すような撮影画像４１が得られる。
【００５７】図５に示す撮影画像４１の中で、３つの円は、凸レンズ３５〜３７の外形を示す。
【００５８】前述した第１の例の凹レンズ１５〜１７と同様に、レンズアレイ３８をテレビカメラ１３で撮影すると、レンズの外形が現れる。なお、各レンズ３５〜３７の側面を黒く塗ることによって、より明確なレンズの外形をテレビカメラ１３によって撮影することもできる。そして、外形を示す３つの円で区切られた領域には、対応するレンズ３５〜３７を通った被写体の像として撮影画像４１が得られる。
【００５９】このようにして撮影された撮影画像４１は、領域分割装置１４に入力される。この領域分割装置１４では、撮影画像４１の各部分がどの凸レンズ３５〜３７を通過したのかに応じて、該撮影画像４１の領域分割を行い、図６に示すような視差画像４２〜４４を得る。
【００６０】この領域分割の処理は、前述した第１の例と同様に行うことができる。すなわち、装置の組み立て後に、テレビカメラ１３が撮影する撮影画像を観察しながら、視差画像４１中の各レンズ３５〜３７の外形で囲まれる部分だけを選択して、出力されるように調整すればよい。
【００６１】領域分割装置１４が出力する画像４２〜４４は、第１の例において出力される画像２２〜２４のそれぞれを１８０度回転させたものに等しい。
【００６２】また、本例においても、奥行き計測装置５０を用いて、物体１１，１２が撮影されている位置の違いを測定し、その物体間の奥行きを計測することが可能である。この場合、撮影画像４１が１８０度回転しているが、何ら不都合を生じることなく測定可能である。
【００６３】なお、上述の各例においては、凹レンズ又は凸レンズとして、球面又は非球面レンズを使用できる他に、これらと同等の光学特性を有する屈折率分布型光ファイバー等の光学素子を使用してもよい。
【００６４】また、領域分割装置１４は、撮影された撮影画像２１，４１を見ながら、人手によって調整するものとした。レンズアレイ１８，３８に使用する凹レンズ１５〜１７、又は、凸レンズ３５〜３７の形と大きさとを同一とすれば、撮影された画像中には同じ形の図形が並ぶ。上述した例の場合には、円形レンズを用いたので、撮影画像２１，４１中には、同じ大きさの円が並ぶ。所定の大きさの円をパターンマッチングの手法により自動認識すれば、人手によってレンズの外形を認識する必要はない。
【００６５】装置を校正する目的は、十分に大きい面積の白い被写体を撮影してもよい。この場合、上述した例において、テレビカメラ１３はレンズの外形だけを撮影する。この画像を、人手によるレンズの外形認識又はパターンマッチングの手法による自動認識をする際に用いられば、画像中にはレンズの外形しか撮影されていないため、認識作業が容易であり、精度が向上する。
【００６６】
【発明の効果】以上説明したように、本発明によれば、１個のカメラによって、複数のレンズがアレイ状に配列されたレンズアレイを介して被写体を撮影し、該撮影画像を各レンズに対応した領域に分割して、複数の視差画像を生成するようにしたので、複数台のカメラを使用する必要がなく、それらカメラの特性を一致させる作業が不要となり、これにより、作業の効率化、および、装置構成の簡略化を図ることができる。
【００６７】また、本発明によれば、本発明に係る装置を用いて生成された複数の視差画像を奥行き計測装置に入力することにより、被写体の奥行きを計測することができ、この場合にも、従来のように、複数のカメラの特性を揃える必要がなく、安価な計測装置を作製することができる。
【出願人】 【識別番号】０００００４３５２
【氏名又は名称】日本放送協会
【出願日】 平成１１年１２月１５日（１９９９．１２．１５）
【代理人】 【識別番号】１０００７７４８１
【弁理士】
【氏名又は名称】谷 義一 （外２名）
【公開番号】 特開２００１−１７４２２０（Ｐ２００１−１７４２２０Ａ）
【公開日】 平成１３年６月２９日（２００１．６．２９）
【出願番号】 特願平１１−３５６３３５