| 【発明の名称】 |
熱物体の位置と形状の検出装置 |
| 【発明者】 |
【氏名】高橋 正信
【氏名】田村 俊之
【氏名】竹田 淳
【氏名】久間 和生
|
| 【要約】 |
【課題】人体などの熱物体の位置と形状を高精度に検出すること。
【解決手段】赤外画像撮像手段により熱物体の存在可能領域を検出し、複数の画像撮像手段とデータ処理手段を用いたステレオ視により物体の位置と形状を検出する際に前記存在可能領域に画像領域を制限してステレオ視の処理を行うことにより熱物体の位置と形状を検出する。 |
【特許請求の範囲】
【請求項１】 予め設定した監視領域の赤外画像を撮像するための少なくとも１台の赤外画像撮像手段と、前記監視領域の画像を撮像するための少なくとも２台の画像撮像手段と、得られた前記赤外画像と前記画像を処理して熱物体の位置と形状を検出するデータ処理手段とを備え、データ処理手段によって、前記赤外画像より熱物体の存在可能領域を検出すると共に、前記画像を用いたステレオ視により物体の位置と形状を検出し、前記熱物体の存在可能領域と前記物体の位置と形状を組み合わせることにより熱物体の位置と形状を検出することを特徴とする熱物体の位置と形状の検出装置。
【請求項２】 予め設定した監視領域の赤外画像を撮像するための少なくとも１台の赤外画像撮像手段と、前記監視領域の画像を撮像するための少なくとも２台の画像撮像手段と、得られた前記赤外画像と前記画像を処理して熱物体の位置と形状を検出するデータ処理手段とを備え、データ処理手段によって、前記赤外画像より熱物体の存在可能領域を検出し、該熱物体の存在可能領域を元に前記画像中にステレオ視処理領域を設定し、該ステレオ視処理領域内の画像のみを用いてステレオ視により熱物体の位置と形状を検出することを特徴とする熱物体の位置と形状の検出装置。
【請求項３】 前記赤外画像より熱物体の存在可能領域を検出した結果、該熱物体の存在可能領域が存在した場合にのみ前記画像撮像手段により画像を撮像し、撮像した画像中にステレオ視処理領域を設定することを特徴とする請求項２記載の熱物体の位置と形状の検出装置。
【請求項４】 前記赤外画像撮像手段として、焦電型赤外線センサをアレイ化したものを用いることを特徴とする請求項１から３のいずれかに記載の熱物体の位置と形状の検出装置。
【請求項５】 予め設定した監視領域を分割した小領域ごとの熱物体の動きを検出する少なくとも１台の動き検出手段と、前記監視領域の画像を撮像するための少なくとも２台の画像撮像手段と、前記動き検出手段により得られた動き検出結果と前記画像を処理して熱物体の位置と形状を検出するデータ処理手段とを備え、データ処理手段によって、前記動き検出結果を元に動く熱物体の存在可能領域を検出すると共に、前記画像を用いたステレオ視により監視領域内の物体の位置と形状を検出し、前記動く熱物体の存在可能領域と前記物体の位置と形状を組み合わせることにより熱物体の位置と形状を検出することを特徴とする熱物体の位置と形状の検出装置。
【請求項６】 予め設定した監視領域を分割した各小領域ごとの熱物体の動きを検出する少なくとも１台の動き検出手段と、前記監視領域の画像を撮像するための少なくとも２台の画像撮像手段と、前記動き検出手段により得られた動き検出結果と前記画像を処理して熱物体の位置と形状を検出するデータ処理手段とを備え、データ処理手段によって、前記動き検出結果を元に動く熱物体の存在可能領域を検出し、該動く熱物体の存在可能領域を元に前記画像中にステレオ視処理領域を設定し、該ステレオ視処理領域内の画像のみを用いてステレオ視により熱物体の位置と形状を検出することを特徴とする熱物体の位置と形状の検出装置。
【請求項７】 前記動き検出結果を元に動く熱物体の存在可能領域を検出した結果、該動く熱物体の存在可能領域が存在した場合にのみ前記画像撮像手段により画像を撮像し、撮像した画像中にステレオ視処理領域を設定することを特徴とする請求項６記載の熱物体の位置と形状の検出装置。
【請求項８】 前記動き検出手段として、小領域内の近接領域からの赤外線量の差分の変化より小領域内の熱物体の動きを検出する差分方式焦電型赤外線動きセンサをアレイ化したものを用いることを特徴とする請求項５から７のいずれかに記載の熱物体の位置と形状の検出装置。
【請求項９】 前記画像撮像手段を人工網膜ＬＳＩを用いて構成し、人工網膜ＬＳＩのランダムアクセス機能により、前記ステレオ視処理領域の画像のみを撮像し、撮像した画像を用いたステレオ視により熱物体の位置と形状を検出することを特徴とする請求項３または７記載の熱物体の位置と形状の検出装置。
【請求項１０】 前記画像撮像手段を人工網膜ＬＳＩを用いて構成し、人工網膜ＬＳＩのエッジ抽出機能により、前記画像としてエッジ抽出画像を撮像することを特徴とする請求項１から８のいずれかに記載の熱物体の位置と形状の検出装置。
【請求項１１】 検出された熱物体の位置と形状をもとに、前記データ処理部において、熱物体が人体であるかどうかを判断し、人体であればその姿勢を検出することを特徴とする請求項１から１０のいずれかに記載の熱物体の位置と形状の検出装置。
|
【発明の詳細な説明】【０００１】
【発明の属する技術分野】この発明は、人体などの熱物体の位置と形状、姿勢などを検出する装置に関するものである。
【０００２】
【従来の技術】空調機器や照明などの家電製品の最適制御あるいは独居老人などの異常検知のために、監視領域内における人体の位置や姿勢を自動検出する必要性が高まっている。特に、老人ホームの個室内や独居老人の室内などにおける老人の異常検知は、老人の命を救い、介護者の負担を減らすために社会的にも重要となってきてきる。
【０００３】人体の姿勢を検出する従来の装置としては、例えば特開平５−１４９７２５号公報に示された装置がある。これは、主に空調機の制御を目的としたもので、焦電型赤外線センサを用いて撮像した熱画像データから人間の領域を検出し、その形状、動きなどから姿勢を検出するものである。そして、立位、座位、臥位を判別して空調機を制御する。
【０００４】
【発明が解決しようとする課題】従来の装置では、２次元の熱画像のみから人体の姿勢を検出しているが、家庭での利用を念頭においた場合、解像度は高いが高価な量子型の赤外線カメラの利用は困難であり、解像度の低い安価な赤外線センサを利用せざるを得ないため、形状や姿勢などが大まかにしか分からないという問題があった。また、１台のセンサだけでは距離が分からないため、物体の正確な位置や大きさが分からず、他の熱物体との区別が困難であるという問題もあった。例えば、床に倒れている老人を検出するためには、少なくとも１０ｃｍ程度の精度で人体の外形を検出する必要があるが、そうした精度を熱画像だけを用いた従来の装置で得ることは困難であり、人に異常検知の用途には使えなかった。
【０００５】この発明は、上記のような問題点を解決するためになされたものであり、複数のカメラを用いたステレオ視と熱画像を組み合わせることにより、家庭で利用できる程度に安価で、かつ老人の異常検知などに利用できる程度に高精度の熱物体の位置と形状を検出する装置を得ることを目的とするものである。
【０００６】
【課題を解決するための手段】請求項１に記載の発明に係る熱物体の位置と形状の検出装置は、予め設定した監視領域の赤外画像を撮像するための少なくとも１台の赤外画像撮像手段と、監視領域の画像を撮像するための少なくとも２台の画像撮像手段と、得られた赤外画像と画像を処理して熱物体の位置と形状を検出するデータ処理手段とを備え、データ処理手段によって、赤外画像より熱物体の存在可能領域を検出すると共に、画像を用いたステレオ視により物体の位置と形状を検出し、熱物体の存在可能領域と物体の位置と形状を組み合わせることにより熱物体の位置と形状を検出するようにしたものである。
【０００７】請求項２に記載の発明に係る熱物体の位置と形状の検出装置は、予め設定した監視領域の赤外画像を撮像するための少なくとも１台の赤外画像撮像手段と、監視領域の画像を撮像するための少なくとも２台の画像撮像手段と、得られた赤外画像と画像を処理して熱物体の位置と形状を検出するデータ処理手段とを備え、データ処理手段によって、赤外画像より熱物体の存在可能領域を検出し、熱物体の存在可能領域を元に画像中にステレオ視処理領域を設定し、ステレオ視処理領域内の画像のみを用いてステレオ視により熱物体の位置と形状を検出するようにしたものである。
【０００８】請求項３に記載の発明に係る熱物体の位置と形状の検出装置は請求項２に記載の熱物体の位置と形状の検出装置において、赤外画像より熱物体の存在可能領域を検出した結果、熱物体の存在可能領域が存在した場合にのみ画像撮像手段により画像を撮像し、撮像した画像中にステレオ視処理領域を設定するようにしたものである。
【０００９】請求項４に記載の発明に係る熱物体の位置と形状の検出装置は、請求項１から３のいずれかに記載の熱物体の位置と形状の検出装置において、赤外画像撮像手段として、焦電型赤外線センサをアレイ化したものを用いるようにしたものである。
【００１０】請求項５に記載の発明に係る熱物体の位置と形状の検出装置は、予め設定した監視領域を分割した小領域ごとの熱物体の動きを検出する少なくとも１台の動き検出手段と、監視領域の画像を撮像するための少なくとも２台の画像撮像手段と、動き検出手段により得られた動き検出結果と画像を処理して熱物体の位置と形状を検出するデータ処理手段とを備え、データ処理手段によって、動き検出結果を元に動く熱物体の存在可能領域を検出すると共に、画像を用いたステレオ視により監視領域内の物体の位置と形状を検出し、動く熱物体の存在可能領域と物体の位置と形状を組み合わせることにより熱物体の位置と形状を検出するようにしたものである。
【００１１】請求項６に記載の発明に係る熱物体の位置と形状の検出装置は、予め設定した監視領域を分割した各小領域ごとの熱物体の動きを検出する少なくとも１台の動き検出手段と、監視領域の画像を撮像するための少なくとも２台の画像撮像手段と、動き検出手段により得られた動き検出結果と画像を処理して熱物体の位置と形状を検出するデータ処理手段とを備え、データ処理手段によって、動き検出結果を元に動く熱物体の存在可能領域を検出し、動く熱物体の存在可能領域を元に画像中にステレオ視処理領域を設定し、ステレオ視処理領域内の画像のみを用いてステレオ視により熱物体の位置と形状を検出するようにしたものである。
【００１２】請求項７に記載の発明に係る熱物体の位置と形状の検出装置は、請求項６に記載の熱物体の位置と形状の検出装置において、動き検出結果を元に動く熱物体の存在可能領域を検出した結果、動く熱物体の存在可能領域が存在した場合にのみ画像撮像手段により画像を撮像し、撮像した画像中にステレオ視処理領域を設定するようにしたものである。
【００１３】請求項８に記載の発明に係る熱物体の位置と形状の検出装置は、請求項５から７のいずれかに記載の熱物体の位置と形状の検出装置において、動き検出手段として、小領域内の近接領域からの赤外線量の差分の変化より小領域内の熱物体の動きを検出する差分方式焦電型赤外線動きセンサをアレイ化したものを用いるようにしたものである。
【００１４】請求項９に記載の発明に係る熱物体の位置と形状の検出装置は、請求項３または７記載の熱物体の位置と形状の検出装置において、画像撮像手段を人工網膜ＬＳＩを用いて構成し、人工網膜ＬＳＩのランダムアクセス機能により、前記ステレオ視処理領域の画像のみを撮像し、撮像した画像を用いたステレオ視により熱物体の位置と形状を検出するようにしたものである。
【００１５】請求項１０に記載の発明に係る熱物体の位置と形状の検出装置は、請求項１から８のいずれかに記載の熱物体の位置と形状の検出装置において、画像撮像手段を人工網膜ＬＳＩを用いて構成し、人工網膜ＬＳＩのエッジ抽出機能により、画像としてエッジ抽出画像を撮像するようにしたものである。
【００１６】請求項１１に記載の発明に係る熱物体の位置と形状の検出装置は、請求項１から１０のいずれかに記載の熱物体の位置と形状の検出装置において、検出された熱物体の位置と形状をもとに、前記データ処理部において、熱物体が人体であるかどうかを判断し、人体であればその姿勢を検出するようにしたものである。
【００１７】
【発明の実施の形態】実施の形態１．図１は、この発明を実施するための実施の形態１による熱物体の位置と形状を検出する装置を説明するための図である。ここでは、赤外画像撮像手段を２台、画像撮像手段を２台使用して、最終的に人体の位置と姿勢を検出する場合について説明する。
【００１８】図１において、１ａは左側の画像撮像手段、１ｂは右側の画像撮像手段、２ａは左側の赤外画像撮像手段、２ｂは右側の赤外画像撮像手段、３はデータ処理手段、４は人体、５はソファである。
【００１９】画像撮像手段１ａ、１ｂとしては、例えばＣＣＤカメラを用いる。また、赤外画像撮像手段２ａ、２ｂとしては例えば焦電型赤外線センサをアレイ化したものを用いる。左側の画像撮像手段１ａと左側の赤外画像撮像手段２ａはペアになっており、ほぼ同じ位置から同じ領域を見るように配置される。右側の画像撮像手段１ｂと右側の赤外画像撮像手段２ｂについても同様である。物体による掩蔽を極力少なくするために、画像撮像手段１ａ、１ｂ、赤外画像撮像手段２ａ、２ｂともに、天井などの高い位置より床面を見るように取り付ける。ステレオ視を実現するため、画像撮像手段１ａ、１ｂは適当な基線長だけ離し、同じ監視領域を見るように設置する。
【００２０】次に、動作について説明する。図２は、実施の形態１による熱物体の位置と形状を検出する装置の動作手順を示すフローチャートである。
【００２１】まず、画像撮像手段１ａ、１ｂ、および赤外画像撮像手段２ａ、２ｂにより監視領域の画像と赤外画像を同時に撮像する（ＳＴ１０１）。図３に左側の赤外画像撮像手段により撮像された赤外画像（左側赤外画像６ａ）、図４に右側の赤外画像撮像手段により撮像された赤外画像（右側赤外画像６ｂ）、図５に左側の画像撮像手段により撮像された画像（左側画像７ａ）、図６に右側の画像撮像手段により撮像された画像（右側画像７ｂ）を示す。図５、図６において、８は人体の足、９は人体の頭である。また、図５、図６には基線方向も示している。基線方向については後で説明する。
【００２２】次にデータ処理手段３によって、赤外画像６ａ、６ｂより熱物体の存在可能領域を検出する（ＳＴ１０２）。熱物体の存在可能領域とは、図３、図４のような赤外画像が得られた場合に熱物体が存在し得る領域のことである。本実施の形態においては、ペアとなった画像撮像手段と赤外画像撮像手段はほぼ同じ領域を見ているため、例えば左側赤外画像６ａ中の熱物体のある領域と同じ領域が、左側画像７ａ中の熱物体の存在可能領域となる。左側画像７ａ中に熱物体の存在可能領域１０を示した図を図７に、右側画像７ｂ中に熱物体の存在可能領域１０を示した図を図８に示す。データ処理手段３としては、例えばＤＳＰ（デジタルシグナルプロセッサ）などの、画像を処理するのに十分な演算性能を持つものを使用しても良いし、パソコンなどのコンピュータを使用しても良い。
【００２３】次にデータ処理手段３によって、左側および右側の画像７ａ、７ｂよりステレオ視により物体の位置と形状を検出する（ＳＴ１０３）。ステレオ視とは、離れた視点から同じ物体を見た時に物体が見える方向が視点から物体への距離に応じて異なることを利用し、三角測量の原理で物体までの距離を測定する方式である。具体的には、左側の画像撮像手段１ａと右側の画像撮像手段１ｂを結ぶ線を基線とよび、物体の位置はその距離に応じて基線に沿った方向へ画像上でずれる。両方の画像撮像手段が同じ領域を見ているとすると、図５と図６において同じ物体の基線方向へのずれ量は、物体が遠いほど小さくて、物体が画像撮像手段に近いほど大きくなる。例えば、足８のずれ量は小さいが、頭９のずれ量は大きいため、足８までの距離は遠く（床に近い）、頭９までの距離は近い（床から高い）ことが分かる。ステレオ視を実現するには、一方（例えば左側画像７ａ）中のある物体上の点が、もう一方の画像（例えば右側画像７ｂ）中のどこに対応するのかを求める必要がある。これは対応点探索問題と呼ばれるが、対応する点は基線方向に存在するので、基線方向の線（エピポーラ線と呼ばれる）上で探索すれば良い。輝度が大きく変化するエッジや角などの特徴的なところは、その特徴を手がかりにして対応点を比較的求めやすいため、通常は物体のエッジ（輪郭）部分で対応点を求める。画像撮像手段として、カラーのＣＣＤカメラを用いた場合には、色情報も対応点探索に用いることができる。また、物体が移動している場合には、前フレームの画像との差分画像を対応点探索に用いても良い。人体の場合に探索の精度を向上する上で有効である。データ処理手段３によって物体のエッジ（輪郭）部分の対応点探索問題を解き、エッジ部分までの画像撮像手段からの距離を求めることにより、物体の３次元空間での位置と形状が検出できる。右側および左側画像７ａ、７ｂからは図９に示されるような検出結果が得られる。
【００２４】次に、データ処理手段３によって、ＳＴ１０２で求まった熱物体の存在可能領域とＳＴ１０３で求まった物体の位置と形状を組み合わせて、熱物体の位置と形状を検出する（ＳＴ１０４）。組合せ方は、例えばＳＴ１０３で求まった物体の位置と形状のうち、図７、図８に示される画像７ａ、７ｂ中の熱物体の存在可能領域１０内に存在する物体のみを熱物体とし、その位置と形状を熱物体の位置と形状とすれば良い。これにより、ソファ５は熱物体でないものとして除かれ、図１０に示されるように熱物体のみの位置と形状の検出結果が得られる。
【００２５】次に、データ処理手段３によって、検出された熱物体の位置と形状を元に、その熱物体が人体であるかどうかを判断し、人体と判断された場合には、その姿勢を検出する（ＳＴ１０５）。人体であるかどうかの判断は、例えばその物体が床の上にあり、外形（幅、厚さ、高さ）が人体として妥当な範囲内であれば人体と判断する。また、人体には動きがあるため、その物体の位置、形状の履歴を保存しておいて、過去も含めて動きがあったかどうかを判断基準に加えても良い。人体の姿勢は、例えばその熱物体の骨格を求めて検出する。骨格が床のすぐ上で床にほぼ平行になっている場合には臥位、床に垂直方向であれば立位と判断できる。
【００２６】なお、上記実施の形態１では、赤外画像撮像手段を２台、画像撮像手段を２台使用する場合について説明したが、赤外画像撮像手段と画像撮像手段をペアにしたものを３台以上用いても良い。より多くの台数を用いてステレオ視を行った方が、対応点探索問題を正確に解け、また位置と形状の検出精度を向上できる。
【００２７】実施の形態２．上記実施の形態１では、赤外画像撮像手段を２台、画像撮像手段を２台使用する場合について説明したが、赤外画像撮像手段は画像撮像手段の数よりも少なくて良く、例えば１台でも良い。ここでは、１台の赤外画像撮像手段と２台の画像撮像手段を用いる場合について説明する。図１１は、この発明を実施するための実施の形態２による熱物体の位置と形状を検出する装置を説明するための図である。
【００２８】図１１において、２ｃは赤外画像撮像手段、１１は熱物体、１２は高さの上限である。実施の形態１においては２台の赤外画像撮像手段を用いて撮像した赤外画像６ａ、６ｂより熱物体の存在可能領域を検出したが、実施の形態２では、１台の赤外画像撮像手段を用いて撮像した赤外画像から熱物体の存在可能領域を検出する。それ以外の動作は実施の形態１と同様である。図１２に赤外画像撮像手段２ｃにより撮像された赤外画像６ｃを示す。赤外画像６ｃが得られると、赤外画像検出手段と画像撮像手段が見る方向や高さなどの予め解っている撮像条件を元にして、データ処理手段３を用いて、図１１に斜線で示される領域が熱物体の存在可能領域１０として検出される。なお、図１１中の高さの上限は、監視領域中に存在しうる物体の高さの上限であり、予め決めておく。各画像における熱物体の存在可能領域１０は、各画像撮像手段１ａ、１ｂから図１１に斜線で示される熱物体の存在可能領域１０を見た領域となり、これもデータ処理手段３を用いて求められる。左側画像７ｃおよび右側画像７ｄ中に熱物体の存在可能領域１０を示した図をそれぞれ図１３、図１４に示す。ＳＴ１０２の熱物体の存在可能領域の検出を以上のように行い、後の動作は実施の形態１と同様に図２のＳＴ１０３、ＳＴ１０４、ＳＴ１０５に従って行うことで、人体の位置と姿勢を検出できる。
【００２９】実施の形態３．この発明を実施するための実施の形態３による熱物体の位置と形状を検出する装置を、実施の形態１と同じ図１を用いて説明する。実施の形態１と同様に、赤外画像撮像手段を２台、画像撮像手段を２台使用して、最終的に人体の位置と姿勢を検出する場合について説明する。実施の形態３は、装置の構成は実施の形態１と同じで、その動作のみが異なる。
【００３０】図１５は、実施の形態３による熱物体の位置と形状を検出する装置の動作手順を示すフローチャートである。
【００３１】まず、画像撮像手段１ａ、１ｂ、および赤外画像撮像手段２ａ、２ｂにより監視領域の画像と赤外画像を同時に撮像する（ＳＴ１０１）。撮像された赤外画像および画像は、実施の形態１と同様に、図３、図４、図５、図６に示される。
【００３２】次にデータ処理手段３によって、実施の形態１と同様にして図３、図４に示される赤外画像より熱物体の存在可能領域を検出する（ＳＴ１０２）。図７、図８に画像中に示された熱物体の存在可能領域１０を示す。
【００３３】次に、データ処理手段３によって、熱物体の存在可能領域１０を元に画像中にステレオ視処理領域を設定する（ＳＴ１０６）。ステレオ視処理領域は、例えば熱物体の存在可能領域と同じ領域を設定する。左側および右側画像中のステレオ視処理領域１３をそれぞれ図１６、図１７に示す。
【００３４】次に、データ処理手段３によって、ステレオ視処理領域１３の画像のみを用いてステレオ視により物体の位置と形状を求める（ＳＴ１０７）。ステレオ視処理領域内の物体は、熱物体であるため、結局は図１０に示されるような熱物体のみの位置と形状が検出される。
【００３５】次に、データ処理手段３によって、実施の形態１と同様にして、検出された熱物体の位置と形状を元に、その熱物体が人体であるかどうかを判断し、人体と判断された場合には、その姿勢を検出する（ＳＴ１０５）。なお、上記実施の形態３では、赤外画像撮像手段を２台、画像撮像手段を２台使用する場合について説明したが、赤外画像撮像手段と画像撮像手段をペアにしたものを３台以上用いても良い。より多くの台数を用いてステレオ視を行った方が、対応点探索問題を正確に解け、また位置と形状の検出精度を向上できる。
【００３６】また、上記実施の形態３では、赤外画像撮像手段を２台、画像撮像手段を２台使用する場合について説明したが、赤外画像撮像手段は画像撮像手段の数よりも少なくて良く、例えば１台でも良い。実施の形態２と同様にして、図１１に示される構成で、１台の赤外画像撮像手段を用いて撮像した赤外画像から熱物体の存在可能領域を検出し、画像撮像手段により撮像された画像中にその領域を元にステレオ視処理領域として設定することにより、同様にして人体の位置と姿勢を検出できる。
【００３７】また、上記実施の形態３では、ステレオ視処理領域を熱物体の存在可能領域と同じ領域としたが、熱物体の存在可能領域よりも広い領域をステレオ視処理領域としても良い。人体などの熱物体の一部が掩蔽などの何らかの理由により熱画像として検出されなかった場合でも、広い領域をステレオ視処理領域とすることにより熱画像として検出されなかった部分も含めて熱物体全体の位置と形状を検出できる効果がある。
【００３８】実施の形態４．図１８は、この発明を実施するための実施の形態４による熱物体の位置と形状を検出する装置を説明するための図である。ここでは、動き検出手段を２台、画像撮像手段を２台使用して、人体が動いた場合に、その位置と姿勢を検出する場合について説明する。
【００３９】図１８において、１４ａは左側の動き検出手段、１４ｂは右側の動き検出手段である。基本的に、実施の形態１で示した図１における赤外画像撮像手段２ａ、２ｂを動き検出手段１４ａ、１４ｂに置き換えたものとなっている。
【００４０】動き検出手段１４ａ、１４ｂは、監視領域を分割した各小領域ごとに熱物体の動きを検出するもので、例えば小領域内の近接領域からの赤外線量の差分の変化より小領域内の熱物体の動きを検出する差分方式焦電型赤外線動きセンサをアレイ化したものを用いる。左側の画像撮像手段１ａと左側の動き検出手段１４ａはペアになっており、ほぼ同じ位置から同じ領域を見るように配置される。右側の画像撮像手段１ｂと右側の動き検出手段１４ｂについても同様である。物体による掩蔽を極力少なくするために、画像撮像手段１ａ、１ｂ、動き検出手段１４ａ、１４ｂともに、天井などの高い位置より床面を見るように取り付ける。ステレオ視を実現するため、画像撮像手段１ａ、１ｂは適当な基線長だけ離し、同じ監視領域を見るように設置する。
【００４１】動作は、実施の形態１で用いた赤外画像の代わりに、動き検出手段１４ａ、１４ｂによって小領域ごとに検出された動き検出結果を用いること以外は実施の形態１と全く同様である。即ち、動き検出手段１４ａ、１４ｂにより監視領域内における熱物体の動きを検出し、図３および図４に示されるような赤外画像と同様な検出結果が得られたとすると、その検出領域を動く熱物体の存在可能領域とする。後は図２に示されるＳＴ１０３、ＳＴ１０４、ＳＴ１０５に従い、実施の形態１と同様な動作手順で動きのあった人体の位置と姿勢を検出する。
【００４２】なお、上記実施の形態４では、動き検出手段を２台、画像撮像手段を２台使用する場合について説明したが、動き検出手段と画像撮像手段をペアにしたものを３台以上用いても良い。
【００４３】また、上記実施の形態４では、動き検出手段を２台、画像撮像手段を２台使用する場合について説明したが、動き検出手段は画像撮像手段の数よりも少なくて良く、例えば１台でも良い。１台の動き検出手段による検出結果より動く熱物体の存在可能領域を検出し、後は図２に示されるＳＴ１０３、ＳＴ１０４、ＳＴ１０５に従い、実施の形態１と同様な動作手順で動きのあった人体の位置と姿勢を検出すれば良い。
【００４４】実施の形態５．この発明を実施するための実施の形態５による熱物体の位置と形状を検出する装置を、実施の形態４と同じ図１８を用いて説明する。実施の形態４と同様に、動き検出手段を２台、画像撮像手段を２台使用して、人体が動いた場合に、その位置と姿勢を検出する場合について説明する。実施の形態５は、装置の構成は実施の形態４と同じで、その動作のみが異なる。
【００４５】動作は、実施の形態３で用いた赤外画像の代わりに、動き検出手段１４ａ、１４ｂによって小領域ごとに検出された動き検出結果を用いること以外は実施の形態３と全く同様である。即ち、動き検出手段１４ａ、１４ｂにより監視領域内における熱物体の動きを検出し、図３および図４に示されるような赤外画像と同様な検出結果が得られたとすると、その検出領域を動く熱物体の存在可能領域とし、後は図１５に示されるＳＴ１０６、ＳＴ１０７、ＳＴ１０５に従い、実施の形態３と同様な動作手順で動きのあった人体の位置と姿勢を検出すれば良い。即ち、動く熱物体の存在可能領域をステレオ視処理領域とし、画像中のステレオ視処理領域内の画像のみを用いてステレオ視により熱物体の位置と形状を検出し、その位置と形状を元に熱物体が人体であるかどうかを判別し、人体であればその姿勢を検出する。
【００４６】なお、上記実施の形態５では、動き検出手段を２台、画像撮像手段を２台使用する場合について説明したが、動き検出手段と画像撮像手段をペアにしたものを３台以上用いても良い。
【００４７】また、上記実施の形態５では、動き検出手段を２台、画像撮像手段を２台使用する場合について説明したが、動き検出手段は画像撮像手段の数よりも少なくて良く、例えば１台でも良い。１台の動き検出手段による検出結果より動く熱物体の存在可能領域を検出し、後は図１５に示されるＳＴ１０６、ＳＴ１０７、ＳＴ１０５に従い、実施の形態３と同様な動作手順で動きのあった人体の位置と姿勢を検出すれば良い。
【００４８】また、上記実施の形態５では、ステレオ視処理領域を動く熱物体の存在可能領域と同じ領域としたが、動く熱物体の存在可能領域よりも広い領域をステレオ視処理領域としても良い。人体などの熱物体の一部が掩蔽などの何らかの理由により熱画像として検出されなかった場合でも、広い領域をステレオ視処理領域とすることにより熱画像として検出されなかった部分も含めて熱物体全体の位置と形状を検出できる効果がある。
【００４９】実施の形態６．なお、実施の形態３では赤外画像から検出された熱物体の存在可能領域を元にステレオ視処理領域を設定し、実施の形態５では、動き検出結果から検出された動く熱物体の存在可能領域を元にステレオ視処理領域を設定しているため、熱物体や動く熱物体が無い場合には、ステレオ視処理領域が設定されず、従って画像撮像手段により撮像された画像を処理する必要が無い。従って、実施の形態３や実施の形態５では、画像の撮像を赤外画像の撮像や動き検出と同時に行っていたが、ステレオ視処理領域が存在した場合のみ画像を撮像するようにしても良い。即ち、撮像した赤外画像あるいは動き検出結果より熱物体あるいは動く熱物体の存在可能領域が検出されるとただちに画像を撮像し、その画像中にステレオ視処理領域を設定して後の処理を行うようにしても良い。
【００５０】実施の形態７．上記実施の形態６では、熱物体や動く熱物体の存在可能領域が検出された場合のみ画像を撮像するようにしているが、画像撮像手段１ａ、１ｂを人工網膜ＬＳＩを用いて構成し、人工網膜ＬＳＩのランダムアクセス機能を利用して、画像撮像手段１ａ、１ｂの視野中のステレオ視処理領域１３に相当する画像のみを撮像するようにしても良い。人工網膜ＬＳＩとは、例えば「人工網膜チップの開発と事業化」（応用物理、第６７巻、第４号、１９９８年、４２４頁〜４３０頁）に示されるように、画像の撮像と画像処理機能を兼ね備えた撮像素子であり、制御信号を変えることにより、画像撮像だけでなく、エッジ検出、ランダムアクセスなどの機能を実現できる。
【００５１】実施の形態８．上記実施の形態１から実施の形態６では、画像撮像手段１ａ、１ｂとして例えばＣＣＤカメラを用いて画像を撮影する場合について説明したが、画像撮像手段１ａ、１ｂを人工網膜ＬＳＩを用いて構成し、人工網膜ＬＳＩのエッジ抽出機能を利用して画像のエッジ画像を撮像するようにしても良い。
【００５２】
【発明の効果】以上のように、請求項１に記載の発明によれば、赤外画像撮像手段とデータ処理手段を用いて検出した熱物体の存在可能領域と、複数の画像撮像手段を用いてステレオ視により検出した物体の位置と形状を組み合わせるようにしたので、比較的安価に、赤外画像撮像手段だけを用いる場合よりも高精度に熱物体の位置と形状を検出できる装置が得られる効果がある。また、ステレオ視により熱物体の存在可能領域内に物体が検出されなかった場合、ステレオ視における対応点探索を間違ったことが分かるため、ステレオ視による位置と形状の検出精度を向上できる効果がある。
【００５３】また、請求項２に記載の発明によれば、赤外画像撮像手段とデータ処理手段を用いて検出した熱物体の存在可能領域を元に画像中にステレオ視処理領域を設定し、ステレオ視処理領域内の画像のみを用いてステレオ視により熱物体の位置と形状を検出するようにしたので、比較的安価に、赤外画像だけを用いる場合よりも高精度で熱物体の位置と形状を検出できると共に、位置と形状を求めるためのステレオ視の処理を元の画像よりも小さい範囲に限定できるため、計算量を減らせるとともに、対応点探索の精度を向上でき、結果的に高速かつ位置と形状の検出精度を向上した装置が得られる効果がある。
【００５４】また、請求項３に記載の発明によれば、請求項２に記載の発明において熱物体の存在可能領域が存在した場合にのみ画像撮像手段により画像を撮像するようにしたため、画像を撮像する回数を低減でき、その結果として消費電力を低減した装置が得られる効果がある。
【００５５】また、請求項４に記載の発明によれば、請求項１から３のいずれかに記載の発明における赤外画像撮像手段として、焦電型赤外線センサをアレイ化したものを用いるようにしたので、一般家庭でも利用できる程度に安価な装置が得られる効果がある。
【００５６】また、請求項５に記載の発明によれば、動き検出手段とデータ処理手段を用いて検出した動く熱物体の存在可能領域と、複数の画像撮像手段を用いたステレオ視により検出した物体の位置と形状を組み合わせるようにしたので、比較的安価に、赤外画像撮像手段だけを用いる場合よりも高精度に熱物体の位置と形状を検出できる装置が得られる効果がある。また、ステレオ視により動く熱物体の存在可能領域内に物体が検出されなかった場合、ステレオ視における対応点探索を間違ったことが分かるため、ステレオ視による位置と形状の検出精度を向上できる効果がある。また、人体などの動く熱物体のみを検出できる効果がある。
【００５７】また、請求項６に記載の発明によれば、動き検出手段とデータ処理手段を用いて検出した動く熱物体の存在可能領域を元に画像中にステレオ視処理領域を設定し、ステレオ視処理領域内の画像のみを用いてステレオ視により動く熱物体の位置と形状を検出するようにしたので、比較的安価に、赤外画像だけを用いる場合よりも高精度で動く熱物体の位置と形状を検出できると共に、位置と形状を求めるためのステレオ視の処理を元の画像よりも小さい範囲に限定できるため、計算量を減らせるとともに、対応点探索の精度を向上でき、結果的に位置と形状の検出精度を向上した装置が得られる効果がある。また、人体などの動く熱物体のみを検出できる効果がある。
【００５８】また、請求項７に記載の発明によれば、請求項６に記載の発明において動く熱物体の存在可能領域が存在した場合にのみ画像撮像手段により画像を撮像するようにしたため、画像を撮像する回数を低減でき、その結果として消費電力を低減した装置が得られる効果がある。
【００５９】また、請求項８に記載の発明によれば、請求項５から７のいずれかに記載の発明における動き検出手段として、小領域内の近接領域からの赤外線量の差分の変化より小領域内の熱物体の動きを検出する差分方式焦電型赤外線動きセンサをアレイ化したものを用いるようにしたので、一般家庭でも利用できる程度に安価で、かつ外乱光などにも頑強な装置が得られる効果がある。
【００６０】また、請求項９に記載の発明によれば、請求項３または７に記載の発明における画像撮像手段を人工網膜ＬＳＩを用いて構成し、人工網膜ＬＳＩのランダムアクセス機能により、ステレオ視処理領域の画像のみを撮像するようにしたので、撮像する画像のデータ量を低減でき、画像撮像手段よりデータ処理手段へより短時間で画像データを送れると共に、データ処理手段で画像データを蓄えておくためのメモリ量を節減でき、結果的に安価で高速な装置が得られる効果がある。
【００６１】また、請求項１０に記載の発明によれば、請求項１から８のいずれかに記載の発明における画像撮像手段を人工網膜ＬＳＩを用いて構成し、人工網膜ＬＳＩのエッジ抽出機能により、エッジ抽出画像を撮像するようにしたので、対応点探索などのために画像中のエッジを抽出する処理が不要になり、データ処理手段における演算時間を短縮でき、その結果として高速な装置が得られる効果がある。
【００６２】また、請求項１１に記載の発明によれば、請求項１から１０のいずれかに記載の発明において検出された熱物体の位置と形状をもとに、熱物体が人体であるかどうかを判断し、人体であればその姿勢を検出するようにしたので、人体の位置や姿勢を元に人の異常を検知したり機器を制御する装置で利用できる効果がある。
|
| 【出願人】 |
【識別番号】０００００６０１３
【氏名又は名称】三菱電機株式会社
|
| 【出願日】 |
平成１１年１２月２０日（１９９９．１２．２０） |
| 【代理人】 |
【識別番号】１００１０２４３９
【弁理士】
【氏名又は名称】宮田 金雄 （外１名）
|
| 【公開番号】 |
特開２００１−１７４２２３（Ｐ２００１−１７４２２３Ａ） |
| 【公開日】 |
平成１３年６月２９日（２００１．６．２９） |
| 【出願番号】 |
特願平１１−３６０６５９ |
|