トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 撮像システム及び撮像方法
【発明者】 【氏名】宮牧 秀宇
【住所又は居所】東京都品川区北品川6丁目7番35号 ソニー株式会社内

【氏名】鈴木 雅晴
【住所又は居所】東京都品川区北品川6丁目7番35号 ソニー株式会社内

【氏名】田村 朝子
【住所又は居所】東京都品川区北品川6丁目7番35号 ソニー株式会社内

【氏名】日比 博
【住所又は居所】東京都品川区北品川6丁目7番35号 ソニー株式会社内

【氏名】田淵 聡
【住所又は居所】東京都品川区北品川6丁目7番35号 ソニー株式会社内

【要約】 【課題】動体を検索する固定、もしくはパンチルトカメラとその動体をズームして動体の詳細を撮影するためのパンチルトカメラを用いて動体を複数検知した場合に、効率よくまた確実に複数の動体の詳細画像を取得できるようにする。

【解決手段】センサーカメラ10で広範囲な撮影を行いつつ、ズームカメラ20でその撮影範囲内の追跡対象を撮影するにあたり、広範囲な撮影を行うセンサーカメラ10により得られるセンサー画像から動体の位置と大きさを動体検知モジュール32により抽出し、抽出された複数の動体から一つの撮影画角を撮影画角計算モジュールにより決定し、決定された画角の位置、移動速度、大きさから、上記センサーカメラ10の撮影範囲内の抽出された複数の動体を追跡対象として追跡対象画像取得モジュール34によりズームカメラ20で撮影させる。
【特許請求の範囲】
【請求項1】
広範囲な撮影を行うセンサーカメラと、
上記センサーカメラの撮影範囲内の追跡対象を撮影するズームカメラと、
上記センサーカメラから及びズームカメラを制御する制御部からなり、
上記制御部は、上記センサーカメラにより得られるセンサー画像から動体の位置と大きさを抽出する動体検知手段と、上記動体検知手段により抽出された複数の動体から一つの撮影画角を決定する撮影画角計算手段と、上記撮影画角計算手段により決定された画角の位置、移動速度、大きさからその場所を上記ズームカメラに撮影させる追跡対象画像取得手段と、その撮影順を管理する画角追跡順管理手段と、動体撮影画角内の全ての動体が停止した際に、その撮影画角を一定時間保持する停止撮影画角管理手段と、センサーカメラの撮像範囲における撮影位置を算出する処理を行うカメラ相対位置補正手段とを備え、撮影画角にIDを割り振り動体が停止した後も同一の画角IDを振り、その同一動体撮影画角の撮影の優先順位を制御し、上記センサーカメラで広範囲な撮影を行いつつ、上記ズームカメラでその撮影範囲内の追跡対象を撮影することを特徴とする撮像システム。
【請求項2】
上記制御部は、同一撮影画角で持続時間が長い撮影の優先順位を下げる制御を行うことを特徴とする請求項1記載の撮像システム。
【請求項3】
上記制御部は、同一撮影画角での撮影の優先順位を上げる制御を行うことを特徴とする請求項1記載の撮像システム。
【請求項4】
上記制御部は、画角位置変化情報を保持し、その情報を元にズーム倍率と撮影位置を決定することを特徴とする請求項1記載の撮像システム。
【請求項5】
センサーカメラで広範囲な撮影を行いつつ、ズームカメラでその撮影範囲内の追跡対象を撮影するにあたり、
広範囲な撮影を行うセンサーカメラにより得られるセンサー画像から動体の位置と大きさを抽出し、
抽出された複数の動体から一つの撮影画角を決定し、
決定された画角の位置、移動速度、大きさから、上記センサーカメラの撮影範囲内の抽出された複数の動体を追跡対象としてズームカメラで撮影させるとともに、その撮影順を管理し、
動体撮影画角内の全ての動体が停止した際に、その撮影画角を一定時間保持し、
撮影画角にIDを割り振り動体が停止した後も同一の画角IDを振り、その同一動体撮影画角の撮影の優先順位を制御して、
上記センサーカメラで広範囲な撮影を行いつつ、その撮影範囲内の追跡対象を上記ズームカメラで撮影することを特徴とする撮像方法。
【発明の詳細な説明】【技術分野】
【0001】
本発明は、2台のカメラ用いてセンサーカメラで広範囲な撮影を行いつつ、もう一方のズームカメラでその撮影範囲内の追跡対象を撮影する撮像システム及び撮像方法に関する。
【背景技術】
【0002】
従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、CCD等の固体撮像素子により画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、モニタに供給される画像信号は、一画面毎の被写体に対応するものである。このため、同時に表示される画像は狭い範囲のものとなり、広範囲の状況を同時に監視することができなかった。
【0003】
このため、カメラの撮影方向を順にシフトさせながら被写体を撮像することにより、複数の単位画像から構成されるパノラマ状の全体画像を得ることにより、広範囲の状況を監視することができる監視カメラが普及している。特に、近年において、複数の映像信号を縮小/合成し、1フレームの映像信号とする技術も提案され(例えば、特許文献1参照)、また設置された複数の監視用ビデオカメラから監視映像を集めてビデオテープ等の記録媒体に記録することにより、監視の実現を可能とする集中監視記録システムも提案されている(例えば、特許文献2参照)。
【0004】
【特許文献1】特開平10−108163号公報
【特許文献2】特開2000−243062号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、上述の如き
複数の動体を撮影しようとする場合、通常は動体ごとに撮影するため、全ての動体を捉えきれない可能性が高かった。
【0006】
センサーカメラ画像から動体の位置を取得し、動体の早さによってはパン/チルト/ズームした場合に詳細画像を撮影するカメラの画角から動体が外れてしまい、動体の詳細画像が取得できない可能性が高かった。
【0007】
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、動体を検索する固定、もしくはパンチルトカメラとその動体をズームして動体の詳細を撮影するためのパンチルトカメラを用いて動体を複数検知した場合に、効率よくまた確実に複数の動体の詳細画像を取得できるようにすることにある
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【0008】
本発明に係る撮像システムは、広範囲な撮影を行うセンサーカメラと、上記センサーカメラの撮影範囲内の追跡対象を撮影するズームカメラと、上記センサーカメラから及びズームカメラを制御する制御部からなり、上記制御部は、上記センサーカメラにより得られるセンサー画像から動体の位置と大きさを抽出する動体検知手段と、上記動体検知手段により抽出された複数の動体から一つの撮影画角を決定する撮影画角計算手段と、上記撮影画角計算手段により決定された画角の位置、移動速度、大きさからその場所を上記ズームカメラに撮影させる追跡対象画像取得手段と、その撮影順を管理する画角追跡順管理手段と、動体撮影画角内の全ての動体が停止した際に、その撮影画角を一定時間保持する停止撮影画角管理手段と、センサーカメラの撮像範囲における撮影位置を算出する処理を行うカメラ相対位置補正手段とを備え、撮影画角にIDを割り振り動体が停止した後も同一の画角IDを振り、その同一動体撮影画角の撮影の優先順位を制御し、上記センサーカメラで広範囲な撮影を行いつつ、上記ズームカメラでその撮影範囲内の追跡対象を撮影することを特徴とする。
【0009】
上記撮像システムにおいて、上記制御部は、例えば、同一撮影画角で持続時間が長い撮影の優先順位を下げる制御を行う。
【0010】
また、上記撮像システムにおいて、上記制御部は、例えば、同一撮影画角での撮影の優先順位を上げる制御を行う。
【0011】
さらに、上記撮像システムにおいて、上記制御部は、例えば、画角位置変化情報を保持し、その情報を元にズーム倍率と撮影位置を決定する。
【0012】
本は詰めに係る撮像方法は、センサーカメラで広範囲な撮影を行いつつ、ズームカメラでその撮影範囲内の追跡対象を撮影するにあたり、広範囲な撮影を行うセンサーカメラにより得られるセンサー画像から動体の位置と大きさを抽出し、抽出された複数の動体から一つの撮影画角を決定し、決定された画角の位置、移動速度、大きさから、上記センサーカメラの撮影範囲内の抽出された複数の動体を追跡対象としてズームカメラで撮影させるとともに、その撮影順を管理し、動体撮影画角内の全ての動体が停止した際に、その撮影画角を一定時間保持し、撮影画角にIDを割り振り動体が停止した後も同一の画角IDを振り、その同一動体撮影画角の撮影の優先順位を制御して、上記センサーカメラで広範囲な撮影を行いつつ、その撮影範囲内の追跡対象を上記ズームカメラで撮影することを特徴とする。
【発明の効果】
【0013】
本発明によれば、2台のカメラ用いてセンサーカメラで広範囲な撮影を行いつつ、もう一方のズームカメラでその撮影範囲内の追跡対象を撮影する際に、撮影画角にIDを割り振り動体が停止した後も同一の画角IDを振り、その同一動体撮影画角と持続時間が長い撮影の優先順位を下げることで、より多くの動体を撮影することができる。また、同一撮影画角の優先順位を上げることで同じ撮影画角を撮影し続けることも可能である。また、画角位置変化情報を保持し、その情報を元にズーム倍率と撮影位置を決定しているので、ある程度大きな複数の動体が高速で移動した場合にもその詳細画像を取得することができる。詳細画像はパンチルト後1枚、ズーム後1枚と2段階の取得を行っているため、動体の詳細画像に追跡対象が撮影されている可能性を高くすることができる。また、この詳細画像は撮影画像の再生時に動体の検索キーとしても使用することもできる。
【発明を実施するための最良の形態】
【0014】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
【0015】
本発明は、例えば図1に示すような構成の撮像システム100に適用される。
【0016】
この撮像システム100は、1台のカメラで広範囲を撮影可能なシステムであって、センサーカメラ10とズームカメラ20をリモートでコントロールするクライアント30とそれらを結ぶネットワーク40で構成され、クライアント30にはカメラの向き(パン/チルト)とズーム倍率と撮影を遠隔地からネットワーク40を介して制御する機能が搭載されている。
【0017】
なお、本発明は、図2に示すように360度の広範囲な領域を撮影する固定カメラ10Aを上記センサーカメラ10に使用する場合にも適用することができる。
【0018】
上記クライアント30は、その機能構成を図3に示すように、広範囲な撮影を行いその動体のセンサーとして上記センサーカメラ10を利用するセンサー画像取得モジュール31と、そのセンサー画像から動体の位置と大きさを抽出する動体検知モジュール32と、複数の動体から一つの撮影画角を決定する撮影画角計算モジュール33と、その複数動体から決定された画角の位置、移動速度、大きさからその場所をズームカメラ20に撮影させる撮影命令を出す追跡対象画像取得モジュール34と、その撮影順を管理する画角追跡順管理データベース35と、動体撮影画角内の全ての動体が停止した際に、その撮影画角を一定時間保持する停止撮影画角管理データベース36と、センサーカメラ10の撮像範囲における撮影位置を算出する処理を行うカメラ相対位置補正モジュール37と、撮影結果をクライアント30で結果を表示する結果表示モジュール38が搭載されている。
【0019】
上記クライアント30に搭載された各モジュールの関係を図4のソフトウェアモジュール相関図に示す。
【0020】
上記センサー画像取得モジュール31は、動体検知を行うための広範囲を撮影している画像を取得するモジュールであって、図5のフローチャートに示す処理を行う。
【0021】
すなわち、センサー画像取得モジュール31は、処理を開始すると、先ずセンサーカメラ10に画像取得要求を行い(ステップS11)、センサーカメラ10からセンサー画像を取得する(ステップS12)。そして、センサー画像取得モジュール31は、がクライアント30に画像を返却し(ステップS13)、撮影画角計算モジュール33を呼び出して(ステップS14)、処理を終了する。
【0022】
また、上記動体検知モジュール32は、センサー画像から動体の位置と大きさを抽出するモジュールであって、図6のフローチャートに示す処理を行う。
【0023】
すなわち、動体検知モジュール32は、処理を開始すると、先ず入力されたセンサー画像を元に動体の位置と大きさを算出し(ステップS21)、呼び出し元に結果を返却して(ステップS22)、処理を終了する。
【0024】
また、上記撮影画角計算モジュール33は、動体検知モジュール32で取得した全ての動体の位置と大きさを元に、撮影画角とそれらの画角の撮影優先順位を決定するモジュールであって、図7のフローチャートに示す処理を行う。
【0025】
すなわち、撮影画角計算モジュール33は、処理を開始すると、先ず動体検知モジュール32にセンサー画像を入力し(ステップS31)、動体検知モジュール32から結果を受け取る(ステップS32)。
【0026】
次に、撮影画角計算モジュール33は、検出範囲に統合可能な他の動体か撮影画角がないか否かを判定し(ステップS33)、その判定結果がNOである場合には、ズームカメラ20が1倍の画角の範囲内にあるか否かを判定する(ステップS34)。
【0027】
そして、撮影画角計算モジュール33は、上記ステップS34における判定結果がNOである場合には、対象動体、撮影画角に統合不可フラグを立てて(ステップS35)、上記ステップS33の判定処理に戻り、上記ステップS34における判定結果がYESである場合には、撮影画角を計算して(ステップS36)、上記ステップS33の判定処理に戻る。
【0028】
また、撮影画角計算モジュール33は、上記ステップS33における判定結果がYESである場合には、前回の結果からIDを引き継ぎ(ステップS37a)、次に、停止撮影画角管理データベース36の撮影画角からIDを引き継ぎ(ステップS37b)、さらに、停止撮影画角管理データベース36のデータから一定時間経った撮影画角を削除する(ステップS37c)。
【0029】
そして、撮影画角計算モジュール33は、今回の撮影画角の計算結果と停止撮影画角管理データベース36の撮影画角をソートし(ステップS37c)、その結果を画角追跡順管理データベース35に格納して(ステップS37c)、処理を終了する。
【0030】
また、上記追跡対象画像取得モジュール34は、画角追跡順管理データベース35とカメラ相対位置補正モジュール37により算出される位置補正結果を元に、追跡対象画像の撮影を行うモジュールであって、図8のフローチャートに示す処理を行う。
【0031】
すなわち、追跡対象画像取得モジュール34は、処理を開始すると、先ず画角追跡順管理データベース35から優先順位の高い撮影画角を取得し(ステップS41)、取得した撮影画角の位置変化量と大きさからズーム値を決定し(ステップS42a)、撮影画角の位置変化量と位置からパンチルト値を決定する(ステップS42b)。そして、追跡対象画像取得モジュール34は、カメラ相対位置補正モジュール37を呼び出し(ステップS43a)、カメラ相対位置補正モジュール37から位置補正結果を取得する(ステップS43b)。
【0032】
次に、追跡対象画像取得モジュール34は、ズームカメラ20にパン、チルトの命令とともに撮影要求を送信し、ズームカメラ20から詳細画像を1枚取得して、結果表示モジュール38にその画像を送る(ステップS44a)。さらに、追跡対象画像取得モジュール34は、ズームカメラ20にズームの命令とともに撮影要求を送信し、ズームカメラ20から詳細画像を1枚取得して、結果表示モジュール38にその画像を送る(ステップS44b)。
【0033】
次に、追跡対象画像取得モジュール34は、画角追跡順管理データベース35に新規の撮影画角があるか否かを判定し(ステップS45)、その判定結果がYESすなわち新規が撮影画角がある場合は画角追跡順管理データベース35が管理している撮影順を肇からにリセットして、撮影画角配列の頭から撮影を再開する。また、上記ステップS45における判定結果がNOすなわち新規が撮影画角ない場合は画角追跡順管理データベース35が現在保持している優先順位に従って次の撮影画角を撮影する(ステップS45)。
【0034】
そして、追跡対象画像取得モジュール34は、クライアント30から停止要求があったか否かを判定し(ステップS47)、その判定結果がNOすなわち停止要求がない場合には、上記ステップS41に戻り、ステップS41からステップS47を処理を繰り返し行い、上記ステップS47における判定結果がYESすなわち停止要求があると処理を終了。
【0035】
なお、上記画角追跡順管理データベース35は、撮影する画角とその撮影順序を管理するデータベースである。また、停止画角管理データベース36は、停止した動体撮影画角を管理するデータベースであって、一定時間の間にIDを引き継ぐ撮影画角が見つからなかった場合は、このデータベースから自動で消去される。
【0036】
また、カメラ相対位置補正モジュール37は、図9のフローチャートに示すように、広角範囲撮影用のセンサーカメラ10の撮像範囲(パノラマ矩形)における追跡対象位置を相対比で算出し(ステップS71)、求めた相対比からセンサーカメラ10における撮影位置を算出する処理を行う(ステップS72)。
【0037】
さらに、結果表示モジュール38は、追跡対象を撮影した画像を表示するモジュールであって、図10のフローチャートに示すように、追跡対象画像取得モジュール34からズームカメラ20の画像を取得して(ステップS81)、クライアントにズームカメラ画像を表示する処理を行う(ステップS72)。
【0038】
このような構成の撮像システム100において、センサー画像から動体情報を取得して、画角情報を生成する動作は、次のように行われる。
【0039】
すなわち、センサー画像取得モジュール31は、上述の図5に示したフローチャートの手順に従い、センサーカメラ10からセンサー画像を取得して、クライアント30に画像を返却し、撮影画角計算モジュール33を呼び出す。
【0040】
撮影画角計算モジュール33は、上述の図7に示したフローチャートの手順に従い、上記センサー画像取得モジュール31からの呼び出しに応じて、動体検知モジュール32に画像を入力し、動体検知モジュール32から結果を受け取り、動体の位置と大きさから、必要な撮影画角を計算する。
【0041】
そして、追跡対象画像取得モジュール34は、上述の図8に示したフローチャートの手順に従った処理を定期的に実行する。
【0042】
また、この撮像システム100において、上記画角追跡順管理データベース34を更新する動作は、次のように行われる。
【0043】
すなわち、撮影画角計算モジュール33は、上述の図7に示したフローチャートの手順に従い、全ての新たな撮影画角に対して同一範囲にある前回の撮影画角IDをそれぞれ割り振る。また、その際に撮影画角変化情報も更新する。
【0044】
撮影画角計算モジュール33は、前回の撮影画角IDが割り振れなかった場合は、停止画角管理データベース36から同一範囲にある撮影画角IDを割り振る。そして、停止画角管理データベース36から撮影画角IDを割り振ることができた場合は、その撮影画角を停止画角管理データベース36から消去する。
【0045】
また、撮影画角計算モジュール33は、過去の撮影画角IDを割り振れなかった撮影画角には新たに撮影画角IDを割り振る。そして、撮影画角IDを割り振ることができなかった前回の撮影画角は停止画角管理データベース36に追加する。
【0046】
また、撮影画角計算モジュール33は、停止画角管理データベース36にシステムで規定した一定時間以上存在する撮影画角を停止画角管理データベース36から削除する。
【0047】
さらに、撮影画角計算モジュール33は、今回取得した撮影画角において、新規,継続のステータスを付与し、停止画角管理データベース36にある撮影画角には停止のステータスを付与する。
【0048】
そして、撮影画角計算モジュール33は、継続時間の短いもの順、もしくは指定撮影画角IDから順に撮影画角を整理し、画角追跡順管理データベース34を更新する。
【0049】
なお、撮影画角とID割り当ての様子を図11に示す。
【0050】
さらに、この撮像システム100において、上記画角追跡順管理データベース34を用いて撮影を行う動作は、次のように行われる。
【0051】
すなわち、上述の図8に示したフローチャートの手順に従い、追跡対象画像取得モジュール34は、画角追跡順管理データベース35に格納されている順に従って撮影画角を取り出し、撮影画角の位置、位置変化情報、画角の大きさ、カメラ相対位置補正ロジックを元に、ズームカメラのパンチルト値とズーム値を決定して、ズームカメラ20にパンチルトの命令を送信し、詳細画像を1枚取得し、結果表示モジュール38にその画像を送る。さらに、追跡対象画像取得モジュール34は、ズームカメラ20にズームの命令を送信し、詳細画像を1枚取得し、結果表示モジュール38にその画像を送る。
【0052】
そして、追跡対象画像取得モジュール34は、画角追跡順管理データベース35に新規の撮影画角がないかチェックする。新規の撮影画角がある場合は画角追跡順管理データベース35が管理している撮影画角配列の頭から撮影を再開する。新規の撮影画角がない場合は現在保持している優先順位に従って次の撮影画角を撮影する。
【0053】
このように、この撮像システム100では、2台のカメラ10,20を用いてセンサーカメラ10で広範囲な撮影を行いつつ、もう一方のズームカメラ20でその撮影範囲内の追跡対象を撮影する際に、図12に示すように複数動体を1つの撮像画角として統合して表示し、その詳細画像を取得することができ、撮影画角にIDを割り振り動体が停止した後も同一の画角IDを振り、その同一動体撮影画角と持続時間が長い撮影の優先順位を下げることで、より多くの動体を撮影することができる。また、同一撮影画角の優先順位を上げることで同じ撮影画角を撮影し続けることも可能である。また、画角位置変化情報を保持し、その情報を元にズーム倍率と撮影位置を決定しているので、ある程度大きな複数の動体が高速で移動した場合にもその詳細画像を取得することができる。詳細画像はパンチルト後1枚、ズーム後1枚と2段階の取得を行っているため、動体の詳細画像に追跡対象が撮影されている可能性を高くすることができる。また、この詳細画像は撮影画像の再生時に動体の検索キーとしても使用することもできる。
【図面の簡単な説明】
【0054】
【図1】本発明を適用した撮像システムの構成を示すブロック図である。
【図2】本発明が適用される撮像システムの他の構成例を示すブロック図である。
【図3】本発明を適用した撮像システムにおけるクライアントに備えられる機能構成を模式的に示すブロック図である。
【図4】上記クライアントに搭載された各モジュールの関係を示すソフトウェアモジュール相関図である。
【図5】上記クライアントに搭載されたセンサー画像取得モジュールの動作を示すフローチャートである。
【図6】上記クライアントに搭載された動体検知モジュールの動作を示すフローチャートである。
【図7】上記クライアントに搭載された撮影画角計算モジュールの動作を示すフローチャートである。
【図8】上記クライアントに搭載された追跡対象画像取得モジュールの動作を示すフローチャートである。
【図9】上記クライアントに搭載されたカメラ相対位置補正モジュールの動作を示すフローチャートである。
【図10】上記クライアントに搭載された結果表示モジュールの動作を示すフローチャートである。
【図11】本発明を適用した撮像システムにおける撮影画角とID割り当ての様子を示す図である。
【図12】本発明を適用した撮像システムにおけるセンサーカメラにより得られた広範囲なセンサー画像と、その撮影範囲内の複数動体を統合して追跡対象としてズームカメラで撮影した詳細画像を示す図である。
【符号の説明】
【0055】
10 センサーカメラ、10A 固定カメラ、20 ズームカメラ、30 クライアント、31 センサー画像取得モジュール、32 動体検知モジュール、33 撮影画角計算モジュール、34 追跡対象画像取得モジュール、35 画角追跡順管理データベース、36 停止撮影画角管理データベース、37 カメラ相対位置補正モジュール、38 結果表示モジュール、40 ネットワーク、100 撮像システム100
【出願人】 【識別番号】000002185
【氏名又は名称】ソニー株式会社
【住所又は居所】東京都品川区北品川6丁目7番35号
【出願日】 平成16年9月13日(2004.9.13)
【代理人】 【識別番号】100067736
【弁理士】
【氏名又は名称】小池 晃

【識別番号】100086335
【弁理士】
【氏名又は名称】田村 榮一

【識別番号】100096677
【弁理士】
【氏名又は名称】伊賀 誠司

【公開番号】 特開2006−81125(P2006−81125A)
【公開日】 平成18年3月23日(2006.3.23)
【出願番号】 特願2004−266013(P2004−266013)