トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 魚眼レンズカメラ装置及びその画像抽出方法
【発明者】 【氏名】枝並 隆文
【要約】 【課題】魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法に関し、魚眼レンズカメラを任意の設置アングルで取り付けた場合の魚眼レンズ画像の歪み補正の画像変形処理を高速化し、又、人物像等の移動する像を精度よく検出して抽出し、モニタテレビ等に高精度で表示させる。

【構成】魚眼レンズ１−１、ＣＣＤ撮像装置１−２で撮影した画像を映像メモリ１−３に記憶させ、画像補正処理部１−４は、魚眼レンズカメラの設置角を補正する座標変換と、魚眼レンズ画像の歪みを補正する座標変換とを組み合わせて演算する構成を備え、等面積射影の魚眼レンズ像を高速に写像変換する。更に魚眼レンズ画像内の領域に対応した重み付けを行って、人物像等の特徴量を抽出し、表示エリアを抽出する構成を備えている。
【特許請求の範囲】
【請求項１】
魚眼レンズカメラにより撮影した画像から、移動する像を抽出する魚眼レンズカメラ装置において、
魚眼レンズ画像内の相互の位置関係を利用して領域を統合し、像の変化した領域を抽出する構成を備えたことを特徴とする魚眼レンズカメラ装置。
【請求項２】
魚眼レンズカメラにより撮影した画像から、移動する像を抽出する魚眼レンズカメラ装置において、
魚眼レンズ画像をパノラマ状の横長映像に変換し、その映像のフレーム間差分の信号又はフレーム間差分とフレーム内差分とを結合した信号を抽出し、該信号により領域抽出を行い、複数の移動像の領域抽出を同時に行う構成を備えたことを特徴とする魚眼レンズカメラ装置。
【請求項３】
魚眼レンズカメラにより撮影した画像から、移動する像を抽出する魚眼レンズカメラ装置において、
フレーム間差分の信号又はフレーム間差分とフレーム内差分とを結合した信号等の特徴量の抽出演算を魚眼レンズ画像の映像をもとに行い、特徴検出領域に対する領域抽出処理において、極座標と直交座標とのアドレス変換を行って魚眼レンズ画像の映像内を走査し、円形の魚眼レンズ画像の映像の中から複数の移動像の領域抽出を行う構成を備えたことを特徴とする魚眼レンズカメラ装置。
【請求項４】
魚眼レンズカメラにより撮影した画像から、移動する像を抽出する魚眼レンズカメラ装置において、
魚眼レンズ画像の映像の中から得られる複数の人物像の領域について、各人物像の形状を正規化し、各像の形状内の色情報を記億し、個々の像の色情報をもとに移動する複数の人物像を個別に追尾する映像を作成する構成を備えたことを特徴とする魚眼レンズカメラ装置。
【請求項５】
魚眼レンズカメラにより撮影した画像から、移動する像を抽出する魚眼レンズカメラ装置において、
魚眼レンズ画像の中心部分と周辺部分との歪みの大きさに応じて異なる重み係数を乗じた特徴量をもとに領域抽出を行う構成を備えたことを特徴とする魚眼レンズカメラ装置。
【請求項６】
前記重み係数として、更に魚眼レンズ画像の映像内の領域に対応して異なる値を与え、非抽出領域をマスクして領域抽出を行う構成を備えたことを特徴とする請求項５記載の魚眼レンズカメラ装置。
【請求項７】
魚眼レンズカメラにより撮影した画像から、移動する像を抽出する画像抽出方法において、
魚眼レンズ画像内の相互の位置関係を利用して領域を統合し、像の変化した領域を抽出する過程を含むことを特徴とする魚眼レンズカメラの画像抽出方法。
【請求項８】
魚眼レンズカメラにより撮影した画像から、移動する像を抽出する画像抽出方法において、
魚眼レンズ画像をパノラマ状の横長映像に変換し、その映像のフレーム間差分の信号又はフレーム間差分とフレーム内差分とを結合した信号を抽出し、該信号により領域抽出を行い、複数の移動像の領域抽出を同時に行う過程を含むことを特徴とする魚眼レンズカメラの画像抽出方法。
【請求項９】
魚眼レンズカメラにより撮影した画像から、移動する像を抽出する画像抽出方法において、
フレーム間差分の信号又はフレーム間差分とフレーム内差分とを結合した信号等の特徴量の抽出演算を魚眼レンズ画像の映像をもとに行い、特徴検出領域に対する領域抽出処理において、極座標と直交座標とのアドレス変換を行って魚眼レンズ画像の映像内を走査し、円形の魚眼レンズ画像の映像の中から複数の移動像の領域抽出を行う過程を含むことを特徴とする魚眼レンズカメラの画像抽出方法。
【請求項１０】
魚眼レンズカメラにより撮影した画像から、移動する像を抽出する画像抽出方法において、
魚眼レンズ画像の映像の中から得られる複数の人物像の領域について、各人物像の形状を正規化し、各像の形状内の色情報を記億し、個々の像の色情報をもとに移動する複数の人物像を個別に追尾する映像を作成する過程を含むことを特徴とする魚眼レンズカメラの画像抽出方法。
【請求項１１】
魚眼レンズカメラにより撮影した画像から、移動する像を抽出する画像抽出方法において、
魚眼レンズ画像の中心部分と周辺部分との歪みの大きさに応じて異なる重み係数を乗じた特徴量をもとに領域抽出を行う過程を含むことを特徴とする魚眼レンズカメラの画像抽出方法。
【請求項１２】
前記重み係数として、更に魚眼レンズ画像の映像内の領域に対応して異なる値を与え、非抽出領域をマスクして領域抽出を行う過程を含むことを特徴とする請求項１１記載の魚眼レンズカメラの画像抽出方法。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、魚眼レンズカメラ装置及びその画像抽出方法に関し、特に、魚眼レンズカメラにより画像を取り込み、その一部の画像を切り出してモニタテレビに表示するテレビ会議システム又は遠隔監視システム等における魚眼レンズカメラ装置及びその画像抽出方法に関する。
【０００２】
魚眼レンズは約１８０度の画角を有し、広範囲の画像を映し出すことができるが、その画像はたる型に歪曲し、特に周辺部は歪みが著しい。本発明は、魚眼レンズの撮像範囲が広範囲であることを利用し、１台の魚眼レンズカメラで取り込んだ画像の中から、注目する画像の部分を切り出し、画像の歪みを補正してモニタテレビ画面に表示するものである。
【０００３】
更に、本発明は、魚眼レンズカメラで映し取った映像の中から、人物の侵入等の動きを伴う像を検出し、その像のモニタ表示領域（切り出し領域）を自動的に決定してその移動像を追尾させるものであり、遠隔監視システムやテレビ会議システムのカメラ装置に好適に用いられるものである。
【背景技術】
【０００４】
図１３は従来の魚眼レンズカメラ装置の構成及びそれを用いた遠隔監視システム及びテレビ会議システムを示す図である。図の（ａ）は魚眼レンズカメラ装置の構成を示し、図の（ｂ）は魚眼レンズカメラ装置を用いた遠隔監視システムを示し、図の（ｃ）は魚眼レンズカメラ装置を用いたテレビ会議システムを示す。
【０００５】
同図において、１３−１０は魚眼レンズカメラ装置、１３−１は魚眼レンズ、１３−２はＣＣＤ撮像装置、１３−３は映像メモリ（フレームメモリ）、１３−４は画像補正処理回路、１３−５は補正映像（ＮＴＳＣ）出力回路である。
【０００６】
魚眼レンズ１３−１は約１８０度の画角で対象物を光学的に映し出し、ＣＣＤ撮像装置１３−２は光学的な映像から電気的な画像信号を生成し、映像メモリ（フレームメモリ）１３−３はその画像信号をフレーム単位に記憶する。
【０００７】
画像補正処理回路１３−４は、モニタ表示する領域について、魚眼レンズの歪んだ画像を補正して元の像に戻し、補正映像（ＮＴＳＣ）出力回路１３−５は、補正された画像信号をＮＴＳＣ方式等の通常のテレビ映像信号として出力する。
【０００８】
魚眼レンズは画角が広いため、そのレンズを用いたカメラ装置により広範囲のエリアの映像を取り込む遠隔監視システムやテレビ会議システムを構成することができる。図の（ｂ），（ｃ）に示すように、魚眼レンズカメラ装置１３−１０に符号化装置１３−２０を取付け、又は符号化装置付きの魚眼レンズカメラ装置１３−３０により、映像信号を公衆回線１３−４０を介して伝送し、復号化装置１３−５０を介してモニタテレビ画面１３−６０等に表示することにより、それらのシステムを構成することができる。但し、魚眼レンズは画角が広い分、映像の歪みが大きく、その歪みを補正してモニタテレビ画面１３−６０等に表示しなければならない。
【０００９】
図１４は従来の魚眼レンズカメラ画像の歪み補正の説明図である。同図において、１４−１は仮想の画像フレーム、１４−２は仮想の半球面、１４−３は魚眼レンズ撮像画面である。又、ｘ，ｙ，ｚ軸で示す３次元空間の原点Ｏに魚眼レンズが置かれ、且つ、魚眼レンズはｚ軸の方向に向けて置かれているものとする。
【００１０】
又、仮想の半球面１４−２は、魚眼レンズが正射影方式のレンズでその焦点距離がｆであるとすると、半径ｆの仮想的な半球の球面であり、その平面部はｘ−ｙ平面上に置かれ、その中心は原点Ｏの位置に置かれる。
【００１１】
仮想の画像フレーム１４−１は、魚眼レンズの位置（原点）から撮影対象物へ向かう視線方向ベクトルＤＯＶ（Ｄｉｒｅｃｔｉｏｎ Ｏｆ Ｖｉｅｗ）と直交する仮想的な平面上のフレームで、所定の大きさの枠を持ち、後に説明するように、この枠内の映像が魚眼レンズ画像から切り出されてモニタテレビ画面に表示されることとなる。即ち、モニタテレビ等の表示フレームの枠と同じ大きさの枠を持つ。
【００１２】
又、画像フレーム１４−１は、そのフレーム内に視線方向ベクトルＤＯＶと交差する点を原点とする２次元座標軸（ｐ，ｑ）を持ち、仮想画像フレーム１４−１内の点はこの座標の成分（ｐ，ｑ）によって表される。
【００１３】
魚眼レンズによって映し出される像（魚眼レンズ画像）は、レンズの射影方式（projection formula）によっていくつかのタイプに分けられるが、以下、正射影（orthographic projection）方式の魚眼レンズについて説明する。
【００１４】
魚眼レンズの置かれた位置（原点Ｏ）から前記仮想の半球面１４−２を通して見える像を、そのまま該仮想の半球面１４−２に貼り付けたと仮定する。そして、その半球面１４−２上に貼り付けた３次元空間の像を、図のｘ軸及びｙ軸からなる２次元空間の平面上に、該平面に垂直に（ｚ方向から原点方向に）押し潰して貼り付けた像が、正射影方式の魚眼レンズの画像である。
【００１５】
なお、実際には、魚眼レンズの画像は上下左右逆転した位置に像を結ぶが、像の歪曲の相対的な関係は変わらないので、説明を簡略化するため前述したように結像するものとする。
【００１６】
前記半球面１４−２上の像を垂直に押し潰した２次元空間の平面が魚眼レンズ撮像画面１４−３であり、該魚眼レンズ撮像画面１４−３の円の内側の画像が魚眼レンズで撮影された画像である。外側の四角の枠は、ＣＣＤ撮像装置から得られる全体の撮像画面の外枠である。
【００１７】
魚眼レンズの画像は歪曲しているため、魚眼レンズカメラで撮影した像を表示するには、その一部を切り出して正常な画像に補正する必要がある。そこで、表示するフレームに対応するフレームを仮想の画像フレーム１４−１として想定する。
【００１８】
魚眼レンズが向いているｚ軸の方向が、鉛直線の上方の方向であるとし、前記視線方向ベクトルＤＯＶがｚ軸と成す頂点角（天頂角）をφ、水平面の基準軸（ｘ軸又はｙ軸）と成す方位角をθとする。又、焦点距離（魚眼レンズ画像の円の半径）をｆ、画像フレームの回転角をω、拡大率をｍとする。拡大率ｍは、魚眼レンズの位置（原点Ｏ）から画像フレーム１４−１内の原点までの距離をＤとすると、ｍ＝Ｄ／ｆである。
【００１９】
魚眼レンズ画像平面１４−３内の点（ｘ，ｙ）と画像フレーム１４−１内の点（ｐ，ｑ）との対応関係は、式（１）の関係式によって表わされる。
【００２０】
【数１】


【００２１】
式（１）の対応関係を利用して魚眼レンズ画像の歪みを補正し、元の画像を復元してモニタテレビ画面に表示させることができる。即ち、先ず前記画像フレーム１４−１を定位させ、モニタ表示する領域（切り出し領域）を定める。この定位操作は、画像フレームの頂点角φ、方位角θ、回転角φ及び拡大率ｍを外部から画像補正処理回路１３−４に入力することによって設定する。
【００２２】
画像補正処理回路１３−４は、画像フレーム１４−１内の点（ｐ，ｑ）に対応する魚眼レンズ画像平面１４−３内の点（ｘ，ｙ）を、前記式（１）の関係式により求め、その点の色情報信号を映像メモリ（フレームメモリ）１３−３から読み出して、画像フレーム１４−１内の点（ｐ，ｑ）に対応するアドレスを有する出力用の映像メモリ（図示省略）に該色情報信号を書き込む。
【００２３】
この映像メモリ間の色情報転送操作を、画像フレーム１４−１内の全ての点（ｐ，ｑ）について行い、出力用の映像メモリから順次、色情報信号を補正映像（ＮＴＳＣ）出力回路１３−５に送出することにより、補正映像（ＮＴＳＣ）出力回路１３−５は、原点Ｏから仮想の画像フレーム１４−１の枠を通して見た実物象の画像を、歪みなく表示することができる。魚眼レンズの画像の歪補正については、下記の特許文献１等に記載されている。
【特許文献１】米国特許第５，１８５，６６７号明細書
【発明の開示】
【発明が解決しようとする課題】
【００２４】
前述の魚眼レンズ画像の歪み補正は、対象とする魚眼レンズが正射影の像となるときの補正であり、実際の魚眼レンズとして多く使用されている等面積写像の像となる魚眼レンズのときは、座標変換の演算が更に複雑なものとなる。
【００２５】
魚眼レンズ画像の歪み補正の演算は、表示する画像フレームの座標点毎に座標変換の演算を行うため膨大な演算量となり、又、画像の解像度を上げると更に演算量が増大することになるので、座標変換の演算量は極力少ないものとしなければならない。
【００２６】
又、前述の魚眼レンズ画像の歪み補正は、魚眼レンズカメラを机等に設置して天井方向に真上に向ける、或いは、天井に取り付けて床方向に真下に向ける等、鉛直方向に向けて置くことを前提としているため、魚眼レンズカメラの設置アングルを自由に選定して設置することができない。一方、魚眼レンズカメラを壁に横向きに取り付けたり、天井の隅に斜めの角度で取り付けたりした方が、監視領域等の撮像領域を魚眼レンズ画像のより有効な撮像エリアに取り込むことができる場合が多い。
【００２７】
更に、魚眼レンズカメラを使って撮影される映像は、実際には個々の魚眼レンズカメラの特性により変動する。この魚眼レンズカメラの特性の相違は、魚眼レンズ画像の歪み補正による画像変換を行っても、変換後の画像に画像歪みとして残って表示されてしまう。
【００２８】
従来は魚眼レンズカメラの映像パラメータである、ＣＣＤ撮像装置の撮像画面における魚眼レンズ画像の左右方向のずれの補正や、ＣＣＤの撮像装置の構造等に起因する縦横比の補正については、手動で調整しなければならなかった。
【００２９】
又、魚眼レンズカメラを使った追尾型の遠隔監視システムにおいて、人物像等の検出とモニタ表示領域（切り出し領域）の決定を自動的に行なわなければならないが、単に魚眼レンズ画像のフレーム間差分によりモニタ表示領域（切り出し領域）を決定する方法では、動く物が１つのみである場合の検出が限界であり、領域内に複数の物が移動する場合にその各々を追尾する映像を作成することは不可能であった。
【００３０】
又、魚眼レンズ画像は、その中心部と周辺部とで明るさや歪曲の大きさが違っているため、追尾の際の切り出し領域が変化するに伴い、モニタ表示される画像についても不自然になり易いという欠点があった。
【００３１】
本発明は、魚眼レンズカメラを任意の設置アングルで取り付けた場合の魚眼レンズ画像の歪み補正の画像変形処理を高速化するとともに、又、魚眼レンズカメラで撮影した人物像等の移動する像を精度よく検出して抽出し、モニタテレビ等に高精度で表示させることを目的とする。
【課題を解決するための手段】
【００３２】
本発明の魚眼レンズカメラ装置は、（１）魚眼レンズカメラにより撮影された画像の歪みを補正する画像補正処理部を備えた魚眼レンズカメラ装置において、前記画像補正処理部は、魚眼レンズカメラの設置角を補正する座標変換と、魚眼レンズ画像の歪みを補正する座標変換とを組み合わせて演算する構成を有するものである。又、（２）前記画像補正処理部は、等面積写像の魚眼レンズ画像の歪みを補正する座標変換を演算する構成を有するものである。
【００３３】
又、（３）魚眼レンズカメラにより撮影された画像の歪みを補正する画像補正処理部を備えた魚眼レンズカメラ装置において、魚眼レンズ画像の歪み補正のための、表示画像の中心位置、魚眼レンズ画像の縦横比、魚眼レンズ画像エリアの半径等のパラメータを、撮像された魚眼レンズ画像自体から抽出し、該パラメータにより魚眼レンズ画像の歪み捕正を行う構成を備えたものである。
【００３４】
又、（４）魚眼レンズカメラにより撮影した画像から、移動する像を抽出する魚眼レンズカメラ装置において、魚眼レンズ画像内の相互の位置関係を利用して領域を統合し、像の変化した領域を抽出する構成を備えたものである。
【００３５】
又、（５）魚眼レンズカメラにより撮影した画像から、移動する像を抽出する魚眼レンズカメラ装置において、魚眼レンズ画像をパノラマ状の横長映像に変換し、その映像のフレーム間差分の信号又はフレーム間差分とフレーム内差分とを結合した信号を抽出し、該信号により領域抽出を行い、複数の移動像の領域抽出を同時に行う構成を備えたものである。
【００３６】
又、（６）魚眼レンズカメラにより撮影した画像から、移動する像を抽出する魚眼レンズカメラ装置において、フレーム間差分の信号又はフレーム間差分とフレーム内差分とを結合した信号等の特徴量の抽出演算を魚眼レンズ画像の映像をもとに行い、特徴検出領域に対する領域抽出処理において、極座標と直交座標とのアドレス変換を行って魚眼レンズ画像の映像内を走査し、円形の魚眼レンズ画像の映像の中から複数の移動像の領域抽出を行う構成を備えたものである。
【００３７】
又、（７）魚眼レンズカメラにより撮影した画像から、移動する像を抽出する魚眼レンズカメラ装置において、魚眼レンズ画像の映像の中から得られる複数の人物像の領域について、各人物像の形状を正規化し、各像の形状内の色情報を記億し、個々の像の色情報をもとに移動する複数の人物像を個別に追尾する映像を作成する構成を備えたものである。
【００３８】
又、（８）魚眼レンズカメラにより撮影した画像から、移動する像を抽出する魚眼レンズカメラ装置において、魚眼レンズ画像の中心部分と周辺部分との歪みの大きさに応じて異なる重み係数を乗じた特徴量をもとに領域抽出を行う構成を備えたものである。又、（９）前記重み係数として、更に魚眼レンズ画像の映像内の領域に対応して異なる値を与え、非抽出領域をマスクして領域抽出を行う構成を備えたものである。
【００３９】
又、本発明の魚眼レンズカメラの画像歪み補正方法は、（１０）魚眼レンズカメラにより撮影された画像の歪みの補正において、魚眼レンズカメラの設置角を補正する座標変換と、魚眼レンズ画像の歪みを補正する座標変換とを組み合わせて演算する過程を含むものである。又、（１１）前記魚眼レンズカメラの画像歪み補正において、等面積写像の魚眼レンズ画像の歪みを補正する座標変換を演算する過程を含むものである。
【００４０】
又、（１２）魚眼レンズカメラにより撮影された画像の歪みの補正において、魚眼レンズ画像の歪み補正のための、表示画像の中心位置、魚眼レンズ画像の縦横比、魚眼レンズ画像エリアの半径等のパラメータを、撮像された魚眼レンズ画像自体から抽出し、該パラメータにより魚眼レンズ画像の歪み捕正を行う過程を含むものである。
【００４１】
又、本発明の魚眼レンズカメラの画像抽出方法は、（１３）魚眼レンズカメラにより撮影した画像から、移動する像を抽出する画像抽出方法において、魚眼レンズ画像内の相互の位置関係を利用して領域を統合し、像の変化した領域を抽出する過程を含むものである。
【００４２】
又、（１４）魚眼レンズカメラにより撮影した画像から、移動する像を抽出する画像抽出方法において、魚眼レンズ画像をパノラマ状の横長映像に変換し、その映像のフレーム間差分の信号又はフレーム間差分とフレーム内差分とを結合した信号を抽出し、該信号により領域抽出を行い、複数の移動像の領域抽出を同時に行う過程を含むものである。
【００４３】
又、（１５）魚眼レンズカメラにより撮影した画像から、移動する像を抽出する画像抽出方法において、フレーム間差分の信号又はフレーム間差分とフレーム内差分とを結合した信号等の特徴量の抽出演算を魚眼レンズ画像の映像をもとに行い、特徴検出領域に対する領域抽出処理において、極座標と直交座標とのアドレス変換を行って魚眼レンズ画像の映像内を走査し、円形の魚眼レンズ画像の映像の中から複数の移動像の領域抽出を行う過程を含むものである。
【００４４】
又、（１６）魚眼レンズカメラにより撮影した画像から、移動する像を抽出する画像抽出方法において、魚眼レンズ画像の映像の中から得られる複数の人物像の領域について、各人物像の形状を正規化し、各像の形状内の色情報を記億し、個々の像の色情報をもとに移動する複数の人物像を個別に追尾する映像を作成する過程を含むものである。
【００４５】
又、（１７）魚眼レンズカメラにより撮影した画像から、移動する像を抽出する画像抽出方法において、魚眼レンズ画像の中心部分と周辺部分との歪みの大きさに応じて異なる重み係数を乗じた特徴量をもとに領域抽出を行う過程を含むものである。
【００４６】
又、（１８）前記重み係数として、更に魚眼レンズ画像の映像内の領域に対応して異なる値を与え、非抽出領域をマスクして領域抽出を行う過程を含むものである。
【発明の効果】
【００４７】
以上説明したように、本発明によれば、約１８０度の広い画角を持つ魚眼レンズカメラにより映像を取り込むので、１台のカメラにより広範囲のエリアを監視することができ、設置カメラ台数を削減することができるとともに、その画像を精度よく高速に補正して表示することができる。
【００４８】
又、魚眼レンズカメラの設置角を補正する座標変換と、魚眼レンズ画像の歪みを補正する座標変換とを組み合わせて演算することにより、設置角度によらず画像補正の演算処理を高速に行うことができる。又、魚眼レンズ画像の歪み補正のためのパラメータを、撮像された魚眼レンズ画像自体から抽出して魚眼レンズ画像の歪み捕正を行うことにより、設置時の調整や経年変化に対して、安定した歪み補正を行うことができる。
【００４９】
魚眼レンズ画像の中心部分と周辺部分との歪みの大きさに応じて異なる重み係数を乗じた特徴量をもとに領域抽出を行うことにより、歪みの大きい周辺部分での人物像等の検出を安定して行うことができ、更に、重み係数として、更に魚眼レンズ画像の映像内の領域に対応して異なる値を与えて非抽出領域をマスクすることにより、人物像等の抽出処理における不安定要素を予め取り除くことができる。
【００５０】
又、魚眼レンズカメラにより取り込んだ広範囲の画像の中から、任意の部分を切り出してモニタテレビ画面に表示するなど映像作成の自由度が大きく、遠隔監視システムやテレビ会議システムのカメラに適用することにより、利便性の向上を図ることができる。
【００５１】
更に、魚眼レンズカメラで映し取った映像の中から、人物の侵入等の動きを伴う像を検出し、その像のモニタ表示領域（切り出し領域）を自動的に決定して滑らかな動きで追尾する電子追尾型の遠隔監視システム又はテレビ会議システムを構成することができる。
【発明を実施するための最良の形態】
【００５２】
図１は、本発明の実施の形態の魚眼レンズカメラ装置の構成を示す図である。同図において、１−１は魚眼レンズ、１−２はＣＣＤ撮像装置、１−３は映像メモリ（フレームメモリ）、１−４は画像補正処理部、１−４１はカメラ設置角補正部、１−４２はパン／チルト角回転補正部、１−４３はズーム補正部、１−４４は映像補間作成部、１−５は補正映像（ＮＴＳＣ）出力回路である。
【００５３】
魚眼レンズ１−１により広範囲の像を光学的に取り込み、ＣＣＤ撮像装置１−２により光学的な像から電気的な画像信号を生成し、映像メモリ（フレームメモリ）１−３はその画像信号をフレーム単位に記憶する。
【００５４】
画像補正処理部１−４は、魚眼レンズによる歪んだ画像を補正して元の像に戻す処理を行い、補正映像（ＮＴＳＣ）出力回路１−５は、補正された像の信号を通常のＮＴＳＣ方式等のテレビ映像信号として出力する。又、この信号を符号化装置により符号化して送信し、遠隔地で映像表示することもできる。
【００５５】
画像補正処理部１−４のカメラ設置角補正部１−４１は、任意の方向を向いた魚眼レンズカメラ装置の設置角を補正し、パン／チルト角回転補正部１−４２は、映像表示エリア（切り取りエリア）のパン・チルト角の回転量を制御し、ズーム補正部１−４３は、表示映像の拡大率を制御し、映像補間作成部１−４４は、座標点の間の補間を行い、映像表示エリア（切り取りエリア）の画像について歪みを補正して元の像に戻す処理を行う。
【００５６】
図２は本発明の実施の形態の魚眼レンズカメラで撮影される映像の説明図である。図の（ａ）は、魚眼レンズカメラが直上を向いた場合の魚眼レンズ画像ｉｍｇを示し、図の（ｂ）は、表示対象の魚眼レンズ画像ｉｍｇを、画像フレームｆｒｍの平面へ写像する様子を模式的に表し、図の（ｃ）はｙ軸方向から図の（ｂ）の球を見通した図を示している。魚眼レンズ画像ｉｍｇが正射影方式の画像の場合、図の（ａ）の魚眼レンズ画像ｉｍｇはｚ軸方向から図２の（ｂ）の球を見通した画像となる。
【００５７】
魚眼レンズカメラをｘ軸，ｙ軸，ｚ軸の原点に上方に（ｚ軸方向に）向けて置いたとすると、魚眼レンズカメラで映される映像は、先ず、原点の周りの距離Ｒの半径の球の内側に、映像が貼り付けられた状態を想定して解析することができる。
【００５８】
このように物体までの距離は無視されて、魚眼レンズカメラによる画像ｉｍｇは、特定の方角（ｒ，θ，φ）から入射された像が、２次元のｘ−ｙ平面で、式（２）の写像変換式により表される点（ｘ″，ｙ″）へ写像されるものとみなすことができる。式（２）においてθは方位角、φは頂点角（天頂角）であり、Ｌは頂点角φで入射した像が魚眼レンズ画像上に結像したときの、原点Ｏからの距離（像高）である。
【００５９】
【数２】


【００６０】
即ち、魚眼レンズ画像ｉｍｇは、３次元極座標（ｒ，θ，φ）の点から、二次元の（ｘ″，ｙ″）への写像と考えることができる。距離（像高）Ｌは魚眼レンズの射影方式によって異なり、前述の正射影方式の場合は式（３−１）、等面積射影の場合は式（３−２）、等距離射影の場合は式（３−３）のように表わされる。なお、ｆはレンズの焦点距離である。
【００６１】
【数３】


【００６２】
図２の（ｂ）において、歪み補正して表示する画像フレームｆｒｍの方位角をθ、頂点角をφとすると、表示画像をパン／チルト操作させることは、この仮想の画像フレームｆｒｍを、３次元座標内で回転した場合に、そこに投影される映像を表示することに一致する。
【００６３】
即ち、画像フレームｆｒｍ内のラスター上に並んだ各点の座標に対応する、魚眼レンズ画像ｉｍｇの点の座標を特定し、その座標の点の色情報信号を、表示フレームｆｒｍの座標の点の色情報信号に対応させることにより、魚眼レンズ画像ｉｍｇを元の画像に変換する補正処理を行うことができる。カメラが、直上または直下を向いている場合には、画像フレームｆｒｍのパンの操作は方位角θを所定量変化させ、又、チルトの操作は頂点角φを所定量変化させて、対応する魚眼レンズ画像ｉｍｇ内の２次元座標の色情報信号のマッピングを行えばよい。
【００６４】
図３は、横方向に向けた魚眼レンズカメラの撮影画像の説明図である。同図は魚眼レンズカメラをｘ軸方向に向けた場合を示している。この場合魚眼レンズ画像ｉｍｇは垂直面に形成されることとなる。
【００６５】
この場合でも前述したような歪み補正により、歪みのない画像を表示させることはできるが、そのまま、直上の映像として魚眼レンズ画像の変換を行うと、パン／チルトの操作を行ったとき、回転方向が実際の映像のパン／チルトの方向と違った方向に回転することになる。即ち、直上の映像の場合、ｚ軸との角度φを変化させてチルトの操作を行ったが、横方向に魚眼レンズカメラが向いている場合には角度φを変化させてもチルトの操作にはならない。
【００６６】
そのため、先ず、歪み補正を行う前に、魚眼レンズカメラの向き、即ち、カメラ設置角について補正を行う。この補正処理は前記カメラ設置角補正部１−４１により行う。
【００６７】
図４は横方向を向けた魚眼レンズカメラ画像の補正の説明図である。図３に示したように魚眼レンズカメラが横軸のｘ軸の方向を向いている場合、座標系をｙ軸の回りに予め９０度回転させ、魚眼レンズ画像面ｉｍｇがｚ軸と垂直に交わる位置に回転移動させることにより、パン／チルトの操作に対して、前述した直上の画像の場合と同等の処理を行うことが可能になる。即ち、前記角度φを変化させることによりチルト操作を行うことができ、又、前記角度θを変化させることによりパン操作を行うことができる。
【００６８】
図４に示した例は、魚眼レンズカメラが横方向を向いている場合であったが、魚眼レンズカメラを上、下、横、斜めの任意の方向に向いているとき、鉛直方向をｚ′軸とする座標系を（ｘ′，ｙ′，ｚ′）とし、画像フレームｆｒｍ上の点の座標を（ｘ′，ｙ′，ｚ′）で表し、この画像フレームｆｒｍ上の点（ｘ′，ｙ′，ｚ′）と魚眼レンズカメラの向き（ｚ軸方向）との角度をφ、画像フレームｆｒｍ上の点（ｘ′，ｙ′，ｚ′）とｘ軸との角度をθ、画像フレームｆｒｍ上の点（ｘ′，ｙ′，ｚ′）とｙ軸との角度をρとすると、式（４）の回転行列の式を用いて回転座標変換を行うことにより、パン／チルトの操作方向を実際の映像と一致させることができる。ここで、式（４）の回転行列の式の行列Ｒｘ，Ｒｚ，Ｒｙはそれぞれｘ軸、ｙ軸、ｚ軸の回りに回転を与える行列であり、行列Ｒｘはカメラアングルに対応した回転を与える。
【００６９】
【数４】


【００７０】
同一の方位角及びカメラアングル（頂点角）について、前記式（４）の回転行列の式を一度計算することにより、回転後の座標が（ｘ，ｙ，ｚ）として得られる。次にこの点の２次元座標上の魚眼レンズ画像の点（ｘ″，ｙ″）への写像を計算するにより、画像フレーム上の点と魚眼レンズ画像の点と対応させることができる。魚眼レンズカメラの設置角についての計算量の増加は、一度だけ回転行列を生成することによる増加であり僅かである。
【００７１】
３次元座標の点（ｘ，ｙ，ｚ）から２次元座標上の魚眼レンズ画像の点Ｐ（ｘ″，ｙ″）への写像は、先ず、点（ｘ，ｙ，ｚ）を極座標表現の点（ｒ，θ，φ）に変換する。この変換は、式（５）の極座標変換の式により変換することができる。
【００７２】
【数５】


【００７３】
更に、等面積写像方式の魚眼レンズの場合は、式（３−２）の式で表されるため、この式を式（２）に代入することにより、式（６）の式が得られる。ｘ2＋ｙ2＋ｚ2＝ｘ′2＋ｙ′2＋ｚ′2＝ｒ2であること及び式（５）更に三角関数の基本式を利用して、式（６）の式は式（７）の式のように簡素化される。
【００７４】
【数６】


【００７５】
【数７】


【００７６】
このようにして、魚眼レンズカメラ設置角の補正は、先ず、画像変形処理を行う前に、画像フレームｆｒｍの矩形領域の座標（ｘ′，ｙ′，ｚ′）を、回転座標変換により（ｘ，ｙ，ｚ）の座標に変換し、その後、該（ｘ，ｙ，ｚ）座標の点を、魚眼レンズ画像の座標上の点（ｘ″，ｙ″）へ変換する。なお、ｚ軸の成分はズーム率に相当するため、基本的には（ｘ，ｙ）から（ｘ″，ｙ″）への２次元２次元変換となる。式（７）の式に関する座標の変換式は、座標軸回転に伴う座標変換と魚眼レンズの特性に伴った写像変換とを一度に計算することにより、計算回数の削減が図られている。
【００７７】
ここで、前記の演算により求めた魚眼レンズ画像の座標上の点（ｘ″，ｙ″）を（ｕ，ｖ）と記す。この座標点（ｕ，ｖ）を滑らかに補間するために、以下のような補間処理を行う。映像信号の３色の色情報信号成分をＹ，Ｕ，Ｖとし、点（ｕ，ｖ）のそれらの成分を、Ｙｕ，ｖ、Ｕｕ，ｖ、Ｖｕ，ｖとし、又、点（ｕ，ｖ）の座標成分ｕ，ｖの小数点を切り捨てて整数化した値をｕ０、ｖ０とし、座標（ｕ０，ｖ０）の点における色情報信号Ｙの値をＹｕ０ｖ０とする。同様に、色情報信号Ｕ，ＶについてもＵｕ０ｖ０，Ｖｕ０ｖ０により同様な内容を表す。更に、座標成分ｕ，ｖをそれぞれ小数点を切り上げした値をｕ１，ｖ１とし、それに対応した座標の色情報信号Ｙ，Ｕ，Ｖの値を、それぞれＹｕ１ｖ１，Ｕｕ１ｖ１，Ｖｕ１ｖ１と表す。そして、座標成分ｕ，ｖの小数部をそれぞれｄｕ，ｄｖとする。
【００７８】
入力映像信号を式（８）の一次変換の式により補間してマッピングすることにより、滑らかな画像を表示させることができる。
【００７９】
【数８】


【００８０】
次に、魚眼レンズカメラの撮像エリアから、魚眼レンズカメラのパラメータである画像中心位置（Ｘｂａｓｅ，Ｙｂａｓｅ）及び焦点距離に対応した値ｆを自動抽出する手法について説明する。前記のパラメータは魚眼レンズカメラ画像の歪み補正において使用されるパラメータである。
【００８１】
図５は魚眼レンズカメラのパラメータ抽出の説明図である。同図において５−１は魚眼レンズカメラの撮像エリア、５−２は魚眼レンズ画像エリアである。円像魚眼レンズを用いたカメラの撮像エリア５−１内には、円形の魚眼レンズ画像エリア５−２が観測される。この魚眼レンズ画像エリア５−２はカメラ撮像エリア５−１内の所定の位置に観測され、又、魚眼レンズ画像エリア５−２の外周は光が到達しないため非常に輝度の低いエリアとなる。
【００８２】
そこで、カメラ撮像エリア５−１の全体について、水平及び垂直のそれぞれの方向に関してヒストグラムを抽出し、魚眼レンズ画像エリアの位置及びその半径を測定することができる。
【００８３】
水平方向のヒストグラムＨｈ（ｎ）と垂直方向のヒストグラムＨｖ（ｎ）とに関して適度な閥値Ｔｈ，Ｔｖを設定し、撮像エリア画面の両端からヒストグラムを測定して最初に閾値Ｔｖ，Ｔｈを越す点を探索する。
【００８４】
その点を水平、垂直それぞれに対して２点ずつ抽出し、水平ヒストグラムから魚眼レンズ画像エリアの左端Ｘｌｅｆｔ及び右端Ｘｒｉｇｈｔの点を検出することができる。又、垂直ヒストグラムから魚眼レンズ画像エリアの上端Ｙｕｐ及び下端Ｙｄｏｗｎの点を検出することができる。
【００８５】
上記魚眼レンズ画像エリアの左端Ｘｌｅｆｔ、右端Ｘｒｉｇｈｔ、Ｙｕｐ及び下端Ｙｄｏｗｎのそれぞれの位置から、水平方向の半径Ｒｈと垂直方向の半径Ｒｖとを式（９）により抽出することができる。又、画像中心位置（Ｘｂａｓｅ，Ｙｂａｓｅ）は式（１０）により抽出することができる。
【００８６】
【数９】


【００８７】
【数１０】


【００８８】
魚眼レンズ画像エリア５−２は基本的には円形であり、水平方向の半径Ｒｈと垂直方向の半径Ｒｖとは等しく、Ｒｈ＝Ｒｖとなるが、ＣＣＤ等の撮像素子の縦横方向のアスペクト比の違いにより、水平方向の半径Ｒｈと垂直方向の半径Ｒｖとに相違が生じる場合がある。
【００８９】
魚眼レンズ画像エリア５−２の半径Ｒは、本来、魚眼レンズの焦点距離ｆによって定まる値で、例えば、正射影方式の魚眼レンズでは式（１１−１）で表され、等面積射影方式の魚眼レンズでは式（１１−２）で表される。
【００９０】
【数１１】


【００９１】
従って、前述の魚眼レンズ画像の座標上の点（ｘ″，ｙ″）を求める式（６）の式の計算において、水平方向の半径Ｒｈと垂直方向の半径Ｒｖとに相違が生じる場合、焦点距離ｆの値として同一の値を使用することなく、方向毎に水平方向の半径Ｒｈ又は垂直方向の半径Ｒｖの値を、式（１１−１）又は式（１１−２）のＲの値に代入することによりｆの値を修正し、アスペクト比の違いを考慮した魚眼レンズの歪み補正を行うことができる。
【００９２】
図６は本発明の第１の実施の形態の移動像検出装置の構成を示す図である。同図において、６−１は魚眼レンズカメラ、６−２，６−３はフレームバッファ、６−４，６−５はフレーム間差分計算部、６−６は領域重みテーブル、６−７は領域抽出部である。
【００９３】
魚眼レンズカメラ６−１により撮影した画像信号を第１のフレームバッファ６−２に格納し、第１のフレームバッファ６−２に格納した画像信号を第２のフレームバッファ６−３に格納する。第２のフレームバッファ６−３には１フレーム前の画像信号が格納される。
【００９４】
そして、第１のフレームバッファ６−２から出力される画像信号と第２のフレームバッファ６−３から出力される画像信号とにより、そのフレーム間差分を第１のフレーム間差分計算部６−４により計算し、移動像に対して大きな値となるフレーム間差分信号を第２のフレーム間差分計算部６−５に出力する。
【００９５】
第２のフレーム間差分計算部６−５は、第１のフレーム間差分計算部６−４から出力されるフレーム間差分信号と、領域重みテーブル６−６から出力される領域に対応した値とにより、フレーム間差分信号に領域に応じた重み付けを行い、その信号を領域抽出部６−７に出力する。
【００９６】
領域抽出部６−７は、領域に応じた重み付けを持つフレーム間差分信号により、移動像の検出を行って検出フラグ信号を出力するとともにその検出領域を抽出し、領域情報を出力する。
【００９７】
図７は本発明の第２の実施の形態の移動像検出装置の構成を示す図である。同図において、７−１は魚眼レンズカメラ、７−２，７−３はフレームバッファ、７−４はフレーム間差分計算部、７−５はフレーム内差分計算部、７−６は動輪郭抽出部、７−７は領域重みテーブル、７−８は領域抽出判定部、７−９は領域抽出部である。
【００９８】
魚眼レンズカメラ７−１により撮影した画像信号を第１のフレームバッファ７−２に格納し、第１のフレームバッファ７−２に格納した画像信号を第２のフレームバッファ７−３に格納する。第２のフレームバッファ７−３には１フレーム前の画像信号が格納される。
【００９９】
そして、第１のフレームバッファ７−２から出力される画像信号と第２のフレームバッファ７−３から出力される画像信号とにより、そのフレーム間差分をフレーム間差分計算部７−４により計算し、移動像に対して大きな値となるフレーム間差分信号を動輪郭抽出部７−６に出力する。
【０１００】
フレーム内差分計算部７−５は、第１のフレームバッファ７−２から出力される画像信号のフレーム内の差分を計算し、像の輪郭部で大きな値となるフレーム内差分信号を動輪郭抽出部７−６に出力する。
【０１０１】
動輪郭抽出部７−６は、フレーム間差分計算部７−４からのフレーム間差分信号と、フレーム内差分計算部７−５からのフレーム内差分信号とを線形結合させ、輪郭部が強調された移動像の信号を生成し、その信号を領域抽出判定部７−８に出力する。
【０１０２】
領域抽出判定部７−８は、動輪郭抽出部７−６から出力される輪郭部が強調された移動像の信号と、領域重みテーブル７−７から出力される領域に対応した値とにより、移動像の信号に領域に応じた重み付けを行い、その信号を領域抽出部７−９に出力する。
【０１０３】
領域抽出部７−９は、領域に応じた重み付けを持つ移動像の信号により、移動像の検出を行って検出フラグ信号を出力するとともにその検出領域を抽出し、領域情報を出力する。
【０１０４】
図６及び図７に示した本発明の実施の形態の移動像検出装置は、移動像の領域抽出において領域に対応して映像信号に重み付けを行い、魚眼レンズによる画像の歪みによる検出パラメータ信号への影響を低減している。
【０１０５】
即ち、通常、ｎフレームの映像信号Ｐn（ｘ，ｙ）とｎ−１フレームの映像信号Ｐn-1（ｘ，ｙ）とのフレーム間差分Ｄn（ｘ，ｙ）を計算する場合に、式（１２）により計算を行うが、本発明は、魚眼レンズ画像の領域に対応した特徴抽出の重み係数Ｗ（ｘ，ｙ）を格納した領域重みテーブル６−６，７−７を備え、この重み係数Ｗ（ｘ，ｙ）を前記フレーム間差分Ｄn（ｘ，ｙ）に乗じた値Ｇn（ｘ，ｙ）を用いて移動像の抽出処理を行う。
Ｄn（ｘ，ｙ）＝Ｐn（ｘ，ｙ）−Ｐn-1（ｘ，ｙ）・・・（１２）
【０１０６】
即ち、図６に示した第１のフレーム間差分計算部６−４から出力されるフレーム間差分信号、又は図７に示した動輪郭抽出部７−６から出力されるフレーム間差分及びフレーム内差分を線形結合させた信号を、移動像抽出のための特徴量Ｄn（ｘ，ｙ）とすると、式（１３）により、この特徴量Ｄn（ｘ，ｙ）と魚眼レンズ画像の領域に応じた重み係数Ｗ（ｘ，ｙ）との積Ｇn（ｘ，ｙ）を移動像抽出のための特徴量として用いる。
Ｇn（ｘ，ｙ）＝Ｗ（ｘ，ｙ）・Ｄn（ｘ，ｙ）・・・（１３）
【０１０７】
このように魚眼レンズ画像の領域に応じて重み付けられた特徴量Ｇｎ（ｘ，ｙ）を用いて抽出を行う処理により、魚眼レンズ画像エリア内の領域毎に対応した等価的なマスク及び強調操作を行うことができる。
【０１０８】
図８は魚眼レンズ画像の領域に応じた重み係数Ｗ（ｘ，ｙ）の説明図である。同図は魚眼レンズ画像の領域内を３つの領域８−１，８−２，８−３に分割し、領域８−１には重み係数０、領域８−２には重み係数１、領域８−３には重み係数２を割り当てた例を示している。
【０１０９】
魚眼レンズ画像の周辺部分では中心部分に比べて同一面積の領域が小さな領域に表示される。そのため周辺部における移動像検出の精度が低下するが、周辺部の重み係数Ｗ（ｘ，ｙ）を大きな値としておくことにより、周辺部における精度低下を補償することができる。更に、通常、周辺部分に人物像が存在する確率が高いので、周辺部分を大きな値をとし、中心部分で０に近い値としておく。
【０１１０】
又、魚眼レンズカメラでは撮像エリアが広大であるため、照明等が直接撮像エリア内に入ることが多い。このような場合でも極端な輝度の違いを、等価的な領域マスクにより補償して移動像の誤検出を低減させることができる。
【０１１１】
領域域抽出部６−７，７−９は、領域対応の重み付けがされた特徴量を、予め設定された閾値（Ｔｈｍ）と比較することにより、人物像等の像検出判定処理を行う。この像検出判定処理を伴う領域抽出処理は魚眼レンズ画像の全画面について行う。
【０１１２】
図９は領域抽出された人物等の像の例を示す図である。図の（ａ）は魚眼レンズ画像エリアを示し、魚眼レンズカメラが机上等に上を向けて置かれ、そのカメラの周りに４人の人物が着席している場合の魚眼レンズ画像の例を示している。９−１乃至９−４は人物像検出エリア（Ａ）乃至人物像検出エリア（Ｄ）である。図の（ｂ）は魚眼レンズ画像の人物像の形状を示し、人物を下側から魚眼レンズで撮影した場合には体底部が長く、頭長部の短い略台形状のような形状となり、人物像を該形状に正規化することができる。
【０１１３】
図の（ａ）に示すような魚眼レンズ画像エリアのイメージ上をラスタースキャンし、人物像としての特徴量の大きい点を検出すると、その点から下方へ略台形状のような形の像の探索を行い、その領域を切り出す。
【０１１４】
切り出された領域に対して大きさ及び形状についての照合を行い、人物像の領域であるかどうかの判定を行う。同様の処理を複数の領域に対して同時に処理し、複数の人物像が検出されたときは複数の人物像の同時切り出しを行う。
【０１１５】
又、個々の切り出された領域について、図の（ｂ）に示すような人物の頭頂部、体底部及び体高のそれぞれのパラメータ及びその内側の色データを左右及び高さ方向にサンプリングすることにより、画像毎の人物像識別のためのデータベースとすることができる。
【０１１６】
抽出された特徴量から人物像等の領域を抽出する処理に関しては、基本的に通常のカメラ映像での領域抽出のためのアルゴリズムを使用することができるが、魚眼レンズ画像が円形に歪曲して配置されているため、座標変換を施す必要がある。
【０１１７】
座標変換の方法として以下の二つの方式がある。第一の方式は、魚眼レンズ画像を、３６０度のパノラマ映像として座標変換された映像へと写像変換を行う方式である。この方式は円形の魚眼レンズ撮像エリアを矩形エリアへ変換する。
【０１１８】
第二の方式としては、領域抽出を通常のラスタースキャンとして走査し、走査時の座標系のみを直交座標（ｘ，ｙ）から極座標（ｒ，θ）へと変換する方式である。即ち、ｘ＝ｒｃｏｓθ，ｙ＝ｒｓｉｎθとして領域抽出の処理を行う。
【０１１９】
第一の方式は、パノラマ映像に展開するための大きなメモリが必要になる欠点があるが、変換後は通常の画像に対する領城抽出処理をそのまま適用することができる。第二の方式は領域抽出処理時に常に座標変換を行いながら処理しなければならないが、使用するメモリ量は原画としての魚眼レンズ画像を与えるメモリ量のみでよくコンパクトなシステムを構築することができる。
【０１２０】
そして、特徴量を抽出し、上下関係等、既知の映像の相互関係を利用して領域の統合処理を行う。例えば、真上を向いた魚眼レンズカメラの場合は、魚眼レンズ画像の中心を上、周辺を下とした映像の位置関係を利用して領域を統合し、その領域が背景像から人物像に変化した領域を抽出する。
【０１２１】
人物の侵入等の移動像の追尾処理に関しては、切り出された略台形状の人物領域内を上下左右に前もって決められた分割数で等分する格子点を算出し、その格子点での色情報信号を人物像の特徴量として保存する。そして、この人物像の特徴量の登録処理と人物像の切り出し処理とを任意の時間間隔で繰り返し行い、複数の人物像が魚眼レンズカメラ撮像エリア内に存在する場合でも、各人物像を個別に追尾することができる。
【０１２２】
図１０は本発明の実施の形態の人物像抽出位置決定の処理のフローチャートである。先ず、魚眼レンズ画像内の人物像等の切り出し処理のコマンドを与え（１０−１）、フレームについてのループ処理（１０−２）により、フレーム間差分による又はフレーム間差分とフレーム内差分とによる人物像等の特徴量を抽出し（１０−３）、魚眼レンズ画像内の領域に対応した重み付け処理を行い（１０−４）、魚眼レンズ画面内のラスターループ処理を行い（１０−５）、特徴点を検出し（１０−６）、略台形上のエリアについて魚眼レンズ画像の座標変換を行って特徴点を抽出の処理を行い（１０−７）、特徴点があるかどうかを判定し（１０−８）、特徴点がある場合には、抽出点を消去し（１０−９）、（ｘ，ｙ）座標の領域の最大値と最小値とを記憶し（１０−１０）、最終ラインかどうかを判定し（１０−１１）、最終ラインであれば終了する（１０−１２）。
【０１２３】
前記特徴点があるかどうかの判定（１０−８）において、特徴点がない場合、複数ライン連続して特徴点がないかどうかを判定し（１０−１３）、連続して特徴点がない場合は領域数をカウントして人物領域を記憶し（１０−１４）、前述の最終ラインかどうかの判定（１０−１１）に移る。
【０１２４】
前記複数ライン連続して特徴点がないかどうかの判定（１０−１３）において、複数ライン連続していなければ前記特徴点を検出する処理（１０−６）に戻る。又、前記最終ラインかどうかの判定（１０−１１）において、最終ラインでないときは前記特徴点を検出する処理（１０−６）に戻る。
【０１２５】
人物像の存在領域を抽出すると、その領域から魚眼レンズ画像を補正して表示するためのパラメータを求めることができる。図１１は本発明の実施の形態の領域切り出し及び表示画面作成を行う構成の説明図である。同図において、１１−１は領域抽出部、１１−２は領域切り出し部、１１−３は魚眼レンズ画像パラメータ決定部、１１−４は表示画面作成部である。
【０１２６】
領域抽出部１１−１は、前述の図６及び図７に示した領域抽出部６−７，７−９と同一のものであり、特徴量により人物像等を検出し、その領域を抽出すると、検出フラグ及び領域情報の信号を出力する。検出フラグの信号は警報又は通知用の信号として使用することができる。領域情報の信号は領域切り出し部１１−２に出力される。
【０１２７】
領域切り出し部１１−２は、領域情報の信号に基づいて領域を切り出し、魚眼レンズ画像パラメータ決定部１１−３は、切り出された全領域について魚眼レンズ画像を補正して表示するためのパラメータを決定し、そのパラメータの信号を表示画面作成部１１−４に送出する。表示画面作成部１１−４は、パラメータの信号に基づいて表示画面を生成し、映像信号を出力する。
【０１２８】
ここで、簡単化のために、真上を向いたカメラアングルの場合の魚眼レンズ画像の前記パラメータの決定について説明する。魚眼レンズ画像の補正のためのパラメータとしては、画像フレームの方位角θ、頂点角φ及び拡大率ｍが必要である。
【０１２９】
魚眼レンズ画像の領域から、例えば、図９の（ａ）の人物像検出エリア（Ｂ）９−２を抽出して表示するとする。この場合、人物像検出エリア（Ｂ）９−２の中心位置に関する角度α及び魚眼レンズ画像の中心Ｏから人物像検出エリア（Ｂ）９−２を挟む角度（立体角）βを計算する。又、魚眼レンズ画像の中心Ｏから領域最上部までの距離Ｌを計算する。
【０１３０】
前記角度α及び距離Ｌにより、人物像検出エリア（Ｂ）９−２を表示する画像フレームの方位角θと頂点角φの値を求めることができる。即ち、方位角θは前記角度αに等しく、θ＝αである。又、頂点角φは魚眼レンズ画像の半径Ｒと前記距離Ｌとの比から式（３−１）乃至式（３−３）を用いて求めることができる。又、ズ−ム率であるｍについては、領域の左端及び右端と魚眼レンズ画像の中心Ｏとの立体角βにより求めることができる。これらのパラメータを元に、個々の人物の表示領域を切り出し、魚眼レンズ画像の歪曲を補正してモニタテレビ等に映像信号を送出する。
【０１３１】
図１２は１台の魚眼レンズカメラで撮影した画像を合成した映像を示す図である。前述したように魚眼レンズ画像から人物像をその特徴量により抽出し、抽出した画像に歪み補正の処理を行い、１台のモニタテレビ画面を４分割して前記抽出した人物像を表示させた様子を模式的に示している。
【図面の簡単な説明】
【０１３２】
【図１】本発明の実施の形態の魚眼レンズカメラ装置の構成を示す図である。
【図２】本発明の実施の形態の魚眼レンズカメラで撮影される映像の説明図である。
【図３】横方向に向けた魚眼レンズカメラの撮影画像の説明図である。
【図４】横方向を向けた魚眼レンズカメラ画像の補正の説明図である。
【図５】魚眼レンズカメラのパラメータ抽出の説明図である。
【図６】本発明の第１の実施の形態の移動像検出装置の構成を示す図である。
【図７】本発明の第２の実施の形態の移動像検出装置の構成を示す図である。
【図８】魚眼レンズ画像の領域に応じた重み係数Ｗ（ｘ，ｙ）の説明図である。
【図９】領域抽出された人物等の像の例を示す図である。
【図１０】本発明の実施の形態の人物像抽出位置決定の処理のフローチャートである。
【図１１】本発明の実施の形態の領域切り出し及び表示画面作成を行う構成の説明図である。
【図１２】１台の魚眼レンズカメラで撮影した画像を合成した映像を示す図である。
【図１３】従来の魚眼レンズカメラ装置の構成及びそれを用いた遠隔監視システム及びテレビ会議システムを示す図である。
【図１４】従来の魚眼レンズカメラ画像の歪み補正の説明図である。
【符号の説明】
【０１３３】
１−１ 魚眼レンズ
１−２ ＣＣＤ撮像装置
１−３ 映像メモリ（フレームメモリ）
１−４ 画像補正処理部
１−４１ カメラ設置角補正部
１−４２ パン／チルト角回転補正部
１−４３ ズーム補正部
１−４４ 映像補間作成部
１−５ 補正映像（ＮＴＳＣ）出力回路
【出願人】 【識別番号】０００００５２２３
【氏名又は名称】富士通株式会社
【出願日】 平成１９年９月２１日（２００７．９．２１）
【代理人】 【識別番号】１００１０５３３７
【弁理士】
【氏名又は名称】眞鍋 潔

【識別番号】１０００７２８３３
【弁理士】
【氏名又は名称】柏谷 昭司

【識別番号】１０００７５８９０
【弁理士】
【氏名又は名称】渡邊 弘一

【識別番号】１００１１０２３８
【弁理士】
【氏名又は名称】伊藤 壽郎
【公開番号】 特開２００８−４８４４３（Ｐ２００８−４８４４３Ａ）
【公開日】 平成２０年２月２８日（２００８．２．２８）
【出願番号】 特願２００７−２４４７３４（Ｐ２００７−２４４７３４）