トップ :: G 物理学 :: G06 計算;計数




【発明の名称】 視野方向ずれ検出方法
【発明者】 【氏名】小倉 慎矢
【住所又は居所】東京都小平市御幸町３２番地 株式会社日立国際電気小金井工場内

【氏名】伊藤 渡
【住所又は居所】東京都小平市御幸町３２番地 株式会社日立国際電気小金井工場内

【氏名】上田 博唯
【住所又は居所】東京都小平市御幸町３２番地 株式会社日立国際電気小金井工場内
【要約】 【課題】基準画像からテンプレートとする部分を予め指定する必要の無い、撮像装置の視野方向のずれを検知する方法を提供する。

【解決手段】前もって撮像装置によって撮像された基準画像の基準エッジ画像と現在の入力画像の入力エッジ画像を求め、基準画像の基準エッジ画像の画素を x 軸と y 軸とに投影した基準画像投影と、入力画像の入力エッジ画像の画素を x 軸と y 軸とに投影した入力画像投影とを生成し、基準画像投影と入力画像投影の位置ずれ量を求めることによって、撮像装置の視野方向のずれを検知する。
【特許請求の範囲】
【請求項１】 基準画像のエッジ画像を基準エッジ画像として取得し、取得した該基準エッジ画像の水平方向への第１の投影を生成し、入力画像のエッジ画像を入力エッジ画像として取得し、取得した該入力エッジ画像の水平方向への第２の投影を生成し、前記第１の投影と前記第２の投影との一致度を求めることによって、前記第１の投影と前記第２の投影との水平方向のずれ量を求めることを特徴とする視野方向ずれ検出方法。
【請求項２】 基準画像のエッジ画像を基準エッジ画像として取得し、取得した該基準エッジ画像の垂直方向への第３の投影を生成し、入力画像のエッジ画像を入力エッジ画像として取得し、取得した該入力エッジ画像の垂直方向への第４の投影を生成し、前記第３の投影と前記第４の投影との一致度を求めることによって、前記第３の投影と前記第４の投影との垂直方向のずれ量を求めることを特徴とする視野方向ずれ検出方法。
【請求項３】 請求項１記載の視野方向ずれ検出方法において、前記基準エッジ画像の垂直方向への第３の投影を生成し、入力画像のエッジ画像を入力エッジ画像として取得し、取得した該入力エッジ画像の垂直方向への第４の投影を生成し、前記第３の投影と前記第４の投影との一致度を求めることによって、前記第３の投影と前記第４の投影との垂直方向のずれ量を求めることを特徴とする視野方向ずれ検出方法。
【請求項４】 請求項１乃至請求項３のいずれか１つに記載の視野方向ずれ検出方法において、前記一致度を、前記第１の投影と前記第２の投影とのテンプレートマッチング、または、前記第３の投影と前記第４の投影とのテンプレートマッチングによって行うことを特徴とする視野方向ずれ検出方法。
【請求項５】 前もって撮像装置で撮像しておいた基準画像と該撮像装置で撮像した入力画像との比較によって該撮像装置の視野方向のずれを測定する方法において、前記撮像装置で予め撮像した前記基準画像の基準エッジ画像を生成する基準エッジ画像生成ステップと、前記撮像装置で撮像した前記入力画像の入力エッジ画像を生成する入力エッジ画像生成ステップと、前記基準エッジ画像と入力エッジ画像との位置ずれを計算する位置ずれ量計算ステップとを設け、前記撮像装置の光軸ずれを検知することを特徴とする撮像装置光軸ずれ検知方法。
【請求項６】 請求項５記載の撮像装置光軸ずれ検知方法において、前記位置ずれ量計算ステップは、前記基準画像の前記基準エッジ画像の画素をｘ軸とｙ軸とに投影した基準画像投影と、前記入力画像の前記入力エッジ画像の画素をｘ軸とｙ軸とに投影した入力画像投影とを生成するステップと、前記基準画像投影と前記入力画像投影との位置ずれ量を計算するステップとを設け、前記撮像装置の光軸ずれを検知することを特徴とする撮像装置光軸ずれ検知方法。
【請求項７】 請求項６記載の撮像装置光軸ずれ検知方法において、前記基準画像と前記入力画像の画素値の比較によって前記ずれ量の正確性の判定をする光軸ずれ判定ステップを設け、前記撮像装置の光軸ずれを検知することを特徴とする撮像装置光軸ずれ検知方法。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は撮像装置を用いたシステムに係り、特に、所定の位置に設置された撮像装置の視野方向にずれが生じた場合の撮像装置の視野方向ずれを検知する方法に関する。
【０００２】
【従来の技術】カメラ等の撮像装置を用いて、例えば、重要施設及びその周囲において、発生する異常や侵入物体の有無を監視するための監視撮像システム（監視カメラシステム）が、従来から利用されている。図８は、従来の監視カメラシステムの一例の構成を示すブロック図である。図８の監視カメラシステムは、少なくとも、テレビジョンカメラ（以下、TVカメラと称する）801 、画像処理装置 802 、警報表示装置 814 、ビデオモニタ815 で構成される。また、画像処理装置 802 は、少なくとも、映像信号の A/D 変換を行う画像入力 I/F 803 、画像間の演算及び画像の格納を行う画像メモリ 804 、CPU（ Central Processing Unit ）808 、ワークメモリ 810 、プログラムメモリ 811 、画像の輝度信号の D/A 変換を行い、輝度信号を映像信号に変換する画像出力 I/F812 、データバス 813 、警報出力を行う出力 I/F 809 で構成される。また、画像メモリ 804 は、少なくとも、画像入力 I/F 803 で取得した画像を格納する入力画像メモリ 806 、画像間の演算に用いる汎用画像メモリ 807 で構成されている。TV カメラ 801 は、画像入力 I/F 803 に接続され、ビデオモニタ 815 は、画像出力 I/F 812 に接続され、警報表示装置 814 は出力 I/F 809 に接続されている。また、画像入力 I/F 803 、画像出力 I/F 812 、出力 I/F 809 、CPU 808、画像メモリ 804 、ワークメモリ 810 及びプログラムメモリ 811 は、データバス 813 に接続されている。
【０００３】図８において、TV カメラ 801 は、予め設定した視野範囲を撮像し、取得した画像を映像信号（例えば、NTSC 映像信号）に変換し、変換された映像信号を画像入力 I/F 803 に与える。画像入力 I/F 803 は、入力した映像信号を画像処理装置 802 で扱うフォーマット（例えば、幅 320 pix 、高さ 240 pix 、8 bit/pix ）の画像データに変換し、データバス 813 を介して画像メモリ 804 に送る。画像メモリ 804 は、送られてきた画像データを入力画像メモリ 806 に蓄積する。CPU 808 は、プログラムメモリ 811 に保存されている侵入物体検出プログラムに従って、ワークメモリ 810 内で画像メモリ 804 に蓄積された画像の解析を行う。
【０００４】侵入物体検出プログラムは、例えば、差分法によって行われる。図９を用いて、TV カメラ 801 によって取得した画像から、侵入物体を検出する方法の原理を簡単に説明する。図９は、フレーム間差分法と一般的に呼ばれる侵入物体検出方法の一例を説明するための図である。図９において、減算器 909は、TV カメラ 801 が逐次取得する、時刻ｔ0-1 に取得した入力画像 901 と時刻ｔ0 に取得した入力画像 902 とについて 1 画素（ 1 pix ）毎の輝度値の差分を計算し、入力画像 901 と入力画像 902 との差分画像 904 を出力する。同様に減算器 910 も、時刻ｔ0 に取得した入力画像 902 と時刻ｔ0+1 に取得した入力画像 903 との画素毎の輝度値の差分を計算し、入力画像 902 と入力画像 903 との差分画像 905 を出力する。次に、二値化器 911 は、差分画像 904 の画素毎の輝度値が所定のしきい値 Th 未満の輝度値を“0”、しきい値 Th 以上の画素の輝度値を、例えば“255”（１画素の輝度値を 8 ビットで計算）として二値化画像 906 を得る。二値化器 912 もまた同様の処理を行い、差分画像 905 から二値化画像 907 を得る。
【０００５】次に論理積器 913 は、二値化画像 906 と二値化画像 907 との画素毎の輝度値の論理積を計算し論理積画像 908 を出力する。これによって入力画像 901 ，902 ，903 に写った人型の物体 914 ，915 ，916 は、減算器 909 または 910によって差分が生じた領域 917 または 918 として算出される。そして、二値化器 911 または 912 によって輝度値“255”のかたまりの画像 919 または 920として抽出され、更に、論理積器 913 によって画像 919 と 920 を構成する画素の中で、両画像共に輝度値“255”を持つ画素のかたまり画像 921 が検出される。即ち、画素 921 が侵入物体として検出される。なお、監視領域内の侵入物体を検出する方法であれば上述のフレーム間差分法以外の方法も適用できる。
【０００６】図８で説明したような監視カメラシステムにおいて、TV カメラ 801 は、外的要因によって視野方向がずれ、当初設定した所望の視野範囲の画像を取得できないことがある。このように視野方向が初期の設定よりずれた場合であっても、TV カメラ 801は、通常通り撮像した画像を映像信号に変換し、変換された映像信号を画像処理装置 802 に与える。そして、画像処理装置 802 はプログラムメモリ 811 に保存されているプログラムに従って、ワークメモリ 810 内で、画像メモリ 804 に蓄積された画像の解析を行い、侵入物体があるか否かを通常通りに判定する。
【０００７】従って、設置された TV カメラ 801 等の撮像装置の視野方向が、所定の視野範囲を監視するために固定されて設置されている監視カメラシステムの場合において、その視野方向が、外的要因によって、設置時と比べてずれた場合には、当初の目的とする監視ができなくなる心配がある。そのため、そのずれ量を自動的に計測し、そのずれ量が所定の値以上になった時に自動的に報知する自動検知の技術が必要となる。
【０００８】このようなずれ量の自動検知を行うためには、一般にテンプレートマッチング法が用いられる。即ち、所定の視野範囲を監視するために、予め視野方向を固定されて設置されている撮像装置が撮像した、基準となる画像（基準画像）の中から、特定の部分画像をテンプレート画像として設定する。その後、監視のために撮像装置から逐次撮像して得られた入力画像の中からテンプレート画像と最も一致度が高い部分を抽出する。そして、抽出した部分の位置とテンプレート画像の位置との差を検出し、検出した差をずれ量とするものである。
【０００９】図８の画像処理装置 802 は、上記の視野方向ずれ検知処理機能を含むことができる。即ち、プログラムメモリ 811 には、侵入物体検出処理のためのプログラムの他に、視野方向ずれ検知処理のプログラムを追加する。また、画像メモリ804 の基準画像メモリ 805 に、予め設定したカメラ位置（基準視野方向）の画像を格納し、ワークメモリ 810 で画像間の演算を行い、汎用画像メモリ 807 に演算処理の結果得られた画像を格納する。
【００１０】このようなテンプレートマッチング法を用いた、従来の撮像装置の視野方向のずれ量の検知方法を図２と図３によって説明する。図２は、従来の撮像装置視野方向のずれ検知方法の処理原理の一例で、従来のテンプレートマッチング法を簡単に説明するための図である。201 は、撮像装置が所定の視野範囲を監視するために予め固定して設置された視野方向（即ち、基準視野方向）で取得した基準画像、202 は、基準画像 201 内のテンプレート画像、203 は、撮像装置が逐次取得する入力画像、204 は、テンプレートマッチング法によって抽出したマッチング画像、205 は、基準画像 201 からのマッチング画像 204 の視野方向ずれ量である。
【００１１】また図３は、従来の撮像装置視野方向のずれ検知方法の一例で、従来のテンプレートマッチング法の処理動作の一例を説明するためのフローチャートである。図３において、基準画像取込みステップ 301 では、基準画像 201 を得る。次に、テンプレート設定ステップ 302 では、基準画像 201 からオペレータがテンプレートとする画像を指定して、テンプレート位置を設定する（このテンプレート位置領域内の部分画像をテンプレート画像 202 とする）。入力画像取込みステップ 303 では、撮像装置から、例えば、640 × 480 pixの入力画像 203 を取得する。ずれ量計算ステップ 304 では、テンプレートマッチング法によって、テンプレート画像 202 と最も一致度の高い画像（マッチング画像 204 ）を入力画像 203 の中を探索して算出し、更に、テンプレート画像 202 とマッチング画像 204との位置の変化をずれ量 205 として算出する。このとき、テンプレート画像 202 の位置とマッチング画像 204 の位置は、例えば、それぞれの画像形状が矩形であれば、例えば、その矩形領域の中心の位置として算出する。ビデオモニタずれ量出力ステップ 305 では、計算したずれ量 205 をビデオモニタに出力する。視野方向ずれ判定ステップ 306 では、計算したずれ量 205 が所定値（例えば、10 pix ）以上であれば警報ステップ 307 へ分岐し、所定値未満であれば、ずれ量は許容値内として、入力画像取込みステップ 303 へ分岐する。警報ステップ 307 では、視野方向のずれが許容値を超えていることを知らせるために、例えば、警報音を発生したり、赤色の警報ランプを点灯したりする。上述のような、特定領域のテンプレートマッチング法を応用した視野方向ずれ検知方法としては、例えば、特願２０００−３２４０４１がある。
【００１２】上述したように、従来の撮像装置の視野方向ずれの検知方法は、基準画像の中からテンプレートとする部分画像をテンプレート画像としてオペレータが予め指定する必要がある。しかし、撮像装置の数が多い場合には、多数の基準画像それぞれに対してテンプレートとする部分画像を指定しなければならない。更に、例えば、オペレータが、監視する視野を時間帯によって変更する場合などで、頻繁に基準画像が変化される場合には、基準画像内のテンプレート画像は場所が変ったり、見えなくなってしまうので、変更される都度、テンプレートとする部分画像の再指定が必要である。従って、テンプレート画像の指定には、かなりの人的労力を必要としていた。また、テンプレート画像とする対象には、例えば、監視視野内に存在する門や街灯といった入力画像の中で特徴のある部分を指定することによって撮像装置の視野方向のずれ量検出精度を高めることができる。しかし、このような特徴のある部分をテンプレート画像として特定するには高い熟練性を要する。
【００１３】
【発明が解決しようとする課題】前述の従来技術には、テンプレートとする部分画像を、予め基準画像の中から指定しなければならず、多くの作業量と熟練したオペレータが必要でるという欠点があった。特に、撮像装置が複数ある場合や、基準画像を頻繁に設定しなおすような情況においては、更に多くの作業量が必要な欠点があった。本発明の目的は、上記のような欠点を除去し、テンプレートとする部分画像の指定を行わずに、撮像装置の視野方向のずれを検知する方法を提供することにある。
【００１４】
【課題を解決するための手段】上記の目的を達成するために、本発明の撮像装置光軸ずれ検知方法は、前もって撮像装置によって撮像された基準画像と撮像装置によって撮像された入力画像とを比較することによって撮像装置の光軸ずれを測定する方法において、基準画像の基準エッジ画像を生成する基準エッジ画像生成ステップと、入力画像の入力エッジ画像を生成する入力エッジ画像生成ステップと、基準エッジ画像と入力エッジ画像との位置ずれを計算する位置ずれ量計算ステップとを設け、光軸ずれを検知するように構成した。
【００１５】即ち、本発明の撮像装置光軸ずれ検知方法は、基準画像のエッジ画像を基準エッジ画像として取得し、取得した基準エッジ画像の水平方向への第１の投影を生成し、入力画像のエッジ画像を入力エッジ画像として取得し、取得した入力エッジ画像の水平方向への第２の投影を生成し、第１の投影と第２の投影との一致度を求めることによって、第１の投影と第２の投影との水平方向のずれ量を求め、求めたずれ量を光軸ずれ量としたものである。ここで、エッジ画像の水平方向（x 軸）への投影とは、 x 軸についての同じ座標値に対して、垂直方向（ y 軸）の座標値を変えたときの全てのエッジ強度の和を取ることであり、エッジ画像の垂直方向（ y 軸）への投影とは、y 軸の同じ座標値に対して、水平方向（ x軸）の座標値を変えたときの全てのエッジ強度の和を取ることである。
【００１６】また、本発明の撮像装置光軸ずれ検知方法は、基準画像のエッジ画像を基準エッジ画像として取得し、取得した基準エッジ画像の垂直方向への第３の投影を生成し、入力画像のエッジ画像を入力エッジ画像として取得し、取得した入力エッジ画像の垂直方向への第４の投影を生成し、第３の投影と第４の投影との一致度を求めることによって、第３の投影と第４の投影との垂直方向のずれ量を求め、求めたずれ量を光軸ずれ量としたものである。
【００１７】また更に、本発明の撮像装置光軸ずれ検知方法は、基準エッジ画像の垂直方向への第３の投影を生成し、入力画像のエッジ画像を入力エッジ画像として取得し、取得した入力エッジ画像の垂直方向への第４の投影を生成し、第３の投影と第４の投影との一致度を求めることによって、第３の投影と第４の投影との垂直方向のずれ量を求め、求めたずれ量を光軸ずれ量としたものである。また、本発明の撮像装置光軸ずれ検知方法は、一致度を、第１の投影と第２の投影とのテンプレートマッチング、または、第３の投影と第４の投影とのテンプレートマッチングによって行うものである。
【００１８】更に、本発明の撮像装置光軸ずれ検知方法は、前もって撮像装置で撮像しておいた基準画像と撮像装置で撮像した入力画像との比較によって撮像装置の視野方向のずれを測定する方法において、撮像装置で予め撮像した基準画像の基準エッジ画像を生成する基準エッジ画像生成ステップと、撮像装置で撮像した入力画像の入力エッジ画像を生成する入力エッジ画像生成ステップと、基準エッジ画像と入力エッジ画像との位置ずれを計算する位置ずれ量計算ステップとを設け、撮像装置の光軸ずれを検知するものである。
【００１９】また、本発明の撮像装置光軸ずれ検知方法の位置ずれ量計算ステップは、基準画像の基準エッジ画像の画素を水平方向と垂直方向とに投影した基準画像投影と、入力画像の入力エッジ画像の画素を水平方向と垂直方向とに投影した入力画像投影とを生成するステップと、基準画像投影と入力画像投影との位置ずれ量を計算するステップとを設け、撮像装置の光軸ずれを検知するものである。また、本発明の撮像装置光軸ずれ検知方法において、基準画像と入力画像の画素値の比較によってずれ量の正確性の判定をする光軸ずれ判定ステップを設け、撮像装置の光軸ずれを検知するものである。
【００２０】
【発明の実施の形態】本発明の撮像装置の視野方向ずれ検知方法の第１の実施例を、図１、図４、及び図５によって説明する。図５は、本発明の一実施例の撮像装置の視野方向ずれ検出システムの構成の一実施例を示すブロック図である。図５の視野方向ずれ検出システムは、少なくとも、TV カメラ 501 、画像処理装置 502 、警報表示装置 514 、ビデオモニタ 515 で構成される。また、画像処理装置 502 は、少なくとも、映像信号の A/D 変換を行う画像入力 I/F 503 、画像間の演算及び画像の格納を行う画像メモリ 504 、CPU 508 、ワークメモリ 510 、プログラムメモリ 511 、画像の輝度信号の D/A 変換を行い、輝度信号を映像信号に変換する画像出力 I/F 512 、データバス 513 、警報出力を行う出力 I/F 509 で構成される。
【００２１】上記の画像処理装置 502 は、本発明の視野方向ずれ検出処理機能を有している。TV カメラ 501 は、画像処理装置 502 の画像入力 I/F 503 に接続され、ビデオモニタ 515 は、画像処理装置 502 の画像出力 I/F 512 に接続され、警報表示装置 514 は画像処理装置 502 の出力 I/F 509 に接続されている。また、画像入力 I/F 503 、画像出力 I/F 512 、出力 I/F 509 、CPU 508 、画像メモリ 504 、ワークメモリ 510 及びプログラムメモリ 511 は、データバス 513 に接続されている。
【００２２】図５において、TV カメラ 501 は、予め定められた視野方向を撮像するように設定されている。そして、このTV カメラ 501 は、外的要因によって、視野方向がずれ、当初設定した視野範囲の画像を取得できないことがある。以下、視野方向ずれ検出システムの動作の一実施例を説明する。TV カメラ 501 は、撮像した画像を映像信号（例えば、NTSC 映像信号）に変換し、変換された映像信号を画像入力 I/F 503 に与える。画像入力 I/F 503 は、入力した映像信号を画像処理装置で扱うフォーマット（例えば、幅 320 pix、高さ 240 pix 、8 bit/pix ）の画像データに変換し、データバス 513 を介して画像メモリ 504 に送る。画像メモリ 504 は送られてきた画像データを蓄積する。CPU 508 は、プログラムメモリ 511 に保存されているプログラムに従って、ワークメモリ 510 内で画像メモリ 504 に蓄積された画像の解析を行う。解析の結果得られた画像は、画像メモリ 504 内の汎用画像メモリ 507 に格納される。上記解析の結果、TV カメラ 501 の視野方向がずれたこと、及びそのずれ量の情報を得る。CPU 508 は、画像出力 I/F 512 を介してビデオモニタ 515 に、例えば、視野方向ずれ量の処理結果画像を表示し、出力 I/F 509 を介して警報表示装置 514 に警報を出力する。また、画像出力 I/F 512 は、CPU 508 からの出力信号をビデオモニタ 515 が使用できるフォーマット（例えば、NTSC 映像信号）に変換して、ビデオモニタ515 に送る。ビデオモニタ 515 は、例えば、視野方向ずれ量の処理結果画像を表示する。
【００２３】図１は，本発明の視野方向ずれ検出方法の一実施例を説明するための図である。101 は基準画像、102 は基準画像 101 のエッジ画像（基準エッジ画像）、103は基準エッジ画像 102 の x 軸への投影、104 は基準エッジ画像 102 の y 軸への投影、105 は入力画像、106 は入力画像 105 のエッジ画像（入力エッジ画像）、107 は入力エッジ画像 106 の x 軸への投影、108 は入力エッジ画像 106の y 軸への投影、109 は視野方向ずれ量である。エッジ画像の x 軸への投影とは、 x 軸についての同じ座標値に対して、y 軸の座標値を変えたときの全てのエッジ強度の和を取ることであり、言い換えれば、 x 軸方向の輝度レベル分布である。また、エッジ画像の y 軸への投影とは、y 軸の同じ座標値に対して、x 軸の座標値を変えたときの全てのエッジ強度の和を取ることであり、言い換えれば、 y 軸方向の輝度レベル分布であるである。
【００２４】図４は、本発明の視野方向ずれ検出方法の一実施例の処理動作を示すフローチャートの一例である。図４のフローチャートに示す処理動作は、例えば、図５に示したハードウェア構成を用いて実行される。この図４の実施例は、TV カメラ501 の視野方向のずれを監視し、そのずれ量を計算し、計算した視野方向ずれ量をビデオモニタ 515 に出力し、視野方向ずれ量が所定値（後述する）以上であれば警報表示装置 514 に出力することにより TV カメラ 501 に大きな視野方向のずれがあるか否かを常にチェックするものである。図１を用いて、図４に示すフローチャートの処理動作を説明する。
【００２５】図４において、基準画像取込みステップ 401 では、基準視野方向（ TV カメラ 501 設置時、または、ずれが未発生の視野方向）での TV カメラ 501 によって撮像される入力映像信号を基準画像 101 として取得する。取得した基準画像101 は、基準画像メモリ 505 に保存される。次に、基準画像エッジ画像生成ステップ 402 では、基準画像取込みステップ401 で得られた基準画像 101 を基準エッジ画像 102 に変換する。基準画像や入力画像などの、通常の画素毎の輝度値で構成されている画像（濃淡画像）からエッジ画像への変換は、隣接する画素の画素値の差（エッジ強度）を求める処理を、全ての画素について実行することによって行われ（但し、例えば、一番外側の画素については実行しない）、ディジタル計算機では、例えば、一次微分オペレータを用いるのが一般的である。このオペレータを用いた濃淡画像からエッジ画像への変換処理の一例を、図６によって説明する。
【００２６】図６は、濃淡画像のエッジ画像への変換の計算方法の一実施例を説明するための図である。即ち、図６はエッジ画像の生成を説明するための図である。601 は変換前の画像（原画像）、602 は 3 pix × 3 pix の大きさのオペレータの窓、603 はエッジ画像、604 はエッジ強度を示している。ここで原画像 601中のある画素（ x ，y ）のエッジ強度を求めるとする。オペレータの窓 602 は、A 〜 I の 9 pix の画素であり、画素 E を中心とし、画素 E の左上を画素 A 、画素 E の上を画素 B 、画素 E の右上を画素 C 、画素 E の左を画素 D 、画素 E の右を画素 F 、画素 E の左下を画素 G 、画素E の下を画素 H 、画素 E の右下を画素 I としたとき、式(1) で記述される Sobel オペレータによって、エッジ強度Ｇ（ x ，y ）604 が求められる。
【数１】

このエッジ強度の計算を原画像 601 の全画素（但し、最外周の画素を除く）について行うことによって、エッジ画像 603 を得る。エッジ画像の作成については、例えば、１９９０年に昭晃堂から出版された谷内田正彦著の『ロボットビジョン』と題する書籍の p51 〜 p76 に解説されている。
【００２７】次に、基準画像のエッジ画像投影ステップ 403 では、基準エッジ画像 102 を水平方向（ x 軸）と垂直方向（ y 軸）とに投影し、基準エッジ画像 102 の x軸への投影 103 と基準エッジ画像 102 の y 軸への投影 104 とを生成する。基準エッジ画像 102 において、x 軸への投影を行うとき、ある x の値のときの投影値 PV(x) は、ある場所（ x ，y ）のエッジの強度G（ x ，y ）、画像サイズ（ X ，Y ）として、以下の式(2) のように表すことができる。
【数２】

この投影処理を全ての x の値について行うと、基準エッジ画像 102 の x 軸への投影 103 が得られる。尚、画像サイズ（ X ，Y ）は、例えば、画像処理装置 502 で扱うフォーマットとして、幅 320 pix 、高さ 240 pix の画像である場合には、X =320 、Y=240である。
【００２８】また、基準エッジ画像 102 において、y 軸への投影を行うとき、ある y の値のときの投影値 PH(y) は、以下の式(3) のように表すことができる。
【数３】

この投影処理を全ての y の値について行うと、基準エッジ画像 102 の y 軸への投影 104 が得られる。
【００２９】この投影値 PV(x) 、PH(y) は、基準エッジ画像 102 の画素値を縦方向（ PV(x) ）及び横方向（ PH(y) ）に累積して得られ、基準画像中に隣接する画素の画素値の差が大きい個所が多い程大きな値となる。
【００３０】入力画像取込みステップ 404 では、基準画像取込みステップ 402 同様、視野方向ずれ量を計測する時刻の TV カメラ 501 によって撮像される入力映像信号を入力画像 105 として取得する。取得した基準画像 105 は、入力画像メモリ 506 に保存される。入力画像のエッジ画像生成ステップ 405 では、基準画像のエッジ画像生成ステップ 402 と同様の処理を行い、入力画像 105 を入力エッジ画像 106 に変換する。入力画像エッジ画像投影ステップ 406 では、基準画像のエッジ画像投影ステップ 403 と同様の処理を行い、入力エッジ画像 106 を x 軸と y 軸とに投影し、入力エッジ画像の x 軸への投影 PV(x) 107 と入力エッジ画像の y 軸への投影PH(y) 108 とを生成する。
【００３１】比較ステップ 407 では、基準エッジ画像 102 の x 軸への投影 103 と入力エッジ画像 105 の x 軸への投影 107 との比較を行う。更に、基準エッジ画像 102 の y 軸への投影 104 と入力エッジ画像 105 の y 軸への投影 108 との比較を行う。この比較の処理の一実施例を以下に説明する。この比較ステップ 407 の処理では、テンプレートマッチングにより、x 軸とy 軸とについてのずれ量をそれぞれ求める。図１に示した実施例では、基準エッジ画像 102 の x 軸への投影 103 をテンプレートとし、入力エッジ画像 106 の x 軸への投影 107 に対して左右にどの程度動かせば、最も一致度が高くなるかを計算する。
【００３２】この一致度の計算は、例えば、正規化相関のような方法を用いる。正規化相関は、ある関数 f(x) と g(x) の相関値 r を関数 f(x) と g(x) のそれぞれの分散（ σ2f(x) ，σ2g(x) ）と共分散（ σf(x)g(x) ）から、比較する領域の大きさを N として、次の式(4) によって計算する。
【数４】

本発明の場合、関数 f(x) は、テンプレートとする基準エッジ画像の x 軸への投影 Pv(x) 103 であり、関数 g(x) は、入力エッジ画像の x 軸への投影 Pv(x) 107 である。ここで、入力エッジ画像の x 軸への投影 Pv(x) 107 のx の範囲を変えて、即ち、ずらして投影を行ない、相関値 r を計算し、全ての相関値の中で最も大きな相関値のとき、最もエッジ画像の投影の一致度が高いといえる。そして、最も一致度が高い場所と元の場所との差が、x 方向の視野方向ずれ量となる。同様に、基準エッジ画像 102 の y 軸への投影 104 をテンプレートとし、入力エッジ画像 105 の y 軸への投影 108 に対して上下にどの程度動かせば、最も一致度が高くなるかを計算する。そして最も一致度が高い場所と元の場所との差が、y 方向の視野方向ずれ量となる。
【００３３】ビデオモニタずれ量出力ステップ 408 では、計算した視野方向ずれ量 109 を、画像出力 I/F 512 を介して、ビデオモニタ 515 に出力する。視野方向ずれ量許容判定ステップ 409 では、計算した視野方向ずれ量 109 が、所定値（即ち、視野方向のずれが許容値）より大きければ警報ステップ 410 へ分岐し、所定値未満であれば入力画像取込みステップ 404 へ分岐する。警報ステップ 410 では、視野方向のずれが許容値を超えていることを知らせるために、警報表示装置 514 によって、例えば、警報音を発生し、かつ赤色の警報ランプを点灯し、ステップ 404 に戻る。
【００３４】本発明の撮像装置視野方向ずれ検知方法の第２の実施例を、図１と図７によって説明する。図７は、本発明の第２の実施例の処理動作を説明するフローチャートの一例である。図７は、図４のフローチャートに、濃淡画像の比較による確認ステップ 701 と異常表示警報ステップ 710 を追加したものである。この第２の実施例は、第１の実施例の機能に、更に、得られた視野方向のずれ量が正確であるか否かを判定させる機能を加え、視野方向のずれ量検出の信頼性を向上させたものである。図４の比較ステップ 407 では、探索範囲内で、基準画像と入力画像のそれぞれのエッジ画像の x 軸と y 軸の投影の比較を行うことによって視野方向ずれ量109 を算出している。しかし、探索範囲以上に TV カメラ 501 の視野方向が動いていた場合、誤ったマッチングをする場合もある。そこで、図７では、求めた光軸ずれ量 109 が正しいか否かの判定を行う濃淡画像の比較による確認ステップ 701 を追加した。
【００３５】図７において、基準画像取込みステップ 401 から比較ステップ 407 までの処理動作と、ビデオモニタずれ量出力ステップ 408 から警報ステップ 410 までの処理動作は、第１の実施例で説明した通りなので説明を省略する。図１と図７において、濃淡画像の比較による確認ステップ 701 では、基準画像 101 と入力画像 105 とを、比較ステップ 407 で求めた視野方向ずれ量 109分ずらして比較する処理を行う。この比較の処理は、例えば、前述の式(4) でも説明した正規化相関で行なう。ここでは、関数 f(x) は基準画像 101 で、関数 g(x) は入力画像 105 である。ただし、ここでは、求めた視野方向ずれ量 109 の分だけずらした入力画像を用いて１回だけ相関値の計算を行なう。このときの相関値 r が所定値より大きければ、画像の一致度が高いといえる。
【００３６】この比較の結果、画像の一致度が高ければ、比較ステップ 407 で求めた視野方向ずれ量 109 が正しいと判定し、ビデオモニタずれ量出力ステップ 408 に分岐し、その視野方向ずれ量 109 を出力する。また、画像の一致度が低ければ、計算した視野方向ずれ量 109 が誤りであり、視野方向ずれ量が探索範囲以上に大きいか、または、視野方向ずれ量を検知する機能が異常であるので異常表示警報ステップ 710 に分岐する。異常表示警報ステップ 710 では、探索範囲以上の大幅な視野外へのずれが発生したこと、または、視野方向ずれ量の検知機能が働いていないことを知らせるために、例えば、警報表示装置 514 によって警報音を発生し、かつ黄色の警報ランプを点灯し、更に、例えば、“視野方向大幅ずれ発生”、または、“自動検知機能異常”という文字をビデオモニタ 515 に表示して、ステップ 404 に戻る。
【００３７】上記で説明したように、本発明の視野方向ずれ検出システムは、システム単体として使用可能である。また、本発明の視野方向ずれ検出方法による処理機能を、例えば、監視カメラシステムの処理機能に付加して使用することも可能である。しかし、本発明の撮像装置視野方向ずれ検出方法は、監視カメラシステムの分野だけに限らず、例えば、ワイヤボンダ等に使用する撮像装置のように、常に同一の視野範囲の画像を逐次長時間に渡って取得し、同一のパターンをもとに同一箇所の位置をサーチして作業を行うためのパターン認識を実行するシステムに使用できることは云うまでもない。
【００３８】
【発明の効果】以上のように、本発明によれば、基準画像と入力画像のエッジ画像の x 軸への投影と y 軸への投影を作成し、基準画像のエッジ画像の投影と入力画像のエッジ画像の投影を比較し、ずれ量を計算することによって、オペレータが予め基準画像のテンプレートとする部分を設定しなくても、自動的に撮像装置の視野方向ずれを検知することができる。
【出願人】 【識別番号】０００００１１２２
【氏名又は名称】株式会社日立国際電気
【住所又は居所】東京都中野区東中野三丁目１４番２０号
【出願日】 平成１３年６月２９日（２００１．６．２９）
【代理人】
【公開番号】 特開２００３−１６４５９（Ｐ２００３−１６４５９Ａ）
【公開日】 平成１５年１月１７日（２００３．１．１７）
【出願番号】 特願２００１−１９９１４１（Ｐ２００１−１９９１４１）