Warning: copy(htaccessbak): failed to open stream: No such file or directory in /home/jtokkyo/public_html/header.php on line 10
画像処理装置 - 特開2008−14709 | j-tokkyo
トップ :: G 物理学 :: G01 測定;試験

【発明の名称】 画像処理装置
【発明者】 【氏名】野口 憲一

【氏名】和泉 秀幸

【要約】 【課題】SARの画像処理では、同一地点を撮像した複数のSAR画像を用いて、インタフェロメトリやCCD等の高次処理を行う技術があるが、複数のSAR画像間で対応する位置を合わせる必要がある。都市部等を撮影したSAR画像では、散乱点の元となる対象物が密集し、複雑に配置されるため、コヒーレンスを指標とした画像処理や目視による抽出では、対応する地点を選択することが難しい課題がある。

【構成】MUSIC超解像部2を画像処理装置に組み込んで、SAR画像をMUSIC超解像処理することにより、目視等によって対応する地点の判別が困難な場合でも、MUSIC超解像処理によって散乱点情報を抽出し、画像の対応地点の関係を正確に決定することが可能となり、クラスタ範囲を変更しながら、散乱点情報の高精度化を実施し、信頼度を向上していくことで、より正確な画像の対応地点の関係を決定することが可能となる。
【特許請求の範囲】
【請求項1】
複数のSAR画像を入力する比較対象画像入力部と、
上記比較対象画像入力部に入力されたSAR画像について、任意の大きさのクラスタ範囲に分割し、クラスタ毎にMUSIC(Multiple Signal Classification)超解像処理を実施するMUSIC超解像部と、
上記MUSIC超解像部でMUSIC超解像処理されたSAR画像について、クラスタ毎に散乱点の頂点の位置と、ピーク値から得られる散乱点情報を算出する散乱点抽出部と、
上記散乱点抽出部で抽出されたクラスタ毎の散乱点情報を、対応する同一地点を含んだ異なるSAR画像間で相互に比較し、その散乱点情報の相関性を判定する散乱点相関判定部と、
上記散乱点相関判定部で判定されたSAR画像間の相関性の判定結果に基づいて、クラスタ毎に特定の散乱点を選定し、選定した散乱点に基づいて、異なるSAR画像間での対応地点を出力する対応地点出力部と、
を具備することを特徴とする画像処理装置。
【請求項2】
上記MUSIC超解像部において、
MUSIC処理を行うクラスタ範囲の再設定や信頼度及び判定情報を保持し、その中で最適な対応地点を選択することを特徴とする請求項1記載の画像処理装置。
【請求項3】
上記散乱点相関判定部から収束したときのクラスタ範囲についての評価パラメータを記録する処理パラメータ記録・呼出部からの情報により、上記MUSIC超解像部が、上記比較対象画像入力部から入力されたSAR画像について、MUSIC超解像処理及び散乱点位置の組合せを実施することを特徴とする請求項1記載の画像処理装置。
【発明の詳細な説明】【技術分野】
【0001】
本発明は合成開口レーダSARで得られる画像に超解像処理を利用した画像処理装置に関するものである。
【背景技術】
【0002】
合成開口レーダSAR(Synthetic Aperture Rader)の画像処理では、同一地点を撮像した複数のSAR画像を用いて、インタフェロメトリやCCD(Coherent Chages Detection)等の高次処理を行う場合、複数のSAR画像間で対応する位置を合わせる必要がある。従来は、コヒーレンスを指標とした画像処理や目視によって画像上の特徴点を指定して、対応する位置を照合していた(特許文献1参照。)。
【0003】
また、海洋中の音波伝搬特性を計算する音波伝搬シミュレーション方法においては、MUSIC(Multiple Signal Classification)超解像処理を使用して、所望信号を強調し雑音成分の影響を軽減するモード固有値計測方法が既に開示されている(特許文献2参照。)。
【0004】
【特許文献1】特開2004−191053号公報(段落番号0018)
【特許文献2】特開平11−14443号公報(段落番号0018、第3図)
【発明の開示】
【発明が解決しようとする課題】
【0005】
以上のように従来のコヒーレンスを指標とした画像処理や目視による抽出では、都市部等を撮影したSAR画像では、散乱点の元となる対象物が密集し、複雑に配置されるため、対応する地点を選択することが難しいという課題がある。
【0006】
この発明は、上記のような課題を解決するためになされたものであり、超解像処理を利用して得られる画像上の特徴点を抽出し、この特徴点に着目した高精度な位置合わせが可能な画像処理装置を得ることを目的とする。
【課題を解決するための手段】
【0007】
この発明の画像処理装置は、複数のSAR画像を入力する比較対象画像入力部と、上記比較対象画像入力部に入力されたSAR画像について、任意の大きさのクラスタ範囲に分割して、MUSIC(Multiple Signal Classification)超解像処理を実施するMUSIC超解像部と、上記MUSIC超解像部でMUSIC超解像処理されたSAR画像毎に、クラスタ毎に散乱点の頂点の位置と、ピーク値から得られる散乱点情報を算出する散乱点抽出部と、上記散乱点抽出部で抽出されたクラスタ毎の散乱点情報を対応する同一地点を含んだ異なるSAR画像間で相互に比較し、その散乱点情報の相関性を判定する散乱点相関判定部と、上記散乱点相関判定部で判定されたSAR画像間の相関性の判定結果に基づいて、クラスタ毎に特定の散乱点を選定し、選定した散乱点に基づいて、異なるSAR画像間での対応地点を出力する対応地点出力部とを具備するものである。
【発明の効果】
【0008】
この発明によれば、MUSIC超解像部を画像処理装置に組み込んで、SAR画像をMUSIC超解像処理することによって、目視等によって対応する地点の判別が困難な場合でも、MUSIC超解像処理によって散乱点の判別が可能となり、画像の対応地点の関係を正確に決定することが可能となる画像処理装置を得ることできるという効果が得られる。
【発明を実施するための最良の形態】
【0009】
実施の形態1.
この実施の形態による画像処理装置は、MUSIC超解像処理を実施した画像を用いて散乱点を抽出し、その散乱点位置情報を使って、同一地点を撮像した複数のSAR画像間の対応関係を導出するものである。
【0010】
図1はこの発明の実施の形態1による画像処理装置を示す構成図であり、1は比較対象画像入力部、2はMUSIC超解像部、3は散乱点抽出部、4は散乱点相関判定部、5は対応地点出力部、6は画像処理装置制御部である。
また、図1に記載する比較対象画像入力部1、MUSIC超解像部2、散乱点抽出部3、対応地点出力部5、画像処理装置制御部6には、各種の設備が設けられているが、ここではこの発明の要旨とする部分のみを説明する。
【0011】
SAR画像の分解能を向上させるMUSIC(Multiple Signal Classification)超解像処理では、処理して得られるMUSIC画像に含まれる散乱点の数が有限であると仮定して、その数と位置を推定する。ここで、散乱点はMUSIC画像の濃淡の頂点を表し、SAR画像の各位置での空間周波数の基本波の振幅に相当するものである。
【0012】
このため、処理結果の画像では散乱点のピークが強調表示される特徴がある。また、MUSIC超解像処理は、SAR画像の任意の部分領域を指定して実行できるが、この際に処理領域を小さく分割して高速化している。
【0013】
比較対象画像入力部1は、同一地点を撮像した複数のSAR画像を用いてインタフェロメトリ等の高次処理を行うのに必要な複数のSAR画像を入力する部分である。
MUSIC超解像部2は、比較対象画像入力部1で入力された複数の画像について、それぞれMUSIC超解像処理を実施する部分である。
【0014】
散乱点抽出部3は、MUSIC超解像部2でMUSICを実施した画像から、散乱点の抽出を行う。散乱点相関判定部4は、複数のMUSIC超解像処理が施された画像において、散乱点抽出部3で抽出された散乱点の相関性を計算し、相関性の判定を行う。
【0015】
対応地点出力部5は、散乱点相関判定部4で、複数画像間で散乱点の相関性が確認された対応地点情報を出力し、複数の画像間で重ね合わせを実施する部分である。
画像処理装置制御部6は、本装置の動作を制御する部分である。
【0016】
次に、MUSIC超解像部2、散乱点抽出部3、散乱点相関判定部4の動作について図2のフロー図を用いて説明する。
【0017】
図2は、実施の形態1における処理内容を示すフローチャートである。
MUSIC超解像部2では、STEP1として、MUSIC超解像処理を行う範囲を決定し、STEP2として、処理を実施する。処理を行う範囲は、MUSIC超解像処理で頂点を示す散乱点が密集している領域を一括したものをクラスタと呼び、画像全体の散乱点の分布状況から、予め任意にクラスタの大きさを決定しておき、画像全体を任意の個数のクラスタで画像全体を分割する。
【0018】
散乱点抽出部3では、MUSIC超解像処理を実施後の画像は、散乱点のピークが強調表示される特徴があることを利用して、STEP3として、頂点の位置、パワー(ピークの大きさ)から成る散乱点情報を算出する。
【0019】
散乱点相関判定部4では、STEP4、5として、散乱点抽出部3で抽出した散乱点情報を用いて、対応する可能性がある組合せについて仮説をたてる。また、STEP6として、各組合せ毎の仮説の信頼度を、散乱点間の相対距離やピーク値の大きさの差異等から算出する。
【0020】
STEP7において、全組合せについて、組合せ間の差異算出を実施したかどうかを判断し、NOならば、ステップ5から再度繰り返し実行する。また、YESならば、STEP8を実行する。
【0021】
STEP8として、上記で算出した仮説の各組合せの信頼度を評価して、信頼度が高い組合せをクラスタ内の対応関係として決定する。
このクラスタ内の対応関係を決定する処理をクラスタ数分について実施する。
クラスタ内で、クラッタ等の特に注目する散乱点がないクラスタについては、信頼度を無効とする。
【0022】
STEP9において、すべてのクラスタの評価を完了したどうかを判断し、NOならば、ステップ4から再度繰り返し実行する。また、YESならば、STEP10を実行する。
【0023】
STEP10として、組合せ間の差異を算出する(図5参照)ことによって、各クラスタの信頼度評価を実施し、各クラスタ毎に、最も信頼度の高かった、最適な画像の対応地点として、散乱点a〜散乱点cの関係を決定する(図3参照)。
【0024】
図3は、実施の形態1における画像処理を行う画像領域の分割例を示す図であり、図3(a)は画像1をクラスタA、B、C、Dに四分割した図であり、図3(b)は画像1を図3(a)で四分割したクラスタAについて、散乱点a、b、cを表現したものである。同様に、図3(c)は画像2をクラスタA’、B’、C’、D’に四分割した図であり、図3(d)は画像2を図3(c)で四分割したクラスタA’について、散乱点a’、b’、c’を表現したものである。
【0025】
MUSIC超解像処理で頂点を示す散乱点(例えば、図4(b)のa、b、c)が密集している領域を一括したものをクラスタと呼ぶ、例えば、図3(a)のクラスタA〜クラスタD、図3(c)のクラスタA’〜クラスタD’である。
画像全体の散乱点の分布状況から、予め任意にクラスタの大きさを決定しておき、画像全体を任意の個数のクラスタ(図3では4個)で画像全体を分割する。
【0026】
図3(b)で示すクラスタAは散乱点a、散乱点b、散乱点cの3点で成り、図3(d)で示すクラスタA’は散乱点a’、散乱点b’、散乱点c’の3点で成るものとする。散乱点が3個の2毎の画像を評価する場合は、散乱点a〜cの3点と散乱点a’〜c’の3点の組合せとして、6つの組合せが可能である。
【0027】
図4は、実施の形態1におけるSAR画像について、MUSIC超解像処理を実施した例を示す図であり、図4(a)、(c)はSAR画像を断面方向を横軸にして縦軸に振幅(画像の濃淡)を表現したものであり、図4(b)、(d)はMUSIC画像を断面方向を横軸にして縦軸に振幅を表現したものである。
【0028】
図4(b)で示すMUSIC画像上で頂点を示す散乱点a,b,cは、変換前の図4(a)で示すSAR画像上で、図4(b)の散乱点a,b,cに対応した場所に比較して、明らかに近傍の振幅の値に差異があることが分かる。
同様に、図4(d)で示すMUSIC画像上で頂点を示す散乱点a’,b’,c’は、変換前の図4(c)で示すSAR画像上で、図4(d)の散乱点a’,b’,c’に対応した場所に比較して、明らかに近傍の振幅の値に差異があることが分かる。
【0029】
図4(b)MUSIC画像(図4(d)も同様に)で分かるように、MUSIC画像の濃淡の頂点を表す散乱点a,b,cは、SAR画像の各位置での空間周波数の基本波の振幅に相当するものであり、図4(a)SAR画像に比較して、散乱点a,b,cの波形に相違が表れ、MUSIC超解像処理(ステップ2)の効果が分かる。
【0030】
図4(b)で示す散乱点a,b,cは、振幅P1、P2、P3、位置D1、D2、D3であり、図4(d)で示す散乱点a’,b’,c’は、振幅P1’、P2’、P3’、位置D1’、D2’、D3’である。
【0031】
SAR画像では、図4(a)と図4(c)に明確な相違が見られないが、各々をMUSIC画像へ変換した図4(b)と図4(d)において、振幅及び位置を定量的に比較すれば、識別することが可能になる。
【0032】
図5は実施の形態1における仮説の組合せ例を示す図であり、クラスタAの散乱点a〜cの3点とクラスタA’の散乱点a’〜c’の3点の組合せとして、縦方向に組合せ1〜組合せ6、横方向に散乱点間の差異と組合せ間の差異を記述し、散乱点間の差異に位置の差(D1―1〜D4―3)、ピーク差(P1―1〜P4―3)の項目を記述し、また、組合せ間の差異に、位置の差(S―D1〜S―D4)、ピーク差(S―P1〜S―P4)の項目を記述している。
【0033】
ここで、例えば、D1―1は図4(a)で示す散乱点aの位置D1と図4(b)で示す散乱点a’の位置D1’の位置の差を表しており、P1―1は図4(a)で示す散乱点aの振幅のピーク値P1と図4(b)で示す散乱点a’の振幅のピーク値P1’のピーク差を表している。
【0034】
図5において、散乱点の仮説の組合せが組合せ1の場合を例として説明する。
図3(b)に示すクラスタAの画像の散乱点aと図3(d)に示すクラスタA’の画像の散乱点a’を対応させた場合、散乱点間の差異に関する位置の差の列に記載のD1−1は散乱点aと散乱点a’の相対距離を表し、散乱点間の差異に関するピーク差の列に記載のP1―1は散乱点aと散乱点a’のパワー値の差を表している。
【0035】
また、組合せ間の差異に関する位置の差の列に記載のS−D1は、散乱点間の差異に関する位置の差の列に記載のD1−1〜D1−3の値を合計(あるいは2乗平均も可)して計算される。
同様に、組合せ間の差異に関するピーク差の列に記載のS−P1は、散乱点間の差異に関するピーク差の列に記載のP1−1〜P1−3の値を合計(あるいは2乗平均も可)して計算される。
【0036】
以上のように、組合せ2〜組合せ6についても、組合せ間の差異に関する位置の差の列に記載のS−D2〜S−D6及びピーク差の列に記載のS−P2〜S−P6を計算する。
ここで、組合せ1〜組合せ6の位置の差とピーク差に関する組合せ間の差異を加算して得られる各組合せ間の差異が最も小さくなるものが信頼度が高く、この組合せが、最終的に信頼度が高いものとして選ばれる。
【0037】
続いて、上記で算出した仮説の各組合せの信頼度を評価して、信頼度が高い組合せをクラスタ内の対応関係として決定する。(STEP8)
このクラスタ内の対応関係を決定する処理をクラスタ数分について実施する。
【0038】
図5に示すように組合せ間の差異を算出することによって、各クラスタの信頼度評価を実施し、各クラスタ毎に、最も信頼度の高かった、図3に示すように、最適な画像の対応地点として、散乱点a〜散乱点cの関係を決定する。(STEP10)
画像1及び画像2が対象とする画像のクラスタA〜クラスタD毎の最適に選ばれた散乱点a〜散乱点cによって、画像の対応地点とする。
また、信頼度の高いクラスタの位置条件に合わせるだけでなく、各クラスタの最適な位置情報を平均して、画像の対応地点の関係を決定する等の方法でも良い。
【0039】
上述したように、実施の形態1によれば、MUSIC超解像処理を実施した画像を用いて複数画像の位置関係を決定することにより、目視等によって対応する地点の判別が困難な場合でも、MUSIC超解像処理によって散乱点の判別が可能となり、同一地点を撮像した複数のSAR画像から必要な画像を選出できるという効果が得られる。
【0040】
実施の形態2.
以下、図を用いてこの発明に係る実施の形態2について説明する。
図6は、この発明の実施の形態2による画像処理装置を示す構成図であり、7は散乱点相関判定評価部であり、1〜6は実施の形態1の説明と同じものである。
【0041】
ここでは、追加部分の動作について、図7のフロー図を用いて説明する。
実施の形態1で示したように散乱点相関判定部4においてクラスタの評価を実施した後、追加した散乱点相関判定評価部7で、STEP11として、信頼度及び判定情報を保持しておく。
【0042】
また、STEP13として、最初に設定したクラスタ範囲とは異なるクラスタ範囲を設定し、その情報をMUSIC超解像部2に入力する。
MUSIC超解像処理は、処理を行う範囲を変更すると頂点の位置、パワー(ピークの大きさ)から成る散乱点情報に関する処理結果が変わる性質があるため、クラスタ範囲を変更することにより、散乱点情報の高精度化を実施する。
【0043】
そのクラスタ範囲を使って、散乱点抽出部3、散乱点相関判定部4にて実施の形態1と同様にクラスタの評価を実施する。散乱点相関判定評価部7において、保持しておいた評価結果と比較して、クラスタ範囲に対する信頼度の傾向を判断し、信頼度が向上するようなクラスタ範囲を再設定する。STEP12として、この一連の動作を、クラスタ評価である信頼度が収束するまで実施する。
【0044】
上述したように、クラスタ範囲を変更しながら、散乱点情報の高精度化を実施し、信頼度を向上していくことで、より正確な画像の対応地点の関係を決定することが可能となる。
実施の形態3.
図8は、この発明の実施の形態3による画像処理装置を示す構成図であり、8は評価パラメータ記録・呼出部であり、7は実施の形態2と同じもので、1〜6は実施の形態1と同じものである。
【0045】
ここでは、追加部分の動作について、図9のフロー図を用いて説明する。
実施の形態2で示したように、信頼度が向上するようなクラスタ範囲を再設定しながら、クラスタ評価である信頼度が収束するまで実施し、正確な画像の対応地点の関係を決定する。次にSTEP14として、収束したときのクラスタ範囲を追加した評価パラメータを評価パラメータ記録・呼出部8に記録しておく。
【0046】
過去に計算した散乱点の位置関係と類似した画像もしくは同じ場所における新しい画像の組合せにおいて、画像の対応地点を計算する際、STEP15として、評価パラメータ記録・呼出部8に記録してあった過去の最適なクラスタ範囲を呼び出す。
【0047】
呼び出した最適なクラスタ範囲を用いて、実施の形態2で示したように、MUSIC超解像処理及び散乱点位置の組合せを実施することによって、信頼度が収束するまでの処理時間が短くなり、正確な画像の対応地点の関係を決定することが可能となる。
【図面の簡単な説明】
【0048】
【図1】実施の形態1による画像評価装置を示す構成図である。
【図2】実施の形態1における処理内容を示すフローチャートである。
【図3】実施の形態1における画像処理を行う画像領域の分割例を示す図である。
【図4】実施の形態1におけるSAR画像について、MUSIC超解像処理を実施した例を示す図である。
【図5】実施の形態1における仮説の組合せ例を示す図である。
【図6】実施の形態2による画像評価装置を示す構成図である。
【図7】実施の形態2における処理内容を示すフローチャートである。
【図8】実施の形態3による画像評価装置を示す構成図である。
【図9】実施の形態3における処理内容を示すフローチャートである。
【符号の説明】
【0049】
1 比較対象画像入力部、 2 MUSIC超解像部、 3 散乱点抽出部、 4 散乱点相関判定部、 5 対応地点出力部、 6 画像処理装置制御部、 7 散乱点相関判定評価部、 8 評価パラメータ記録・呼出部。
【出願人】 【識別番号】000006013
【氏名又は名称】三菱電機株式会社
【出願日】 平成18年7月4日(2006.7.4)
【代理人】 【識別番号】100113077
【弁理士】
【氏名又は名称】高橋 省吾

【識別番号】100112210
【弁理士】
【氏名又は名称】稲葉 忠彦

【識別番号】100108431
【弁理士】
【氏名又は名称】村上 加奈子

【識別番号】100128060
【弁理士】
【氏名又は名称】中鶴 一隆


【公開番号】 特開2008−14709(P2008−14709A)
【公開日】 平成20年1月24日(2008.1.24)
【出願番号】 特願2006−184569(P2006−184569)