| 【発明の名称】 |
制御機能付流速推定装置 |
| 【発明者】 |
【氏名】境野 英朋
【氏名】鈴木 智
|
| 【要約】 |
【課題】制御量を試行錯誤的に与えることなく流体の速度を安定した精度で推定する。
【解決手段】画像入力部１に入力し、画像蓄積部２で蓄積した対象を含む時系列画像の空間周波数分布を画像解析部３が解析し、拘束条件制御部４が画像の一定しきい値以上の空間周波数の帯域と制御量の関係から、移動速度を推定するための最適制御量を割り当て、速度算出部５はオプティカルフロー法により、連続する２枚の画像から最適制御量のもとで移動する対象の速度を正則化に基づいた方法で推定し、出力部６よりその流速推定値を出力する。 |
【特許請求の範囲】
【請求項１】 時系列画像中の流体の移動速度をオプティカルフロー法を用いて推定する流速推定装置において、移動する対象を含む２次元画像を入力する画像入力手段と、前記画像入力手段に入力された画像を時系列画像として蓄積する画像蓄積手段と、前記画像蓄積手段に蓄積されている２次元時系列画像の空間周波数分布を解析する画像解析手段と、前記画像解析手段で得られた画像の一定しきい値以上の空間周波数の帯域と制御量の関係から、対象の移動速度を推定するための拘束条件として最適な制御量を割当てる拘束条件制御手段と、オプティカルフロー法を用い、連続する２枚の画像から前記割当てられた最適制御量のもとで移動する対象の速度を正則化に基づいた方法で推定する速度算出手段とを有することを特徴とする制御機能付流速推定装置。
【請求項２】 前記画像解析手段は、２次元時系列画像の空間周波数分布を解析する際、フーリエ変換および高速フーリエ変換を用いて時間領域の画像情報を空間周波数情報に変換する請求項１記載の制御機能付流速推定装置。
【請求項３】 前記画像解析手段は、２次元時系列画像の空間周波数分布を解析する際、幾つかの画像の空間周波数の平均周波数を求めて前記拘束条件制御手段に出力する請求項１または２記載の制御機能付流速推定装置。
【請求項４】 前記画像解析手段は、移動する対象がレーダーから得られた降水パターンであるとき、海、山というような地形条件に応じて、予め対象を地形特徴ごとにセグメンテーション、すなわち対象の領域分割を行い、分割された各領域ごとに画像の空間周波数を求めて、それぞれ独立に前記拘束条件制御手段へ出力する請求項１ないし３のいずれか１記載の制御機能付流速推定装置。
【請求項５】 前記拘束条件制御手段は、対象の濃淡値分布についての１次微分値を制御量とし、前記速度算出手段は、正則化に基づいた方法にホーン・アンド・シュンクの方法を適用する請求項１ないし４のいずれか１記載の制御機能付流速推定装置。
【請求項６】 前記拘束条件制御手段は、各対象の面積の大きさと基準とする面積との比率を求め、該比率によって空間周波数分布におけるエネルギー分布を補正する請求項１ないし６のいずれか１記載の制御機能付流速推定装置。
|
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、時系列画像中の物体の移動速度を制御量を適応的に変化させながら推定し、気象レーダーエコー画像から降水量の変化予測や流体工学における流体の挙動の解析など、非剛体の動きで生成・消滅が著しい対象の移動速度を安定に検出する流速推定装置に関する。
【０００２】
【従来の技術】従来、画像中の剛体系の物体の移動ベクトルを推定する場合は、物体上の照明変化がほとんどないモデルを採用していることが多い。その検出方法には、ホーン・アンド・シュンクのオプティカルフロー法（以下、ＯＰ法と称する。文献：B.K.P. Horn and B.G. Schunk “Determing optical flow”, Artificial,Intelligence, Vol. 17, pp.185-203. 1981）や相互相関法に基づいた方法が中心的である。
【０００３】一方、非剛体の物体に対する適切な移動ベクトルはないと言える。これは、連続する画像間であっても、物体の輪郭線、濃淡値等の属性が同時に変化するために、明確な対応づけを行えないことに起因する。すなわち、複雑な物体に対しては、統計的な類似性を追従していく相互相関法が適用されることが多い。例えば、気象レーダーエコー画像を用いた場合、降水パターンは非剛体的に変化するが、相互相関法が適用されている。
【０００４】ＯＰ法では、２枚の画像から正則化と呼ばれる枠組みで対象の動き速度を推定する。ここで推定式は次のように導出される。まず、２枚の画像に基づいて誤差評価関数（式１）として定義され、この式を変分法（もしくはEuler-Lagrange法）にしたがって、連立１次方程式（式２，３）を得る。この連立１次方程式を緩和法（relaxation）により反復誤差が小さくなるまで繰り返す。このようにして、収束した解が２枚の画像間における、対象の移動速度ベクトル（ｕ，ｖ）が推定される。ただし、安定にかつ精度よく対象の移動速度を推定するためには、推定式に含まれる拘束条件（制御量α）に対する重みづけ量を試行錯誤的に調節する必要がある。
【０００５】誤差評価関数：【０００６】
【数１】
連立方程式：【０００７】
【数２】
ただし、上式において、Ｉは２次元画像の濃淡値、Ｉx ，Ｉy ，Ｉt はそれぞれ、濃淡値の水平方向、垂直方向の１次微分値、２つの画像の同一画素における差分値である。αは制御量（拘束条件）、（ｕ，ｖ）は、対象の移動速度成分、ｋは緩和法における反復回数である。
【０００８】
【数３】
ｖについても同様に与えられる。
【０００９】
【発明が解決しようとする課題】上述したＯＰ法では、対象の動き速度を制御量αを試行錯誤的に与えて推定しているので、手間がかかるとともに高い推定精度が得られ難いという欠点がある。
【００１０】本発明の目的は、制御量を試行錯誤的に与えることなく精度の高い非剛体系物体の移動ベクトルの速度をＯＲ法により推定する流速推定装置を提供することである。
【００１１】
【課題を解決するための手段】本発明の制御機構付流速推定装置は、時系列画像中の流体の移動速度をオプティカルフロー法を用いて推定する流速推定装置において、移動する対象を含む２次元画像を入力する画像入力手段と、前記画像入力手段に入力された画像を時系列画像として蓄積する画像蓄積手段と、前記画像蓄積手段に蓄積されている２次元時系列画像の空間周波数分布を解析する画像解析手段と、前記画像解析手段で得られた画像の一定しきい値以上の空間周波数の帯域と制御量の関係から、対象の移動速度を推定するための拘束条件として最適な制御量を割当てる拘束条件制御手段と、オプティカルフロー法を用い、連続する２枚の画像から前記割当てられた最適制御量のもとで移動する対象の速度を正則化に基づいた方法で推測する速度算出手段とを有する。
【００１２】このような構成とすることによって、対象の移動速度を推定するための最適な制御量が空間周波数分布の特徴にしたがって適応的に決定されるので、安定した流速の推定精度が得られる。
【００１３】前記画像解析手段は、２次元時系列画像の空間周波数分布を解析する際、フーリエ変換および高速フーリエ変換を用いて時間領域の画像情報を空間周波数情報に変換するものであってもよい。
【００１４】前記画像解析手段は、２次元時系列画像の空間周波数分布を解析する際、幾つかの画像の空間周波数の平均周波数を求めて前記拘束条件制御手段に出力するものであってもよい。
【００１５】前記画像解析手段は、移動する対象がレーダーから得られた降水パターンであるとき、海、山というような地形条件に応じて、予め対象を地形特徴ごとにセグメンテーション、すなわち対象の領域分割を行い、分割された各領域ごとに画像の空間周波数を求めて、それぞれ独立に前記拘束条件制御手段へ出力するものを含む。
【００１６】前記拘束条件制御手段は、対象の濃淡値分布についての１次微分値を制御量とし、前記速度算出手段は、正則化に基づいた方法にホーン・アンド・シュンクのオプティカルフロー法を適用するものであってもよい。
【００１７】前記拘束条件制御手段は、各対象の面積の大きさと基準とする面積との比率を求め、該比率によって空間周波数分布におけるエネルギー分布を補正するものを含む。
【００１８】
【発明の実施の形態】次に、本発明の実施の形態について図面を参照して説明する。
【００１９】図１は本発明の制御機能付流速推定装置の一実施形態のブロック図、図２は図１の拘束条件制御部４で割り当てられる制御量αと動きが既知な対象との移動速度推定精度比較を示す図、図３は拘束条件制御部４での処理に用いられる降水パターンにおける空間周波数分布の平均分布を示す図、図４は拘束条件制御部４で割り当てられる制御量αと空間周波数の関係を示すグラフ、図５は拘束条件制御部４における同一帯域で面積が異なる対象の空間周波数分布としきい値設定の関係を示すグラフである。
【００２０】この制御機能付流速推定装置は図１に示すように、画像入力部１と画像蓄積部２と画像解析部３と拘束条件制御部４と速度算出部５と出力部６とから構成されている。
【００２１】画像入力部１には移動する対象を含んでいる２次元の時系列画像が入力される。画像蓄積部２には画像入力部１から入力した過去の時系列画像が蓄積されている。画像解析部３は画像蓄積部２に蓄積された過去の時系列画像の空間周波数分布をフーリエ変換、または高速フーリエ変換を用いて時間領域の画像情報を周波数情報に変換して求める。
【００２２】拘束条件制御部４は設定されている適当なしきい値以上のエネルギーの帯域と空間周波数分布との関係から最適な制御量αを入力画像毎に割り当てる。
【００２３】速度算出部５は、高速制御部４によって入力画像毎に割り当てられた制御量αを拘束条件として用い、既知のホーン・アンド・シュンク（Horn & Schunk)のＯＰ法によって、正規化に基づいた方法で過去の２枚の画像から対象の移動速度値を推定する。
【００２４】出力部６は、速度算出部５が推定した各画素毎における対象の移動速度値を出力する。
【００２５】図２は、制御量αを様々に変化させたときの、同一の既知な動きをもつ降水パターンに対して推定された移動速度の結果を示している。一般的に言って、αの大きさは、対象の濃淡値分布にノイズによるばらつきが大きい場合、大きくする。図２のシミューレーションでは、斜め方向に実際のレーダー画像中の、降水パターンを等速に平行移動させている。その結果、αが小さいときほど、実際とは異なる様々な移動速度ベクトルが推定され、大きいときほど、実際よりも小さい移動速度ベクトルが得られている。またαが、大きいときは、実際よりも少ない移動速度ベクトルが得られているのがわかる。この例では、αが５０もしくは７０のときに推定精度がよい。この降水パターンの濃淡値分布は中央部で高くやや一様であり、周辺に行くほど、濃淡値は低い。すなわち、テクスチャーとしては、高空間周波数成分よりも低空間周波数成分が多い特徴がある。
【００２６】また、ここには示していないが、高空間周波数が多い降水パターンの場合では、αを７０よりも大きくすることで、移動速度の推定精度が向上していることが実験的に確かめられている。
【００２７】これらのことから、制御量はノイズが多い場合、すなわち、高空間周波数成分が多い場合は制御量αを大きくし、逆に、低空間周波数成分が多い場合は制御量αを小さくすれば、移動速度の推定精度が安定に得られると言える。
【００２８】図３は、過去数年間分のレーダー上に映し出された降水パターンの空間周波数分布の平均値の例を示している。図の縦軸はエネルギー、横軸は２次元の空間周波数帯域である。降水パターンには様々な形状とテクスチャーが存在しているが、平均してみると、ほとんどの降水パターンが低空間周波数成分であり、高空間周波数成分ほど少ないことがわかる。このように、複雑な形状をもった降水パターンの場合でもテクスチャーに着目すればその特徴量はある帯域の範囲内に存在する。これについては、他のテクスチャーをもった物体についてもこのような傾向がある場合は、空間周波数の帯域に制限がある。なお、空間周波数を適用するのは、対象の画像中の位置に依存しない結果を期待するためである。
【００２９】図４は空間周波数の帯域と制御量αとの関係を示している。ここでは簡単に線形の関係を与えているが、式（１）を見てわかるように、αは２乗という非線形で反映する。
【００３０】図５（ａ）および（ｂ）はテクスチャーが同じ分布でも面積とエネルギーが異なる場合の例を示している。このような場合、エネルギーに同一のしきい値を設定すると（ａ）のように面積が小さい場合は帯域βは狭くなり、（ｂ）のように面積が大きい場合は帯域βは広くなる。このことから、図４のような制御量と空間周波数の関係を与えようとするならば、しきい値を何らか可変しなくてはならなくなる問題が生じてしまう。
【００３１】そこで、面積の大きさはエネルギーの大きさに比例することから、面積についての正規化を施す。まず、基準となる対象の面積を設定して、その対象に対して切り取る帯域を設定する。そのときの帯域に対するエネルギーの値を求めて、この値をしきい値とする。実際には、フーリエ変換で対象の空間周波数分布を求める前に、基準とした面積との比率ρを求める。この比率と面積の変化の関係は２乗のオーダーで比例して与えられる。したがって、対象の空間周波数分布にエネルギーが求められたのならば、全体にわたってエネルギーの値を比率ρで補正する。その上でしきい値を置いて、その対象の帯域を求める。
【００３２】このようにすれば、対象の面積の大きさに左右されずに、空間周波数分布のエネルギーにおいて、同一のしきい値を設定しておくことができる。
【００３３】本実施形態の制御機能付流速推定装置は、流体の移動速度を推定する際、最適な制御量が対象の空間周波数分布の特徴にしたがって適応的に決定されるので、流速の安定した推定精度を得ることができる。
【００３４】
【発明の効果】以上説明したように本発明は、時系列画像の空間周波数分布を解析して得られた空間周波数の帯域と制御量の関係から最適制御量を割り当てることにより、移動対象の流速を算定する際に試行錯誤的に制御量を割り当てる必要がなく、安定した推定精度が得られ、また、対象の面積についての正規化を取り入れることにより、面積の大きさに左右されずに、一定のしきい値を与えておけばよく、流速推定の精度と効率が著しく向上するという効果がある。
|
| 【出願人】 |
【識別番号】０００００４２２６
【氏名又は名称】日本電信電話株式会社
|
| 【出願日】 |
平成９年（１９９７）１１月２５日 |
| 【代理人】 |
【弁理士】
【氏名又は名称】若林 忠 （外２名）
|
| 【公開番号】 |
特開平１１−１６０３３５ |
| 【公開日】 |
平成１１年（１９９９）６月１８日 |
| 【出願番号】 |
特願平９−３２２９１９ |
|