トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 画像合成装置及び方法並びに撮像装置
【発明者】 【氏名】畑中 晴雄

【氏名】飯田 崇
【要約】 【課題】加算式手ぶれ補正において、合成画像（静止画像）の品質を向上させる。

【構成】通常の露光時間を分割して複数の分割露光画像（第１〜第４画像）を得る。動き検出回路は、画像マッチング法により異なる分割露光画像間で複数の累積相関値を算出し、複数の累積相関値の最小値を検索して前記異なる分割露光画像間の動きベクトルを算出する。また、最小値のレベルに基づいて、動きベクトルの正確さの指標となる信頼度Ｂ［ｉ］を算出する。画像合成回路は、信頼度Ｂ［ｉ］を画素混合比として利用する。画像合成回路は、前記動きベクトルを基づいて各分割露光画像の位置合わせを行い、各分割露光画像を画素混合比（Ｂ［ｉ］）に従って加算合成することにより、手ぶれの少ない１枚の静止画像を生成する。
【特許請求の範囲】
【請求項１】
順次撮影して得られた複数の分割露光画像から互いに異なる分割露光画像間の動きベクトルを算出する動きベクトル算出手段を備え、
前記動きベクトルに基づいて各分割露光画像を位置合わせして加算合成することにより１枚の合成画像を生成する画像合成装置において、
前記異なる分割露光画像間の画像の動きに応じた情報に基づいて、前記分割露光画像ごとに、その分割露光画像を前記合成画像に反映させる度合いを表す混合比を算出する混合比算出手段を備え、
各混合比に従って各分割露光画像を加算合成することにより前記合成画像を生成する
ことを特徴とする画像合成装置。
【請求項２】
前記動きベクトル算出手段は、画像マッチング法に従って求めた、前記異なる分割露光画像間の複数の累積相関値に基づいて、前記動きベクトルを算出し、
前記混合比算出手段は、前記情報としての前記複数の累積相関値に基づいて前記混合比を算出する
ことを特徴とする請求項１に記載の画像合成装置。
【請求項３】
前記動きベクトル算出手段は、前記異なる分割露光画像間において、前記画像マッチング法により各分割露光画像に設けられた検出領域についてのｍ個の累積相関値を算出し（ｍは２以上の整数）、
前記混合比算出手段は、
前記ｍ個の累積相関値の内の、最小値又は該最小値を所定の規則に従って増加させた値以下の累積相関値、に基づく第１評価値、
前記ｍ個の累積相関値の平均に応じた値、に基づく第２評価値、及び、
前記ｍ個の累積相関値の内の、最小値の個数又は該最小値を所定の規則に従って増加させた値以下の累積相関値の個数、に基づく第３評価値、
の内の、何れか１つの評価値又は２以上の評価値に基づいて、各混合比を算出する
ことを特徴とする請求項２に記載の画像合成装置。
【請求項４】
各分割露光画像に複数の検出領域を設け、
前記動きベクトル算出手段は、前記異なる分割露光画像間において、前記検出領域ごとに前記画像マッチング法によりｍ個の累積相関値を算出し（ｍは２以上の整数）、
当該画像合成装置は、更に、前記検出領域ごとに前記検出領域の有効又は無効を判断する判定手段を備え、
前記動きベクトル算出手段は、前記検出領域ごとに、前記ｍ個の累積相関値に基づいて前記検出領域内の画像の動きを表すベクトルを領域動きベクトルとして求め、
有効と判断された前記検出領域に対応する各領域動きベクトルから前記動きベクトルを画像全体の動きベクトルとして算出し、
前記混合比算出手段は、
前記検出領域ごとに算出された前記ｍ個の累積相関値の内の、最小値又は該最小値を所定の規則に従って増加させた値以下の累積相関値、に基づく第１評価値、
前記検出領域ごとに算出された前記ｍ個の累積相関値の平均に応じた値、に基づく第２評価値、
前記検出領域ごとに算出された前記ｍ個の累積相関値の内の、最小値の個数又は該最小値を所定の規則に従って増加させた値以下の累積相関値の個数、に基づく第３評価値、及び、
前記複数の検出領域の内、前記判定手段によって有効と判断された前記検出領域の個数、に基づく第４評価値、
の内の、何れか１つの評価値又は２以上の評価値に基づいて、各混合比を算出する
ことを特徴とする請求項２に記載の画像合成装置。
【請求項５】
順次撮影して得られた複数の分割露光画像から互いに異なる分割露光画像間の動きベクトルを算出する動きベクトル算出手段を備え、
前記複数の分割露光画像の内の何れか１つを基準画像として定め、前記動きベクトルに基づき、前記基準画像を基準にして各分割露光画像を位置合わせして加算合成することにより１枚の合成画像を生成する画像合成装置において、
前記基準画像を可変設定可能な基準画像設定手段を備え、
前記基準画像設定手段は、前記異なる分割露光画像間の画像の動きに応じた情報に基づいて前記基準画像を設定する
ことを特徴とする画像合成装置。
【請求項６】
前記動きベクトル算出手段は、画像マッチング法に従って求めた、前記異なる分割露光画像間の複数の累積相関値に基づいて、前記動きベクトルを算出し、
前記混合比算出手段は、前記情報としての前記複数の累積相関値に基づいて前記基準画像を設定する
ことを特徴とする請求項５に記載の画像合成装置。
【請求項７】
前記動きベクトル算出手段は、前記異なる分割露光画像間において、前記画像マッチング法により各分割露光画像に設けられた検出領域についてのｍ個の累積相関値を算出し（ｍは２以上の整数）、
前記混合比算出手段は、
前記ｍ個の累積相関値の内の、最小値又は該最小値を所定の規則に従って増加させた値以下の累積相関値、に基づく第１評価値、
前記ｍ個の累積相関値の平均に応じた値、に基づく第２評価値、及び、
前記ｍ個の累積相関値の内の、最小値の個数又は該最小値を所定の規則に従って増加させた値以下の累積相関値の個数、に基づく第３評価値、
の内の、何れか１つの評価値又は２以上の評価値に基づいて、前記基準画像を設定する
ことを特徴とする請求項６に記載の画像合成装置。
【請求項８】
各分割露光画像に複数の検出領域を設け、
前記動きベクトル算出手段は、前記異なる分割露光画像間において、前記検出領域ごとに前記画像マッチング法によりｍ個の累積相関値を算出し（ｍは２以上の整数）、
当該画像合成装置は、更に、前記検出領域ごとに前記検出領域の有効又は無効を判断する判定手段を備え、
前記動きベクトル算出手段は、前記検出領域ごとに、前記ｍ個の累積相関値に基づいて前記検出領域内の画像の動きを表すベクトルを領域動きベクトルとして求め、
有効と判断された前記検出領域に対応する各領域動きベクトルから前記動きベクトルを画像全体の動きベクトルとして算出し、
前記混合比算出手段は、
前記検出領域ごとに算出された前記ｍ個の累積相関値の内の、最小値又は該最小値を所定の規則に従って増加させた値以下の累積相関値、に基づく第１評価値、
前記検出領域ごとに算出された前記ｍ個の累積相関値の平均に応じた値、に基づく第２評価値、
前記検出領域ごとに算出された前記ｍ個の累積相関値の内の、最小値の個数又は該最小値を所定の規則に従って増加させた値以下の累積相関値の個数、に基づく第３評価値、及び、
前記複数の検出領域の内、前記判定手段によって有効と判断された前記検出領域の個数、に基づく第４評価値、
の内の、何れか１つの評価値又は２以上の評価値に基づいて、前記基準画像を設定する
ことを特徴とする請求項６に記載の画像合成装置。
【請求項９】
順次撮影を行って複数の分割露光画像を表す複数の画像データを出力する撮像手段と、
請求項１〜請求項８の何れかに記載の画像合成装置と、を備え、
前記画像合成装置は、前記複数の画像データに基づいて前記合成画像を生成する
ことを特徴とする撮像装置。
【請求項１０】
順次撮影して得られた複数の分割露光画像から互いに異なる分割露光画像間の動きベクトルを算出し、
前記動きベクトルに基づいて各分割露光画像を位置合わせして加算合成することにより１枚の合成画像を生成する画像合成方法において、
前記異なる分割露光画像間の画像の動きに応じた情報に基づいて、前記分割露光画像ごとに、その分割露光画像を前記合成画像に反映させる度合いを表す混合比を算出し、
各混合比に従って各分割露光画像を加算合成することにより前記合成画像を生成する
ことを特徴とする画像合成方法。
【請求項１１】
順次撮影して得られた複数の分割露光画像から互いに異なる分割露光画像間の動きベクトルを算出し、
前記複数の分割露光画像の内の何れか１つを基準画像として定め、前記動きベクトルに基づき、前記基準画像を基準にして各分割露光画像を位置合わせして加算合成することにより１枚の合成画像を生成する画像合成方法において、
前記異なる分割露光画像間の画像の動きに応じた情報に基づいて前記基準画像を可変設定する
ことを特徴とする画像合成方法。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、複数の画像を合成する画像合成装置及び画像合成方法に関し、特に、順次撮影して得られた複数の分割露光画像を位置合わせして加算合成することにより、手ぶれが低減された１枚の合成画像を生成する画像合成装置及び画像合成方法に関する。また、本発明は、そのような画像合成装置又は画像合成方法を採用した撮像装置に関する。
【背景技術】
【０００２】
手ぶれ補正技術は、カメラ撮影における手ぶれを軽減する技術であり、近年において盛んに研究されている。手ぶれ補正技術は、補正対象が静止画像であるか動画像であるかに関わらず、手ぶれを検出する要素技術と、その検出結果に基づいて画像を補正する要素技術と、に分けて考えることができる。
【０００３】
手ぶれを検出する方法には、センサ（角速度センサ）を用いる方法と、画像を解析して検出する電子式の方法とがある。画像の補正には、光学系の駆動により補正を行う光学式手ぶれ補正と、画像処理により補正を行う電子式手ぶれ補正とがある。
【０００４】
静止画像（又は動画像）に対して手ぶれ補正を行う方法として、センサで手ぶれを検出しその検出結果に基づいて光学式手ぶれ補正を行う方法と、センサで手ぶれを検出しその検出結果に基づいて電子式手ぶれ補正を行う方法と、画像を解析して手ぶれを検出しその検出結果に基づいて電子式手ぶれ補正を行う方法と、がある。
【０００５】
画像を解析して手ぶれを検出しその検出結果に基づいて電子式手ぶれ補正を行う方法として、加算式手ぶれ補正が実用化されている。加算式手ぶれ補正では、通常の露光時間Ｔ１を分割して得られる露光時間がＴ２の複数の分割露光画像（短時間露光画像）Ｇ１〜Ｇ４を、各分割露光画像間の動きがキャンセルされるように位置合わせした上で加算合成することにより、手ぶれの少ない１枚の静止画像を生成する（図２４参照）。
【０００６】
画像処理による画像間の動きを検出するための手法として、画像マッチング法、特徴点マッチング法、勾配法などがある。画像マッチング法は、２つの画像間で重ね合わせ位置をずらしながら、２つの画像の相違を調べてゆき、相違が最小となる位置（２つの画像間の相対的な位置ずれ）を探索する方法である。両画像間の相違を表す値として、両画像間の画素値の差の絶対値の総和（ＳＡＤ（Sum of Absolute Difference））、又は、両画像間の画素値の差の２乗和（ＳＳＤ（Sum of Squared Difference））を用いることが多い。
【０００７】
画像マッチング法は、全画素マッチング法（ブロックマッチング法）と代表点マッチング法に分類される。全画素マッチング法は、対比する２つの画像間の重なり部の全画素の画素値を用いて、両画像間の相違を算出する手法である。一方、代表点マッチング法は、数〜数１０画素おきに設定された代表点の画素値を用いて、両画像間の相違を算出する。代表点マッチング法は、ハードウェアによる実装が容易であり且つ実用的な検出精度を得ることができることから、デジタルビデオカメラ等の撮像装置において広く用いられている。
【０００８】
従来の加算式手ぶれ補正では、複数の分割露光画像を、各分割露光画像の画像特徴に基づき、複数の分割露光画像の１つ（典型的には、１番目の分割露光画像）を基準画像として位置合わせした後、それらの画像を単純加算することにより１枚の静止画像を生成していた。図２５に、複数の分割露光画像Ｇ１〜Ｇ４から合成画像としての静止画像が生成される様子の典型例を示す。尚、図２５は、全ての分割露光画像内において殆ど画像のぶれが表れていない状況に対応している。
【０００９】
通常、各分割露光画像の露光時間は手ぶれが無視できる程度に短く設定されるのであるが、複数の分割露光画像の中に、手ぶれに基づく大きな画像のぶれを有する分割露光画像が含まれる場合がある。また、複数の分割露光画像の中に、被写体の動きに基づく大きな画像のぶれを有する分割露光画像が含まれる場合もある。大きな画像のぶれを有する分割露光画像が存在する場合、各分割露光画像の位置合わせの精度が低くなって、合成画像としての静止画像に、図２６に示すようなぶれが生じてしまう（図２６では、分割露光画像Ｇ４のぶれが大きい）。
【００１０】
また、複数の分割露光画像の内の、例えば１番目の分割露光画像を基準画像と定めて位置合わせが行われるが、固定的に定められた１番目の分割露光画像が基準画像として最適であるとは限らない。位置合わせは、基準画像の画像座標系に他の分割露光画像の画像座標を座標変換することによって行われるが、この座標変換は、通常、画素値の補間処理を伴うため、座標変換によって基準画像以外の分割露光画像に多少なりとも画質劣化が加わる。従って、そのような画質劣化がなるだけ抑制されるように基準画像を選ぶことが望ましい。
【００１１】
尚、下記特許文献１〜４には、加算式手ぶれ補正に関する技術が開示されているが、何れも、単純な加算合成によって合成画像を生成している。
【００１２】
【特許文献１】特開平９−２６１５２６号公報
【特許文献２】特開２００６−７４６９３号公報
【特許文献３】特開２００４−２２１９９２号公報
【特許文献４】特開２０００−２１７０３２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
合成画像の画質向上にとっての問題点を例示したが、これらの問題は何れも、加算式手ぶれ補正に必要な画像合成処理が、各分割露光画像の画像特徴を考慮することなく画一的に行われていることに由来して生じる。
【００１４】
そこで本発明は、複数の分割露光画像を合成して得られる合成画像の品質向上に寄与する画像合成装置及び画像合成方法を提供することを目的する。また本発明は、そのような画像合成装置を備えた撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記目的を達成するために本発明に係る第１の画像合成装置は、順次撮影して得られた複数の分割露光画像から互いに異なる分割露光画像間の動きベクトルを算出する動きベクトル算出手段を備え、前記動きベクトルに基づいて各分割露光画像を位置合わせして加算合成することにより１枚の合成画像を生成する画像合成装置において、前記異なる分割露光画像間の画像の動きに応じた情報に基づいて、前記分割露光画像ごとに、その分割露光画像を前記合成画像に反映させる度合いを表す混合比を算出する混合比算出手段を備え、各混合比に従って各分割露光画像を加算合成することにより前記合成画像を生成することを特徴とする。
【００１６】
分割露光画像を単純に加算合成するのではなく、前記情報に基づいて各分割露光画像の混合比を算出し、各混合比に従って合成画像を生成する。これにより、例えば、前記情報から合成画像の画質向上にとって望ましくないと考えられる分割露光画像を特定し、その分割露光画像の混合比を低下させるといったことが可能となる。この結果、合成画像の品質向上が期待される。
【００１７】
具体的には例えば、前記第１の画像合成装置において、前記動きベクトル算出手段は、画像マッチング法に従って求めた、前記異なる分割露光画像間の複数の累積相関値に基づいて、前記動きベクトルを算出し、前記混合比算出手段は、前記情報としての前記複数の累積相関値に基づいて前記混合比を算出する。
【００１８】
前記複数の累積相関値には、例えば、分割露光画像内の画像のぶれ量などが反映される。従って、上述の如く構成することにより、例えば、画像のぶれ量が多いと推測されるような分割露光画像に対する混合比を低下させる、といったことも可能となる。
【００１９】
更に具体的には例えば、前記第１の画像合成装置において、前記動きベクトル算出手段は、前記異なる分割露光画像間において、前記画像マッチング法により各分割露光画像に設けられた検出領域についてのｍ個の累積相関値を算出し（ｍは２以上の整数）、前記混合比算出手段は、前記ｍ個の累積相関値の内の、最小値又は該最小値を所定の規則に従って増加させた値以下の累積相関値、に基づく第１評価値、前記ｍ個の累積相関値の平均に応じた値、に基づく第２評価値、及び、前記ｍ個の累積相関値の内の、最小値の個数又は該最小値を所定の規則に従って増加させた値以下の累積相関値の個数、に基づく第３評価値、の内の、何れか１つの評価値又は２以上の評価値に基づいて、各混合比を算出する。
【００２０】
また具体的には例えば、前記第１の画像合成装置において、各分割露光画像に複数の検出領域を設け、前記動きベクトル算出手段は、前記異なる分割露光画像間において、前記検出領域ごとに前記画像マッチング法によりｍ個の累積相関値を算出し（ｍは２以上の整数）、当該画像合成装置は、更に、前記検出領域ごとに前記検出領域の有効又は無効を判断する判定手段を備え、前記動きベクトル算出手段は、前記検出領域ごとに、前記ｍ個の累積相関値に基づいて前記検出領域内の画像の動きを表すベクトルを領域動きベクトルとして求め、有効と判断された前記検出領域に対応する各領域動きベクトルから前記動きベクトルを画像全体の動きベクトルとして算出し、前記混合比算出手段は、前記検出領域ごとに算出された前記ｍ個の累積相関値の内の、最小値又は該最小値を所定の規則に従って増加させた値以下の累積相関値、に基づく第１評価値、前記検出領域ごとに算出された前記ｍ個の累積相関値の平均に応じた値、に基づく第２評価値、前記検出領域ごとに算出された前記ｍ個の累積相関値の内の、最小値の個数又は該最小値を所定の規則に従って増加させた値以下の累積相関値の個数、に基づく第３評価値、及び、前記複数の検出領域の内、前記判定手段によって有効と判断された前記検出領域の個数、に基づく第４評価値、の内の、何れか１つの評価値又は２以上の評価値に基づいて、各混合比を算出する。
【００２１】
また、上記目的を達成するために本発明に係る第２の画像合成装置は、順次撮影して得られた複数の分割露光画像から互いに異なる分割露光画像間の動きベクトルを算出する動きベクトル算出手段を備え、前記複数の分割露光画像の内の何れか１つを基準画像として定め、前記動きベクトルに基づき、前記基準画像を基準にして各分割露光画像を位置合わせして加算合成することにより１枚の合成画像を生成する画像合成装置において、 前記基準画像を可変設定可能な基準画像設定手段を備え、前記基準画像設定手段は、前記異なる分割露光画像間の画像の動きに応じた情報に基づいて前記基準画像を設定することを特徴とする。
【００２２】
位置合わせの基準画像を固定的に定めるのではなく、前記情報に基づいて基準画像を可変設定する。これにより、前記情報から合成画像の画質向上にとってより望ましいと考えられる分割露光画像を基準画像として設定する、といったことが可能となる。この結果、合成画像の品質向上が期待される。
【００２３】
具体的には例えば、前記第２の画像合成装置において、前記動きベクトル算出手段は、画像マッチング法に従って求めた、前記異なる分割露光画像間の複数の累積相関値に基づいて、前記動きベクトルを算出し、前記混合比算出手段は、前記情報としての前記複数の累積相関値に基づいて前記基準画像を設定する。
【００２４】
前記複数の累積相関値には、例えば、分割露光画像間の類似度などが反映される。従って、上述の如く構成することにより、例えば、他の分割露光画像との間の類似度がより高い分割露光画像を基準画像として設定する、といったことが可能となる。そのような分割露光画像を基準画像として位置合わせするようにすれば、位置合わせに伴う画質劣化が低減する方向に向かう。
【００２５】
更に具体的には例えば、前記第２の画像合成装置において、前記動きベクトル算出手段は、前記異なる分割露光画像間において、前記画像マッチング法により各分割露光画像に設けられた検出領域についてのｍ個の累積相関値を算出し（ｍは２以上の整数）、前記混合比算出手段は、前記ｍ個の累積相関値の内の、最小値又は該最小値を所定の規則に従って増加させた値以下の累積相関値、に基づく第１評価値、前記ｍ個の累積相関値の平均に応じた値、に基づく第２評価値、及び、前記ｍ個の累積相関値の内の、最小値の個数又は該最小値を所定の規則に従って増加させた値以下の累積相関値の個数、に基づく第３評価値、の内の、何れか１つの評価値又は２以上の評価値に基づいて、前記基準画像を設定する。
【００２６】
また具体的には例えば、前記第２の画像合成装置において、各分割露光画像に複数の検出領域を設け、前記動きベクトル算出手段は、前記異なる分割露光画像間において、前記検出領域ごとに前記画像マッチング法によりｍ個の累積相関値を算出し（ｍは２以上の整数）、当該画像合成装置は、更に、前記検出領域ごとに前記検出領域の有効又は無効を判断する判定手段を備え、前記動きベクトル算出手段は、前記検出領域ごとに、前記ｍ個の累積相関値に基づいて前記検出領域内の画像の動きを表すベクトルを領域動きベクトルとして求め、有効と判断された前記検出領域に対応する各領域動きベクトルから前記動きベクトルを画像全体の動きベクトルとして算出し、前記混合比算出手段は、前記検出領域ごとに算出された前記ｍ個の累積相関値の内の、最小値又は該最小値を所定の規則に従って増加させた値以下の累積相関値、に基づく第１評価値、前記検出領域ごとに算出された前記ｍ個の累積相関値の平均に応じた値、に基づく第２評価値、前記検出領域ごとに算出された前記ｍ個の累積相関値の内の、最小値の個数又は該最小値を所定の規則に従って増加させた値以下の累積相関値の個数、に基づく第３評価値、及び、前記複数の検出領域の内、前記判定手段によって有効と判断された前記検出領域の個数、に基づく第４評価値、の内の、何れか１つの評価値又は２以上の評価値に基づいて、前記基準画像を設定する。
【００２７】
また例えば、前記第１又は第２の画像合成装置において、前記異なる分割露光画像を第１分割露光画像及び第２分割露光画像とした場合、各累積相関値は、前記第１分割露光画像と前記第２分割露光画像との間の偏移に対する、両分割露光画像内に設けられた検出領域の画像の相関を表し、各累積相関値は、その相関が高くなるに従って小さくなる。
【００２８】
そして、本発明に係る撮像装置は、順次撮影を行って複数の分割露光画像を表す複数の画像データを出力する撮像手段と、前記第１又は第２の画像合成装置と、を備え、前記画像合成装置は、前記複数の画像データに基づいて前記合成画像を生成することを特徴とする。
【００２９】
また、本発明に係る第１の画像合成方法は、順次撮影して得られた複数の分割露光画像から互いに異なる分割露光画像間の動きベクトルを算出し、前記動きベクトルに基づいて各分割露光画像を位置合わせして加算合成することにより１枚の合成画像を生成する画像合成方法において、前記異なる分割露光画像間の画像の動きに応じた情報に基づいて、前記分割露光画像ごとに、その分割露光画像を前記合成画像に反映させる度合いを表す混合比を算出し、各混合比に従って各分割露光画像を加算合成することにより前記合成画像を生成することを特徴とする。
【００３０】
また、本発明に係る第２の画像合成方法は、順次撮影して得られた複数の分割露光画像から互いに異なる分割露光画像間の動きベクトルを算出し、前記複数の分割露光画像の内の何れか１つを基準画像として定め、前記動きベクトルに基づき、前記基準画像を基準にして各分割露光画像を位置合わせして加算合成することにより１枚の合成画像を生成する画像合成方法において、前記異なる分割露光画像間の画像の動きに応じた情報に基づいて前記基準画像を可変設定することを特徴とする。
【発明の効果】
【００３１】
本発明は、複数の分割露光画像を合成して得られる合成画像の品質向上に寄与する。
【発明を実施するための最良の形態】
【００３２】
以下、図面を参照して、本発明の実施形態について説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００３３】
＜＜第１実施例＞＞
本発明を撮像装置に適用した実施例を第１実施例として説明する。図１は、本発明の第１実施例に係る撮像装置の全体的構成図である。図１の撮像装置は、デジタルスチルカメラ又はデジタルビデオカメラなどであり、少なくとも静止画像を撮影可能となっている。図１の撮像装置は、符号１〜１２、２１及び２２、３０が付された各部位を備えて構成される。符号３０が付された手ぶれ補正回路は、輝度調節回路３１、動き検出回路３２、座標変換回路３３、画像加算回路３４及び画像メモリ３５を備えている。座標変換回路３３と画像加算回路３４と画像メモリ３５は画像合成回路３６を形成している。以下、単に「撮像装置」といった場合、それは、図１に示す撮像装置を指すものとする。
【００３４】
ＣＣＤ（Charge Coupled Devices）或いはＣ−ＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor）等から成る撮像素子２は、レンズ１を通して入射した光学像を光電変換し、該光学像を電気信号として出力する。撮像素子２の出力信号は、例えばＲＧＢ信号によって表され、該出力信号はＣＤＳ（Correlated Double Sampling）回路とＡＧＣ(Auto Gain Control)回路とを備えたカメラ回路３に送られる。カメラ回路３において、撮像素子２の出力信号は、ＣＤＳ回路で相関二重サンプリング処理された後、ＡＧＣ回路で最適な振幅にゲイン調整される。カメラ回路３の出力信号は、Ａ／Ｄ変換器４によってデジタル映像信号としての画像データに変換される。Ａ／Ｄ変換器４からの画像データは、画像メモリ５に書き込まれる。撮影制御回路１１は、被写体の明るさを測定する測光回路（不図示）から得られた明るさの情報に基づいて、撮像素子２の最適な露光時間を設定する。
【００３５】
尚、画像メモリ５は、メモリ制御回路１２を介してマイコン（マイクロコンピュータ）１０によって制御される。また、撮影制御回路１１は、マイコン１０によって制御される。マイコン１０には、シャッタボタン２１及び手ぶれ補正ＯＮ／ＯＦＦスイッチ２２に対する操作を特定する操作情報が送られる。撮像装置の撮影時の動作モードには、「通常撮影モード」と「手ぶれ補正撮影モード」とが含まれる。手ぶれ補正ＯＮ／ＯＦＦスイッチ２２に対する操作に応じて、「通常撮影モード」と「手ぶれ補正撮影モード」の切替え設定が行われる。
【００３６】
まず、通常撮影モードが設定されている場合における、撮像装置の動作について説明する。シャッタボタン２１が押下げられていない場合には、一定間隔（例えば１／６０秒）の撮影によって得られた画像データが、画像メモリ５に書き込まれた後、ＮＴＳＣ（National Television Standards Committee）エンコーダ６によりＮＴＳＣ信号に変換されて、液晶ディスプレイ等から成るモニタ７に送られる。これにより、各画像データによって表される画像がモニタ７に表示される。このような、画像メモリ５に書き込まれた画像データをそのままＮＴＳＣエンコーダ６に送ることによる表示を、「スルー表示」という。
【００３７】
シャッタボタン２１が押下げられると、静止画像の撮影を開始し、そのタイミングの撮影によって得られた画像データが画像メモリ５に書き込まれる。その後、該画像データにて表される画像がモニタ７に表示されると共に、該画像データは画像圧縮回路８によってＪＰＥＧ（Joint Photographic Experts Group）などの所定の圧縮データ形式にエンコードされ、画像ファイルとしてメモリカード９に保存される。
【００３８】
次に、手ぶれ補正撮影モードが設定されている場合における、撮像装置の動作について説明する。以下の説明は、特に記述しない限り、手ぶれ補正撮影モードにおける動作の説明である。
【００３９】
手ぶれ補正撮影モードが設定されている場合においては、画像メモリ５に書き込まれた画像データは、手ぶれ補正回路３０に転送される。
【００４０】
シャッタボタン２１が押下げられていない場合には、一定間隔（例えば１／６０秒）の撮影によって得られた画像データが、画像メモリ５に書き込まれた後、手ぶれ補正回路３０に転送される。シャッタボタン２１が押下げられていない場合において手ぶれ補正回路３０に転送された画像データは、ＮＴＳＣエンコーダ６を介してモニタ７に送られてスルー表示がなされると共に、輝度調節回路３１に送られる。輝度調節回路３１は、後述する分割露光画像を模擬するべく、入力された画像（画像データ）の輝度が分割露光画像の輝度と同程度となるように入力された画像データの輝度レベルを低下させ、輝度レベル低下後の画像データを動き検出回路３２に出力する。
【００４１】
動き検出回路３２は、入力された、異なる画像間の動きベクトルの算出等を行う。シャッタボタン２１が押下げられていない場合には、動き検出回路３２は、前回に入力された画像データにて表される画像と今回に入力された画像データにて表される画像との間に関する、動きベクトルの算出等を行う。尚、シャッタボタン２１が押下されていない時において順次算出される動きベクトルは、後に示す図１０のステップＳ４８の処理（パン・チルト状態判定処理）などに利用される。
【００４２】
シャッタボタン２１が押下げられた場合、マイコン１０は、撮影制御装置１１に対して、上記の最適な露光時間を複数個（例えば、４個や８個。特に例えば３以上）に分割して露光するように指示する。これにより、最適な露光時間をＴ１且つ露光分割数をＮとした場合、Ｔ１／Ｎの露光時間で次々と連続的にＮ回撮影が行われる。以下、このＴ１／Ｎの露光時間の撮影によって得られた画像を「分割露光画像」といい、分割露光画像を表す画像データを「分割露光画像データ」という。
【００４３】
分割露光によって得られた複数の分割露光画像データは、それぞれ画像メモリ５に記憶され、順次、手ぶれ補正回路３０に転送される。具体的には、各分割露光画像データは、順次、手ぶれ補正回路３０内の動き検出回路３２および座標変換回路３３に送られる。
【００４４】
動き検出回路３２では、分割露光によって得られた複数の分割露光画像の内の、最初に入力された１番目の分割露光画像と、それ以降に入力される各分割露光画像との間の動きベクトルが順次算出されるとともに、算出された動きベクトルが有効か無効かも順次判定される。詳細は後述するが、画像間の動きを表すベクトルとしてある程度信頼できると判断された動きベクトルは有効とされ、信頼できないと判断された動きベクトルは無効とされる。更に、本実施例の特徴的部分として、動き検出回路３２では動きベクトルの信頼性も算出される（詳細は後述）。
【００４５】
尚、ここで議論する動きベクトルは、画像の全体の動きベクトル（後述する「全体動きベクトル」）に対応している。また、動き検出回路３２は、マイコン１０によって制御され、動き検出回路３２にて算出された各値は必要に応じてマイコン１０に送られる。
【００４６】
動きベクトル（全体動きベクトル）が有効と判定された場合、２番目以降に手ぶれ補正回路３０に入力された各分割露光画像は、１番目の分割露光画像との間の動きベクトルに基づいて、１番目の分割露光画像とのずれがなくなるように、座標変換回路３３で１番目の分割露光画像の座標に座標変換される（即ち、１番目の分割露光画像を基準として位置合わせされる）。そして、画像加算回路３４において、座標変換された各分割露光画像の各画素値は、１番目の分割露光画像又はそれまでに合成された画像の各画素値に対して加算され、その加算結果が画像メモリ３５に記憶される。つまり、分割露光画像間の位置ずれを補正した上で加算合成することにより得られる合成画像が画像メモリ３５に格納される。この際、本実施例の特徴的部分として、上記動きベクトルの信頼度に基づく比率（画素混合比）にて各画素値の加算処理が行われる（詳細は後述）。
【００４７】
各分割露光画像は、露光時間が通常露光の１／Ｎと短いため、手ぶれ量も通常露光の１／Ｎとなる。そして、分割露光画像間の位置ずれが補正された後に分割露光画像が加算合成されるので、合成画像の手ぶれ量は、通常露光の１／Ｎに低減される。この合成画像は、シャッタボタン２１の押下に応じて撮影された静止画像を表しており、合成画像としての該静止画像は、ＮＴＳＣエンコーダ６を介してモニタ７に表示されると共に画像圧縮回路８を介してメモリカード９に保存される。
【００４８】
一方、動きベクトル（全体動きベクトル）が無効と判定された場合、２番目以降に手ぶれ補正回路３０に入力された各分割露光画像に対して、座標変換回路３３での位置ずれ補正は行われない。そして、位置ずれ補正が施されていない各分割露光画像は、画像加算回路３４で１番目の分割露光画像またはそれまでに合成された画像に加算合成される。このように加算合成することで、信頼性のない動きベクトルで位置合わせしたことに由来する画像のぶれの増加を抑制することが可能となる。
【００４９】
尚、或る画像に関し、画素値とは、その画像を形成する画素に対する映像信号の値（例えば、輝度信号の値、色差信号の値）を表す。
【００５０】
［動き検出回路の説明］
次に、図１の動き検出回路３２について詳細に説明する。図２は、動き検出回路３２の内部ブロック図である。動き検出回路３２は、代表点マッチング回路４１と、領域動きベクトル算出回路４２と、検出領域有効性判定回路４３と、全体動きベクトル算出回路４４と、を有して構成される。符号４２〜４４で表される部位の機能については後に示す図９及び図１０のフローチャートの説明の中で行うとして、まず、代表点マッチング回路４１について詳細に説明する。図３は、代表点マッチング回路４１の内部ブロック図である。代表点マッチング回路４１は、フィルタ５１と、代表点メモリ５２と、減算回路５３と、累積加算回路５４と、演算回路５５と、を有して構成される。
【００５１】
動き検出回路３２は、周知の代表点マッチング法に基づいて、動きベクトル等を検出する。動き検出回路３２には次々と画像（画像データ）が入力されるが、基準画像と現画像（今回入力された画像）との間の動きベクトル等を検出する場合を例にとって、代表点マッチング法について説明する。典型的には例えば、基準画像は、前回に（直前に）入力された画像である。
【００５２】
図４に、動き検出回路３２に与えられる画像データによって表される画像１００を示す。画像１００は、例えば上述の分割露光画像であり、上記の基準画像又は現画像を表す。画像１００内に、複数の動きベクトル検出領域が設けられる。以下、動きベクトル検出領域を、単に、「検出領域」と略記する。説明の具体化のため、９つの検出領域Ｅ1〜Ｅ9が設けられている場合を考える。各検出領域Ｅ1〜Ｅ9の大きさは同じである。
【００５３】
検出領域Ｅ1〜Ｅ9の夫々は、更に、複数の小領域（検出ブロック）ｅに分割されている。図４に示す例では、各検出領域が、４８個の小領域ｅに分割されている（垂直方向に６分割され且つ水平方向に８分割されている）。各小領域ｅは、例えば、３２×３２の画素（垂直方向に３２画素且つ水平方向に３２画素の二次元配列された画素）で構成される。そして、図５に示すように、各小領域ｅに、複数のサンプリング点Ｓと１つの代表点Ｒが設定される。或る１つの小領域ｅに関し、複数のサンプリング点Ｓは、例えば当該小領域ｅを構成する画素の全てに対応する（但し、代表点Ｒを除く）。
【００５４】
現画像における小領域ｅ内の各サンプリング点Ｓの輝度値と、基準画像における対応する小領域ｅ内の代表点Ｒの輝度値との差の絶対値（各サンプリング点Ｓにおける相関値）が、各検出領域Ｅ1〜Ｅ9ごとに、全ての小領域ｅに対して求められる。そして、各検出領域Ｅ1 〜Ｅ9 ごとに、検出領域内の全ての小領域ｅ間において、代表点Ｒに対する偏移が同じサンプリング点Ｓ同士の相関値が累積加算される（本実施例では、４８個の相関値が累積加算される）。換言すれば、各検出領域Ｅ1 〜Ｅ9 において、各小領域ｅ内の同じ位置（小領域内座標における同じ位置）の画素について求めた輝度差の絶対値が４８個の小領域ｅ分、累積加算される。この累積加算によって得られる値を、「累積相関値」とよぶ。累積相関値は、一般に、マッチング誤差とも呼ばれる。各検出領域Ｅ1 〜Ｅ9 ごとに、１つの小領域ｅ内のサンプリング点Ｓの個数と同じ個数の累積相関値が求められることになる。
【００５５】
そして、各検出領域Ｅ1 〜Ｅ9 内において、代表点Ｒと累積相関値が最小となるサンプリング点Ｓとの偏移、すなわち相関性が最も高い偏移が検出される（一般的には、その偏移が当該検出領域の動きベクトルとして抽出される）。このように、或る検出領域に関し、代表点マッチング法に基づいて算出される累積相関値は、基準画像に対して現画像に所定の偏移（基準画像と現画像との相対的な位置のずれ）を加えた時の、基準画像内の検出領域の画像と現画像内の検出領域の画像との相関（類似性）を表し、その値は該相関が高くなるに従って小さくなる。
【００５６】
図３を参照して、代表点マッチング回路４１の動作をより具体的に説明する。フィルタ５１には、図１の画像メモリ５から転送されてきた画像データが順次入力され、各画像データはフィルタ５１を介して代表点メモリ５２と減算回路５３に与えられる。フィルタ５１は、ローパスフィルタであり、Ｓ／Ｎ比を改善して少ない代表点で十分な動きベクトル検出精度を確保するために用いられる。代表点メモリ５２は、各検出領域Ｅ1 〜Ｅ9 の小領域ｅごとに、代表点Ｒの画像上の位置を特定する位置データと代表点Ｒの輝度値を特定する輝度データとを記憶する。
【００５７】
尚、代表点メモリ５２の記憶内容の更新タイミングは任意である。代表点メモリ５２に画像が入力される度に該記憶内容を更新することもできるし、基準画像を定めて該基準画像が入力されたときにのみ該記憶内容を更新するようにしてもよい。また、或る画素（代表点Ｒ又はサンプリング点Ｓ）に関し、輝度値は、その画素の輝度を表し、輝度値が増加するに従って該輝度は増加するものとする。また、輝度値は、８ビット（０〜２５５）のデジタル値として表現されるとする。勿論、輝度値を８ビットと異なるビット数で表現しても良い。
【００５８】
減算回路５３は、代表点メモリ５２から与えられる基準画像の代表点Ｒの輝度値と現画像の各サンプリング点Ｓの輝度値との減算を行い、その減算結果の絶対値を出力する。減算回路５３の出力値は、各サンプリング点Ｓにおける相関値を表し、該出力値は、順次、累積加算回路５４に与えられる。累積加算回路５４は、減算回路５３から出力される相関値を累積加算することにより上述の累積相関値を算出及び出力する。
【００５９】
演算回路５５は、累積加算回路５４から与えられる累積相関値を受け、図８に示すようなデータを算出及び出力する。基準画像と現画像との対比に関し、各検出領域Ｅ1 〜Ｅ9 ごとに、１つの小領域ｅ内のサンプリング点Ｓの個数に応じた複数の累積相関値（以下、この複数の累積相関値を「演算対象累積相関値群」という）が演算回路５５に与えられるが、演算回路５５は、各検出領域Ｅ1 〜Ｅ9 ごとに、
「演算対象累積相関値群を形成する全ての累積相関値の平均値Ｖａｖｅと、
演算対象累積相関値群を形成する全ての累積相関値の内の最小値（最小の累積相関値）と、
その最小値を示す画素の位置ＰAと、
位置ＰAの画素の近傍画素に対応する累積相関値（以下、近傍累積相関値と呼ぶことがある）」を算出する。
【００６０】
各小領域ｅに着目し、以下のように画素位置等を定義する。各小領域ｅにおいて、代表点Ｒの画素位置を（０，０）にて表す。位置ＰAは、代表点Ｒの画素位置（０，０）を基準とした、上記最小値を与えるサンプリング点Ｓの画素位置であり、これを、（ｉA，ｊA）にて表す（図６参照）。位置ＰAの画素の近傍画素とは、位置ＰAの画素に隣接する画素を含む位置ＰAの画素の周辺画素であり、本実施例では、位置ＰAの画素を中心とする２４個の近傍画素を想定する。図７に示す如く、位置ＰAの画素と該２４個の近傍画素は５×５の行列配列された画素群を形成する。その画素群の各画素の画素位置を、（ｉA＋ｐ，ｊA＋ｑ）にて表す。該画素群の中心に、位置ＰAの画素が存在する。ｐ及びｑは整数であり、−２≦ｐ≦２且つ−２≦ｑ≦２、が成立する。ｐが−２から２に増加するにつれて画素位置は位置ＰAを中心として上から下へと向かい、ｑが−２から２に増加するにつれて画素位置は位置ＰAを中心として左から右へと向かう。そして、画素位置（ｉA＋ｐ，ｊA＋ｑ）に対応する累積相関値を、Ｖ（ｉA＋ｐ，ｊA＋ｑ）にて表すものとする。
【００６１】
一般的には、最小の累積相関値の位置ＰAが真のマッチング位置に対応するものとして動きベクトルが算出されるが、本実施例では、最小の累積相関値は、真のマッチング位置に対応する累積相関値の候補として捉えられる。位置ＰAにて得られる最小の累積相関値をＶAにて表し、それを「候補最小相関値ＶA」とよぶ。従って、Ｖ（ｉA，ｊA）＝ＶAである。
【００６２】
他の候補を特定すべく、演算回路５５は、各検出領域Ｅ1 〜Ｅ9 ごとに、最小の累積相関値ＶAに近い累積相関値が演算対象累積相関値群に含まれているかを検索し、検索されたＶAに近い累積相関値も候補最小相関値として特定する。「最小の累積相関値ＶAに近い累積相関値」とは、ＶAを所定の規則に従って増加させた値以下の累積相関値であり、例えば、ＶAに所定の候補閾値（例えば２）を加えた値以下の累積相関値、或いは、ＶAに１より大きい係数を乗じて得られる値以下の累積相関値である。候補最小相関値は、上記の候補最小相関値ＶAを含めて、例えば最大４つ特定される。
【００６３】
以下、説明の便宜上、検出領域Ｅ1 〜Ｅ9 の夫々について、候補最小相関値ＶAの他に候補最小相関値ＶB、ＶC及びＶDが特定された場合を考えるものとする。尚、最小の累積相関値ＶAに近い累積相関値を検索することによって他の候補最小相関値を特定すると述べたが、ＶB、ＶC及びＶDの内の何れか又は全部は、ＶAと等しい場合もある。この場合、或る検出領域に関し、演算対象累積相関値群に最小の累積相関値が２以上含まれることになる。
【００６４】
演算回路５５は、候補最小相関値ＶAと同様、各検出領域Ｅ1 〜Ｅ9 ごとに、
「候補最小相関値ＶBを示す画素の位置ＰBと位置ＰBの画素の２４個の近傍画素に対応する合計２４個の累積相関値（以下、近傍累積相関値と呼ぶことがある）、
候補最小相関値ＶCを示す画素の位置ＰCと位置ＰCの画素の２４個の近傍画素に対応する合計２４個の累積相関値（以下、近傍累積相関値と呼ぶことがある）、及び
候補最小相関値ＶDを示す画素の位置ＰDと位置ＰDの画素の２４個の近傍画素に対応する合計２４個の累積相関値（以下、近傍累積相関値と呼ぶことがある）」を検出する（図８参照）。
【００６５】
各小領域ｅに着目し、以下のように画素位置等を定義する。位置ＰB、ＰC及びＰDは、それぞれ、位置ＰAと同様、代表点Ｒの画素位置（０，０）を基準とした、候補最小相関値ＶB、ＶC及びＶDを与えるサンプリング点Ｓの画素位置であり、これを、（ｉB，ｊB）、（ｉC，ｊC）及び（ｉD，ｊD）にて表す。
位置ＰAと同様、位置ＰBの画素とそれの近傍画素は５×５の行列配列された画素群を形成し、その画素群の各画素の画素位置を（ｉB＋ｐ，ｊB＋ｑ）にて表す。
位置ＰAと同様、位置ＰCの画素とそれの近傍画素は５×５の行列配列された画素群を形成し、その画素群の各画素の画素位置を（ｉC＋ｐ，ｊC＋ｑ）にて表す。
位置ＰAと同様、位置ＰDの画素とそれの近傍画素は５×５の行列配列された画素群を形成し、その画素群の各画素の画素位置を（ｉD＋ｐ，ｊD＋ｑ）にて表す。
ここで、位置ＰAと同様、ｐ及びｑは整数であり、−２≦ｐ≦２且つ−２≦ｑ≦２、が成立する。ｐが−２から２に増加するにつれて画素位置は位置ＰB（又はＰC又はＰD）を中心として上から下へと向かい、ｑが−２から２に増加するにつれて画素位置は位置ＰB（又はＰC又はＰD）を中心として左から右へと向かう。そして、画素位置（ｉB＋ｐ，ｊB＋ｑ）、（ｉC＋ｐ，ｊC＋ｑ）及び（ｉD＋ｐ，ｊD＋ｑ）に対応する累積相関値を、夫々、Ｖ（ｉB＋ｐ，ｊB＋ｑ）、Ｖ（ｉC＋ｐ，ｊC＋ｑ）及びＶ（ｉD＋ｐ，ｊD＋ｑ）にて表す。
【００６６】
演算回路５５は、更に、各検出領域Ｅ1 〜Ｅ9 ごとに、候補最小相関値の個数Ｎｆを算出及び出力する。今の例の場合、検出領域Ｅ1 〜Ｅ9 の夫々について、Ｎｆは４である。以下、各検出領域Ｅ1 〜Ｅ9 ごとに、演算回路５５にて算出され且つ出力される、
「候補最小相関値ＶA、位置ＰA及び近傍累積相関値Ｖ（ｉA＋ｐ，ｊA＋ｑ）」を特定するデータを総称して「第１の候補データ」と呼び、
「候補最小相関値ＶB、位置ＰB及び近傍累積相関値Ｖ（ｉB＋ｐ，ｊB＋ｑ）」を特定するデータを総称して「第２の候補データ」と呼び、
「候補最小相関値ＶC、位置ＰC及び近傍累積相関値Ｖ（ｉC＋ｐ，ｊC＋ｑ）」を特定するデータを総称して「第３の候補データ」と呼び、
「候補最小相関値ＶD、位置ＰD及び近傍累積相関値Ｖ（ｉD＋ｐ，ｊD＋ｑ）」を特定するデータを総称して「第４の候補データ」と呼ぶ。
【００６７】
［動き検出回路の動作フロー］
次に、図９及び図１０のフローチャートを参照して、動き検出回路３２の処理手順を説明する。また、図１３に、動き検出回路３２内部の各データの流れをも表した、動き検出回路３２の詳細内部ブロック図を示す。図１３に示す如く、検出領域有効性判定回路４３は、コントラスト判定部６１と、複数動き有無判定部６２と、類似模様有無判定部６３を含み、全体動きベクトル算出回路４４は、全体動きベクトル有効性判定部７０と信頼度算出部７４を含む。全体動きベクトル有効性判定部７０は、更に、パン・チルト判定部７１、領域動きベクトル類似性判定部７２及び検出領域有効数算出部７３を含む。
【００６８】
概略的に動作を説明すると、動き検出回路３２は、検出領域ごとに、候補最小相関値の中から真のマッチング位置に対応する相関値を採用最小相関値Ｐｍｉｎとして特定し、代表点Ｒの位置から採用最小相関値Ｖｍｉｎを示す位置（ＰA、ＰB、ＰC又はＰD）に向かう偏移を当該検出領域の動きベクトル（検出領域の動きベクトルを、以下、「領域動きベクトル」という）とする。そして、各領域動きベクトルの平均を画像全体の動きベクトル（以下、「全体動きベクトル」という）として出力する。
【００６９】
但し、平均化によって全体動きベクトルを算出する際、各検出領域の有効又は無効を評価し、無効な検出領域に対応する領域動きベクトルを無効として除外する。そして、有効な領域動きベクトルの平均ベクトルを（原則として）全体動きベクトルとして算出すると共に、算出した全体動きベクトルが有効であるか或いは無効であるかを評価する。図１３に示す信頼度算出部７４において全体動きベクトルの信頼度も算出されるが、信頼度の算出手法については図９及び図１０に関する説明の後に詳説する。
【００７０】
尚、図９に示されるステップＳ１２〜Ｓ１８の処理は、図２の代表点マッチング回路４１にて実施される。ステップＳ２４の処理は、図２の領域動きベクトル算出回路４２によって実施される。ステップＳ２１〜Ｓ２３並びにＳ２５及びＳ２６の処理は、図２の検出領域有効性判定回路４３によって実施される。図１０に示されるステップＳ４１〜Ｓ４９の処理は、図２の全体動きベクトル算出回路４４によって実施される。
【００７１】
図９及び図１０は、或る１つの基準画像と或る１つの非基準画像（例えば現画像）との間における処理手順を示している。動き検出回路３２は、手ぶれ補正撮影モードにおいてシャッタボタン２１が押下げられた際、１番目の分割露光画像を基準画像、２番目以降の各分割露光画像を非基準画像として、図９及び図１０に示す各ステップの処理を実施する（但し、２番目以降の何れかの分割露光画像を基準画像とすることも可能である）。また、手ぶれ補正撮影モードでは、シャッタボタン２１が押下されたか否かに関わらず、動き検出回路３２に対して前回に入力された画像（画像データ）を基準画像とし且つ今回に入力された画像を非基準画像として、図９及び図１０に示す各ステップの処理が実施される。
【００７２】
まず、ステップＳ１１において、９つある検出領域Ｅ1〜Ｅ9の何れか１つを特定するための変数ｋを１とする。ｋ＝１、２、・・・９の場合、それぞれ、検出領域Ｅ1、Ｅ2、・・・Ｅ9についての処理が行われる。
【００７３】
ステップＳ１１に続くステップＳ１２において、検出領域Ｅkについての累積相関値が算出され、更に、ステップＳ１３において、検出領域Ｅkについての累積相関値の平均値Ｖａｖｅが算出される。そして、真のマッチング位置に対応する累積相関値の候補として候補最小相関値が特定される（ステップＳ１４）。今、上述したように、候補最小相関値として４つの候補最小相関値ＶA、ＶB、ＶC又はＶDが特定されたとする。続くステップＳ１５では、ステップＳ１４にて特定された各候補最小相関値に対応する「位置と近傍累積相関値」が検出される。更にステップＳ１６で、ステップＳ１４にて特定された候補最小相関値の個数Ｎｆが算出される。ステップＳ１１〜Ｓ１６の処理により、図８に示す、検出領域Ｅkについての「平均値Ｖａｖｅ、第１〜第４候補データ及び個数Ｎｆ」が算出される。
【００７４】
ステップＳ１６に続くステップＳ１７では、検出領域Ｅkについての候補最小相関値の中から、真のマッチング位置に対応する相関値が採用最小相関値Ｖｍｉｎとして選択される。
【００７５】
このステップＳ１７の処理を、図１１及び図１２を参照して詳細に説明する。図１１（ａ）〜（ｅ）では、ステップＳ１７の処理にて参照される累積相関値の対応画素を斜線を用いて表している。図１２は、ステップＳ１７の処理を細分化したフローチャートである。ステップＳ１７は、ステップＳ１０１〜Ｓ１１２から形成される。
【００７６】
ステップＳ１７に移行すると、まず、図１２のステップＳ１０１において、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、図１１（ａ）のパターンに対応するような「候補最小相関値と４個の近傍累積相関値」の平均値（選択用評価値）を計算する。即ち、（ｐ，ｑ）＝（０，−１）、（−１，０）、（０，１）、（１，０）、（０，０）である場合における、
「累積相関値Ｖ（ｉA＋ｐ，ｊA＋ｑ）の平均値ＶA_aveと、累積相関値Ｖ（ｉB＋ｐ，ｊB＋ｑ）の平均値ＶB_aveと、累積相関値Ｖ（ｉC＋ｐ，ｊC＋ｑ）の平均値ＶC_aveと、累積相関値Ｖ（ｉD＋ｐ，ｊD＋ｑ）の平均値ＶD_ave」を算出する。
【００７７】
そして、ステップＳ１０２において、ステップＳ１０１で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する。具体的には、ステップＳ１０１で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１０３に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０１で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。例えば、ＶA_ave＜ＶB_ave＜ＶC_ave＜ＶD_ave、が成立する場合、候補最小相関値ＶAが採用最小相関値Ｖｍｉｎとして選択される。
【００７８】
以後、採用最小相関値Ｖｍｉｎを選択するに当たって参照される累積相関値の位置及び個数を変化させつつ、ステップＳ１０１及びＳ１０２と同様の処理が実施される。
【００７９】
即ち、ステップＳ１０３では、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、図１１（ｂ）のパターンに対応するような「候補最小相関値と８個の近傍累積相関値」の平均値を計算する。即ち、（ｐ，ｑ）＝（−１，−１）、（−１，０）、（−１，１）、（０，−１）、（０，０）、（０，１）、（１，−１）、（１，０）、（１，１）である場合における、
「累積相関値Ｖ（ｉA＋ｐ，ｊA＋ｑ）の平均値ＶA_aveと、累積相関値Ｖ（ｉB＋ｐ，ｊB＋ｑ）の平均値ＶB_aveと、累積相関値Ｖ（ｉC＋ｐ，ｊC＋ｑ）の平均値ＶC_aveと、累積相関値Ｖ（ｉD＋ｐ，ｊD＋ｑ）の平均値ＶD_ave」を算出する。
【００８０】
そして、ステップＳ１０４において、ステップＳ１０３で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する。具体的には、ステップＳ１０３で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１０５に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０３で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。
【００８１】
ステップＳ１０５では、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、図１１（ｃ）のパターンに対応するような「候補最小相関値と１２個の近傍累積相関値」の平均値を計算する。即ち、（ｐ，ｑ）＝（−１，−１）、（−１，０）、（−１，１）、（０，−１）、（０，０）、（０，１）、（１，−１）、（１，０）、（１，１）、（−２，０）、（２，０）、（０，２）、（０，−２）である場合における、
「累積相関値Ｖ（ｉA＋ｐ，ｊA＋ｑ）の平均値ＶA_aveと、累積相関値Ｖ（ｉB＋ｐ，ｊB＋ｑ）の平均値ＶB_aveと、累積相関値Ｖ（ｉC＋ｐ，ｊC＋ｑ）の平均値ＶC_aveと、累積相関値Ｖ（ｉD＋ｐ，ｊD＋ｑ）の平均値ＶD_ave」を算出する。
【００８２】
そして、ステップＳ１０６において、ステップＳ１０５で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する。具体的には、ステップＳ１０５で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１０７に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０５で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。
【００８３】
ステップＳ１０７では、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、図１１（ｄ）のパターンに対応するような「候補最小相関値と２０個の近傍累積相関値」の平均値を計算する。即ち、（ｐ，ｑ）＝（−２，−１）、（−２，０）、（−２，１）、（−１，−２）、（−１，−１）、（−１，０）、（−１，１）、（−１，２）、（０，−２）、（０，−１）、（０，０）、（０，１）、（０，２）、（１，−２）、（１，−１）、（１，０）、（１，１）、（１，２）、（２，−１）、（２，０）、（２，１）である場合における、
「累積相関値Ｖ（ｉA＋ｐ，ｊA＋ｑ）の平均値ＶA_aveと、累積相関値Ｖ（ｉB＋ｐ，ｊB＋ｑ）の平均値ＶB_aveと、累積相関値Ｖ（ｉC＋ｐ，ｊC＋ｑ）の平均値ＶC_aveと、累積相関値Ｖ（ｉD＋ｐ，ｊD＋ｑ）の平均値ＶD_ave」を算出する。
【００８４】
そして、ステップＳ１０８において、ステップＳ１０７で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する。具体的には、ステップＳ１０７で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１０９に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０７で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。
【００８５】
ステップＳ１０９では、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、図１１（ｅ）のパターンに対応するような「候補最小相関値と２４個の近傍累積相関値」の平均値を計算する。即ち、（ｐ，ｑ）＝（−２，−２）、（−２，−１）、（−２，０）、（−２，１）、（−２，２）、（−１，−２）、（−１，−１）、（−１，０）、（−１，１）、（−１，２）、（０，−２）、（０，−１）、（０，０）、（０，１）、（０，２）、（１，−２）、（１，−１）、（１，０）、（１，１）、（１，２）、（２，−２）、（２，−１）、（２，０）、（２，１）、（２，２）である場合における、
「累積相関値Ｖ（ｉA＋ｐ，ｊA＋ｑ）の平均値ＶA_aveと、累積相関値Ｖ（ｉB＋ｐ，ｊB＋ｑ）の平均値ＶB_aveと、累積相関値Ｖ（ｉC＋ｐ，ｊC＋ｑ）の平均値ＶC_aveと、累積相関値Ｖ（ｉD＋ｐ，ｊD＋ｑ）の平均値ＶD_ave」を算出する。
【００８６】
そして、ステップＳ１１０において、ステップＳ１０９で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する。具体的には、ステップＳ１０９で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１１１に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０９で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。
【００８７】
ステップＳ１１１に移行した場合は、最終的に、採用最小相関値Ｖｍｉｎを選択不可と判断する。即ち、マッチング位置を検出不可と判断する。尚、候補最小相関値が複数ある場合の処理について説明したが、候補最小相関値が１つしかない場合は、その１つの候補最小相関値がそのまま採用最小相関値Ｖｍｉｎとされる。
【００８８】
ステップＳ１７にて採用最小相関値Ｖｍｉｎが選択されると、ステップＳ１８にて採用最小相関値Ｖｍｉｎを示す画素の位置Ｐｍｉｎが特定される。例えば、採用最小相関値Ｖｍｉｎとして候補最小相関値ＶAが選択された場合は、位置ＰAが位置Ｐｍｉｎとなる。
【００８９】
ステップＳ１７及びＳ１８で採用最小相関値Ｖｍｉｎ及び位置Ｐｍｉｎが特定されると、ステップＳ２１に移行する。ステップＳ２１〜Ｓ２６では、検出領域Ｅkの有効又は無効が判定されると共に検出領域Ｅkの領域動きベクトルＭkが算出される。各ステップの処理内容を詳細に説明する。
【００９０】
ステップＳ２１では、類似模様有無判定部６３（図１３参照）が、検出領域Ｅk内に類似した模様が存在していないかを判定する。類似模様が存在している場合は、当該検出領域Ｅkについて算出される領域動きベクトルの信頼性は低い（即ち、領域動きベクトルＭkは検出領域Ｅk内の画像の動きを精度良く表していない）。従って、この場合は、検出領域Ｅkを無効とする（ステップＳ２６）。ステップＳ２１の判定は、ステップＳ１７の処理結果に基づいて実施される。即ち、図１２のステップＳ１１２に至って採用最小相関値Ｖｍｉｎが選択された場合は、類似模様は存在していないと判断してステップＳ２１からステップＳ２２に移行する。一方、図１２のステップＳ１１１に至って採用最小相関値Ｖｍｉｎが選択されなかった場合は、類似模様が存在していると判断してステップＳ２１からステップＳ２６に移行し、検出領域Ｅkを無効とする。
【００９１】
ステップＳ２２では、コントラスト判定部６１（図１３参照）が、検出領域Ｅk内の画像のコントラストが低いか否かを判定する。コントラストが低い場合は、正確な領域動きベクトルの検出は困難であるため、検出領域Ｅkを無効とする。具体的には、累積相関値の平均値Ｖａｖｅが所定の閾値ＴＨ１以下であるかを判断する。そして、不等式「Ｖａｖｅ≦ＴＨ１」が成立する場合はコントラストが低いと判断してステップＳ２６に移行し検出領域Ｅkを無効とする。この判断は、画像のコントラストが低い場合（例えば、画像全体が白い場合）には、輝度差が小さいので累積相関値が全体的に小さくなるという原理に基づいている。一方、不等式「Ｖａｖｅ≦ＴＨ１」が成立しない場合は、コントラストは低くないと判断してステップＳ２３に移行する。尚、閾値ＴＨ１は、実験を介して適切な値に設定される。
【００９２】
ステップＳ２３では、複数動き有無判定部６２（図１３参照）が、検出領域Ｅk内に複数の動きがあるか否かを判定する。検出領域Ｅk内に手ぶれとは関係のない動く物体等が存在する場合は、検出領域Ｅk内に複数の動きがあると判断されることになる。複数の動きがある場合は、正確な領域動きベクトルの検出は困難であるため、検出領域Ｅkを無効とする。具体的には、不等式「Ｖａｖｅ／Ｖｍｉｎ≦ＴＨ２」が成立するか否かを判断し、該不等式が成立する場合は複数の動きがあると判断してステップＳ２６に移行し検出領域Ｅkを無効とする。この判断は、複数の動きがある場合には完全なマッチング位置がないため、累積相関値の最小値が大きくなるという原理に基づいている。また、平均値Ｖａｖｅを除算することによって、この判断が被写体のコントラストに依存しないようにしている。一方、不等式「Ｖａｖｅ／Ｖｍｉｎ≦ＴＨ２」が成立しない場合は、複数の動きがないと判断してステップＳ２４に移行する。尚、閾値ＴＨ２は、実験を介して適切な値に設定される。
【００９３】
ステップＳ２４では、図２（図１３）に示す領域動きベクトル算出回路４２が、真のマッチング位置を表す位置Ｐｍｉｎに基づいて、領域動きベクトルＭkを算出する。例えば、位置ＰAが位置Ｐｍｉｎである場合は、画像上の位置ＰAを特定する位置情報（画素位置（ｉA，ｊA）を特定する情報）に基づいて領域動きベクトルＭkを算出する。より具体的には、検出領域Ｅkの任意の小領域ｅにおいて、代表点Ｒの位置から採用最小相関値Ｖｍｉｎを示す位置Ｐｍｉｎ（ＰA、ＰB、ＰC又はＰD）に向かう偏移の向き及び大きさを、領域動きベクトルＭkの向き及び大きさとする。
【００９４】
そして、ステップＳ２４に続くステップＳ２５では、検出領域Ｅkを有効とし、ステップＳ３１に移行する。他方、ステップＳ２１等から移行しうるステップＳ２６では、上述の如く検出領域Ｅkを無効とし、ステップＳ３１に移行する。ステップＳ３１では、変数ｋに１が加算され、続いてステップＳ３２で変数ｋが９より大きくなっているかが判断される。「ｋ＞９」が成立しない場合はステップＳ１２に移行し、他の検出領域に関してステップＳ１２等の処理が繰り返される。「ｋ＞９」が成立する場合は、検出領域Ｅ1〜Ｅ9の全てに関してステップＳ１２等の処理が実施されたことになるため、図１０のステップＳ４１に移行する。
【００９５】
図１０のステップＳ４１〜Ｓ４９では、領域動きベクトルＭk（１≦ｋ≦９）に基づく全体動きベクトルＭを算出処理及び全体動きベクトルＭの有効性判定処理が行われる。
【００９６】
ステップＳ４１では、図９のステップＳ２５及びＳ２６の処理結果に基づき、有効とされた検出領域（以下、「有効領域」という）の数が０であるか否かを判定する。有領領域が１以上存在する場合にはステップＳ４２に移行して、有効領域の領域動きベクトルＭkを抽出し、更にステップＳ４３にて、有効領域の領域動きベクトルＭkを平均化することにより、それらの平均ベクトルＭａｖｅを算出する。
【００９７】
ステップＳ４３に続くステップＳ４４では、領域動きベクトル類似性判定部７２（図１３参照）が、有効領域の領域動きベクトルＭkの類似性を判定する。換言すれば、有効領域間での領域動きベクトルＭkのばらつきＡを評価することにより、有効領域間で動きの異なる物体が存在していないかを判定する。具体的には、下式（１）に基づいて、ばらつきＡを算出する。
【００９８】
【数１】


【００９９】
そして、ばらつきＡが閾値ＴＨ３以上であるか否かを判定する。ばらつきＡが閾値ＴＨ３未満であればステップＳ４５に移行し、画像全体の動きベクトル（全体動きベクトル）ＭをステップＳ４３で算出された平均ベクトルＭａｖｅとしてステップＳ４７に移行する。
【０１００】
尚、式（１）において、［｛｜Ｍk−Ｍａｖｅ｜／（Ｍａｖｅのノルム）｝の総和］は、有効領域ごとに算出された｛｜Ｍk−Ｍａｖｅ｜／（Ｍａｖｅのノルム）｝を、全ての有効領域について合算した値に相当する。また、図１３に示す検出領域有効数算出部７３は、有効領域の数を算出する。
【０１０１】
ばらつきＡが閾値ＴＨ３以上の場合は、有効領域の領域動きベクトルＭkの類似性が低く、それに基づいて算出される全体動きベクトルの信頼性は低いと考えられる。このため、ばらつきＡが閾値ＴＨ３以上の場合は（ステップＳ４４のＮ）、ステップＳ４６に移行し、全体動きベクトルＭを０としてステップＳ４７に移行する。また、ステップＳ４１において有効領域の数が０であると判定された場合もステップＳ４６にて全体動きベクトルＭが０とされ、ステップＳ４７に移行する。
【０１０２】
ステップＳ４７では、全体動きベクトルの履歴データＭｎに今回得られた全体動きベクトルＭを追加する。上述したように、図９及び図１０に示す各処理は、シャッタボタン２１が押下されたか否かに関わらず、手ぶれ補正撮影モードにおいて逐次行われており、ステップＳ４５又はＳ４６にて得られた全体動きベクトルＭは、順次、全体動きベクトルの履歴データＭｎに格納されていく。尚、シャッタボタン２１の１回の押下に対して、複数の分割露光画像と複数の全体動きベクトルＭが得られるが、後述のパン・チルト判定処理の便宜上、履歴データＭｎに追加されるのは、その複数の全体動きベクトルＭの内の１つだけとする（但し、その複数の動きベクトルＭの全てを履歴データＭｎに追加することも可能である）。
【０１０３】
ステップＳ４７に続くステップＳ４８では、パン・チルト判定部７３（図１３参照）が、履歴データＭｎに基づいて撮像装置がパン・チルト状態にあるかを判定する。「パン・チルト状態」とは、撮像装置がパン又はチルトしている状態、を意味する。パン（パンニング）とは、撮像装置の筐体（不図示）を左右方向に振ることを意味し、チルト（チルティング）とは、撮像装置の筐体を上下方向に振ることを意味する。撮像装置がパン又はチルトしている状態にあるかを判定する手法としては、例えば、上記特許文献２に記載の手法又は本出願人が提案する特願２００６−９１２８５号に記載の手法を用いればよい。
【０１０４】
例えば、次の第１条件又は第２条件を満たした場合に、「手ぶれ状態」から「パン・チルト状態」へ遷移したと判断する（「手ぶれ状態」は、「パン・チルト状態」に含まれない）。
第１条件は、「全体動きベクトルＭが垂直方向（上下方向）又は水平方向（左右方向）の同一方向に連続している回数が所定回数以上である」という条件である。
第２条件は、「上記同一方向に連続している全体動きベクトルＭの大きさの積分値が撮像装置の画角の一定割合以上である」という条件である。
【０１０５】
そして例えば、次の第３条件又は第４条件を満たした場合に、「パン・チルト状態」から「手ぶれ状態」へ遷移したと判断する。
第３条件は、「全体動きベクトルの大きさが０．５画素以下である状態が連続して所定回数（例えば１０回）以上継続した」という条件である
第４条件は、「「手ぶれ状態」から「パン・チルト状態」へ遷移したときの全体動きベクトルＭに対して方向が反対の全体動きベクトルＭが所定回数（例えば１０回）以上連続して得られた」という条件である。
【０１０６】
第１〜第４条件の成立／不成立は、履歴データＭｎに含まれる今回得られた全体動きベクトルＭと過去の全体動きベクトルＭと、に基づいて判断される。「パン・チルト状態」にあるか否かの判定結果は、図１のマイコン１０に伝達される。
【０１０７】
ステップＳ４８の判定処理を終えると、ステップＳ４９に移行する。ステップＳ４９では、全体動きベクトル有効性判定部７０（図１３参照）が、ステップＳ４１〜Ｓ４８の処理結果に基づいて、今回得られた全体動きベクトルＭが有効であるか否かを判定する。
【０１０８】
具体的には、「ステップＳ４１で有効領域の数が０であると判定されてステップＳ４６に至った場合」、或いは、「ステップＳ４４で有効領域の領域動きベクトルＭkの類似性が低いと判定されてステップＳ４６に至った場合」、或いは、「ステップＳ４８でパン・チルト状態にあると判定された場合」は、今回得られた全体動きベクトルＭは無効とされ、そうでない場合は、今回得られた全体動きベクトルＭは有効とされる。
【０１０９】
パン又はチルト操作時には、手ぶれ量が大きく対比する画像間の偏移が小領域ｅのサイズに応じた動き検出範囲を超えてしまうため、正確な動きベクトルを検出することができない。このため、パン・チルト状態にあると判定された場合には全体動きベクトルＭを無効とする。
【０１１０】
上述のようにして求められた全体動きベクトルＭ及び該全体動きベクトルＭが有効であるか或いは無効であるかを特定する情報は、図１の座標変換回路３３に与えられる。
【０１１１】
手ぶれ補正撮影モードにおいてシャッタボタン２１が押下げられた際においては、図９及び図１０の処理を繰り返すことにより、各分割露光画像について全体動きベクトルＭが検出されると共に各全体動きベクトルＭの有効／無効が評価され、その有効／無効の評価に従って、上述の如く各分割露光画像が加算合成される。
【０１１２】
この際、上述したように、全体動きベクトルＭの信頼度に基づく比率（画素混合比）にて各分割露光画像の加算合成が行われる。全体動きベクトルＭの信頼度は、図１３の信頼度算出部７４によって算出される。
【０１１３】
［信頼度（画素混合比）の算出手法］
以下、この信頼度の算出手法にて詳細に説明する。今、説明の具体化のため、分割露光数Ｎが４であるものとする。従って、シャッタボタン２１の押下に応じて、１番目、２番目、３番目、４番目の分割露光画像（以下、夫々を、「第１、第２、第３及び第４画像」と略記することがある）が得られるものとする。図１４に、信頼度の算出に関与する各値を表として表す。
【０１１４】
上述したように、本実施例では、第１画像が基準画像として取り扱われることになる。ｉを２、３又は４とした場合、基準画像（第１画像）と第ｉ画像との間における、
有効領域（最大９つ）についての各採用最小相関値Ｖｍｉｎの平均値をＶｍｉｎ［ｉ］とし、
有効領域（最大９つ）についての各平均値Ｖａｖｅの平均値をＶａｖｅ［ｉ］とし、
有効領域（最大９つ）についての各「候補最小相関値の個数Ｎｆ」の平均値をＮｆ［ｉ］とし、
有効領域数（有効領域の個数）をＮｖａｌ［ｉ］とする。
【０１１５】
例えば、第１画像と第２画像との間に関し、図９のステップＳ２５及びＳ２６にて検出領域Ｅ2とＥ7のみが有効と判断された場合、
第２画像に関するＶｍｉｎ［２］は、検出領域Ｅ2についての採用最小相関値Ｖｍｉｎと検出領域Ｅ7についての採用最小相関値Ｖｍｉｎとの平均値であり、
第２画像に関するＶａｖｅ［２］は、検出領域Ｅ2についての累積相関値の平均値Ｖａｖｅと検出領域Ｅ7についての累積相関値の平均値Ｖａｖｅとの平均値であり、
第２画像に関するＮｆ［２］は、検出領域Ｅ2についての候補最小相関値の個数Ｎｆと検出領域Ｅ7についての候補最小相関値の個数Ｎｆとの平均値であり、
第２画像に関するＮｖａｌ［２］は、有効と判断された検出領域Ｅ2とＥ7の個数、即ち、２である。
【０１１６】
第１画像は基準画像であるため、第２画像等のように、Ｖｍｉｎ［ｉ］等を定義することができない。そのため、第１画像に関する各値Ｖｍｉｎ［１］、Ｖａｖｅ［１］、Ｎｆ［１］及びＮｖａｌ［１］を、図１４に示すように定義する。即ち、Ｖｍｉｎ［２］とＶｍｉｎ［３］とＶｍｉｎ［４］の最小値をＶｍｉｎ［１］とし、Ｖａｖｅ［２］とＶａｖｅ［３］とＶａｖｅ［４］の最大値をＶａｖｅ［１］とし、Ｎｆ［２］とＮｆ［３］とＮｆ［４］の最小値をＮｆ［１］とし、Ｎｖａｌ［２］とＮｖａｌ［３］とＮｖａｌ［４］の最大値をＮｖａｌ［１］とする。
【０１１７】
信頼度算出部７４は、上述のように定義される各値を算出することによって、各画像の全体動きベクトルＭの信頼度を算出する。第ｉ画像の全体動きベクトルＭの信頼度をＢ［ｉ］にて表す。０≦Ｂ［ｉ］≦１、が成立するように各信頼度は算出される。第１画像は基準画像であるため、第１画像に対する第１画像の全体動きベクトルＭは存在しないが（無意味であるが）、上述の如く定義されたＶｍｉｎ［１］等を参照して、第１画像に関する信頼度Ｂ［１］も算出される（算出式は後述）。
【０１１８】
後述の説明から明らかとなるが、信頼度Ｂ［ｉ］は、第１〜第４画像を合成して合成画像（１枚の静止画像）を生成する際における第ｉ画像の画素混合比として利用され、信頼度Ｂ［ｉ］が大きくなるほど、合成画像に対する第ｉ画像の画素値の寄与率は大きくなる。従って、信頼度Ｂ［ｉ］は、「第１〜第４画像を合成して合成画像を生成する際における第ｉ画像の画素混合比（画像加算比率）」、或いは、「合成画像に対する第ｉ画像の画素値の寄与率」と言い換えることもできる。
【０１１９】
信頼度Ｂ［ｉ］は、
累積相関値の最小値又は該最小値に近い累積相関値に依存するＶｍｉｎ［ｉ］、に基づく評価値ＢVmin[i]と、
累積相関値の平均値に依存するＶａｖｅ［ｉ］、に基づく評価値ＢVave[i]と、
累積相関値の最小値の個数又は該最小値に近い累積相関値の個数に依存するＮｆ［ｉ］、に基づく評価値ＢNf[i]と、
有効領域数に依存するＮｖａｌ［ｉ］、に基づく評価値ＢNval[i]と、に基づいて算出される。
【０１２０】
具体的には、各評価値に重み付け係数をかけて加算することにより、信頼度Ｂ［ｉ］を算出する。つまり、下記式（２）に従って信頼度Ｂ［ｉ］を算出する。式（２）及び後述する各式において、ｉは１〜４の間の各整数をとる。信頼度Ｂ［ｉ］は、第１〜第４画像を合成して合成画像を生成する際における第ｉ画像の画素混合比として利用されるため、各評価値が大きくなるにつれて、合成画像に対する第ｉ画像の画素値の寄与率は増大する。
【０１２１】
【数２】


【０１２２】
ここで、ＷVmin、ＷVave、ＷNf、ＷNvalは、重み付け係数である。各重み付け係数は、実験を介して適切な値（０以上１以下の値）に設定される。各重み付け係数の合計は、下記式（３）に示す如く、１とされる。本実施例では、例えば、ＷVmin、ＷVave、ＷNf、ＷNvalを、夫々、０．４、０．２、０．１、０．３、とした。
【０１２３】
【数３】


【０１２４】
各評価値の算出法について説明する。第１に、評価値ＢVmin[i]の算出法について説明する。第ｉ画像と基準画像の類似度が高いほど、第ｉ画像について算出された全体動きベクトルＭの信頼性は高い（動きベクトルを正確に検出できている可能性が高い）。一方において、基準画像に対して、第ｉ画像の類似度が高いとＶｍｉｎ［ｉ］は小さくなる。そこで、基準画像との類似度の指標となるＶｍｉｎ［ｉ］から評価値ＢVmin[i]を算出する。具体的には、下記式（４）に従って評価値ＢVmin[i]を算出する。これにより、基準画像との類似度が高いことに起因してＶｍｉｎ［ｉ］が小さい画像ほど大きな評価値ＢVmin[i]が算出され、その結果、合成画像に対する、その画像の画素混合比は大きくなる。
【０１２５】
【数４】


【０１２６】
第２に、評価値ＢVave[i]の算出法について説明する。画像のエッジ（又はコントラスト）が鮮明なほど、手ぶれ、被写体ぶれ、ピントのずれ等に由来する画像中のぼけが少なく、全体動きベクトルＭを正確に検出できる可能性が高い。一方において、第ｉ画像のエッジ強度が大きいとＶａｖｅ［ｉ］は大きくなる。そこで、画像のエッジ強度の指標となるＶａｖｅ［ｉ］から評価値ＢVave[i]を算出する。具体的には、下記式（５）に従って評価値ＢVave[i]を算出する。これにより、画像のエッジ強度が強いことに起因してＶａｖｅ［ｉ］が大きい画像ほど大きな評価値ＢVave[i]が算出され、その結果、合成画像に対する、その画像の画素混合比は大きくなる。
【０１２７】
【数５】


【０１２８】
第３に、評価値ＢNf[i]の算出法について説明する。対比する画像間に存在する類似模様が少ないほど、全体動きベクトルＭの信頼性は高い（動きベクトルを正確に検出できている可能性が高い）。一方において、類似模様が増加するとＮｆ［ｉ］は増加する傾向にある。そこで、類似模様の存在の指標となるＮｆ［ｉ］から評価値ＢNf[i]を算出する。具体的には、下記式（６）に従って評価値ＢNf[i]を算出する。これにより、類似模様が少ないことに起因してＮｆ［ｉ］が小さい画像ほど大きな評価値ＢNf[i]が算出され、その結果、合成画像に対する、その画像の画素混合比は大きくなる。
【０１２９】
【数６】


【０１３０】
第４に、評価値ＢNval[i]の算出法について説明する。有効領域（有効な検出領域）の数が多いほど、全体動きベクトルＭを正確に検出できる可能性が高い。そこで、有効領域数を表すＮｖａｌ［ｉ］から評価値ＢNval[i]を算出する。具体的には、下記式（７）に従って評価値ＢNval[i]を算出する。これにより、有効領域数が多いことに起因してＮｖａｌ［ｉ］が大きい画像ほど大きな評価値ＢNval[i]が算出され、その結果、合成画像に対する、その画像の画素混合比は大きくなる。
【０１３１】
【数７】


【０１３２】
上記式（２）に従い、各評価値に基づいて算出された信頼度Ｂ［ｉ］は、図１の画像加算回路３４に与えられ、合成画像を合成する際における第ｉ画像の画素混合比（画像加算比率）として利用される。
【０１３３】
［画像合成処理について］
次に、手ぶれ補正撮影モードにてシャッタボタン２１を押下した場合における、図１の画像合成回路３６の動作について説明する。
【０１３４】
座標変換回路３３は、動き検回路３２にて算出された各全体動きベクトルＷに基づいて、各分割露光画像の位置合わせを行う。この際、図１０のステップＳ４９にて無効と判断された全体動きベクトルＭはゼロとされる（大きさがゼロのベクトルとされる）。
【０１３５】
具体的には、座標変換回路３３は、各全体動きベクトルＷに基づいて、基準画像である第１画像における画像座標（ｘ1，ｙ1）から第ｉ画像における画像座標（ｘi，ｙi）への座標変換式（８ａ）の、変換行列Ｈiを求める。変換行列Ｈiは、下記式（８ｂ）にて表される。
【０１３６】
【数８】


【０１３７】
図１５に、変換行列Ｈiを用いた座標変換の様子を示す。第１画像における画像座標（ｘ1，ｙ1）と第ｉ画像における画像座標（ｘi，ｙi）との偏移は、第１画像に対する第ｉ画像の全体動きベクトルＭによって表される（ｉ＝２、３、４）。第１画像についての変換行列Ｈ1に関しては、当然、ａ1＝ｅ1＝１且つｂ1＝ｃ1＝ｄ1＝ｆ1＝０、である。
【０１３８】
図１の画像加算回路３４は、第１〜第４画像を合成した合成画像を画像メモリ３５上に作成するべく、画像メモリ３５に、基準画像である第１画像と同じ画像座標系を設定する。画像メモリ３５に設定された画像座標系における画像座標を（ｘ、ｙ）にて表す。図１６を参照する。図１６は、合成画像と第ｉ画像の画素値の対応関係を示している。合成画像における画像座標（ｘ、ｙ）の画素値をＰ（ｘ，ｙ）にて表す。第ｉ画像における画像座標（ｘi，ｙi）の画素値をＰi（ｘi，ｙi）にて表す。
【０１３９】
画像加算回路３４は、上記式（８ａ）及び（８ｂ）を用いて、合成画像の画素ごとに、各分割露光画像（第１〜第４画像の夫々）における対応画素の画像座標を算出する。合成画像の或る画素に関し、その画素の画像座標を（ｘ，ｙ）（＝（ｘ1，ｙ1））で表した場合、第ｉ画像の対応画素の画像座標（ｘi，ｙi）は、上記式（８ａ）及び（８ｂ）にて表される。続いて、画像加算回路３４は、合成画像の画素（該画素の画像座標は（ｘ，ｙ））ごとに、第ｉ画像の対応画素の画素値Ｐi（ｘi，ｙi）を取得する。この際、必要に応じて第ｉ画像の画素値の補間処理を行う（勿論、第１画像に関して補間処理は不要である）。
【０１４０】
そして、画像加算回路３４は、画素混合比として利用される信頼度Ｂ［ｉ］に従って、第１〜第４画像の各画素の画素値Ｐi（ｘi，ｙi）を重み付け加算することにより、合成画像の各画素の画素値Ｐ（ｘ，ｙ）を算出する。画素値Ｐ（ｘ，ｙ）の算出式は、下記式（９）にて表される。
【０１４１】
【数９】


【０１４２】
上述のように、本実施例では、全体動きベクトルＭの信頼度Ｂ［ｉ］に従った画素混合比にて第１〜第４画像を合成する。本実施例のように加算式手ぶれ補正を実施する場合、通常、各分割露光画像の露光時間は手ぶれが無視できる程度に短く設定されるため、各分割露光画像の類似度は非常に高くなる。従って、図２６に示したようなぶれの大きい分割露光画像（図２６のおけるＧ４）は例外的に取得されるものと言え、その分割露光画像と他の分割露光画像との類似度は比較的低くなる傾向がある。
【０１４３】
この特性を鑑みて、他の分割露光画像との類似度或いは画像のぶれ量などを反映した上記各評価値に基づいて、各分割露光画像の画素混合比（信頼度Ｂ［ｉ］）を算出し、類似度が低い或いは画像のぶれ量が多い分割露光画像を合成画像に反映させる度合いを低下させる。これにより、Ｎ個の分割露光画像の中に、例外的に、手ぶれを主要因とするぶれの大きい画像や被写体の動きが大きい画像があっても、それに起因する合成画像の画質劣化（主として、画像のぶれ）が抑制され、ぶれの少ない（即ち、手ぶれ補正効果の高い）静止画像を取得することが可能となる。
【０１４４】
また、上述の如く、４つの評価値（ＢVmin[i]、ＢVave[i]、ＢNf[i]、ＢNval[i]）は、全て、動き検出の正確性の指標となる。そして、画像合成回路３６は、動き検出の正確性が高いと考えられるものほど画素混合比を増加させ、動き検出の正確性が低いと考えられるものほど画素混合比を低下させる。このため、動き検出の正確性が低いことに由来する合成画像の画質劣化が抑制され、ぶれの少ない（即ち、手ぶれ補正効果の高い）静止画像を取得することが可能となる。
【０１４５】
また、本実施例では、領域動きベクトルＭKを算出するに当たり、最小の累積相関値と最小の累積相関値に近い累積相関値を、候補最小相関値として特定する。そして、２以上の候補最小相関値が特定された場合、近傍累積相関値を参照して、その２以上の候補最小相関値の中から採用最小相関値Ｖｍｉｎを選択するようにしている。このような処理（以下、「近傍累積相関値参照処理」という）を用いることの意義について説明する。説明の簡略化上、最小の累積相関値に近い累積相関値を無視し、最小の累積相関値が複数ある場合を例にとる。
【０１４６】
代表点マッチング法を用いて画像間の動き検出を行う場合、累積相関値の最小値が複数のサンプリング点Ｓにて検出される場合があり、それの要因の１つとして、ノイズの影響が考えられる。ノイズの影響は、特に、輝度が比較的低い分割露光画像に対して大きくなる。累積相関値の最小値が複数検出された場合、従来は、通常、真のマッチング位置を検出不能と判断して動き検出を無効にしていた。
【０１４７】
第１画像と第２画像との間の或る検出領域に関して累積相関値の最小値が複数検出された場合の、累積相関値の分布を図１７に示す。図１７において、横軸は第１画像と第２画像との間の偏移（相対的な位置のずれ）を表し、縦軸は累積相関値を表す。説明及び図示の簡略化上、図１７は、１次元に並んだ（例えば、水平方向に１次元配列された）画素にのみ着目している。今、候補最小相関値ＶAが真のマッチング位置に対応し、候補最小相関値ＶBはノイズに由来して候補最小相関値となったものとする。
【０１４８】
ノイズは、通常、極めて狭い画像領域にスパイク状に発生し、その輝度勾配は急峻である。従って、ノイズの影響による偽のマッチング位置に対応する累積相関値（ＶB）の近傍累積相関値は、その累積相関値（ＶB）を中心として急激に大きくなる。このため、候補最小相関値ごとに、候補最小相関値と近傍累積相関値の平均値を算出した場合、ノイズに対応する平均値は真のマッチング位置に対応する平均値よりも大きくなるという傾向がある。
【０１４９】
図９のステップＳ１７等は、この特性を考慮して実施されるものであり、これにより、従来のように動き検出を無効とすることなく、真のマッチング位置を検出することが可能となる。従って、Ｓ／Ｎ比が低い画像でも高精度に画像間の動き検出が可能となり、暗い場面でも手ぶれ補正を有効に機能させることが可能となる。また、本実施例の如く加算式手ぶれ補正（加算式静止画手ぶれ補正）を行う場合にあっては、動き検出の精度が確保される露光分割数を増加させることができるようになるため、加算合成された静止画像における手ぶれ量を低減することが可能である。
【０１５０】
また、画像の平均輝度が十分に大きく且つノイズの影響も軽微である場合、通常、最小の累積相関値は１つのサンプリング点Ｓ（１つの画素）にて得られ、その場合は、近傍累積相関値を参照する必要はない。逆に、そのような場合に近傍累積相関値を過度に考慮すると、真のマッチング位置の検出の正確性が損なわれる（動き検出の精度が劣化する）惧れがある。このような事情を考慮し、本実施例では、図１１及び図１２を参照して説明したように、真のマッチング位置を定めきれない場合に参照する近傍累積相関値の個数を段階的に増加させるようにしている。これにより、近傍累積相関値を参照したことに由来する動き検出の精度の劣化が抑制される。
【０１５１】
上述の考察から理解されるように、図９のステップＳ１７等による「近傍累積相関値参照処理」を行ったほうが望ましいのではあるが、本実施例及び後述する他の実施例において、この処理を省略することも可能である。この場合、候補最小相関値ＶA及びそれに対応する位置ＰAが、そのまま、採用最小相関値Ｖｍｉｎ及びそれに対応する位置Ｐｍｉｎとされる。
【０１５２】
「演算回路５５は、各検出領域Ｅ1 〜Ｅ9 ごとに、最小の累積相関値ＶAに近い累積相関値（例えば、ＶAに所定の候補閾値（例えば２）を加えた値以下の累積相関値）が演算対象累積相関値群に含まれているかを検索し、検索されたＶAに近い累積相関値も候補最小相関値として特定する」と述べたが、最小の累積相関値ＶAと同じ値を有する累積相関値のみを候補最小相関値とするようにしてもよい。
【０１５３】
＜＜第２実施例＞＞
上述の第１実施例では、４つの評価値（ＢVmin[i]、ＢVave[i]、ＢNf[i]、ＢNval[i]）の全てを考慮して信頼度Ｂ［ｉ］を算出するようにしているが、１、２又は３つの評価値のみを考慮して信頼度Ｂ［ｉ］を算出するようにしてもよい。つまり、重み付け係数ＷVmin、ＷVave、ＷNf及びＷNvalの内、何れか１つ、２つ又は３つをゼロとしても構わない（上記式（２）参照）。何れの重み付け係数をゼロとするか任意である。この場合、上記式（２）においてゼロの重み付け係数が掛け合わされる評価値の算出は省略可能である。
【０１５４】
累積相関値の最小値に対応する評価値ＢVmin[i]のみを用いて信頼度Ｂ［ｉ］を算出する実施例を、第２実施例として説明する。評価値ＢVmin[i]のみを用いて信頼度Ｂ［ｉ］を算出するという点を除いて、第２実施例は、第１実施例と同様である。
【０１５５】
図１８に、第２実施例において算出される各値の具体例を表として示す。第２実施例でも、第１実施例と同様、分割露光によって４つの分割露光画像（第１〜第４画像）が生成される場合を取り扱う。
【０１５６】
信頼度Ｂ［ｉ］を算出するために、信頼度算出部７４（図１３参照）は、まず、第１画像を基準画像としてＶｍｉｎ［ｉ］を算出し（図１４参照）、続いて、Ｖｍｉｎ［ｉ］の逆数を算出する。次に、ｉを１、２、３及び４の夫々とした場合におけるＶｍｉｎ［ｉ］の逆数の総和を算出し、その総和を参照しつつ上記式（４）に従って評価値ＢVmin[i]を算出する。第２実施例では、ＷVmin＝１、ＷVave＝ＷNf＝ＷNval＝０、とされるため、Ｂ［ｉ］＝ＢVmin[i]、となる。尚、Ｂ［１］＝Ｂ［２］＝Ｂ［３］＝Ｂ［４］、の場合、第１〜第４画像の合成処理は単純加算合成処理となる。
【０１５７】
＜＜第３実施例＞＞
第１及び第２実施例では、シャッタボタン２１の押下に応じて得られる複数の分割露光画像の内、１番目に得られる分割露光画像（第１画像）を基準画像と取り扱って全体動きベクトルＭの算出及び各分割露光画像の位置合わせを行った。しかしながら、その複数の分割露光画像の内、何れの分割露光画像を基準画像とするかは任意である。
【０１５８】
そして、何れの分割露光画像を基準画像とするかを、上述のＶｍｉｎ等に基づいて可変設定するようにしても構わない。基準画像の可変設定処理の手法を、第３実施例として説明する。第３実施例は、第１実施例の一部を変形した実施例であり、第１実施例にて記載した全ての事項は、矛盾なき限り、第３実施例にも適用される。説明の具体化のため、第３実施例でも、第１実施例と同様、分割露光によって４つの分割露光画像（第１〜第４画像）が生成される場合を取り扱う。
【０１５９】
まず、第１〜第４画像に関し、図１９に示す如く全ての組み合わせの２つの画像間で、代表点マッチング法による累積相関値の算出を行う。即ち、第１と第２画像との間、第１と第３画像との間、第１と第４画像との間、第２と第３画像との間、第２と第４画像との間、第３と第４画像との間で、夫々、代表点マッチング法による累積相関値の算出を行う。そして、各組み合わせごとに、図９に示す各ステップの処理の一部又は全部を行うことにより、検出領域Ｅ1〜Ｅ9の夫々について採用最小相関値Ｖｍｉｎを算出する。そして、各組み合わせごとに、有効領域（最大９つ）についての各採用最小相関値Ｖｍｉｎの平均値（この平均値を、他の平均値と区別するべく、便宜上、平均値α1と表記する）を算出する。
【０１６０】
第１と第２画像との間において算出される平均値α1、第１と第３画像との間において算出される平均値α1、第１と第４画像との間において算出される平均値α1は、夫々、第１実施例で述べたＶｍｉｎ［２］、Ｖｍｉｎ［３］、Ｖｍｉｎ［４］と等しいが（図１４）、本実施例では、それらを、図２０に示す如く、夫々、Ｖｍｉｎ12、Ｖｍｉｎ13、Ｖｍｉｎ14にて表す。図２０は、画像と算出される値Ｖｍｉｎ12等との対応関係を表す図である。同様に、第２と第３画像との間において算出される平均値α1、第２と第４画像との間において算出される平均値α1、第３と第４画像との間において算出される平均値α1を、夫々、Ｖｍｉｎ23、Ｖｍｉｎ24、Ｖｍｉｎ34にて表す。
【０１６１】
そして、第ｉ画像と他の画像との間で算出された値（Ｖ12等）の総和をＳＵＭVmin［ｉ］で表記する。即ち、下記式（１０ａ）、（１０ｂ）、（１０ｃ）及び（１０ｄ）に従って、ＳＵＭVmin［１］〜ＳＵＭVmin［４］を算出する。この総和の算出手法から自明なように、この総和が小さい画像ほど、他の画像との類似度が高い。即ち、この総和が小さい画像を基準画像とすることにより、より正確な動き検出及びより画質劣化の少ない合成画像の生成が可能となる。
【０１６２】
【数１０】


【０１６３】
図２１に、上述の如く算出される各値の具体的数値例を表として示す。今、Ｖｍｉｎ12＝５０、Ｖｍｉｎ13＝７０、Ｖｍｉｎ14＝２００、Ｖｍｉｎ23＝６０、Ｖｍｉｎ24＝１８０且つＶｍｉｎ34＝１７０、であるとする。そうすると、ＳＵＭmin［１］＝３２０、ＳＵＭVmin［２］＝２９０、ＳＵＭVmin［３］＝３００、ＳＵＭVmin［４］＝５５０、となる。そして、ＳＵＭVmin［ｉ］の逆数を算出し、ｉを１、２、３及び４の夫々とした場合におけるＳＵＭVmin［ｉ］の逆数の総和を算出し、その総和を参照しつつ下記式（１１）に従って評価値ＢVmin[i]を算出する。下記式（１１）は、上記式（４）におけるＶｍｉｎ［ｉ］をＳＵＭVmin［ｉ］に置換した式となっている。
【０１６４】
【数１１】


【０１６５】
今の数値例の場合、図２１に示す如く、ＢVmin[1]≒０．２６７、ＢVmin[2]≒０．２９４、ＢVmin[3]≒０．２８４、ＢVmin[4]≒０．１５５、となる。当然ではあるが、ＳＵＭVmin［ｉ］が最も小さい画像についての評価値ＢVmin[i]が最も大きくなる。
【０１６６】
第３実施例では、同様にして、他の評価値ＢVave[i]、ＢNf[i]及びＢNval[i]も算出する。他の評価値ＢVave[i]、ＢNf[i]及びＢNval[i]を算出する際も、第１〜第４画像に関し、図１９に示す如く全ての組み合わせの２つの画像間で、代表点マッチング法による累積相関値の算出を行う。
【０１６７】
評価値ＢVave[i]を算出する際は、第１〜第４画像中の２つの画像の各組み合わせごとに、図９に示す各ステップの処理の一部又は全部を行うことにより検出領域Ｅ1〜Ｅ9の夫々について累積相関値の平均値Ｖａｖｅを算出し、有効領域（最大９つ）についての各平均値Ｖａｖｅの平均値（この平均値を、他の平均値と区別するべく、便宜上、平均値α2と表記する）を算出する。そして、
第１と第２画像との間において算出される平均値α2をＶａｖｅ12とし、
第１と第３画像との間において算出される平均値α2をＶａｖｅ13とし、
第１と第４画像との間において算出される平均値α2をＶａｖｅ14とし、
第２と第３画像との間において算出される平均値α2をＶａｖｅ23とし、
第２と第４画像との間において算出される平均値α2をＶａｖｅ24とし、
第３と第４画像との間において算出される平均値α2をＶａｖｅ34とし、且つ、ＳＵＭVave［１］〜ＳＵＭVave［４］を下記式に従って算出する。
ＳＵＭVave［１］＝Ｖａｖｅ12＋Ｖａｖｅ13＋Ｖａｖｅ14
ＳＵＭVave［２］＝Ｖａｖｅ12＋Ｖａｖｅ23＋Ｖａｖｅ24
ＳＵＭVave［３］＝Ｖａｖｅ13＋Ｖａｖｅ23＋Ｖａｖｅ34
ＳＵＭVave［４］＝Ｖａｖｅ14＋Ｖａｖｅ24＋Ｖａｖｅ34
最後に、下記式（１２）に従って評価値ＢVave[i]を算出する。尚、Ｖａｖｅ12、Ｖａｖｅ13及びＶａｖｅ14は、夫々、第１実施例で述べたＶａｖｅ［２］、Ｖａｖｅ［３］及びＶａｖｅ［４］と同じものである（図１４参照）。
【０１６８】
【数１２】


【０１６９】
評価値ＢNf[i]を算出する際は、第１〜第４画像中の２つの画像の各組み合わせごとに、図９に示す各ステップの処理の一部又は全部を行うことにより検出領域Ｅ1〜Ｅ9の夫々について候補最小相関値の個数Ｎｆを算出し、有効領域（最大９つ）についての各個数Ｎｆの平均値（この平均値を、他の平均値と区別するべく、便宜上、平均値α3と表記する）を算出する。そして、
第１と第２画像との間において算出される平均値α3をＮｆ12とし、
第１と第３画像との間において算出される平均値α3をＮｆ13とし、
第１と第４画像との間において算出される平均値α3をＮｆ14とし、
第２と第３画像との間において算出される平均値α3をＮｆ23とし、
第２と第４画像との間において算出される平均値α3をＮｆ24とし、
第３と第４画像との間において算出される平均値α3をＮｆ34とし、且つ、ＳＵＭNf［１］〜ＳＵＭNf［４］を下記式に従って算出する。
ＳＵＭNf［１］＝Ｎｆ12＋Ｎｆ13＋Ｎｆ14
ＳＵＭNf［２］＝Ｎｆ12＋Ｎｆ23＋Ｎｆ24
ＳＵＭNf［３］＝Ｎｆ13＋Ｎｆ23＋Ｎｆ34
ＳＵＭNf［４］＝Ｎｆ14＋Ｎｆ24＋Ｎｆ34
最後に、下記式（１３）に従って評価値ＢNf[i]を算出する。尚、Ｎｆ12、Ｎｆ13及びＮｆ14は、夫々、第１実施例で述べたＮｆ［２］、Ｎｆ［３］及びＮｆ［４］と同じものである（図１４参照）。
【０１７０】
【数１３】


【０１７１】
評価値ＢNval[i]を算出する際は、第１〜第４画像中の２つの画像の各組み合わせごとに、図９に示す各ステップの処理の一部又は全部を行うことにより有効領域数を算出する。そして、
第１と第２画像との間において算出される有効領域数をＮｖａｌ12とし、
第１と第３画像との間において算出される有効領域数をＮｖａｌ13とし、
第１と第４画像との間において算出される有効領域数をＮｖａｌ14とし、
第２と第３画像との間において算出される有効領域数をＮｖａｌ23とし、
第２と第４画像との間において算出される有効領域数をＮｖａｌ24とし、
第３と第４画像との間において算出される有効領域数をＮｖａｌ34とし、且つ、ＳＵＭNval［１］〜ＳＵＭNval［４］を下記式に従って算出する。
ＳＵＭNval［１］＝Ｎｖａｌ12＋Ｎｖａｌ13＋Ｎｖａｌ14
ＳＵＭNval［２］＝Ｎｖａｌ12＋Ｎｖａｌ23＋Ｎｖａｌ24
ＳＵＭNval［３］＝Ｎｖａｌ13＋Ｎｖａｌ23＋Ｎｖａｌ34
ＳＵＭNval［４］＝Ｎｖａｌ14＋Ｎｖａｌ24＋Ｎｖａｌ34
最後に、下記式（１４）に従って評価値ＢNval[i]を算出する。尚、Ｎｖａｌ12、Ｎｖａｌ13及びＮｖａｌ14は、夫々、第１実施例で述べたＮｖａｌ［２］、Ｎｖａｌ［３］及びＮｖａｌ［４］と同じものである（図１４参照）。
【０１７２】
【数１４】


【０１７３】
信頼度算出部７４は、式（１１）〜式（１４）に基づく４つの評価値（ＢVmin[i]、ＢVave[i]、ＢNf[i]、ＢNval[i]）を用いて、信頼度Ｂ［ｉ］を、第１実施例と同様、上記式（２）に従って算出する。更に、信頼度Ｂ［１］〜Ｂ［４］の内、最大の信頼度に対応する分割露光画像を基準画像として設定する。画像合成回路３６は、設定した基準画像に対して他の分割露光画像の位置合わせを行って各分割露光画像を加算合成することにより、静止画像としての合成画像を生成する。この位置合わせは、最大の信頼度に対応する分割露光画像を基準画像とし且つ他の分割露光画像を非基準画像として算出した全体動きベクトルＭに従って、行われる。
【０１７４】
第３実施例でも、第２実施例で述べたように、重み付け係数ＷVmin、ＷVave、ＷNf及びＷNvalの内、何れか１つ、２つ又は３つをゼロとしても構わない（上記式（２）参照）。何れの重み付け係数をゼロとするか任意である。この場合、上記式（２）においてゼロの重み付け係数が掛け合わされる評価値の算出は省略可能である。
【０１７５】
ＷVmin＝１、且つ、ＷVave＝ＷNf＝ＷNval＝０、とする場合、Ｂ［ｉ］＝ＢVmin[i]、となる。この場合、図２１に示す数値例では、評価値ＢVmin[1]〜ＢVmin[4]の内、ＢVmin[2]が最大であるので、第２画像を基準画像として取り扱った上で位置合わせ及び加算合成が行われる。
【０１７６】
上記式（１１）に従って算出される評価値ＢVmin[i]が大きいほど、対応する分割露光画像（第ｉ画像）と他の分割露光画像との類似度は高いと考えられる。従って、大きな評価値ＢVmin[i]に対応する分割露光画像を基準にすると、他の分割露光画像との間の全体動きベクトルＭが正確に検出される可能性が高くなり、合成画像に含まれる画像のぶれは少なくなる。
【０１７７】
また、上記式（１２）に従って算出される評価値ＢVave[i]が大きいほど、対応する分割露光画像（第ｉ画像）に含まれる、手ぶれ、被写体ぶれ、ピントのずれ等に由来する画像のぼけは少ないと考えられる。従って、大きな評価値ＢVave[i]に対応する分割露光画像を基準にすると、他の分割露光画像との間の全体動きベクトルＭが正確に検出される可能性が高くなり、合成画像に含まれる画像のぶれは少なくなる。
【０１７８】
また、上記式（１３）に従って算出される評価値ＢNf[i]が大きいほど、対応する分割露光画像（第ｉ画像）に含まれる類似模様は少ないと考えられる。従って、大きな評価値ＢNf[i]に対応する分割露光画像を基準にすると、他の分割露光画像との間の全体動きベクトルＭが正確に検出される可能性が高くなり、合成画像に含まれる画像のぶれは少なくなる。
【０１７９】
また、上記式（１４）に従って算出される評価値ＢNval[i]が大きいほど、対応する分割露光画像（第ｉ画像）について、より数多くの検出領域が有効とされる。従って、大きな評価値ＢNval[i]に対応する分割露光画像を基準にすると、他の分割露光画像との間の全体動きベクトルＭが正確に検出される可能性が高くなり、合成画像に含まれる画像のぶれは少なくなる。
【０１８０】
また、位置合わせ（座標変換）によって、基準画像以外の分割露光画像に画素値の補間処理などに由来する画質劣化が加わるが、信頼度（他の分割露光画像との類似度）が高い分割露光画像を基準画像として選んで位置合わせ（座標変換）及び加算合成をすることにより、座標変換に伴う画質劣化が極力抑えられる。
【０１８１】
例えば、図２２に示す如く、第２〜第４画像が略同じ画像であり、第２画像に対して線形移動と回転処理を行ったような画像が第１画像であった場合、第１画像を基準画像として位置合わせ及び加算合成を行うと、第２〜第４画像に対して比較的大きな画質劣化が加わる。他方、このような場合において、第２画像を基準画像として位置合わせ及び加算合成を行うと、第３及び第４画像に対して殆ど画質劣化が加わらず、結果として、より高い画質の合成画像が生成される。
【０１８２】
このため、このような場合、第２画像（又は第３又は第４画像）を基準画像と設定することが望ましいが、本実施例の如く信頼度Ｂ［ｉ］を求めれば、他の画像との類似度が高い第２画像（又は第３又は第４画像）に対する信頼度Ｂ［ｉ］が大きくなって、第２画像（又は第３又は第４画像）が基準画像として設定されるようになる。
【０１８３】
位置合わせ（座標変換）に伴う画質劣化の抑制効果は、位置合わせの基準画像を信頼度に基づいて選択するという処理のみによっても得られるので、第３実施例においては、第１画像〜第４画像から合成画像を生成する際の画素混合比は、各分割露光画像に対して同じであってもよい。つまり、位置合わせした第１画像〜第４画像を単純に同一の比率で加算合成することによって合成画像（静止画像）を生成するようにしてもよい。勿論、第１実施例と同様、信頼度Ｂ［ｉ］を画素混合比としても利用し、上記式（９）に従って合成画像の各画素の画素値Ｐ（ｘ，ｙ）を算出するようにしてもよく、その方が望ましいことは第１実施例の説明からも理解される。
【０１８４】
尚、上記式（１１）〜（１４）を用いて算出した評価値に基づいて位置合わせの基準画像（及び全体動きベクトルＭを検出する際の基準画像）を決定する手法を上述したが、上記式（１１）〜（１４）を用いることなく、ＳＵＭVmin［ｉ］が最も小さくなる変数ｉ、ＳＵＭVave［ｉ］が最も大きくなる変数ｉ、ＳＵＭNf［ｉ］が最も小さくなる変数ｉ、又は、ＳＵＭNval［ｉ］が最も大きくなる変数ｉを特定し、その特定された変数ｉ（例えばｉ＝２）に対応する分割露光画像（例えば第２画像）を基準画像として設定するようにしてもよい。そして、その基準画像（例えば第２画像）を基準として、図９及び図１０の各ステップの処理を含む第１実施例の同様の処理を行って、全体動きベクトルＭの算出、位置合わせ及び合成画像の生成を行うようにしてもよい。
【０１８５】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
【０１８６】
上述の撮像装置は本発明の実施例に過ぎず、本発明は、様々な変形例（又は他の実施例）を含む。以下に、本発明に含まれる変形例（又は他の実施例）として、変形例１〜変形例９を例示する。各変形例に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１８７】
［変形例１］
評価値ＢVave[i]の算出の基となる記号「Ｖａｖｅ」で参照される値は、検出領域Ｅ1〜Ｅ9ごとに算出された複数の累積相関値（演算対象累積相関値群）の平均値であると上述したが、Ｖａｖｅを、その複数の累積相関値の合算値（即ち、累積相関値の個数と平均値の積）であると考えても構わない。つまり、評価値ＢVave[i]は、検出領域Ｅ1〜Ｅ9ごとに算出された複数の累積相関値の平均値に応じた値に基づいて算出される。
【０１８８】
［変形例２］
画像マッチング法の１つである代表点マッチング法を用いる実施例を上述したが、本発明を、画像マッチング法に分類される他の手法を用いて実現することも可能である。例えば、代表点マッチング法の代わりに全画素マッチング法（ブロックマッチング法）を用いることも可能である。
【０１８９】
全画素マッチング法を用いる場合、対比する２つの分割露光画像間において、検出領域（Ｅ１〜Ｅ９）ごとに、検出領域内の画像の重なり部の位置をずらしていくことで、位置ずれ（偏移）に応じた累積相関値（マッチング誤差とも呼ばれる）が複数算出される。この場合における累積相関値も、各実施例で述べたものと同様の特性を有している。そして、その複数の累積相関値に基づいて、動きベクトルの算出処理を含む上述の各実施例と同様の処理を行うことが可能である。
【０１９０】
［変形例３］
真のマッチング位置を定めきれない場合、参照する近傍累積相関値のパターンを、図１１（ａ）から同図（ｂ）、（ｃ）、（ｄ）、（ｅ）に示すパターンへと順次変更していく実施例を上述したが、何れかのパターンを用いた処理を省略するようにしても構わない。
【０１９１】
例えば、図１１（ａ）→（ｃ）→（ｅ）でもよい。即ち、図１２のステップＳ１０２にて選択不可と判定した場合は（ステップＳ１０２のＮ）、ステップＳ１０３及びＳ１０４の処理を省略して直接ステップＳ１０５に移行し、且つ、図１２のステップＳ１０６にて選択不可と判定した場合は（ステップＳ１０６のＮ）、ステップＳ１０７及びＳ１０８の処理を省略して直接ステップＳ１０９に移行するようにしてもよい。同様に例えば、図１１（ｂ）→（ｅ）でもよい。
【０１９２】
［変形例４］
真のマッチング位置を定めきれない場合に参照する近傍累積相関値の個数を段階的に増加させるようにする実施例を上述したが（図１１及び図１２参照）、そのような場合における個数の増加は必須ではない。
【０１９３】
例えば、ステップＳ１０１で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合、ステップＳ１０２からステップＳ１０３に移行する前に以下の第１ステップ及び第２ステップの処理を行うようにしてもよい。
【０１９４】
第１ステップでは、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、図２３のパターンに対応するような「候補最小相関値と４個の近傍累積相関値」の平均値（選択用評価値）を計算する。即ち、（ｐ，ｑ）＝（−１，−１）、（−１，１）、（１，−１）、（１，１）、（０，０）である場合における、
「累積相関値Ｖ（ｉA＋ｐ，ｊA＋ｑ）の平均値ＶA_aveと、累積相関値Ｖ（ｉB＋ｐ，ｊB＋ｑ）の平均値ＶB_aveと、累積相関値Ｖ（ｉC＋ｐ，ｊC＋ｑ）の平均値ＶC_aveと、累積相関値Ｖ（ｉD＋ｐ，ｊD＋ｑ）の平均値ＶD_ave」を算出する。
【０１９５】
そして、第２ステップにおいて、第１ステップで算出された４つの平均値を比較し、その４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合はステップＳ１０３に移行し、そうでない場合はステップＳ１１２に移行して、第１ステップで算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択するようにする。
【０１９６】
図１１（ａ）に対応する４つの近傍累積相関値を参照して真のマッチング位置を定めきれなかったとしても、図２３に対応する４つの近傍累積相関値を参照すれば、真のマッチング位置を検出することができる場合がある。これを考慮して、上述の如く処理する。
【０１９７】
［変形例５］
候補最小相関値（ＶA等）を示す位置（ＰA等）を中心とした、最大（５×５）画素の領域内の近傍累積相関値を参照する例を示したが（図１１及び図１２参照）、これは単なる一例であり、これを様々に変形することが可能である。例えば、採用最小相関値Ｖｍｉｎを選択するために、候補最小相関値（ＶA等）を示す位置（ＰA等）を中心とした、最大（７×７）画素の領域内の近傍累積相関値を参照するようにしてもよい。
【０１９８】
［変形例６］
また、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、「候補最小相関値と近傍累積相関値」の平均値を選択用評価値として算出し、算出された各選択用評価値の比較を介して採用最小相関値Ｖｍｉｎを選択する例を図１２を示して上述したが、選択用評価値として算出される平均値を、総和（合算値）又は加重平均値に変更しても良い。
【０１９９】
即ち、例えば、図１２のステップＳ１０１において、（ｐ，ｑ）＝（０，−１）、（−１，０）、（０，１）、（１，０）、(０，０)である場合における、合計５個の累積相関値Ｖ（ｉA＋ｐ，ｊA＋ｑ）の総和を選択用評価値として算出しても構わない。
【０２００】
また、選択用評価値を加重平均値とする場合、例えば、図１２のステップＳ１０１において、
ＶA_ave＝ｋ1・Ｖ（ｉA，ｊA−１）＋ｋ2・Ｖ（ｉA−１，ｊA）＋
ｋ3・Ｖ（ｉA，ｊA＋１）＋ｋ4・Ｖ（ｉA＋１，ｊA）＋
ｋ0・Ｖ（ｉA，ｊA）
、を算出すればよい。ここで、ｋ0〜ｋ4は、加重平均値を算出するための係数であり、例えば、ｋ1＝ｋ2＝ｋ3＝ｋ4＜ｋ0、が成立する。
【０２０１】
［変形例７］
また、第１〜第４の候補データの夫々について、「候補最小相関値と近傍累積相関値」の平均値（又は総和又は加重平均値）を選択用評価値として算出し、算出された各選択用評価値の比較を介して採用最小相関値Ｖｍｉｎを選択する例を示したが、各選択用評価値を、候補最小相関値を除外して算出するようにしても構わない。
【０２０２】
即ち、例えば、図１２のステップＳ１０３において、（ｐ，ｑ）＝（−１，−１）、（−１，０）、（−１，１）、（０，−１）、（０，１）、（１，−１）、（１，０）、（１，１）である場合における、合計８個の累積相関値Ｖ（ｉA＋ｐ，ｊA＋ｑ）の平均値（又は総和又は加重平均値）をＶA_aveとするようにしても構わない。
【０２０３】
［変形例８］
各画像（各分割露光画像など）に検出領域（Ｅ1〜Ｅ9）が９つある場合を例示したが、各画像に設けられる検出領域の個数は任意である。各画像に設ける検出領域の個数は、１つであってもよい。
【０２０４】
［変形例９］
また、図１の撮像装置は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図１の手ぶれ補正回路３０の機能、それに含まれる動き検出回路３２、座標変換回路３３、画像加算回路３４の各機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。
【０２０５】
ソフトウェアを用いて手ぶれ補正回路３０の機能を実現する場合、図１、図２、図３及び図１３の全部又は一部は、手ぶれ補正回路３０（手ぶれ補正回路３０の全部又は一部）の機能ブロック図を表すことになる。また、手ぶれ補正回路３０にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【０２０６】
＜＜注記＞＞
尚、図１において、動き検出回路３２は動きベクトル算出手段として機能する。また、動き検出回路３２（特に、図１３の信頼度算出部７４）は混合比算出手段として機能する。また、第３実施例において、信頼度に基づき基準画像を可変設定する基準画像設定手段としての機能は、動き検出回路３２（特に、図１３の信頼度算出部７４）又は画像加算回路３４によって実現される。動きベクトル算出手段と混合比算出手段又は基準画像設定手段とを含む画像合成装置は、図１の手ぶれ補正回路３０によって実現される。
【図面の簡単な説明】
【０２０７】
【図１】本発明の実施例に係る撮像装置の全体的構成図である。
【図２】図１の動き検出回路の内部ブロック図である。
【図３】図２の代表点マッチング回路の内部ブロック図である。
【図４】図３の代表点マッチング回路にて定義される、各動きベクトル検出領域と各小領域を示す図である。
【図５】図４に示す各領域における、代表点とサンプリング点を示す図である。
【図６】図４に示す各領域における、代表点と最小の累積相関値に対応するサンプリング点の画素位置を表す図である。
【図７】最小の累積相関値に対応する画素とその近傍画素の各画素位置を表す図である。
【図８】図３の演算回路の出力データを表としてまとめた図である。
【図９】図１の動き検出回路の動作手順を表すフローチャートである。
【図１０】図１の動き検出回路の動作手順を表すフローチャートである。
【図１１】図９のステップＳ１７における採用最小相関値の選択処理に参照される累積相関値のパターンを表す図である。
【図１２】図９のステップＳ１７における採用最小相関値の選択処理を詳細に表したフローチャートである。
【図１３】図１の動き検出回路の詳細内部ブロック図である。
【図１４】図１３の信頼度算出部における信頼度の算出に関与する各値を、表として表した図である。
【図１５】図１の座標変換回路における座標変換処理の様子を表す図である。
【図１６】図１の画像加算回路における加算合成処理の様子を表す図である。
【図１７】図９のステップＳ１７等の処理の意義を説明するための図である。
【図１８】本発明の第２実施例に係る具体的数値例を示す図である。
【図１９】本発明の第３実施例に係り、各画像間でマッチング処理が行われる様子を示す図である。
【図２０】本発明の第３実施例にて算出される各値を表として表した図である。
【図２１】本発明の第３実施例にて算出される各値の具体的数値例を表として表した図である。
【図２２】加算合成される複数の分割露光画像を例示する図である。
【図２３】図１１（ａ）等に示すパターンの変形例を示す図である。
【図２４】加算式手ぶれ補正の原理を表す図である。
【図２５】加算式手ぶれ補正における、複数の分割露光画像と合成画像との関係を表す図である。
【図２６】加算式手ぶれ補正における、複数の分割露光画像と合成画像との関係を表す図である。
【符号の説明】
【０２０８】
３０ 手ぶれ補正回路
３２ 動き検出回路
３３ 座標変換回路
３４ 画像加算回路
３５ 画像メモリ
３６ 画像合成回路
４１ 代表点マッチング回路
４２ 領域動きベクトル算出回路
４３ 検出領域有効性判定回路
４４ 全体動きベクトル算出回路
７４ 信頼度算出部
【出願人】 【識別番号】０００００１８８９
【氏名又は名称】三洋電機株式会社
【出願日】 平成１８年８月３１日（２００６．８．３１）
【代理人】 【識別番号】１０００８５５０１
【弁理士】
【氏名又は名称】佐野 静夫

【識別番号】１００１２８８４２
【弁理士】
【氏名又は名称】井上 温

【識別番号】１００１２９５６２
【弁理士】
【氏名又は名称】山本 昌則
【公開番号】 特開２００８−６０９２７（Ｐ２００８−６０９２７Ａ）
【公開日】 平成２０年３月１３日（２００８．３．１３）
【出願番号】 特願２００６−２３５６７１（Ｐ２００６−２３５６７１）