トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 画像合成装置
【発明者】 【氏名】古藤田 薫
【要約】 【課題】ダイナミックレンジの広い画像を得ることの可能な画像合成装置を提供する。

【構成】複数の画像を合成し、前記複数の画像のそれぞれの画像に比較してダイナミックレンジの広い画像を得る画像合成装置において、前記複数の画像の一方の画像と他方の画像とに基づいて、前記複数の画像のそれぞれの画像の全体から画像の合成の対象となる一部分を合成対象領域として検出する合成対象領域検出部31と、前記合成対象領域に対しダイナミックレンジを広げる画像合成処理を行う画像合成処理部65とを備えて、画像合成装置を構成する。
【特許請求の範囲】
【請求項１】
複数の画像を合成し、前記複数の画像のそれぞれの画像に比較してダイナミックレンジの広い画像を得る画像合成装置において、
前記複数の画像の一方の画像と他方の画像とに基づいて、前記複数の画像のそれぞれの画像の全体から画像の合成の対象となる一部分を合成対象領域として検出する合成対象領域検出手段と、
前記合成対象領域に対しダイナミックレンジを広げる画像合成処理を行う画像合成処理手段と、
を具備することを特徴とする画像合成装置。
【請求項２】
前記合成対象領域を所定のグループに分けるグループ化手段を更に具備し、
前記画像合成処理は、前記グループ毎に行うことを特徴とする請求項１に係る画像合成装置。
【請求項３】
前記複数の画像間における画像のずれを前記グループ毎に検出するぶれ検出手段を更に具備し、
前記画像合成処理は、前記ぶれ検出手段が検出した結果に応じた画像合成処理を行うことを特徴とする請求項２に係る画像合成装置。
【請求項４】
前記ぶれ検出手段は、被写体ぶれによる前記複数の画像間における画像のずれ及び手ぶれによる前記複数の画像間における画像のずれを検出するものであって、
前記画像合成処理手段は、前記被写体ぶれによる前記複数の画像間における画像のずれを補正して前記複数の画像を合成する第１の画像合成手段と、前記手ぶれによる前記複数の画像間における画像のずれを補正して前記複数の画像を合成する第２の画像合成手段とを具備し、
前記ぶれ検出手段が被写体ぶれを検出した場合、前記第１の画像合成手段による画像合成処理を行い、前記ぶれ検出手段が手ぶれを検出した場合、前記第２の画像合成手段による画像合成処理を行うことを特徴とする請求項３に係る画像合成装置。
【請求項５】
前記複数の画像間における画像のずれを検出する対象となるぶれ検出対象領域を設定するぶれ検出対象領域設定手段を更に具備し、
前記ぶれ検出手段は、前記ぶれ検出対象領域内でのみ前記複数の画像間における画像のずれを検出することを特徴とする請求項３に係る画像合成装置。
【請求項６】
前記グループ化手段は、前記合成対象領域における周辺画素と連結している領域を検出し、当該連結している領域をグループとすることを特徴とする請求項２に係る画像合成装置。
【請求項７】
前記グループ化手段は、前記グループ毎にラベルを付与することを特徴とする請求項２に係る画像合成装置。
【請求項８】
前記画像合成処理手段は、
被写体ぶれによって前記複数の画像間における画像のずれが発生している場合に前記複数の画像を合成して被写体ぶれを補正する第１の画像合成処理手段と、
手ぶれによって前記複数の画像間における画像のずれが発生している場合に前記複数の画像を合成して手ぶれを補正する第２の画像合成処理手段と、
を具備することを特徴とする請求項１に係る画像合成装置。
【発明の詳細な説明】【技術分野】
【０００１】
この発明は、複数の画像を合成して、ダイナミックレンジを拡大して出力する画像合成装置に関する。
【背景技術】
【０００２】
従来、複数の露光量の異なる画像を合成し、ダイナミックレンジの広い画像を得る画像合成装置が知られているが、その概略構成を図21に示し、またその動作のタイミングチャートを図22に示す。これらの図に示すように、ＣＣＤ，ＣＭＯＳセンサ等の撮像素子201 は露光量の異なる複数の画像を撮像し、順次出力してＡ／Ｄ変換器202 でＡ／Ｄ変換する。ここでは露光量の多い画像を画像ａ，露光量の少ない画像を画像ｂとする。そして、図22のタイミングチャートに示すように両画像ａ，ｂのタイミングを一致させるため、フレームメモリ203 により遅延させている。また、両画像を単純に合成した場合に、その切り換わり部分が不自然となるため、第１及び第２のレベル変換回路204 ，205 により所定のレベル変換を行ない、両画像ａ，ｂのレベルを合わせた後、合成回路206 により合成を行なうようになっている。タイミングチャートでは、例えば第ｎフレームの画像を(n) で表している。ｎフレーム目の画像合成は、１フレーム遅延させた画像ａ(n) と画像ｂ(n) から合成を行ない、合成画像(n) を得ている。
【０００３】
図23は画像合成の例を示す概念図である。図23の（１）は、露光量の多い画像ａである。この場合、人物に露出が合っているため、背景が白くとんでしまっている。図23の（２）は、露光量の少ない画像ｂである。この場合は、背景に露出が合っているため、人物が黒くつぶれている。合成時には、所定の閾値によりａ，ｂどちらの画像を採用するかを選択する。図23の（３）には、画像ａにおいて閾値以下となった部分を網掛け処理した二値画像を示す。また、図23の（４）には、画像ｂにおいて閾値以上となった部分を網掛け処理した二値画像を示す。網掛け処理した二値画像のそれぞれを合成した画像を図23の（５）に示す。このように、画像ａ，画像ｂから合成することで、白とび、黒つぶれのない、ダイナミックレンジの広い画像を得ている。
【０００４】
上記のように、順次撮像した複数画像を合成する場合、ぶれ等があった場合には、それぞれの画像で被写体の位置が異なり、合成時に被写体がずれてしまう。このような位置ずれに対するぶれ補正装置が、特許３１１０７９７号に提案されている。次に、特許３１１０７９７号提案の画面ぶれ及び画像合成の概念を図24に示す。この例では、手ぶれにより、画像ａと画像ｂがずれて撮像されている場合を示している。図24の（Ａ）は、同一の点が合致するように画像ａ，ｂをそれぞれずらして合成した態様を示している。図24の（Ａ）に示す点ｐは、図24の（Ｂ），（Ｃ）に示すように、画像ａと画像ｂそれぞれの画像においては、Ｐa ，Ｐb の座標になっている。
【０００５】
図25は、上記特許で開示されている画像合成装置の構成を示すブロック図である。Ａ／Ｄ変換器301 でＡ／Ｄ変換された入力画像に対し動き検出回路306 により動きベクトルを検出し、画像ａ，画像ｂの共通部分をメモリ制御回路305 によってフィールドメモリ304aより読み出す。共通部分は本来の撮像エリアより小さくなるため、拡大補間回路302aにより拡大補間処理を行ない元のサイズへ戻したのち、フィールドメモリ304bから出力される前フィールドの画像と合成部302bにより合成し、Ｄ／Ａ変換器303 でＤ／Ａ変換されて、ぶれを補正した画像が出力するように構成されている。
【特許文献１】特許第３１１０７９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記のように、提案の補正技術においては、画面全体を動きベクトルに従って移動させ、共通エリアを得て合成を行なっている。しかし、画像のぶれには画面全体が移動する手ぶれだけではなく、一部の被写体が移動する被写体ぶれがある。図26に、その被写体ぶれの概念を示す。この例では、画像ａ，ｂにおいて、背景についてはぶれが発生していないが、人物に関しては被写体ぶれが発生している。この場合、背景に着目してぶれ補正を行なわない場合には、合成画像（１）に示すように人物が二重に写ってしまい、また、人物に着目してぶれ補正（座標移動）を行なうと、合成画像（２）に示すように画面全体の移動により、背景が二重に写ってしまう。従来提案の技術では、このような観点について考慮がなされていない。
【０００７】
本発明は、この観点に着目してなされたものであり、画質の良好なダイナミックレンジの広い画像を得ることの可能な画像合成装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
上記問題点を解決するため、請求項１に係る発明は、複数の画像を合成し、前記複数の画像のそれぞれの画像に比較してダイナミックレンジの広い画像を得る画像合成装置において、前記複数の画像の一方の画像と他方の画像とに基づいて、前記複数の画像のそれぞれの画像の全体から画像の合成の対象となる一部分を合成対象領域として検出する合成対象領域検出手段と、前記合成対象領域に対しダイナミックレンジを広げる画像合成処理を行う画像合成処理手段とを具備することを特徴とするものである。
【０００９】
請求項２に係る発明は、請求項１に係る画像合成装置において、前記合成対象領域を所定のグループに分けるグループ化手段を更に具備し、前記画像合成処理は、前記グループ毎に行うことを特徴とするものである。
【００１０】
請求項３に係る発明は、請求項２に係る画像合成装置において、前記複数の画像間における画像のずれを前記グループ毎に検出するぶれ検出手段を更に具備し、前記画像合成処理は、前記ぶれ検出手段が検出した結果に応じた画像合成処理を行うことを特徴とするものである。
【００１１】
請求項４に係る発明は、請求項３に係る画像合成装置において、前記ぶれ検出手段は、被写体ぶれによる前記複数の画像間における画像のずれ及び手ぶれによる前記複数の画像間における画像のずれを検出するものであって、前記画像合成処理手段は、前記被写体ぶれによる前記複数の画像間における画像のずれを補正して前記複数の画像を合成する第１の画像合成手段と、前記手ぶれによる前記複数の画像間における画像のずれを補正して前記複数の画像を合成する第２の画像合成手段とを具備し、前記ぶれ検出手段が被写体ぶれを検出した場合、前記第１の画像合成手段による画像合成処理を行い、前記ぶれ検出手段が手ぶれを検出した場合、前記第２の画像合成手段による画像合成処理を行うことを特徴とするものである。
【００１２】
請求項５に係る発明は、請求項３に係る画像合成装置において、前記複数の画像間における画像のずれを検出する対象となるぶれ検出対象領域を設定するぶれ検出対象領域設定手段を更に具備し、前記ぶれ検出手段は、前記ぶれ検出対象領域内でのみ前記複数の画像間における画像のずれを検出することを特徴とするものである。
【００１３】
請求項６に係る発明は、請求項２に係る画像合成装置において、前記グループ化手段は、前記合成対象領域における周辺画素と連結している領域を検出し、当該連結している領域をグループとすることを特徴とするものである。
【００１４】
請求項７に係る発明は、請求項２に係る画像合成装置において、前記グループ化手段は、前記グループ毎にラベルを付与することを特徴とするものである。
【００１５】
請求項８に係る発明は、請求項１に係る画像合成装置において、前記画像合成処理手段は、被写体ぶれによって前記複数の画像間における画像のずれが発生している場合に前記複数の画像を合成して被写体ぶれを補正する第１の画像合成処理手段と、手ぶれによって前記複数の画像間における画像のずれが発生している場合に前記複数の画像を合成して手ぶれを補正する第２の画像合成処理手段とを具備することを特徴とするものであ。
【発明の効果】
【００１６】
本発明によれば、画質の良好なダイナミックレンジの広い画像を得ることの可能な画像合成装置を実現できる。
【発明を実施するための最良の形態】
【００１７】
次に、本発明を実施するための最良の形態について説明する。
【実施例】
【００１８】
次に、本発明に係る、複数の画像からダイナミックレンジの広い合成画像を得る画像合成装置の実施例について説明する。図１は、本発明に係る画像合成装置の実施例の全体構成を示す概略ブロック構成図である。この実施例に係る画像合成装置は、画像を撮像するための撮像素子１，画像信号をデジタル信号に変換するためのＡ／Ｄ変換器２，前段の画像処理を行うための画像処理回路３，処理結果をメモリ４に格納するためのメモリコントローラ５，後段の処理を行うためのＣＰＵ６から構成されている。
【００１９】
次に、図１に示した実施例における主要部の概略構成と、その概略動作を、図２に示す主要部の概略構成を示す概念図に基づいて説明する。図２において、画像ａと画像ｂは、露光量の異なる二枚の画像である。この画像ａ，ｂについて、画像処理回路３では、合成対象領域検出部31，ラベリング部32，ぶれ検出対象領域設定部33により、ぶれを検出する領域の検出とその領域のグループ分け（ラベリング）を行う。これらのラベリング等の処理結果と画像は一旦メモリ４に蓄えられ、メモリ４上の画像に対しＣＰＵ６が、ぶれ検出部61により各ラベル毎にぶれ検出、すなわち被写体ぶれか、手ぶれかの検出を行い、その検出に基づくぶれ判定フラグにより、手ぶれ補正処理部62と被写体ぶれ補正処理部63とそれらの切換手段64-1，64-2を含む合成処理部65により、各ラベル毎にそれぞれのぶれ補正を含む合成処理を行う。このように適応的な補正を行なうことにより、手ぶれが発生した場合にも、被写体ぶれが発生した場合にも良好な合成画像を得ることが可能となる。
【００２０】
次に、各部の詳細な構成と動作について説明する。図３は、前段の画像処理回路３の構成を示すブロック図である。画像処理回路３は、画像ａ，ｂから後段のぶれ検出等で使用するぶれ検出や合成の対象となる領域の検出、及び合成の対象となる領域のラベリングを行っている。
【００２１】
本実施例では、画像信号として、従来例と同様に図22に示すように順次露光の異なる画像ａ，ｂが入力される。このため、図３に示すようにフレームメモリ34を設け、画像ａと画像ｂのタイミングを合わせている。次に、画像入力時の諸パラメータ（露出、被写体までの距離等）及び画像ａ，ｂの諸パラメータ（輝度値の平均、ＭＩＮ，ＭＡＸ値等）から、図示しない上位のコントローラにより算出され、与えられる閾値により二値化回路35で画像ａ，ｂの二値化を行なう。
【００２２】
次に、二値化回路の構成を図４に示すブロック図で説明する。基本的に二値化回路は、入力画像ａ，ｂが閾値と大小の比較を行うことにより二値化を行なう。この構成例では、比較回路ａ35-1と比較回路ｂ35-2により行われる。本構成例では、閾値は画像ｂに対するもののみ与えられている。除算回路35-3により画像ｂの露光量Ｅｂに対する画像ａの露光量Ｅａの比を求め、乗算回路35-4を介して画像ｂの閾値から画像ａの閾値を算出している。
【００２３】
図５に、両画像間でずれが発生していない場合の画像と閾値の関係を示す。画像ａに対して画像ｂは、図５の（２）に示すように輝度値方向に露光比に比例した値だけ圧縮された信号となる。すなわち、前述のように閾値を露光比に比例して変更することにより他方の画像に対応する閾値を得ることができる。
【００２４】
次に、得られた二値画像より、ぶれ検出対象領域設定部33と合成対象領域検出部31によって、ぶれ検出対象領域と合成対象領域を検出する。ぶれ検出対象領域とは、両画像間にぶれが発生していた場合に、ぶれを検出するための領域である。具体的には合成画像のずれ、すなわち二値画像の不一致領域となる。図３におけるＸＯＲ回路33-1による両二値画像の排他的論理和により、不一致領域を検出している。また、ノイズ等の影響による誤検出を防止するため、連続検出回路33-2により一定以上連続した場合にのみ、不一致領域として検出する。このぶれ検出対象領域設定部33を説明するためのタイミングチャートを図６に示す。なお、本実施例では、前記連続の検出を一次元的に行っているが、上下や斜め方向の連続を検出するなど各種変形が可能である。また、図６には、二値画像とＸＯＲ回路33-1の出力のＯＲ回路31-1を介して得られる合成対象領域のタイミングも合わせて示している。
【００２５】
ずれ（ぶれ）が発生していた画像に対し、ぶれ補正をしない場合の合成画像を図７の（１）に示す。このように画像がずれているため、被写体と背景で一致しない部分 がある。それぞれの二値画像を比較した場合には、この部分は図７の（２）に示すように不一致部として検出することができる。この領域に対してのみぶれの検出を行うことにより、確度の高いぶれ検出を効率よく行うことが可能である。
【００２６】
合成対象領域は、画像ａ，ｂ間の合成の対象となる領域である。図７の（３）に合成対象領域の一例を示す。このように合成対象領域は、ぶれを含んだ合成の対象（被写体）を検出する。この領域は、次段のラベリング部32によるラベリング処理により塊毎に分けられ、ラベルが付与される。ぶれ検出及び合成は、この塊毎に行うことにより、それぞれのラベル毎に最適なぶれ補正を行うことが可能である。
【００２７】
図８に、ラベリング処理によるぶれ補正を行う、画像の一例を示す。図８の（１）に示す画像ａと図８の（２）に示す画像ｂ間には、手ぶれと被写体ぶれが発生している。この図示例では、領域Ａが手ぶれと判定される。また、領域ＢとＣは被写体ぶれであるが、領域Ｂについては手ぶれと同様の平行移動であるため、手ぶれと判定される。図８の（３）は合成対象領域の検出とラベリングが行われた例を示している。領域Ａ，Ｂ，Ｃの塊毎に、それぞれ１，２，３のラベルが付与されている。図８の（４）は、合成画像を示している。合成時には、このようにそれぞれのラベル毎に個別の処理が行われるため、ラベル１，２は手ぶれとして、ラベル３の領域は被写体ぶれとして補正される。
【００２８】
次に、ラベリング部32におけるラベリング処理のフローチャートを図９の（１）に示す。ラベリング処理は、周辺画素との連結を検出し、同一のラベルを付与する処理である。ここでは、４連結すなわち上下左右との連結を検出する例を示している。この例では、図９の（３）に示すように、注目画素を一画素ずつ左から右に走査し、また、ライン終了後１ライン下を走査するようにしている。図９の（２）に示すように注目画素に対しＡ，Ｂの画素との連結をチェックし、連結していれば前ライン又は前画素のラベルを注目画素のラベルとして付与し、連結がない場合には新しいラベルを付与するようにしている。
【００２９】
次に、図10に基づいて具体的なラベリング処理について説明する。ラベリング処理は、1 画素ずつチェックを行い、ラベル値を付与する。図10の（１）がラベリング画像の例であり、図10の（２）はラベル情報の格納例である。この例では、画像メモリの下位に画像データを格納し、上位にラベル値を格納している。更にラベルテーブル例を図10の（３）に示す。これは、各ラベル毎のぶれ情報等のパラメータを格納するテーブルもかねている。ラベル互換とは、異なるラベルが与えられた画素同士の連結が検出された場合に、その接続を示すものである。この例では、ラベリング中に４個のラベルが一つの塊に与えられているが、全画面のラベリングが終了した後、ラベルテーブルのラベル互換の情報を基に一つの塊に一つのラベルとなるように整理される。以上により、一つの塊を検出することが可能になる。本実施の形態では、左から右へ、及び上から下への走査を行っているが、これらの逆方向及び斜め方向等に走査するなど各種の変形が可能である。
【００３０】
以上のようにして得られたラベル情報、合成対象領域情報、ぶれ検出対象領域情報、ぶれ検出結果等は、図２に示すように一旦メモリ４に蓄えられる。以後、メモリ４上の画像データ及びラベル情報、合成対象領域情報、ぶれ検出対象領域情報、ぶれ検出結果等を用いて、ＣＰＵ６が後段の処理を行う。
【００３１】
図11に、ＣＰＵ６で行われる概略動作のフローチャートを示す。ＣＰＵ６は、まず所定の初期化動作を行い、画像の入力及び前段の画像処理回路３の処理完了を待つ。この後、ぶれ検出部61でぶれ検出処理を行い、その後、合成処理部65で画像合成処理を行う。なお、これらのぶれ検出部61及び合成処理部65は、この実施例では全てＣＰＵ６内において、ソフト的に構成されているものである。ぶれ検出処理部61における動作に関して概略のデータフローを図12に示す。ぶれ検出部61の処理は、図12に示すように画像ａ，ｂからぶれを検出する領域を選ぶ特定領域設定部61-1，該特定領域設定部61-1で選択されたぶれ検出領域においてぶれを判定するためのパラメータを算出するブロックマッチング算出部(1)61-2 及びブロックマッチング算出部(2)61-3 ，ブロックマッチングを行った領域が有効かどうかを検出して有効か無効かのパラメータを出力する有効検出部61-4，及びブロックマッチング算出部(1)61-2 とブロックマッチング算出部(2)61-3 と有効検出部61-4からのパラメータを基に手ぶれか被写体ぶれかを判定するぶれ判定部61-5で行われる。
【００３２】
次に、ぶれ検出部61におけるぶれ判定動作の詳細について、図13に示すぶれ検出のフローチャートに基づいて説明する。このフローチャートに示す動作では、全画素又は所定の間引きを行った画素に注目し、処理を行う。まず、ステップＳ101 で示すように、画素を読み出し、その画素がぶれ検出領域かどうかを判断する。ぶれ検出領域でない場合にはぶれ検出を行わない。ぶれ検出である場合には、特定領域としてその周辺データの読み込みを行う。次に、この特定領域に対してブロックマッチングを行う。ブロックマッチングとは、基準ブロックを設定し、同サイズのブロックを他方の画像の周辺領域に設定し、各画素毎の差分を演算しその総和をとり、総和がもっとも小さいブロックを類似ブロックとして検出するものである。
【００３３】
ブロックマッチングの処理動作を説明するためのフローチャートを図14に示す。まず、検出すべき差分の総和の最大・最小値を格納するレジスタをクリアする。次に基準ブロック座標（Ｘs ，Ｙs ）をセットする。更に探索範囲の参照ブロックの開始座標（Ｘr ，Ｙr ）をセットする。次に、実際のブロックマッチング動作を行う。まず、画像ａ上の基準ブロックと画像ｂ上の参照ブロックに関して、それぞれの輝度の差分をとり、その総和を求める。この総和が最小値であるかを判定し、最小値の場合には基準ブロックと参照ブロックの座標を格納する。また、同時に最大値も判定し、最大値を格納する。これらについて、画像ａを基準画像とした場合と画像ｂを基準とした場合で演算を行い、探索範囲内（この場合はＸＹとも注目画素を中心として±20画素）に関して順次比較を行う。最終的に、各画像を基準とした、差分の総和の最大値と最小値と、最小値が算出された座標が得られる。
【００３４】
図15に、具体的なブロックマッチングの一例を示す。図15の（１）が基準ブロック、図15の（２）が探索範囲を示している。図15の（３）は、参照ブロックで、それぞれＸ軸方向に一画素ずつずらしたブロックを示している。図15の（４）は、参照ブロックと基準ブロックの差分をとった態様を示しており、図示のように、その絶対値の和は145 ，95，45となる。この場合、最も差分の小さいベクトル（１，０）に関する参照ブロックが、類似度の高いブロックである。なお、ブロックマッチングに関して、この具体例はその一例を示しているものであり、ブロックサイズ、類似度の算出方法、探索範囲等は当然各種変形が可能である。
【００３５】
ブロックマッチングを行った後、図13でステップＳ102 で示すように有効判定処理を行う。有効判定は、ブロックマッチングを行った領域が、ブロックマッチングを行うにふさわしいかどうかを判定し、ふさわしくない場合には、ブロックマッチングの結果について判定は行わない。
【００３６】
図16に、有効検出部61-4における有効判定動作を説明するためのフローチャートを示す。有効判定動作は、画像ａ，ｂのそれぞれの探索範囲について、ステップＳ111 ，Ｓ113 で示すように白とび、黒つぶれ、及び画像のない領域であるかどうかの判定を行う。また、ステップＳ112 ，Ｓ114 で示すようにブロックマッチング時に求めた、差分の総和の最大値と最小値の差が所定の閾値以下、すなわち探索範囲内においてほぼ同程度の差分値しか得られなかった場合も、有効性なしと判定している。
【００３７】
図13に示すぶれ判定のフローチャートに戻り、ステップＳ102 の有効判定処理ステップで有効であると判定したのち、ステップＳ103 で示すように、それぞれのラベル毎に、まず、差分の総和の最小値より被写体ぶれと手ぶれの判定を行う。それぞれの画像を基準ブロックとした場合の最小値のどちらかが所定の閾値よりも大きい場合、どちらかの類似度が低い場合には、該当するブロックが相手側にないと判断し、被写体ぶれと判定し、該当ラベルが被写体ぶれである旨のフラグを立てる。この状態は、例えば図17の（１）に示す場合であり、この例では左側は被写体の移動により背景の隠されてしまうため該当するブロックが発見できない場合である。
【００３８】
ステップＳ103 のぶれ判定処理で、被写体ぶれと判断されなかった場合、ステップＳ104 及びステップＳ105 に進み、ブロックマッチングの結果の基準ブロックと参照ブロックの座標より、画像ａを基準とした場合の動きベクトルａ＿ｂと、画像ｂを基準とした動きベクトルｂ＿ａを演算し、両ベクトルを加算してベクトル差として閾値と比較し、ぶれ判定を行う。
【００３９】
例えば、図17の（２）に示すように画像ａを基準とした場合の動きベクトルと画像ｂを基準とした動きベクトルを比較した場合に、手ぶれで有れば同一値で逆方向になるのでベクトル差は閾値を下回るが、被写体ぶれであれば、閾値を上回る。
【００４０】
本実施例では、一つのラベルに対して複数箇所の検出を行い、複数箇所の検出において一箇所でも被写体ぶれが検出された場合には、これを優先する。図13に示すぶれ判定のフローチャートにおいて、ステップＳ106 では、ラベル毎に、該当ラベル上のぶれ検出対象領域の全領域に関してぶれ判定を実施する。まず、該当ラベルのぶれ判定情報がすでに被写体ぶれと判定されていた場合には、手ぶれ判定への更新や以後のぶれ判定を行わない。次に、該当ラベルのラベルテーブルに格納されている、すでに算出された動きベクトルを読み出し、この動きベクトルと今回のラベルにおいて算出された動きベクトルの比較を行ない、異なる場合には該当ラベルが平行移動以外の動作である被写体ぶれが発生していると判定し、該当ラベルを被写体ぶれと判定する。このように、複数箇所における判定及び複数箇所間の動きベクトルの比較を行うことにより、判定の確度を上げている。
【００４１】
以上の処理動作により、ぶれ検出を実施し、その判定結果の格納を行う。ぶれ検出が終了した後、合成処理部65において合成処理を行う。合成処理部65の処理動作を、図18に示すフローチャートに基づいて説明する。合成処理は、このフローチャートに示すように画素毎に行う。まず、該当する画素が合成対象領域であるかどうかを判定し、合成対象領域でない場合には処理を行わない。合成対象領域である場合には、ラベル値と、ラベルテーブルからそのラベル値に格納されているぶれ判定情報を読み出す。その判定情報より、それぞれのぶれに対応した合成処理を行う。手ぶれの場合には、ステップＳ121 に示すように、更に画像ｂの合成領域かどうかの判定を行う。画像ｂの合成領域である場合には、画像ｂの画素を画像ａの対応画素に合成を行うが、このときにラベルテーブルより動きベクトルを読み出し、これにより画像ｂの座標の移動を行う。しかる後に移動後の座標の画像ａにおける対応画素に対し合成を行うことにより、ずれのない合成画像を得る。図19に座標移動による合成処理の例を示す。
【００４２】
ぶれの判定情報が被写体ぶれの場合には、ステップＳ122 に示すように、画像ｂの合成領域かどうかの判定を行い、画像ｂの合成領域である場合には、まず画像ｂの画素と同座標の画像ａの画素に対して合成を行う。この座標が、どちらかの画像の合成領域である場合には、画像がずれて表示される可能性があるため、その合成領域にローパスフィルタを施し、画像をぼけさせることにより違和感のない画像を得る。図20にローパスフィルタ処理による合成処理の例を示す。
【００４３】
なお、本実施例では、前段の画像処理をハードで行い、ぶれ検出と画像合成処理をＣＰＵにより行ったものを示したが、画像処理をソフトで行うなど各種変形が可能である。
【図面の簡単な説明】
【００４４】
【図１】本発明に係る画像合成装置の実施例の全体の概略構成を示す概念図である。
【図２】図１に示した実施例の主要部の構成を示すブロック図である。
【図３】図１及び図２に示した実施例の画像処理回路の構成を示すブロック図である。
【図４】図３に示した二値化回路の構成を示すブロック図である。
【図５】図４に示した二値化回路の動作を説明するための画像信号（輝度）の波形図である。
【図６】合成対象領域検出部及びぶれ検出対象領域設定部の動作を説明するためのタイミングチャートである。
【図７】二値化画像の比較態様を示す図である。
【図８】手ぶれ及び被写体ぶれ混在時の画像及びその合成画像を示す図である。
【図９】ラベリング部の動作を説明するための説明図である。
【図１０】ラベリング画像、ラベリング情報及びラベリングテーブルの一例を示す図である。
【図１１】ＣＰＵにおける処理の概要を示すフローチャートである。
【図１２】ぶれ検出部のソフト構成を示すブロック図である。
【図１３】ぶれ検出部の動作を説明するためのフローチャートである。
【図１４】ブロックマッチング算出部の動作を説明するためのフローチャートである。
【図１５】ブロックマッチング算出例を示す図である。
【図１６】図12に示したぶれ検出部における有効検出部の動作を説明するためのフローチャートである。
【図１７】画像のぶれの判断例を示す図である。
【図１８】合成処理部の動作を説明するためのフローチャートである。
【図１９】手ぶれ発生時のぶれ補正態様（座標変換）を示す図である。
【図２０】被写体ぶれ発生時のぶれ補正態様（ローパスフィルタ処理）を示す図である。
【図２１】従来の画像合成装置の構成例を示すブロック図である。
【図２２】図21に示した画像合成装置の動作を説明するためのタイミングチャートである。
【図２３】画像合成処理ステップを示す概念図である。
【図２４】従来のぶれ補正態様を示す概念図である。
【図２５】従来のぶれ補正手段の構成例を示すブロック図である。
【図２６】被写体ぶれ発生時のぶれ補正態様を示す概念図である。
【符号の説明】
【００４５】
１ 撮像素子
２ Ａ／Ｄ変換器
３ 画像処理回路
４ メモリ
５ メモリコントローラ
６ ＣＰＵ
31 合成対象領域検出部
31-1 ＯＲ回路
32 ラベリング部
33 ぶれ検出対象領域設定部
33-1 ＸＯＲ回路
33-2 連続検出回路
34 フレームメモリ
35 二値化回路
35-1 比較回路ａ
35-2 比較回路ｂ
35-3 除算回路
35-4 乗算回路
61 ぶれ検出部
61-1 特定領域設定部
61-2 ブロックマッチング算出部(1)
61-3 ブロックマッチング算出部(2)
61-4 有効検出部
61-5 ぶれ判定部
62 手ぶれ補正処理部
63 被写体ぶれ補正処理部
64-1，64-2 切換手段
65 合成処理部
【出願人】 【識別番号】００００００３７６
【氏名又は名称】オリンパス株式会社
【出願日】 平成１９年１０月１９日（２００７．１０．１９）
【代理人】 【識別番号】１０００８７２７３
【弁理士】
【氏名又は名称】最上 健治
【公開番号】 特開２００８−４８４５９（Ｐ２００８−４８４５９Ａ）
【公開日】 平成２０年２月２８日（２００８．２．２８）
【出願番号】 特願２００７−２７２３３８（Ｐ２００７−２７２３３８）