トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 携帯型撮像装置
【発明者】 【氏名】生田 剛一

【氏名】田村 俊之
【要約】 【課題】手ぶれの影響を軽減できる携帯型撮像装置を提供する。

【構成】手ぶれの度合いの評価は、手ぶれ補正関数により補正処理を施した後のフレーム適用部と補正処理を施す前のフレーム適用部との間の画素値の自乗誤差の平均（平均自乗誤差）を算出することにより行われる。すなわち、評価関数セット部１３に用意されている複数個の評価関数を手ぶれ補正関数として用いて補正処理を施した場合の平均自乗誤差をそれぞれ算出し、算出された平均自乗誤差が最も大きい評価関数を、最適なパラメータセットを持つ評価関数として選択し保持する。
【特許請求の範囲】
【請求項１】
複数個の静止画像を動画像として連続的に撮像する撮像手段と、
前記撮像手段において撮像された前記動画像から手ぶれの影響が最も小さい最適静止画像を選択する選択手段と、
前記選択手段において選択された前記最適静止画像に対して手ぶれ補正を行う手ぶれ補正手段と
を備える携帯型撮像装置。
【請求項２】
請求項１に記載の携帯型撮像装置であって、
前記撮像手段における撮像を開始するタイミングを決定するタイミング決定手段
をさらに備える携帯型撮像装置。
【請求項３】
請求項１又は請求項２に記載の携帯型撮像装置であって、
前記選択手段は、手ぶれの強さ、手ぶれの方向、または手ぶれの大きさに基づき前記手ぶれの影響の評価を行う
携帯型撮像装置。
【請求項４】
請求項３に記載の携帯型撮像装置であって、
前記手ぶれ補正手段は、前記選択手段における前記評価に基づき前記手ぶれ補正を行う携帯型撮像装置。
【請求項５】
請求項１乃至請求項４のいずれかに記載の携帯型撮像装置であって、
前記手ぶれ補正手段は補正プログラムを用いて実現され、前記補正プログラムはその複数個を記録した記録媒体から所望のものを選択可能である
携帯型撮像装置。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、静止画像を撮像する携帯型撮像装置に関し、特に、手ぶれの影響を軽減するための技術に関する。
【背景技術】
【０００２】
従来の手ぶれ補正技術では、光学的な手法により手ぶれ補正機構を構成する例が多い。例えば、特許文献１に記載の技術では、手ぶれ方向を検知し、この手ぶれ方向に連動してレンズ機構の光軸合わせを行っている。
【０００３】
また、動画像を構成する複数個の静止画像の中から特定の静止画像（画像フレーム）を選択し電子的な手法により手ぶれ補正を行う例もある。例えば、特許文献２に記載の技術では、動画像の中から、様々な評価関数に基づいて、手ぶれの影響が小さい画像フレームを最適静止画像として選択する処理を行っている。
【０００４】
【特許文献１】特許第３４２４４０号公報
【特許文献２】特開２００３−２５９２９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、光学的な手法を用いる特許文献１では、小型化が難しいので、携帯型撮像装置には適用が困難であるという問題点があった。
【０００６】
また、特許文献２は、動画像から静止画像への変換装置に関するものであり、手ぶれ補正を本来の目的とするものではないので、選択された静止画像に対して手ぶれ補正処理を行っていない。それ故に、携帯型撮像装置のように手ぶれが生じやすい装置では、得られる静止画像における手ぶれの影響が大きくなってしまうという問題点があった。
【０００７】
本発明は以上の問題点を解決するためになされたものであり、手ぶれの影響を軽減できる携帯型撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る携帯型撮像装置は、複数個の静止画像を動画像として連続的に撮像する撮像手段と、撮像手段において撮像された動画像から手ぶれの影響が最も小さい最適静止画像を選択する選択手段と、選択手段において選択された最適静止画像に対して手ぶれ補正を行う手ぶれ補正手段とを備える。
【発明の効果】
【０００９】
本発明に係る携帯型撮像装置は、複数個の静止画像を動画像として連続的に撮像する撮像手段と、撮像手段において撮像された動画像から手ぶれの影響が最も小さい最適静止画像を選択する選択手段と、選択手段において選択された最適静止画像に対して手ぶれ補正を行う手ぶれ補正手段とを備える。従って、手ぶれの影響を軽減できる。
【発明を実施するための最良の形態】
【００１０】
＜実施の形態１＞
図１は、実施の形態１に係る携帯型撮像装置に搭載可能な手ぶれ補正画像処理システム（以下では、単に手ぶれ補正システムと呼ぶ）１００の概略構成を示すブロック図である。図１においては、画像データの流れが実線で、制御信号の流れが点線で、それぞれ示されている。
【００１１】
手ぶれ補正システム１００には、稼働時には、リアルタイムな動画像（連続して撮像される複数個の静止画像）の画像データ（以下では、動画データと呼ぶ）を撮像する動画データ撮像部１１（撮像手段）により動画データが取得され続けている。取得された動画データにおいて、シャッターを開き静止画像の画像データ（以下では、静止画データ、または画像フレーム、あるいは単にフレームとも呼ぶ）の撮像を開始する開始点は、撮像タイミング決定部１２（タイミング決定手段）により決定できるようになっている。手ぶれ補正システム１００は、開始点が撮像タイミング決定部１２により決定されると、この開始点から比較的に短い所定の時間（例えば、１ｓｅｃ）後に、シャッターを閉じ撮像を終了する終了点を定め、開始点から終了点までのこの所定の時間を撮像時間範囲（撮像タイミング）とする。手ぶれ補正システム１００は、この撮像時間範囲内において、手ぶれの影響が最も小さい１個の最適静止画像（手ぶれ補正処理部１６において補正処理を施すことにより最も良好な画質が得られるもの）を選択し、この最適静止画像に補正処理を施して出力する。なお、上記の終了点（すなわち撮像時間範囲）は、ユーザの目的に応じて自由に設定してもよい。
【００１２】
動画データ撮像部１１には、動画データ撮像部１１によって入力された動画データの中から手ぶれの影響が最も小さいフレームを特定するための評価関数セット部１３が接続されている。この評価関数セット部１３は、定められた撮像時間範囲に動画データ撮像部１１で撮像された動画データをフレーム単位で解析しこれらの中から手ぶれの影響が最も小さいフレームを撮像候補フレームとして選択するための評価関数を備えている。
【００１３】
また動画データ撮像部１１には、インターフェース部１４が接続されている。上述したように、開始点から終了点までの撮像時間範囲をユーザの目的に応じて自由に設定する場合に、シャッターを開き撮像を開始した後に、ユーザーから入力された撮像時間範囲指定信号がインターフェース部１４を介して動画データ撮像部１１に入力されるようになっている。
【００１４】
評価関数適用部１５では、撮像時間範囲内に撮像された動画データに含まれる各フレームに対して、評価計算が行われる。
【００１５】
次に、評価関数セット部１３および評価関数適用部１５（選択手段）の一構成例について説明する。評価関数セット部１３には、予め、手ぶれに関する複数個のパラメータ（パラメータセット）を設定可能な手ぶれ補正関数が複数個（手ぶれ補正関数セット）用意されている。本発明は、補正を行うためのこれらの手ぶれ補正関数セットを、静止画データを評価し選択するための評価関数セットとして評価関数適用部１５において適用させることを特徴とする。なお、評価関数適用部１５においては、各フレームで画像全体にこの評価関数セットを適用すると処理時間がかかり過ぎる場合には、画像の一部の領域に対してのみ評価関数セットを適用しても、同様の効果を奏する（以下では、評価関数セットを適用する領域をフレーム適用部と呼ぶ）。
【００１６】
ここで、評価関数セット部１３において評価関数（すなわち手ぶれ補正関数）に設定可能なパラメータとしては、手ぶれの度合いを示すスカラー信号だけではなく、手ぶれの方向、手ぶれの強さ、または手ぶれの大きさ（画像中での長さ）に関する情報についても、含めて構成することができる。
【００１７】
図２は、手ぶれの評価および補正を一次元のみに限定した場合の評価関数（フィルタ）を示す図である。図２（ａ）にはフィルタ（評価関数）Ａが、図２（ｂ）にはフィルタ（評価関数）Ｂが、図２（ｃ）にはフィルタ（評価関数）Ｃが、示されている。フィルタＡ〜Ｃは、それぞれ、９個の重み付け係数から構成される一次元フィルタであり、フィルタＡ〜Ｃの順に手ぶれの度合いが大きくなっている。図２のような一次元フィルタを用いることにより、以下で図３を用いて説明するように、ラインメモリしか持たない装置においても、手ぶれ補正が可能となる。
【００１８】
図３は、本発明を具現化する一例を示した構成図である。ラインメモリ３１には、画像データが行単位で入力され、複数行分（ここでは、（Ｎ−２）行目からＮ行目までの３行分）が一時的に格納される。評価関数適用部１５は、ラインメモリ３１内の画像の一部（フレーム適用部）の画素データを読み出し、評価関数を適用する。そして、後述する手法を用いて最適な評価関数を選択し、手ぶれ補正処理部１６（手ぶれ補正手段）へ通知する。手ぶれ補正処理部１６は、ラインメモリ３１から直接に入力された画素データに対して、評価関数適用部１５から通知された最適な評価関数（すなわち最適な手ぶれ補正関数）を用いて手ぶれ補正処理を施した後、画素データを列単位で出力する。
【００１９】
なお、上述においては、手ぶれ処理を一次元で行う場合について説明したが、これに限らず、大きなフレームバッファを構成できる装置では、評価関数およびフレーム適用部を二次元的に設定することにより、斜め方向の手ぶれに対してもより有効な補正を行うことが可能となる。すなわち、手ぶれ補正処理部１６において動作する手ぶれ補正プログラムは、様々な種類のものを予め記録媒体に記録しておき、所望のものを携帯型撮像装置に読み込むようにしてもよい。
【００２０】
図４は、手ぶれの度合いの評価手法を示すイメージ図である。手ぶれの度合いの評価は、評価関数すなわち手ぶれ補正関数により補正処理を施した後のフレーム適用部と補正処理を施す前のフレーム適用部との間の画素値の自乗誤差の平均（平均自乗誤差）を算出することにより行われる。すなわち、以下の式（１）に示されるように、評価関数セット部１３に用意されている複数個の評価関数を手ぶれ補正関数として用いて補正処理を施した場合の平均自乗誤差をそれぞれ算出し、算出された平均自乗誤差が最も大きい評価関数（ここでは評価関数Ｃ）を、最適なパラメータセットを持つ評価関数として選択し保持する。なお、式（１）に示されるように、評価関数Ｃは、画像のピクセル位置（ベクトル量）ｘと、領域のピクセル数ｎと、手ぶれ補正処理を施す前の画像の輝度値Ｉ（ｘ）と、手ぶれ補正処理を施した（フィルタｋを適用した）後の画像の輝度値Ｉk（ｘ）とに基づき選択される。
【００２１】
【数１】


【００２２】
例えば、原画像を画像Ａとし、画像Ａが手ぶれにより暈けた暈け画像を画像Ｂし、画像Ａ，Ｂにそれぞれ補正関数Ｘを適用して生成される補正画像を画像Ａ’，Ｂ’とすると、補正関数Ｘの補正能力が高いほど、（Ａ−Ｂ’）の平均自乗誤差が小さくなると考えられる。しかし、（Ａ−Ｂ’）の平均自乗誤差を算出することはできない（画像Ａが分からない）ので、本発明においては、（Ａ−Ｂ’）に代えて（Ｂ−Ｂ’）の平均自乗誤差を算出する（言い換えれば、画像Ａに代えて画像Ｂを画像Ｂ’と比較する）。すなわち、本発明は、フレームにおける平均自乗誤差をそのフレームの手ぶれ評価値とし、この手ぶれ評価値が最も大きな評価関数が最適であると判断することを特徴とするものである。
【００２３】
なお、これらの評価関数（フィルタ）としては、図２に示されるように、重み付け係数の和が１であるものを使用するとより効果的である。例えば、重み付け係数の和が０であるものを使用すると、評価関数適用前画像の輝度値のＤＣ成分がなくなりエッジ抽出のような状態となるが、重み付け係数の和が１であるものを使用することにより、評価関数適用前画像の輝度値のＤＣ成分を保持できるので、より自然な画像を得ることができる。実験の結果、重み付け係数の和が１であるような補正関数Ｘ（言い換えれば、エッジを強調するタイプのフィルタ）を使用した場合には、（Ａ−Ｂ）が最小となる補正関数Ｘの近傍で（Ｂ−Ｂ’）が最大となる傾向があることが分かっている。これは、定性的には、暈けを修正する能力が高いほど画像Ｂ’が画像Ｂから離れるためと考えられる。但し、この補正関数Ｘとしては、どのようなものであっても上記の結果が得られるというわけではなく、暈けを補正する補正関数およびそのバリエーションに限定される。
【００２４】
また、上述したように、これらの評価関数（フィルタ）は、手ぶれ補正関数としても機能するものである必要がある。
【００２５】
式（１）に示されるような、平均自乗誤差が最大値を記録した評価関数Ｃは、手ぶれ補正処理部１６で手ぶれ補正処理を施すときの手ぶれ補正関数として使用される。
【００２６】
評価関数セット部１３に用意する評価関数の個数が多くなると処理時間が長くなるので、あまり多くの評価関数を用意できない場合には、次のような手法を用いてもよい。すなわち、平均自乗誤差が最も大きい評価関数に加えて、平均自乗誤差が２番目に大きい評価関数を用いて、これらの評価関数間でパラメータ補間を行うことにより、実際には処理（評価）していないパラメータを推定し最適な手ぶれ補正関数として用いてもよい。これにより、処理時間を短縮することが可能となる。
【００２７】
なお、上記のパラメータ補間は、評価関数セット部１３に十分多い評価関数を用意できる場合にも用いてもよい。これにより、手ぶれ補正の精度を高めることが可能となる。
【００２８】
また、上述においては、補正処理を施した後のフレーム適用部と補正処理を施す前のフレーム適用部との間において、平均自乗誤差を算出し手ぶれ評価値として用いる場合について説明したが、フレーム適用部間の平均自乗誤差に限らず、フレーム適用部間の差分の絶対値の和や、フレーム適用部間の内積、フレーム適用部間の相関係数など、フレーム適用部間のデータの近さを表す他の尺度を用いてもよい。
【００２９】
上述したように、図１の評価関数適用部１５は、撮像時間範囲内の各フレームに対して、評価関数を適用することにより出力された結果が最適なもの（上述の例では、平均自乗誤差が最も大きいもの）に対応するフレームを選択することにより最適静止画像を選択するが、このとき、撮像時間範囲内に撮像された全てのフレームは、手ぶれ補正システム１００に内蔵されるメモリーバッファ（図示しない）に記憶されているものとする。
【００３０】
上記のメモリーバッファが十分にない構成の場合には、最後のフレームが評価される時点でメモリーバッファにあるフレームの中で最良の評価値を持つフレームを選択する。また、メモリーバッファが画像１枚分の評価結果しか持てない構成の場合には、最後のフレームを選択する。
【００３１】
図１の手ぶれ補正処理部１６は、評価関数適用部１５で選択された撮像候補フレームに、評価関数適用部１５で選択された最適な手ぶれ補正関数（評価関数）を用いて、手ぶれ補正処理を施す。上述したようなパラメータ補間を行う場合には、最適なパラメータを推定しこれらを設定した手ぶれ補正関数（評価関数）が用いられる。なお、これらのパラメータとしては、上述したように、手ぶれの強さ、手ぶれの方向、または手ぶれの大きさ（画像中での長さ）に関する情報を含めてもよい。
【００３２】
また、図２を用いて上述したように、携帯型撮像装置の撮像デバイスに搭載されるメモリにおいて大きなフレームバッファを構成できない場合には、フィルタ（手ぶれ補正関数すなわち評価関数）を、縦方向のみまたは横方向のみの一次元フィルタとすることも可能である。
【００３３】
手ぶれ補正処理部１６により手ぶれ補正された撮像候補フレームは、図１の撮像フレーム表示部１７に表示される。
【００３４】
このように、本実施の形態に係る携帯型撮像装置は、動画データ撮像部１１において撮像された動画データから、手ぶれの影響が最も小さい最適静止画像を評価関数適用部１５において撮像候補フレームとして選択し、手ぶれ補正処理部１６で手ぶれ補正を施す。従って、特許文献２等に記載の従来の装置に比べて、手ぶれの影響を軽減できるという効果を奏する。
【図面の簡単な説明】
【００３５】
【図１】実施の形態１に係る携帯型撮像装置に搭載可能な手ぶれ補正画像処理システムの概略構成を示すブロック図である。
【図２】実施の形態１に係る携帯型撮像装置において手ぶれの評価および補正を一次元のみに限定した場合の評価関数を示す図である。
【図３】実施の形態１に係る携帯型撮像装置を具現化する一例を示した構成図である。
【図４】実施の形態１に係る携帯型撮像装置において手ぶれの度合いの評価手法を示すイメージ図である。
【符号の説明】
【００３６】
１１ 動画データ撮像部、１２ 撮像タイミング決定部、１３ 評価関数セット部、１４ インターフェース部、１５ 評価関数適用部、１６ 手ぶら補正処理部、１７ 撮像フレーム表示部、３１ ラインメモリ、１００ 手ぶれ補正システム。
【出願人】 【識別番号】５０３１２１１０３
【氏名又は名称】株式会社ルネサステクノロジ
【出願日】 平成１８年７月５日（２００６．７．５）
【代理人】 【識別番号】１０００８９２３３
【弁理士】
【氏名又は名称】吉田 茂明

【識別番号】１０００８８６７２
【弁理士】
【氏名又は名称】吉竹 英俊

【識別番号】１０００８８８４５
【弁理士】
【氏名又は名称】有田 貴弘
【公開番号】 特開２００８−１７１０９（Ｐ２００８−１７１０９Ａ）
【公開日】 平成２０年１月２４日（２００８．１．２４）
【出願番号】 特願２００６−１８５４４５（Ｐ２００６−１８５４４５）