トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 画像データ修復装置、撮像装置、画像データ修復方法、及び画像データ修復プログラム
【発明者】 【氏名】岩淵 浩志
【要約】 【課題】ぶれの発生している画像データからぶれの発生していない画像データを復元する処理を、安価な構成で且つ高速に行うことが可能な方法を提供する。

【構成】撮像素子のＹ方向のぶれ情報に基づいて修復する画像データ修復部６０は、撮像素子により撮像して得られた、Ｙ方向に並ぶ多数の画素データからなる画素データ列がＹ方向と直交する方向に多数配列された静止画像画素データ列の各々に対し、ＩＩＲフィルタ処理を施して、前記ぶれ情報に基づくぶれがない状態で被写体を撮像したときに得られる理想的な画像データを復元するＩＩＲフィルタ処理部６３ｄと、ＩＩＲフィルタのフィルタ係数をぶれ情報にしたがって設定するフィルタ係数設定部６３ｂと、ＩＩＲフィルタの初期値を、各画素データ列にしたがって設定する初期値設定部６３ｃとを備える。
【特許請求の範囲】
【請求項１】
被写体を撮像素子によって撮像して得られた静止画像データを、前記撮像時における前記撮像素子の一次元方向へのぶれに関するぶれ情報に基づいて修復する画像データ修復装置であって、
前記静止画像データは、前記一次元方向に並ぶ多数の画素データからなる画素データ列が前記一次元方向と直交する方向に多数配列された構成であり、
前記多数の画素データ列の各々に対し、当該画素データ列に対応したＩＩＲ（Infinite Impulse Response）フィルタ処理を施して、前記ぶれ情報に基づくぶれがない状態で前記被写体を撮像したときに得られる理想的な画像データを復元する復元手段と、
前記各画素データ列に対応したＩＩＲフィルタ処理に用いるＩＩＲフィルタのフィルタ係数を前記ぶれ情報にしたがって設定するフィルタ係数設定手段と、
前記各画素データ列に対応したＩＩＲフィルタ処理に用いるＩＩＲフィルタの初期値を、前記各画素データ列にしたがって設定する初期値設定手段とを備える画像データ修復装置。
【請求項２】
請求項１記載の画像データ修復装置であって、
前記復元手段は、前記各画素データ列の一端の画素データから他端の画素データまで順番に前記ＩＩＲフィルタ処理を施し、
前記フィルタ初期値設定手段は、前記各画素データ列に対応したＩＩＲフィルタ処理に用いるＩＩＲフィルタの初期値を、当該各画素データ列の一端の画素データの値に設定する画像データ修復装置。
【請求項３】
請求項１又は２記載の画像データ修復装置であって、
前記ＩＩＲフィルタがハードウェアで実現されている画像データ修復装置。
【請求項４】
請求項１〜３のいずれか１項記載の画像データ修復装置と、
前記撮像素子と、
前記撮像素子の出力信号から前記静止画像データを生成する静止画像データ生成手段と、
前記撮像時における前記撮像素子の前記一次元方向へのぶれを検出して前記ぶれ情報を生成するぶれ情報生成手段とを備える撮像装置。
【請求項５】
被写体を撮像素子によって撮像して得られた静止画像データを、前記撮像時における前記撮像素子の一次元方向へのぶれに関するぶれ情報に基づいて修復する画像データ修復方法であって、
前記静止画像データは、前記一次元方向に並ぶ多数の画素データからなる画素データ列が前記一次元方向と直交する方向に多数配列された構成であり、
前記多数の画素データ列の各々に対し、当該画素データ列に対応したＩＩＲ（Infinite Impulse Response）フィルタ処理を施して、前記ぶれ情報に基づくぶれがない状態で前記被写体を撮像したときに得られる理想的な画像データを復元する復元ステップと、
前記復元ステップの前に、前記各画素データ列に対応したＩＩＲフィルタ処理に用いるＩＩＲフィルタのフィルタ係数を前記ぶれ情報にしたがって設定するフィルタ係数設定ステップと、
前記復元ステップの前に、前記各画素データ列に対応したＩＩＲフィルタ処理に用いるＩＩＲフィルタの初期値を、前記各画素データ列にしたがって設定する初期値設定ステップとを備える画像データ修復方法。
【請求項６】
請求項５記載の画像データ修復方法であって、
前記復元ステップでは、前記各画素データ列の一端の画素データから他端の画素データまで順番に前記ＩＩＲフィルタ処理を施し、
前記フィルタ初期値設定ステップでは、前記各画素データ列に対応したＩＩＲフィルタ処理に用いるＩＩＲフィルタの初期値を、当該各画素データ列の一端の画素データの値に設定する画像データ修復方法。
【請求項７】
請求項５又は６記載の画像データ修復方法であって、
前記ＩＩＲフィルタがハードウェアで実現されている画像データ修復方法。
【請求項８】
請求項５〜７のいずれか１項記載の画像データ修復方法の各ステップをコンピュータに実行させるための画像データ修復プログラム。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、被写体を撮像素子によって撮像して得られた静止画像データを修復する画像データ修復装置に関する。
【背景技術】
【０００２】
一般に、被写体像を光電変換し、コンピュータ等の演算装置を用いて画像処理を行なう装置がある。この画像処理装置を用いて、撮影時の手ぶれ等により生じた画像の劣化を修復する技術・装置に関して提案されている。このような画像修復処理では、画像の劣化につながる像のある１点のその周辺の像への滲みや広がりを広がり関数として数学的に扱い、演算処理を可能にしている。
【０００３】
例えば、特許文献１には、広がり関数の行列表現であるぶれ行列の擬似逆行列を、不足データを外挿することにより求め、この擬似逆行列とぶれのある画像データとの掛け算により、ぶれのない画像データを復元する方法が開示されている。
【０００４】
【特許文献１】特開平６−１１８４６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された方法のように、ぶれのない画像データを復元するには、ぶれ行列の擬似逆行列を求める必要がある。擬似逆行列を求めるには、不足データを外挿することでぶれ行列の近似行列を生成し、この近似行列の逆行列を求めるといった手順を踏む必要がある。この逆行列を求める方法には、Gauss-Jordan法、LU分解による方法、特異値分解（SVD）による方法等がある。しかし、これらの方法はいずれも計算量が多く、メモリも消費するといった課題がある。
【０００６】
本発明は、上記事情に鑑みてなされたものであり、ぶれの発生している画像データからぶれの発生していない画像データを復元する処理を、安価な構成で且つ高速に行うことが可能な画像データ修復装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像データ修復装置は、被写体を撮像素子によって撮像して得られた静止画像データを、前記撮像時における前記撮像素子の一次元方向へのぶれに関するぶれ情報に基づいて修復する画像データ修復装置であって、前記静止画像データは、前記一次元方向に並ぶ多数の画素データからなる画素データ列が前記一次元方向と直交する方向に多数配列された構成であり、前記多数の画素データ列の各々に対し、当該画素データ列に対応したＩＩＲ（Infinite Impulse Response）フィルタ処理を施して、前記ぶれ情報に基づくぶれがない状態で前記被写体を撮像したときに得られる理想的な画像データを復元する復元手段と、前記各画素データ列に対応したＩＩＲフィルタ処理に用いるＩＩＲフィルタのフィルタ係数を前記ぶれ情報にしたがって設定するフィルタ係数設定手段と、前記各画素データ列に対応したＩＩＲフィルタ処理に用いるＩＩＲフィルタの初期値を、前記各画素データ列にしたがって設定する初期値設定手段とを備える。
【０００８】
本発明の画像データ修復装置は、前記復元手段が、前記各画素データ列の一端の画素データから他端の画素データまで順番に前記ＩＩＲフィルタ処理を施し、前記フィルタ初期値設定手段は、前記各画素データ列に対応したＩＩＲフィルタ処理に用いるＩＩＲフィルタの初期値を、当該各画素データ列の一端の画素データの値に設定する。
【０００９】
本発明の画像データ修復装置は、前記ＩＩＲフィルタがハードウェアで実現されている。
【００１０】
本発明の撮像装置は、前記画像データ修復装置と、前記撮像素子と、前記撮像素子の出力信号から前記静止画像データを生成する静止画像データ生成手段と、前記撮像時における前記撮像素子の前記一次元方向へのぶれを検出して前記ぶれ情報を生成するぶれ情報生成手段とを備える。
【００１１】
本発明の画像データ修復方法は、被写体を撮像素子によって撮像して得られた静止画像データを、前記撮像時における前記撮像素子の一次元方向へのぶれに関するぶれ情報に基づいて修復する画像データ修復方法であって、前記静止画像データは、前記一次元方向に並ぶ多数の画素データからなる画素データ列が前記一次元方向と直交する方向に多数配列された構成であり、前記多数の画素データ列の各々に対し、当該画素データ列に対応したＩＩＲ（Infinite Impulse Response）フィルタ処理を施して、前記ぶれ情報に基づくぶれがない状態で前記被写体を撮像したときに得られる理想的な画像データを復元する復元ステップと、前記復元ステップの前に、前記各画素データ列に対応したＩＩＲフィルタ処理に用いるＩＩＲフィルタのフィルタ係数を前記ぶれ情報にしたがって設定するフィルタ係数設定ステップと、前記復元ステップの前に、前記各画素データ列に対応したＩＩＲフィルタ処理に用いるＩＩＲフィルタの初期値を、前記各画素データ列にしたがって設定する初期値設定ステップとを備える。
【００１２】
本発明の画像データ修復方法は、前記復元ステップでは、前記各画素データ列の一端の画素データから他端の画素データまで順番に前記ＩＩＲフィルタ処理を施し、前記フィルタ初期値設定ステップでは、前記各画素データ列に対応したＩＩＲフィルタ処理に用いるＩＩＲフィルタの初期値を、当該各画素データ列の一端の画素データの値に設定する。
【００１３】
本発明の画像データ修復方法は、前記ＩＩＲフィルタがハードウェアで実現されている。
【００１４】
本発明の画像データ修復プログラムは、前記画像データ修復方法の各ステップをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１５】
本発明によれば、ぶれの発生している画像データからぶれの発生していない画像データを復元する処理を、安価な構成で且つ高速に行うことが可能な画像データ修復装置を提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態について図面を参照して説明する。
【００１７】
図１は、本発明の実施形態を説明するための撮像装置の一例である手ぶれ補正機能を有するデジタルカメラの概略構成を示す図である。
図１に示すデジタルカメラ１００は、撮像部１、アナログ信号処理部２、Ａ／Ｄ変換部３、駆動部４、ぶれ検出部５、デジタル信号処理部６、圧縮／伸張処理部７、システム制御部９、内部メモリ１０、メディアインタフェース（Ｉ／Ｆ）１１、記録メディア１２、操作部１３、画像データ修復部６０、及びシステムバス１４を有する。
【００１８】
システムバス１４には、画像データ修復部６０、デジタル信号処理部６、圧縮／伸張処理部７、システム制御部９、内部メモリ１０およびメディアインタフェース１１が接続されている。
【００１９】
撮像部１は、撮影レンズ１ａを含む光学系と、この光学系を通して被写体からの光を受光するＣＣＤ型やＣＭＯＳ型のイメージ（エリア）センサ等の撮像素子１ｂとを含み、被写体を撮影し、その撮像信号（アナログ信号）を出力する。
【００２０】
アナログ信号処理部２は、撮像部１からの撮像信号に対し、所定のアナログ信号処理を施す。Ａ／Ｄ変換部３は、アナログ信号処理部２で信号処理されたアナログ信号をデジタル信号に変換する。
【００２１】
駆動部４は、デジタルカメラ１００が撮影モードに設定されると、システム制御部９から供給される駆動パルスに従って、撮像素子１ｂ、アナログ信号処理部２、Ａ／Ｄ変換部３を駆動する。ここで、撮影モードとは、被写体を撮影し、撮影して得られた撮像信号から生成した画像データを記録可能なモードである。
【００２２】
デジタル信号処理部６は、Ａ／Ｄ変換部３からのデジタル信号に対し、操作部１３で設定された動作モードに応じたデジタル信号処理を行い、撮影画像データを生成する。デジタル信号処理部６におけるデジタル信号処理には、黒レベル補正処理（ＯＢ処理）、リニアマトリクス補正処理、ホワイトバランス調整処理、ガンマ補正処理、同時化処理等が含まれる。このデジタル信号処理部６は、例えばＤＳＰで構成される。デジタル信号処理部６で生成された撮影画像データは、内部メモリ１０に一時記憶される。
【００２３】
圧縮／伸張処理部７は、デジタル信号処理部６で生成された撮影画像データに対して圧縮処理を施すとともに、記録メディア１２から得られた圧縮画像データに対して伸張処理を施す。
【００２４】
内部メモリ１０は、例えばＤＲＡＭからなり、デジタル信号処理部６やシステム制御部９や画像データ修復部６０のワークメモリとして利用される他、記録メディア１２に記録される撮影画像データを一時的に記憶するバッファメモリとして利用される。
【００２５】
メディアインタフェース１１は、メモリカード等の記録メディア１２との間でデータの入出力を行う。操作部１３は、デジタルカメラに対して各種操作を行うものであり、撮影を指示するためのレリーズボタン（図示せず）を含む。
【００２６】
ぶれ検出部５は、システム制御部９からの指示に従って、撮像素子１ｂの撮像（露光）中におけるデジタルカメラ１００のぶれ（撮像素子１ｂのぶれと同義）を検出し、検出したぶれに関するぶれ情報を生成し、ぶれ情報をシステム制御部９に出力する。このぶれ情報は、このぶれ情報を生成した撮像時に得られた撮影画像データと共に、システム制御部９により内部メモリ１０に記録される。ぶれを検出する方法としては、ジャイロスコープや圧電素子等のセンサによってぶれを検出する方法や、露光によって得られた画像データから画像処理によって導出する方法がある。画像処理により導出する方法としては、輪郭のぶれ方向から導出する方法や、ある特定のマークを被写体の一部に入れて撮影してそのマークのぶれから導出する方法等がある。これら、ぶれを検出する方法についてはいずれも公知であるため、説明を省略する。
【００２７】
ぶれ検出部５で生成されるぶれ情報は、例えば、ぶれの方向と、画素数（撮像素子１ｂの光電変換素子の個数と対応）で表されるぶれの大きさと、ぶれの速度とを含む。
【００２８】
システム制御部９は、撮影動作を含むデジタルカメラ１００全体の統括制御を行う。
【００２９】
画像データ修復部６０は、デジタル信号処理部６で生成された静止画撮影時に得られた撮影画像データ（以下、静止画像データという）と、その静止画像データを得るための撮像時にぶれ検出部５で検出して生成されたぶれ情報とに基づいて、当該静止画像データを修復して、ぶれのない状態で撮像して得られた静止画像データを復元する。
【００３０】
ここで、ぶれの発生している静止画像データを修復する方法について説明する。
撮像素子１ｂが全くぶれない状態で被写体を撮像したときにデジタル信号処理部６で生成されるぶれのない理想的な静止画像データＯの模式図を図２（ａ）に示す。静止画像データＯは、垂直方向Ｙに順番に配列された画素データＯ１〜Ｏ１０の１０個の画素データからなる画素データ列が、垂直方向Ｙに直交する水平方向Ｘに多数（ｍ個）配列されたもの、又は、水平方向Ｘに配列された多数の画素データからなる画素データ行が、垂直方向Ｙに１０個配列されたものとなっている。
【００３１】
又、図２（ａ）には、撮像中に撮像素子１ｂがＹ方向に向かって２つの光電変換素子分ぶれたときに、撮像素子１ｂの撮影範囲内に新たに入る被写体から得られる２画素データ行分の画素データを画素データＯ１１，Ｏ１２として図示してある。画素データＯ１１，Ｏ１２は、撮像素子１ｂのぶれによって理想的な静止画像データＯの端部（画素データＯ１０）よりもＹ方向外側に広がった画素データを示す。図２（ａ）に示した各画素データ列とそれのＹ方向外側に続く画素データＯ１１と画素データＯ１２と併せた行列表現は、以下の数１に示すような列ベクトル［Ｏ］として表現することができる。
【００３２】
【数１】


【００３３】
一方、撮像素子１ｂがぶれた状態で被写体を撮像したときにデジタル信号処理部６で生成された静止画像データＳの模式図を図２（ｂ）に示す。静止画像データＳは、垂直方向Ｙに順番に配列された画素データＳ１〜Ｓ１０の１０個の画素データからなる画素データ列が、垂直方向Ｙに直交する水平方向Ｘに多数（ｍ個）配列されたもの、又は、水平方向Ｘに配列された多数の画素データからなる画素データ行が、垂直方向Ｙに１０個配列されたものとなっている。静止画像データＳの各画素データ列は、以下の数２に示すような列ベクトル[Ｓ]ｎ（ｎ＝１，２，３，・・・，ｍ）として表現することができる。
【００３４】
【数２】


【００３５】
ここで、静止画像データＳを得るための撮像時において、撮像素子１ｂが、Ｙ方向に向かって２つの光電変換素子分ぶれたものとする。このぶれによる静止画像データＯのＹ方向の広がりをｚ領域で表した点広がり関数（以下、ぶれ伝達関数という）の行列表現であるぶれ行列をＨとすると、以下の数３の関係が成立する。
【００３６】
【数３】


【００３７】
最終的に求めたいのは、ぶれのない理想的な静止画像データＯであるため、この静止画像データＯを復元するには、以下の数４で示される演算が必要となる。数４において、Ｗはぶれ行列Ｈの逆行列である。
【００３８】
【数４】


【００３９】
数３を見て分かるように、[Ｓ]ｎのデータ数と［Ｏ］のデータ数は異なるため、ぶれ行列Ｈは、１０行×１２列の行列となり、正則になっていない。このため、ぶれ行列Ｈの逆行列を求めることはできない。そこで、ぶれ行列Ｈの擬似逆行列を求め、これをＷとすることで、［Ｏ］の値を求めることができる。このような処理を行って、静止画像データＯの各画素データ列のデータを復元することで、ぶれのない静止画像データを得ることができる。このようにして復元された静止画像データＯを以下では復元画像データＯともいう。以下では、上記Ｗのことを、静止画像データＯを復元するための行列であることから、復元行列という。
【００４０】
本実施形態のデジタルカメラ１００に搭載される画像データ修復部６０は、復元行列Ｗを用いることなく、復元画像データＯを復元する機能を有する。
【００４１】
以下では、デジタル信号処理部６で生成される静止画像データを、図２（ｂ）に示したものとし、画像データ修復部６０で復元される静止画像データを、図２（ａ）に示したものとして説明する。
【００４２】
図３は、図１に示す画像データ修復部６０の内部構成を示すブロック図である。
画像データ修復部６０は、内部メモリ１０に記録されているぶれ情報に対応するぶれ伝達関数を設定するぶれ伝達関数設定部６３ａと、静止画像データＳの画素データ列[Ｓ]ｎに対し、その画素データ列[Ｓ]ｎに対応したＩＩＲフィルタ処理を施して、静止画像データＯを復元するＩＩＲフィルタ処理部６３ｄと、ＩＩＲフィルタ処理部６３ｄでのＩＩＲフィルタ処理に用いるＩＩＲフィルタのフィルタ係数を設定するフィルタ係数設定部６３ｂと、ＩＩＲフィルタ処理部６３ｄでのＩＩＲフィルタ処理に用いるＩＩＲフィルタの初期値を設定する初期値設定部６３ｃとを備える。
【００４３】
ぶれ伝達関数設定部６３ａは、内部メモリ１０に記録されているぶれ情報に対応するぶれ伝達関数Ｈ（ｚ）を、該ぶれ情報から生成したり、ぶれ情報毎のぶれ伝達関数Ｈ（ｚ）が記録されている記録媒体から読み出したりして、設定する。例えば、ぶれの方向がＹ方向であり、大きさが２光電変換素子分であり、速度が等速であった場合、ぶれ伝達関数Ｈ（ｚ）は｛（１＋Ｚ−１＋Ｚ−２）／３｝で表される。本実施形態では、ぶれの方向がＹ方向の場合についてのみ説明する。
【００４４】
ＩＩＲフィルタ処理部６３ｄは、内部メモリ１０から静止画像データＳの画素データ列[Ｓ]ｎを読み出し、読み出した画素データ列[Ｓ]ｎの一端の画素データから他端の画素データまで順番にＩＩＲフィルタ処理を施して、静止画像データＯを復元する。このＩＩＲフィルタ処理は、ハードウェアで実現したＩＩＲフィルタ回路を用いて行っても良いし、ソフトウェアで実現したＩＩＲフィルタプログラムを用いて行っても良い。
【００４５】
図４は、ＩＩＲフィルタ処理部６３ｄの具体的な構成例を示すブロック図である。ここでは、ハードウェアで実現したＩＩＲフィルタ回路でＩＩＲフィルタ処理を行う場合について説明する。
【００４６】
ＩＩＲフィルタ処理部６３ｄは、直列接続されたｐ（ｐは、デジタルカメラ１００において発生しうる手振れの大きさの最大値）個の加算器Ｋｑ（ｑ＝１〜ｐ）と、直列接続されたｐ個の遅延バッファＢｑと、乗算器Ｊ０と、ｐ個の乗算器Ｊｑとを備えるＩＩＲフィルタ回路で構成される。
【００４７】
加算器Ｋｑは、加算器Ｋｐ，Ｋｐ−１，・・・，Ｋ２，Ｋ１の順に接続され、加算器Ｋｐの入力は入力端子ＩＮに接続され、加算器Ｋ１の出力は、フィルタ係数（１／ａ０）を乗算する乗算器Ｊ０を介して出力端子Ｏｕｔに接続されている。
【００４８】
遅延バッファＢｑは、遅延バッファＢ１，Ｂ２，・・・，Ｂｐ−１，Ｂｐの順に接続され、遅延バッファＢ１の入力は出力端子Ｏｕｔに接続され、遅延バッファＢｐの出力は加算器Ｋｐの入力に接続されている。
【００４９】
遅延バッファＢｑの出力と、加算器Ｋｑの入力との間には、フィルタ係数（−ａｑ）を乗算する乗算器Ｊｑが接続されている。
【００５０】
図４に示すＩＩＲフィルタ回路のフィルタ係数（１／ａ０），（−ａｑ）は、フィルタ係数設定部６３ｂにより設定される。図４に示すＩＩＲフィルタ回路の初期値（図４に示す入力端子ＩＮにデータを入力する前に遅延バッファＢｑに予め記憶させておく値）は、初期値設定部６３ｃにより、画素データ列[Ｓ]１〜[Ｓ]ｍの各々にしたがった値に設定される。
【００５１】
フィルタ係数設定部６３ｂは、ぶれ伝達関数設定部６３ａで設定されたぶれ伝達関数Ｈ（ｚ）に応じて、フィルタ係数（１／ａ０），（−ａｑ）を設定する。ぶれ伝達関数Ｈ（ｚ）の逆特性である逆ぶれ伝達関数Ｈ’（ｚ）は、一般に以下の数５で表すことができる。
【００５２】
【数５】


【００５３】
例えば、ぶれ伝達関数Ｈ（ｚ）が｛（１＋Ｚ−１＋Ｚ−２）／３｝であった場合、数５におけるＬの値は２となり、ａ０，ａ１，ａ２の値はそれぞれ（１／３）となるため、フィルタ係数設定部６３ｂは、図４に示すＩＩＲフィルタ回路において、ａ０，ａ１，ａ２の値をそれぞれ（１／３）に設定し、ａ３〜ａｐの値を０に設定する。このようにすることで、図４に示すＩＩＲフィルタ回路が、逆ぶれ伝達関数Ｈ’（ｚ）に相当するものとなる。又、逆ぶれ伝達関数Ｈ’（ｚ）は、上述した復元行列Ｗに相当するため、図４に示すＩＩＲフィルタ回路で静止画像データＳをＩＩＲフィルタ処理することで、静止画像データＯを復元することが可能となる。
【００５４】
初期値設定部６３ｃは、内部メモリ１０に記録されている画素データ列[Ｓ]ｎにＩＩＲフィルタ処理を施すための図４に示すＩＩＲフィルタ回路の初期値を、その画素データ列[Ｓ]ｎの一端の画素データの値に設定する。
【００５５】
例えば、画素データ列[Ｓ]ｎを、画素データＳ１０から画素データＳ１までの順番で図４に示すＩＩＲフィルタ回路の入力端子ＩＮに入力するものとすると、初期値設定部６３ｃは、その画素データ列[Ｓ]ｎにＩＩＲフィルタ処理を施すための図４に示すＩＩＲフィルタ回路の初期値を、その画素データ列[Ｓ]ｎの画素データＳ１０の値に設定する。
【００５６】
又は、画素データ列[Ｓ]ｎを、画素データＳ１から画素データＳ１０までの順番で図４に示すＩＩＲフィルタ回路の入力端子ＩＮに入力するものとすると、初期値設定部６３ｃは、その画素データ列[Ｓ]ｎにＩＩＲフィルタ処理を施すための図４に示すＩＩＲフィルタ回路の初期値を、その画素データ列[Ｓ]ｎの画素データＳ１の値に設定する。
【００５７】
ＩＩＲフィルタ処理部６３ｄは、フィルタ係数設定部６３ｂでフィルタ係数が設定され、初期値設定部６３ｃで画素データ列[Ｓ]ｎにしたがった初期値が設定された図４に示すＩＩＲフィルタ回路の入力端子ＩＮに、画素データ列[Ｓ]ｎを一端から他端まで順番に入力してＩＩＲフィルタ処理を行って、静止画像データＯを復元する。初期値設定部６３ｃとＩＩＲフィルタ処理部６３ｄは、上記ｎの値を１からｍまで変化させていくことで、静止画像データＯの全画素データ列を復元する。
【００５８】
次に、画像データ修復部６０の動作について説明する。
図５は、画像データ修復部６０の動作を説明するためのフローチャートである。
まず、撮像素子１ｂにより撮像が行われると、その撮像中の撮像素子１ｂのぶれに関するぶれ情報が生成され、このぶれ情報が、その撮像により得られる静止画像データＳと対応付けて内部メモリ１０に記録される。
【００５９】
内部メモリ１０に静止画像データＳとぶれ情報が記録された後、画像データ修復部６０は、内部メモリ１０に記録されたぶれ情報にしたがってぶれ伝達関数を設定し（ステップＳ１）、このぶれ伝達関数から図４に示すＩＩＲフィルタ回路のフィルタ係数を設定する（ステップＳ２）。
【００６０】
次に、画像データ修復部６０は、内部メモリ１０に記録された静止画像データＳの画素データ列[Ｓ]１に対応する初期値を設定する（ステップＳ３）。初期値が設定されると、その初期値設定に用いた画素データ列[Ｓ]１に対し、ステップＳ２で設定されたフィルタ係数とステップＳ３で設定された初期値にしたがってＩＩＲフィルタ処理を実行し、静止画像データＯの１つの画素データ列を復元し（ステップＳ４）、復元した画素データ列を内部メモリ１０に記録する。
【００６１】
次に、画像データ修復部６０は、ｎ＝ｍとなっているか判定し（ステップＳ５）、ｎ≠ｍであった場合（ステップＳ５：ＮＯ）は、ｎ＝ｎ＋１として（ステップＳ６）、処理をステップＳ３に移行する。一方、ｎ＝ｍであった場合（ステップＳ５：ＹＥＳ）は、静止画像データＯの全画素データ列の復元が完了されていると判断し、画像データ修復処理を終了する。内部メモリ１０に記録された静止画像データＯは、圧縮／伸張処理部７で圧縮された後、記録メディア１２に記録される。
【００６２】
以上のように、本実施形態の画像データ修復部６０によれば、復元行列Ｗを生成することなく、ぶれ伝達関数によってフィルタ係数を設定し、画素データ列の端部の画素データによって初期値を設定したＩＩＲフィルタ回路によるＩＩＲフィルタ処理によって、復元画像データＯを生成することができる。このため、復元行列Ｗを求めていた従来に比べて、メモリ使用量や計算量を減らすことができ、又、データの逐次処理が可能となる。したがって、画像データの復元処理を低消費電力且つ高速且つ低コストで行うことができる。
【００６３】
又、本実施形態の画像データ修復部６０によれば、ＩＩＲフィルタ処理を図４に示すようなＩＩＲフィルタ回路によって実現することで、図４に示した遅延バッファＢｐを出力メモリとして利用することもでき、デジタルカメラ１００の小型化が可能となる。
【００６４】
又、本実施形態の画像データ修復部６０によれば、特許文献１に開示された方法のように、データを外挿することで発生しまうノイズをなくすことができるため、画質劣化を抑制しながら、ぶれの発生してない静止画像データＯを復元することができ、信頼性の高い手ぶれ補正機能を備えたデジタルカメラを提供することが可能となる。
【００６５】
尚、上述した実施形態の画像データ修復部６０は、コンピュータを画像データ修復部６０内の各部として機能させるための画像データ修復プログラム、又は、図５に示した画像データ修復部６０の各処理ステップをコンピュータに実行させるための画像データ修復プログラムを、デジタルカメラに搭載されている演算処理装置等のコンピュータ（例えば、デジタル信号処理部６やシステム制御部９）が実行することでも実現できる。又、デジタルカメラ等から得られた静止画像データＳとそれに対応するぶれ情報を、そのままパーソナルコンピュータの内部メモリに取り込み、上記の画像データ修復プログラムをこのコンピュータが実行することで、このコンピュータを画像データ修復部６０として機能させることも可能である。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施形態を説明するための手ぶれ補正機能を有するデジタルカメラの概略構成を示す図
【図２】ぶれの発生している静止画像データを修復する方法を説明するための図
【図３】図１に示す画像データ修復部の内部構成を示すブロック図
【図４】図３に示すＩＩＲフィルタ処理部の内部構成を示すブロック図
【図５】図１に示す画像データ修復部の動作を説明するためのフローチャート
【符号の説明】
【００６７】
１ 撮像部
２ アナログ信号処理部
３ Ａ／Ｄ変換部
４ 駆動部
５ ぶれ検出部
６ デジタル信号処理部
７ 圧縮／伸張処理部
９ システム制御部
１０ 内部メモリ
１１ メディアインタフェース
１２ 記録メディア
１３ 操作部
１４ システムバス
６０ 画像データ修復部
６３ａ ぶれ伝達関数設定部
６３ｂ フィルタ係数設定部
６３ｃ 初期値設定部
６３ｄ ＩＩＲフィルタ処理部
【出願人】 【識別番号】３０６０３７３１１
【氏名又は名称】富士フイルム株式会社
【出願日】 平成１８年９月１日（２００６．９．１）
【代理人】 【識別番号】１００１１５１０７
【弁理士】
【氏名又は名称】高松 猛

【識別番号】１００１３２９８６
【弁理士】
【氏名又は名称】矢澤 清純
【公開番号】 特開２００８−６１１０２（Ｐ２００８−６１１０２Ａ）
【公開日】 平成２０年３月１３日（２００８．３．１３）
【出願番号】 特願２００６−２３７８５８（Ｐ２００６−２３７８５８）