| 【発明の名称】 |
画像データ修復装置、撮像装置、画像データ修復方法、及び画像データ修復プログラム |
| 【発明者】 |
【氏名】岩淵 浩志
|
| 【要約】 |
【課題】ぶれの発生している画像データからぶれの発生していない画像データを復元する処理をメモリ効率良く行うことが可能な方法を提供する。
【構成】被写体を撮像素子１ｂによって撮像して得られた静止画像データＳを、前記撮像時における撮像素子１ｂのＹ方向へのぶれに関するぶれ情報に基づいて修復する方法であって、前記ぶれ情報に基づくぶれがない状態で前記被写体を撮像したときに得られる理想的な画像データＯのＹ方向への広がりをｚ領域で表したぶれ伝達関数Ｈ（ｚ）の逆特性である逆ぶれ伝達関数｛１／Ｈ（ｚ）｝を、複数の伝達関数の掛け算の形に分解するステップ（Ｓ２，Ｓ３）と、静止画像データＳを前記複数の伝達関数の各々で順次演算処理して、理想的な画像データＯを復元するステップ（Ｓ４〜Ｓ７）とを備える。 |
【特許請求の範囲】
【請求項１】
被写体を撮像素子によって撮像して得られた静止画像データを、前記撮像時における前記撮像素子の一次元方向へのぶれに関するぶれ情報に基づいて修復する画像データ修復装置であって、
前記ぶれ情報に基づくぶれがない状態で前記被写体を撮像したときに得られる理想的な画像データの前記一次元方向への広がりをｚ領域で表したぶれ伝達関数Ｈ（ｚ）の逆特性である逆ぶれ伝達関数｛１／Ｈ（ｚ）｝を、複数の伝達関数の掛け算の形に分解する分解手段と、
前記静止画像データを前記複数の伝達関数の各々で順次演算処理して、前記理想的な画像データを復元する復元手段とを備える画像データ修復装置。
【請求項２】
請求項１記載の画像データ修復装置であって、
前記分解手段が、前記逆ぶれ伝達関数｛１／Ｈ（ｚ）｝を、前記理想的な画像データが前記一次元方向へ等速的に広がっている場合に対応する伝達関数と、前記理想的な画像データが前記一次元方向へ非等速的に広がっている場合に対応する伝達関数との積の形に分解する等速・非等速ぶれ伝達関数分解手段と、前記非等速的に広がっている場合に対応する伝達関数を因数分解する因数分解手段とを含む画像データ修復装置。
【請求項３】
請求項１又は２記載の画像データ修復装置と、
前記撮像素子と、
前記撮像素子の出力信号から前記静止画像データを生成する静止画像データ生成手段と、
前記撮像時における前記撮像素子の前記一次元方向へのぶれを検出して前記ぶれ情報を生成するぶれ情報生成手段とを備える撮像装置。
【請求項４】
被写体を撮像素子によって撮像して得られた静止画像データを、前記撮像時における前記撮像素子の一次元方向へのぶれに関するぶれ情報に基づいて修復する画像データ修復方法であって、
前記ぶれ情報に基づくぶれがない状態で前記被写体を撮像したときに得られる理想的な画像データの前記一次元方向への広がりをｚ領域で表したぶれ伝達関数Ｈ（ｚ）の逆特性である逆ぶれ伝達関数｛１／Ｈ（ｚ）｝を、複数の伝達関数の掛け算の形に分解する分解ステップと、
前記静止画像データを前記複数の伝達関数の各々で順次演算処理して、前記理想的な画像データを復元する復元ステップとを備える画像データ修復方法。
【請求項５】
請求項４記載の画像データ修復方法であって、
前記分解ステップが、前記逆ぶれ伝達関数｛１／Ｈ（ｚ）｝を、前記理想的な画像データが前記一次元方向へ等速的に広がっている場合に対応する伝達関数と、前記理想的な画像データが前記一次元方向へ非等速的に広がっている場合に対応する伝達関数との積の形に分解する等速・非等速ぶれ伝達関数分解手段と、前記非等速的に広がっている場合に対応する伝達関数を因数分解する因数分解ステップとを含む画像データ修復方法。
【請求項６】
請求項４又は５記載の画像データ修復方法の各ステップをコンピュータに実行させるための画像データ修復プログラム。
|
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、被写体を撮像素子によって撮像して得られた静止画像データを修復する画像データ修復装置に関する。
【背景技術】
【０００２】
一般に、被写体像を光電変換し、コンピュータ等の演算装置を用いて画像処理を行なう装置がある。この画像処理装置を用いて、撮影時の手ぶれ等により生じた画像の劣化を修復する技術・装置に関して提案されている。このような画像修復処理では、画像の劣化につながる像のある１点のその周辺の像への滲みや広がりを広がり関数として数学的に扱い、演算処理を可能にしている。
【０００３】
例えば、特許文献１には、撮影画像データをフーリエ変換した画像データに対し、時間領域で表される広がり関数をｚ変換した広がり関数を用いて演算処理し、演算処理して得られる画像データを逆フーリエ変換することで、ぶれのない画像データを復元する方法が開示されている。
【０００４】
【特許文献１】特開昭６２−１２７９７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された方法では、ぶれが非常に大きかった場合、ｚ領域で表される広がり関数が複雑となるため、この広がり関数を用いた演算処理も複雑となり、演算処理に使用するメモリも多くなってしまい、メモリ効率が悪い。
【０００６】
本発明は、上記事情に鑑みてなされたものであり、ぶれの発生している画像データからぶれの発生していない画像データを復元する処理をメモリ効率良く行うことが可能な画像データ修復装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像データ修復装置は、被写体を撮像素子によって撮像して得られた静止画像データを、前記撮像時における前記撮像素子の一次元方向へのぶれに関するぶれ情報に基づいて修復する画像データ修復装置であって、前記ぶれ情報に基づくぶれがない状態で前記被写体を撮像したときに得られる理想的な画像データの前記一次元方向への広がりをｚ領域で表したぶれ伝達関数Ｈ（ｚ）の逆特性である逆ぶれ伝達関数｛１／Ｈ（ｚ）｝を、複数の伝達関数の掛け算の形に分解する分解手段と、前記静止画像データを前記複数の伝達関数の各々で順次演算処理して、前記理想的な画像データを復元する復元手段とを備える。
【０００８】
本発明の画像データ修復装置は、前記分解手段が、前記逆ぶれ伝達関数｛１／Ｈ（ｚ）｝を、前記理想的な画像データが前記一次元方向へ等速的に広がっている場合に対応する伝達関数と、前記理想的な画像データが前記一次元方向へ非等速的に広がっている場合に対応する伝達関数との積の形に分解する等速・非等速ぶれ伝達関数分解手段と、前記非等速的に広がっている場合に対応する伝達関数を因数分解する因数分解手段とを含む。
【０００９】
本発明の撮像装置は、前記画像データ修復装置と、前記撮像素子と、前記撮像素子の出力信号から前記静止画像データを生成する静止画像データ生成手段と、前記撮像時における前記撮像素子の前記一次元方向へのぶれを検出して前記ぶれ情報を生成するぶれ情報生成手段とを備える。
【００１０】
本発明の画像データ修復方法は、被写体を撮像素子によって撮像して得られた静止画像データを、前記撮像時における前記撮像素子の一次元方向へのぶれに関するぶれ情報に基づいて修復する画像データ修復方法であって、前記ぶれ情報に基づくぶれがない状態で前記被写体を撮像したときに得られる理想的な画像データの前記一次元方向への広がりをｚ領域で表したぶれ伝達関数Ｈ（ｚ）の逆特性である逆ぶれ伝達関数｛１／Ｈ（ｚ）｝を、複数の伝達関数の掛け算の形に分解する分解ステップと、前記静止画像データを前記複数の伝達関数の各々で順次演算処理して、前記理想的な画像データを復元する復元ステップとを備える。
【００１１】
本発明の画像データ修復方法は、前記分解ステップが、前記逆ぶれ伝達関数｛１／Ｈ（ｚ）｝を、前記理想的な画像データが前記一次元方向へ等速的に広がっている場合に対応する伝達関数と、前記理想的な画像データが前記一次元方向へ非等速的に広がっている場合に対応する伝達関数との積の形に分解する等速・非等速ぶれ伝達関数分解手段と、前記非等速的に広がっている場合に対応する伝達関数を因数分解する因数分解ステップとを含む。
【００１２】
本発明の画像データ修復プログラムは、前記画像データ修復方法の各ステップをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１３】
本発明によれば、ぶれの発生している画像データからぶれの発生していない画像データを復元する処理をメモリ効率良く行うことが可能な画像データ修復装置を提供することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態について図面を参照して説明する。
【００１５】
図１は、本発明の実施形態を説明するための撮像装置の一例である手ぶれ補正機能を有するデジタルカメラの概略構成を示す図である。
図１に示すデジタルカメラ１００は、撮像部１、アナログ信号処理部２、Ａ／Ｄ変換部３、駆動部４、ぶれ検出部５、デジタル信号処理部６、圧縮／伸張処理部７、システム制御部９、内部メモリ１０、メディアインタフェース（Ｉ／Ｆ）１１、記録メディア１２、操作部１３、画像データ修復部６０、及びシステムバス１４を有する。
【００１６】
システムバス１４には、画像データ修復部６０、デジタル信号処理部６、圧縮／伸張処理部７、システム制御部９、内部メモリ１０およびメディアインタフェース１１が接続されている。
【００１７】
撮像部１は、撮影レンズ１ａを含む光学系と、この光学系を通して被写体からの光を受光するＣＣＤ型やＣＭＯＳ型のイメージ（エリア）センサ等の撮像素子１ｂとを含み、被写体を撮影し、その撮像信号（アナログ信号）を出力する。
【００１８】
アナログ信号処理部２は、撮像部１からの撮像信号に対し、所定のアナログ信号処理を施す。Ａ／Ｄ変換部３は、アナログ信号処理部２で信号処理されたアナログ信号をデジタル信号に変換する。
【００１９】
駆動部４は、デジタルカメラ１００が撮影モードに設定されると、システム制御部９から供給される駆動パルスに従って、撮像素子１ｂ、アナログ信号処理部２、Ａ／Ｄ変換部３を駆動する。ここで、撮影モードとは、被写体を撮影し、撮影して得られた撮像信号から生成した画像データを記録可能なモードである。
【００２０】
デジタル信号処理部６は、Ａ／Ｄ変換部３からのデジタル信号に対し、操作部１３で設定された動作モードに応じたデジタル信号処理を行い、撮影画像データを生成する。デジタル信号処理部６におけるデジタル信号処理には、黒レベル補正処理（ＯＢ処理）、リニアマトリクス補正処理、ホワイトバランス調整処理、ガンマ補正処理、同時化処理等が含まれる。このデジタル信号処理部６は、例えばＤＳＰで構成される。デジタル信号処理部６で生成された撮影画像データは、内部メモリ１０に一時記憶される。
【００２１】
圧縮／伸張処理部７は、デジタル信号処理部６で生成された撮影画像データに対して圧縮処理を施すとともに、記録メディア１２から得られた圧縮画像データに対して伸張処理を施す。
【００２２】
内部メモリ１０は、例えばＤＲＡＭからなり、デジタル信号処理部６やシステム制御部９や画像データ修復部６０のワークメモリとして利用される他、記録メディア１２に記録される撮影画像データを一時的に記憶するバッファメモリとして利用される。
【００２３】
メディアインタフェース１１は、メモリカード等の記録メディア１２との間でデータの入出力を行う。操作部１３は、デジタルカメラに対して各種操作を行うものであり、撮影を指示するためのレリーズボタン（図示せず）を含む。
【００２４】
ぶれ検出部５は、システム制御部９からの指示に従って、撮像素子１ｂの撮像（露光）中におけるデジタルカメラ１００のぶれ（撮像素子１ｂのぶれと同義）を検出し、検出したぶれに関するぶれ情報を生成し、ぶれ情報をシステム制御部９に出力する。このぶれ情報は、このぶれ情報を生成した撮像時に得られた撮影画像データと共に、システム制御部９により内部メモリ１０に記録される。ぶれを検出する方法としては、ジャイロスコープや圧電素子等のセンサによってぶれを検出する方法や、露光によって得られた画像データから画像処理によって導出する方法がある。画像処理により導出する方法としては、輪郭のぶれ方向から導出する方法や、ある特定のマークを被写体の一部に入れて撮影してそのマークのぶれから導出する方法等がある。これら、ぶれを検出する方法についてはいずれも公知であるため、説明を省略する。
【００２５】
ぶれ検出部５で生成されるぶれ情報は、例えば、ぶれの方向と、画素数（撮像素子１ｂの光電変換素子の個数と対応）で表されるぶれの大きさと、ぶれの速度とを含む。
【００２６】
システム制御部９は、撮影動作を含むデジタルカメラ１００全体の統括制御を行う。
【００２７】
画像データ修復部６０は、デジタル信号処理部６で生成された静止画撮影時に得られた撮影画像データ（以下、静止画像データという）と、その静止画像データを得るための撮像時にぶれ検出部５で検出して生成されたぶれ情報とに基づいて、当該静止画像データを修復して、ぶれのない状態で撮像して得られた静止画像データを復元する。
【００２８】
ここで、ぶれの発生している静止画像データを修復する方法について説明する。
撮像素子１ｂが全くぶれない状態で被写体を撮像したときにデジタル信号処理部６で生成されるぶれのない理想的な静止画像データＯの模式図を図２（ａ）に示す。静止画像データＯは、垂直方向Ｙに順番に配列された画素データＯ１〜Ｏ１０の１０個の画素データからなる画素データ列が、垂直方向Ｙに直交する水平方向Ｘに多数配列されたもの、又は、水平方向Ｘに配列された多数の画素データからなる画素データ行が、垂直方向Ｙに１０個配列されたものとなっている。
【００２９】
又、図２（ａ）には、撮像中に撮像素子１ｂがＹ方向に向かって２つの光電変換素子分ぶれたときに、撮像素子１ｂの撮影範囲内に新たに入る被写体から得られる２画素データ行分の画素データを画素データＯ１１，Ｏ１２として図示してある。画素データＯ１１，Ｏ１２は、撮像素子１ｂのぶれによって理想的な静止画像データＯの端部（画素データＯ１０）よりもＹ方向外側に広がった画素データを示す。図２（ａ）に示した各画素データ列とそれのＹ方向外側に続く画素データＯ１１と画素データＯ１２と併せた行列表現は、以下の数１に示すような列ベクトル［Ｏ］として表現することができる。
【００３０】
【数１】
【００３１】
一方、撮像素子１ｂがぶれた状態で被写体を撮像したときにデジタル信号処理部６で生成された静止画像データＳの模式図を図２（ｂ）に示す。静止画像データＳは、垂直方向Ｙに順番に配列された画素データＳ１〜Ｓ１０の１０個の画素データからなる画素データ列が、垂直方向Ｙに直交する水平方向Ｘに多数配列されたもの、又は、水平方向Ｘに配列された多数の画素データからなる画素データ行が、垂直方向Ｙに１０個配列されたものとなっている。静止画像データＳの各画素データ列は、以下の数２に示すような列ベクトル[Ｓ]として表現することができる。
【００３２】
【数２】
【００３３】
ここで、静止画像データＳを得るための撮像時において、撮像素子１ｂが、Ｙ方向に向かって２つの光電変換素子分ぶれたものとする。このぶれによる静止画像データＯのＹ方向の広がりをｚ領域で表した点広がり関数Ｈ（ｚ）（以下、ぶれ伝達関数という）の行列表現であるぶれ行列をＨとすると、以下の数３の関係が成立する。
【００３４】
【数３】
【００３５】
最終的に求めたいのは、ぶれのない理想的な静止画像データＯであるため、この静止画像データＯを復元するには、以下の数４で示される演算が必要となる。数４において、Ｗはぶれ行列Ｈの逆行列（伝達関数の表現では、｛１／Ｈ（ｚ）｝）である。
【００３６】
【数４】
【００３７】
数３を見て分かるように、[Ｓ]のデータ数と［Ｏ］のデータ数は異なるため、ぶれ行列Ｈは、１０行×１２列の行列となり、正則になっていない。このため、ぶれ行列Ｈの逆行列を求めることはできない。そこで、ぶれ行列Ｈの擬似逆行列を求め、これをＷとすることで、［Ｏ］の値を求めることができる。このような処理を行って、静止画像データＯの各画素データ列のデータを復元することで、ぶれのない静止画像データを得ることができる。
【００３８】
上述した方法では、ぶれ伝達関数Ｈ（ｚ）をぶれ行列として表現した上で、静止画像データＳとぶれ行列との積により、理想的な静止画像データＯを復元するものとしたが、これ以外に、ぶれ伝達関数Ｈ（ｚ）の逆特性｛１／Ｈ（ｚ）｝を求め、静止画像データＳを｛１／Ｈ（ｚ）｝で演算処理して、理想的な静止画像データＯを復元することも可能である。以下では、ぶれ伝達関数Ｈ（ｚ）の逆特性｛１／Ｈ（ｚ）｝を逆ぶれ伝達関数といい、Ｗ（ｚ）で表す。
【００３９】
静止画像データＳをＷ（ｚ）で演算処理する方法としては、演算処理プログラムにより、フーリエ変換した静止画像データＳに伝達関数がＷ（ｚ）であるフィルタ処理を施し、それにより得られる画像データを逆フーリエ変換する方法と、伝達関数がＷ（ｚ）であるフィルタをハードウェアで設計し、このフィルタに静止画像データＳを入力してフィルタ処理する方法とがある。本発明では、これらのいずれの処理も適用可能である。
【００４０】
図１に示す画像データ修復部６０は、逆ぶれ伝達関数Ｗ（ｚ）を複数の伝達関数Ｗｊ（ｚ）（ｊ＝０，１，２，・・・，Ｌ）の積の形に分解し、静止画像データＳを、該分解して得られた複数の伝達関数Ｗ０（ｚ）〜ＷＬ（ｚ）の各々で順次演算処理していくことで、静止画像データＯを復元する。
【００４１】
以下では、デジタル信号処理部６で生成される静止画像データを、図２（ｂ）に示したものとし、画像データ修復部６０で復元される静止画像データを、図２（ａ）に示したものとして説明する。
【００４２】
図３は、図１に示す画像データ修復部６０の内部構成を示すブロック図である。
画像データ修復部６０は、内部メモリ１０に記録されているぶれ情報に対応するぶれ伝達関数Ｈ（ｚ）の逆特性である逆ぶれ伝達関数Ｗ（ｚ）を設定する逆ぶれ伝達関数設定部６３ａと、逆ぶれ伝達関数Ｗ（ｚ）を、理想的な静止画像データＯがＹ方向へ等速的に広がっている場合に対応する伝達関数（以下、等速ぶれに対応する伝達関数という）と、理想的な静止画像データＯがＹ方向へ非等速的に広がっている場合に対応する伝達関数（以下、非等速ぶれに対応する伝達関数という）との積の形に分解する等速・非等速ぶれ伝達関数分解部６３ｂと、等速・非等速ぶれ伝達関数分解部６３ｂで得られた非等速ぶれに対応する伝達関数を因数分解する因数分解部６３ｃと、等速・非等速ぶれ伝達関数分解部６３ｂで得られた等速ぶれに対応する伝達関数及び因数分解部６３ｃで得られた伝達関数を合わせた伝達関数Ｗｊ（ｚ）の各々で、静止画像データＳを順次演算処理して、理想的な静止画像データＯを復元する復元演算処理部６３ｄとを備える。
【００４３】
逆ぶれ伝達関数設定部６３ａは、内部メモリ１０に記録されているぶれ情報に対応する逆ぶれ伝達関数Ｗ（ｚ）を、該ぶれ情報から生成したり、ぶれ情報毎の逆ぶれ伝達関数Ｗ（ｚ）が記録されている記録媒体から読み出したりして、設定する。ぶれ情報に対応するぶれ伝達関数Ｈ（ｚ）は一般的に以下の数５で表すことができ、その逆特性である逆ぶれ伝達関数Ｗ（ｚ）は一般的に以下の数６で表すことができる。
【００４４】
【数５】
【００４５】
【数６】
【００４６】
例えば、ぶれの方向がＹ方向であり、大きさが２光電変換素子分であり、速度が等速であった場合、逆ぶれ伝達関数W（ｚ）は３／｛（１＋Ｚ−１＋Ｚ−２）｝で表される。尚、本実施形態では、ぶれの方向がＹ方向の場合についてのみ説明する。
【００４７】
等速・非等速ぶれ伝達関数分解部６３ｂと因数分解部６３ｃは、特許請求の範囲の分解手段として機能するものであり、逆ぶれ伝達関数W（ｚ）を複数の伝達関数の積の形に分解する。
【００４８】
等速・非等速ぶれ伝達関数分解部６３ｂは、例えば以下の手順（１）〜（７）により、逆ぶれ伝達関数Ｗ（ｚ）を、デジタルカメラ１００が等速でぶれた場合に対応する伝達関数と非等速でぶれた場合に対応する伝達関数との積の形に分解する。
【００４９】
（１）式１に示す演算を行い、割り切れた場合には、式１の商を関数Ｂｎ（ｚ）とし、割り切れなかった場合には、Ｈ（ｚ）を関数Ｂｎ（ｚ）とする（式２）。又、式１が割り切れた場合には、式１の分母を関数Ｈｎ（ｚ）とし、割り切れなかった場合には、関数Ｈｎ（ｚ）を１とする（式３）。
（２）式４に示す演算を行い、割り切れた場合には、式４の商を関数Ｂｎ−１（ｚ）とし、割り切れなかった場合には、関数Ｂｎ（ｚ）を関数Ｂｎ−１（ｚ）とする（式５）。又、式４が割り切れた場合には、式４の分母を関数Ｈｎ−１（ｚ）とし、割り切れなかった場合には、関数Ｈｎ−１（ｚ）を１とする（式６）。
（３）式７に示す演算を行い、割り切れた場合には、式７の商を関数Ｂｎ−２（ｚ）とし、割り切れなかった場合には、関数Ｂｎ−１（ｚ）を関数Ｂｎ−２（ｚ）とする（式８）。又、式７が割り切れた場合には、式７の分母を関数Ｈｎ−２（ｚ）とし、割り切れなかった場合には、関数Ｈｎ−２（ｚ）を１とする（式９）。
（４）以降、同様の処理を行って、関数Ｈｎ（ｚ）〜関数Ｈ１（ｚ）まで求める。
（５）関数Ｈｎ（ｚ）〜関数Ｈ１（ｚ）は、それぞれ等速ぶれに対応する伝達関数となるため、これらの掛け算した関数でＨ（ｚ）を割ることで、非等速ぶれに対応した伝達関数Ｙ（ｚ）を得る。
（６）ぶれ伝達関数Ｈ（ｚ）を式１０に示す形に分解する。
（７）最後に、式１０の逆数をとって式１１の形に変形することで、逆ぶれ伝達関数Ｗ（ｚ）を等速ぶれに対応した伝達関数と非等速ぶれに対応した伝達関数との積の形に分解する。
【００５０】
【数７】
【００５１】
このように、等速・非等速ぶれ伝達関数分解部６３ｂは、逆ぶれ伝達関数Ｗ（ｚ）を、等速ぶれに対応する伝達関数と、非等速ぶれに対応する伝達関数との積の形に分解することができる。式１０のような分解を行うことで、Ｈｎ〜Ｈ１及びＹ（ｚ）の各々の項数を、数５に示すぶれ伝達関数Ｈ（ｚ）の項数よりも少なくすることができる。このため、後述する復元演算処理を簡素化することが可能となる。
【００５２】
因数分解部６３ｃは、等速・非等速ぶれ伝達関数分解部６３ｂで得られた非等速ぶれに対応する伝達関数｛１／Ｙ（ｚ）｝をfactors関数等によって因数分解して、複数の伝達関数の積の形に分解する。
【００５３】
この結果、逆ぶれ伝達関数W（ｚ）は、等速・非等速ぶれ伝達関数分解部６３ｂで得られた等速ぶれに対応する伝達関数と、因数分解部６３ｃで得られた伝達関数との積の形に分解される。このように、逆ぶれ伝達関数W（ｚ）は、複数の伝達関数の積で表すことができるため、以下の数８の式が成り立つ。Wｊ（ｚ）は分解によって得られた伝達関数である。
【００５４】
【数８】
【００５５】
復元演算処理部６３ｄは、復元処理を行う際に、まず、内部メモリ１０から静止画像データＳの各画素データ列[Ｓ]を読み出し、読み出した画素データ列[Ｓ]の一端の画素データから他端の画素データまで順番に伝達関数Ｗ０（ｚ）で演算処理するといった処理を行って静止画像データＳ０を生成する。静止画像データＳ０を生成した後は、静止画像データＳ０の各画素データ列[Ｓ]を読み出し、読み出した画素データ列[Ｓ]の一端の画素データから他端の画素データまで順番に伝達関数Ｗ１（ｚ）で演算処理するといった処理を行って静止画像データＳ１を生成し、次に、静止画像データＳ１の各画素データ列[Ｓ]を読み出し、読み出した画素データ列[Ｓ]の一端の画素データから他端の画素データまで順番に伝達関数Ｗ２（ｚ）で演算処理するといった処理を行って静止画像データＳ２を生成し、・・・、といった具合に、ｊ＝１，２，３，・・・Ｌとして、伝達関数Ｗｊ−１（ｚ）で演算処理後に得られた静止画像データＳｊ−１を伝達関数Ｗｊ（ｚ）で演算処理することを繰り返して、最終的に静止画像データＯを復元する。
【００５６】
次に、画像データ修復部６０の動作について説明する。
図４は、画像データ修復部６０の動作を説明するためのフローチャートである。
まず、撮像素子１ｂにより撮像が行われると、その撮像中の撮像素子１ｂのぶれに関するぶれ情報が生成され、このぶれ情報が、その撮像により得られる静止画像データＳと対応付けて内部メモリ１０に記録される。
【００５７】
内部メモリ１０に静止画像データＳとぶれ情報が記録された後、画像データ修復部６０は、内部メモリ１０に記録されたぶれ情報にしたがって逆ぶれ伝達関数Ｗ（ｚ）を設定する（ステップＳ１）。
【００５８】
次に、画像データ修復部６０は、逆ぶれ伝達関数Ｗ（ｚ）を等速ぶれに対応する伝達関数と非等速ぶれに対応する伝達関数との積の形に分解し（ステップＳ２）、分解して得られた非等速ぶれに対応する伝達関数を因数分解して、数６で示した式の右辺を導出する（ステップＳ３）。
【００５９】
次に、画像データ修復部６０は、ｊ＝０とし、内部メモリ１０に記録された静止画像データＳの各画素データ列[Ｓ]を読み出し、読み出した画素データ列[Ｓ]を伝達関数Ｗ０（ｚ）で演算処理して、静止画像データＳ０（ｚ）を生成する（ステップＳ４）。
【００６０】
次に、画像データ修復部６０は、ｊを（ｊ＋１）に変更し（ステップＳ５）、伝達関数Ｗｊ−１（ｚ）で演算処理後に得られた静止画像データＳｊ−１を伝達関数Ｗｊ（ｚ）で演算処理する（ステップＳ６）。
【００６１】
次に、画像データ修復部６０は、ｊ＝Ｌとなっているか判定し（ステップＳ７）、ｊ≠Ｌであった場合（ステップＳ７：ＮＯ）は、処理をステップＳ５に移行する。一方、ｊ＝Ｌであった場合（ステップＳ７：ＹＥＳ）は、静止画像データＯの全画素データ列の復元が完了されていると判断し、画像データ修復処理を終了する。内部メモリ１０に記録された静止画像データＯは、圧縮／伸張処理部７で圧縮された後、記録メディア１２に記録される。
【００６２】
以上のように、本実施形態の画像データ修復部６０によれば、ぶれ情報に対応した逆ぶれ伝達関数を、複数の伝達関数の積の形に分解し、修復対象となる静止画像データＳを、この複数の伝達関数で順次演算処理することで静止画像データＯを復元することができる。この複数の伝達関数は、これらを掛け合わせた逆ぶれ伝達関数に比べてシンプルなものとなっているため、個々の演算処理をメモリを多量に使用することなく、容易に実現することができる。又、個々の伝達関数がシンプルであるため、演算処理をハードウェアのフィルタによって実現する場合でも、そのフィルタ設計が容易となる。
【００６３】
尚、以上の説明では、逆ぶれ伝達関数Ｗ（ｚ）を複数の伝達関数の積の形に分解するために、逆ぶれ伝達関数Ｗ（ｚ）を等速ぶれ伝達関数と非等速ぶれ伝達関数との積の形に分解し、非等速ぶれ伝達関数を更に因数分解する手順を踏んでいるが、逆ぶれ伝達関数Ｗ（ｚ）を直接因数分解して、複数の伝達関数の積の形に分解する方法を採用することも可能である。
【００６４】
又、上述した実施形態の画像データ修復部６０は、コンピュータを画像データ修復部６０内の各部として機能させるための画像データ修復プログラム、又は、図４に示した画像データ修復部６０の各処理ステップをコンピュータに実行させるための画像データ修復プログラムを、デジタルカメラに搭載されている演算処理装置等のコンピュータ（例えば、デジタル信号処理部６やシステム制御部９）が実行することでも実現できる。又、デジタルカメラ等から得られた静止画像データＳとそれに対応するぶれ情報を、そのままパーソナルコンピュータの内部メモリに取り込み、上記の画像データ修復プログラムをこのコンピュータが実行することで、このコンピュータを画像データ修復部６０として機能させることも可能である。
【図面の簡単な説明】
【００６５】
【図１】本発明の実施形態を説明するための手ぶれ補正機能を有するデジタルカメラの概略構成を示す図
【図２】ぶれの発生している静止画像データを修復する方法を説明するための図
【図３】図１に示す画像データ修復部の内部構成を示すブロック図
【図４】図１に示す画像データ修復部の動作を説明するためのフローチャート
【符号の説明】
【００６６】
１ 撮像部
２ アナログ信号処理部
３ Ａ／Ｄ変換部
４ 駆動部
５ ぶれ検出部
６ デジタル信号処理部
７ 圧縮／伸張処理部
９ システム制御部
１０ 内部メモリ
１１ メディアインタフェース
１２ 記録メディア
１３ 操作部
１４ システムバス
６０ 画像データ修復部
６３ａ 逆ぶれ伝達関数設定部
６３ｂ 等速・非等速ぶれ伝達関数分解部
６３ｃ 因数分解部
６３ｄ 復元演算処理部
|
| 【出願人】 |
【識別番号】３０６０３７３１１
【氏名又は名称】富士フイルム株式会社
|
| 【出願日】 |
平成１８年９月１日（２００６．９．１） |
| 【代理人】 |
【識別番号】１００１１５１０７
【弁理士】
【氏名又は名称】高松 猛
【識別番号】１００１３２９８６
【弁理士】
【氏名又は名称】矢澤 清純
|
| 【公開番号】 |
特開２００８−６１１０３（Ｐ２００８−６１１０３Ａ） |
| 【公開日】 |
平成２０年３月１３日（２００８．３．１３） |
| 【出願番号】 |
特願２００６−２３７８５９（Ｐ２００６−２３７８５９） |
|