トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 画像修復方法、画像修復プログラム、及び、画像修復装置
【発明者】 【氏名】岩淵 浩志
【要約】 【課題】画像処理の処理負担の軽減し、また、処理時間の短縮できる画像修復方法、画像修復プログラム及び画像修復装置を提供する。

【構成】ブレ画像におけるブレの１次元方向を設定し、設定された１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出し、ブレ特性情報のインパルス応答を算出し、該インパルス応答に基づいてブレ特性情報の種類を分類する、または、ブレ特性情報の逆数で表される逆ブレ特性関数を因数分解することで、前記ブレ特性情報の種類を分類する。
【特許請求の範囲】
【請求項１】
被写体像のブレ画像を修復する画像修復方法であって、
前記ブレ画像におけるブレの１次元方向を設定し、設定された前記１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出し、前記ブレ特性情報のインパルス応答を算出し、該インパルス応答に基づいて前記ブレ特性情報の種類を分類することを特徴とする画像修復方法。
【請求項２】
被写体像のブレ画像を修復する画像修復方法であって、
前記ブレ画像におけるブレの１次元方向を設定し、設定された前記１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出し、前記点広がり関数の逆関数で表される逆ブレ特性関数を因数分解することで、前記ブレ特性情報の種類を分類することを特徴とする画像修復方法。
【請求項３】
前記逆ブレ特性関数が、画素の位置情報を示す所定値の多項式で表され、前記所定値にかかるそれぞれの係数が０か否かを判別した後、前記係数の値の大小関係を検出し、前記ブレ特性情報の種類を分類することを特徴とする請求項２に記載の画像修復方法。
【請求項４】
被写体像のブレ画像を修復する画像修復プログラムであって、
前記ブレ画像におけるブレの１次元方向を設定し、設定された前記１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出するステップと、前記ブレ特性情報のインパルス応答を算出するステップと、該インパルス応答に基づいて前記ブレ特性情報の種類を分類するステップを有することを特徴とする画像修復プログラム。
【請求項５】
被写体像のブレ画像を修復する画像修復プログラムであって、
前記ブレ画像におけるブレの１次元方向を設定し、設定された前記１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出するステップと、前記点広がり関数の逆関数で表される逆ブレ特性関数を因数分解することで、前記ブレ特性情報の種類を分類するステップとを有することを特徴とする画像修復プログラム。
【請求項６】
前記逆ブレ特性関数が、画素の位置情報を示す所定値の多項式で表され、前記所定値にかかるそれぞれの係数が０か否かを判別した後、前記係数の値の大小関係を検出し、前記ブレ特性情報の種類を分類するステップを有することを特徴とする請求項５に記載の画像修復プログラム。
【請求項７】
被写体像のブレ画像を修復する画像修復装置であって、
前記ブレ画像におけるブレの１次元方向を設定し、設定された前記１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出する手段と、前記ブレ特性情報のインパルス応答を算出する手段と、該インパルス応答に基づいて前記ブレ特性情報の種類を分類する手段を有することを特徴とする画像修復装置。
【請求項８】
被写体像のブレ画像を修復する画像修復装置であって、
前記ブレ画像におけるブレの１次元方向を設定し、設定された前記１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出する手段と、前記点広がり関数の逆関数で表される逆ブレ特性関数を因数分解することで、前記ブレ特性情報の種類を分類する手段とを有することを特徴とする画像修復装置。
【請求項９】
前記逆ブレ特性関数が、画素の位置情報を示す所定値の多項式で表され、前記ブレ特性情報のインパルス応答において、前記所定値にかかるそれぞれの係数が０か否かを判別した後、前記係数の値の大小関係を検出する手段と、前記ブレ特性情報の種類を分類する手段とを有することを特徴とする請求項８に記載の画像修復装置。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、画像修復方法、画像修復プログラム、及び、画像修復装置に関し、具体的には撮像時にブレを含むブレ画像をフィルタ処理によって該ブレ画像を修復する画像修復方法、画像修復プログラム及び画像修復装置に関する。
【背景技術】
【０００２】
一般に、デジタルカメラやデジタルビデオカメラなどの撮像装置は、人物や風景などの被写体像を撮像し、デジタル画像を出力、記憶、または、表示する。デジタル画像は、コンピュータ等の演算装置を用いて、ユーザの要求する画像に近い画像へ変換するための画像処理を施される。例えば、デジタル画像の取得後において、撮像時に手ブレ等により生じたブレを含むブレ画像に所定の画像処理を施すことで修復している。このようなブレ画像を画像処理を用いて修復する技術としては、例えば下記特許文献に示すものが提案されている。
【０００３】
ブレ画像を修復する手法としては、被写体像を撮像した撮像データからブレ情報を検出し、ブレの大きさや方向によりブレ画像を修復するための復元関数で表されるフィルタを用いて、ブレ画像に含まれるブレを仮想的に除去することでブレのない画像を生成するための画像処理を行っている。
【０００４】
【特許文献１】特開昭６２−１２７９７６号公報
【特許文献２】特開平３−１５９４８２号公報
【特許文献３】特開平６−１１８４６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、ブレ画像を修復する際には、ブレの影響が及ぶ画素の範囲の広さに比例して、複雑なフィルタ処理が必要となり、画像処理を実行するコンピュータにおいて処理負担が増大してしまう点や、処理にかかる時間が長くなる点で改善の余地があった。
【０００６】
本発明は、上記事情に鑑みてなされたもので、その目的は、画像処理の処理負担の軽減し、また、処理時間の短縮できる画像修復方法、画像修復プログラム及び画像修復装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の上記目的は、下記構成によって達成される。
（１）被写体像のブレ画像を修復する画像修復方法であって、
前記ブレ画像におけるブレの１次元方向を設定し、設定された前記１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出し、前記ブレ特性情報のインパルス応答を算出し、該インパルス応答に基づいて前記ブレ特性情報の種類を分類することを特徴とする画像修復方法。
（２）被写体像のブレ画像を修復する画像修復方法であって、
前記ブレ画像におけるブレの１次元方向を設定し、設定された前記１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出し、前記点広がり関数の逆関数で表される逆ブレ特性関数を因数分解することで、前記ブレ特性情報の種類を分類することを特徴とする画像修復方法。
（３）前記逆ブレ特性関数が、画素の位置情報を示す所定値の多項式で表され、前記所定値にかかるそれぞれの係数が０か否かを判別した後、前記係数の値の大小関係を検出し、前記ブレ特性情報の種類を分類することを特徴とする上記（２）に記載の画像修復方法。
（４）被写体像のブレ画像を修復する画像修復プログラムであって、
前記ブレ画像におけるブレの１次元方向を設定し、設定された前記１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出するステップと、前記ブレ特性情報のインパルス応答を算出するステップと、該インパルス応答に基づいて前記ブレ特性情報の種類を分類するステップを有することを特徴とする画像修復プログラム。
（５）被写体像のブレ画像を修復する画像修復プログラムであって、
前記ブレ画像におけるブレの１次元方向を設定し、設定された前記１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出するステップと、前記点広がり関数の逆関数で表される逆ブレ特性関数を因数分解することで、前記ブレ特性情報の種類を分類するステップとを有することを特徴とする画像修復プログラム。
（６）前記逆ブレ特性関数が、画素の位置情報を示す所定値の多項式で表され、前記所定値にかかるそれぞれの係数が０か否かを判別した後、前記係数の値の大小関係を検出し、前記ブレ特性情報の種類を分類するステップを有することを特徴とする上記（５）に記載の画像修復プログラム。
（７）被写体像のブレ画像を修復する画像修復装置であって、
前記ブレ画像におけるブレの１次元方向を設定し、設定された前記１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出する手段と、前記ブレ特性情報のインパルス応答を算出する手段と、該インパルス応答に基づいて前記ブレ特性情報の種類を分類する手段を有することを特徴とする画像修復装置。
（８）被写体像のブレ画像を修復する画像修復装置であって、
前記ブレ画像におけるブレの１次元方向を設定し、設定された前記１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出する手段と、前記点広がり関数の逆関数で表される逆ブレ特性関数を因数分解することで、前記ブレ特性情報の種類を分類する手段とを有することを特徴とする画像修復方法。
（９）前記逆ブレ特性関数が、画素の位置情報を示す所定値の多項式で表され、前記ブレ特性情報のインパルス応答において、前記所定値にかかるそれぞれの係数が０か否かを判別した後、前記係数の値の大小関係を検出する手段と、前記ブレ特性情報の種類を分類する手段とを有することを特徴とする上記（８）に記載の画像修復装置。
【０００８】
本発明にかかる画像修復方法は、ブレによる画像の点広がり関数で表されるブレ特性情報を用いるとともに、該ブレ特性情報のインパルス応答を取得することで、フィルタの種類を判別するものである。また、ブレ特性情報の逆数で表される逆ブレ特性関数を因数分解することで、フィルタの種類を判別するものであり、逆ブレ特性関数に含まれている係数の値を判別することで、逆ブレ特性関数を数学的手法で解くことができるか否かを判別することができる。そして、逆ブレ特性関数を数学的手法で解くことができる場合には、一次元方向に沿って方程式を解くことができ、このときのブレ特性情報を用いてフィルタ処理を行うことが適正であると判断できる。逆ブレ特性関数を数学的手法で解くことができない場合には、上記一次元方向に沿って方程式を解くことができないものとし、そのときのブレ特性情報を用いてフィルタ処理を行うことが不適正であると判断できる。
【発明の効果】
【０００９】
本発明によれば、画像処理の処理負担の軽減し、また、処理時間の短縮できる画像修復方法、画像修復プログラム及び画像修復装置を提供できる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態を図面に基づいて詳しく説明する。
図１は、本発明にかかる撮像システムを説明する図である。撮像システム１０は、被写体像１１を、レンズ１３を介して固体撮像素子やＣＭＯＳ型の半導体素子などの撮像センサ１４に撮像する撮像装置１２を備えている。撮像センサ１４によって取得された画像信号が画像処理部１５に出力される。
【００１１】
画像処理部１５によって所定の画像処理を行った後、画像処理された画像信号が他の処理装置に出力され、または、ディスプレイ等の表示装置に表示され、または、メモリ等の記憶部に記憶される。
【００１２】
本実施形態は、撮像時にユーザの手ブレ等に起因して生じるブレを含むブレ画像に所定の画像処理を施すことで修復するものである。
【００１３】
図２は、ブレ画像の復元を概略的に説明する図である。被写体像を撮像する表示装置の画素配列に対応させてなる原画として表した場合に、原画を構成する画素のうち複数（図２においては３個）の画素からの光が、撮像した像の一つの画素に受光されることにより当該画素においてブレとなる。図２の場合では、原画の３画素分の光が撮像した像を構成する画素のうちの一つに受光しているため、図中上下方向において、３画素分のブレが生じたものとすることができる。図２において、図中上下方向をブレが発生している方向と規定しており、本発明におけるブレ画像の修復においては、ブレの方向を所定の１次元方向に設定し、その１次元方向におけるブレ量に基づいて後述する処理を施している。
【００１４】
本実施形態では、このブレが生じたブレ画像に対して、ブレの１次元方向に基づいて、ブレによる画像の点広がり関数で表れるブレ特性情報を算出し、当該ブレ特性情報をブレのフィルタとして用いてブレ画像をフィルタリングする復元処理を施すことによって、ブレのない復元画像を生成する。
【００１５】
撮像した画像とブレの無い理想的な画像との関係を説明する。
撮像した画像をＳとし、ブレの無い理想的な画像をＯとし、ブレの状態を表す点広がり関数（ブレフィルタともいう。）をＨとしたとき、以下式（１）の関係が成立する。
Ｓ＝Ｈ×Ｏ ・・・式（１）
【００１６】
上記式（１）を、画像を構成する画素単位に対応するように行列で表現すると、ＳとＯは画素の列ベクトルで表示することができる。つまり、以下式（２）のようにＯを求めることで、ブレの無い画像を復元することができる。
【００１７】
Ｏ＝Ｗ×Ｓ ・・・式（２）
ここで、Ｗ＝１／Ｈとし、Ｗを逆ブレ特性（補正行列）とする。
【００１８】
点広がり関数Ｈは、被写体像の露光中に外部センサ（例えば、ジャイロスコープや圧電素子など）によってブレ検出により求める方法や、撮像された画像データから画像処理により導出する方法がある。画像処理により点広がり関数Ｈを導出する方法では、画像中の輪郭（エッジ）のブレ方向から導出する方法や画像の一部に所定のマークを規定し、当該マークを基準としてときのブレの状態から導出する方法がある。
【００１９】
ブレ情報は、ブレの位置を画素間隔単位に量子化し、また、その位置における光の強度も量子化することでデジタル信号処理として取り扱うことができる。ブレが一次元方向に等速で生じている場合には、ブレ範囲内において光の強度差が存在しないことに相当するため、一定の強度とすることができる。
【００２０】
図３は、ブレ画像の平面視を示す図である。図３では、ブレ画像における任意の画素Ｚ０に着目し、矢印Ｘ方向をブレの一次元方向としたときの状態を示している。このとき、Ｚ0に３画素分のブレが生じているとき、画素Ｚ0における１画素分のブレをＺ-1とし、２画素分のブレＺ-2とすると、ブレの特性を示す点広がり関数Ｈ（Ｚ）を下記式（３）で表すことができる。
【００２１】
Ｈ（Ｚ）＝（１+Z-1+Z-2）/3 ・・・式（３）
【００２２】
原画に対して上記広がり関数Ｈを用いてフィルタ処理することでブレを除去し、ブレのない復元画像を生成することができる。広がり関数Ｈは、ブレを除去するためのフィルタとしての機能を有していることから、ブレフィルタとも呼ばれる。
【００２３】
また、点広がり関数Ｈは、画像を構成する画素単位に対応するように行列で表現すると下記式（４）で表すことができる。
【００２４】
【数１】


【００２５】
次に、上式（４）の点広がり関数Ｈの正則行列を求めるため、本実施形態では、Ｈに外挿を行う。本実施形態の外装は、復元画像の外側の部分の全ての画素が、ブレ画像の端の部分の画素と同じとなると仮定し、目標とする正則行列に対して数が超える行数又は列数を正則行列の中に補完するものである。
【００２６】
本実施形態では、式（４）に示す点広がり関数Ｈの１０行×１２列の行列のうち１１列目と１２列目とを１０列目に外挿している。こうして、下記式（５）に示すように、点広がり関数Ｈの近似行列Ｆを求めることができる。
【００２７】
【数２】


【００２８】
次に、下記式（６）に示すように、近似行列Ｆの逆行列Ｗを求める。
【００２９】
【数３】


【００３０】
上記逆行列Ｗは、ブレ画像に施すことで復元画像を得るための補正行列として機能する。
次に、補正行列Ｗと原画との違いを数値的に確認するため、行列Ｗと行列Ｆとの積を算出する。行列Ｗと行列Ｆとを積算することで、下記式（７）に示す行列を得ることができる。
【００３１】
【数４】


【００３２】
上記式（７）の行列に着目すると、各行の１１〜１３列の値がブレ補正により発生したノイズを示しており、３行ごとに周期性を有している。ここで、一次元方向のブレがｎ画素分のずれがある場合には、ｎ行ごとに周期性を有する。
【００３３】
このような周期的なノイズに基づいて、復元画像上でサンプリング処理することで、（サンプリング数）×（ノイズ成分）＋（原画のサンプリングデータ）を得ることができる。そして、（原画のサンプリングデータ）の代わりに、（ブレ画像のサンプリングデータ）を使用することで、周期的なノイズを各画素から削除でき、より改善された画質を得ることができる。
【００３４】
ここで、以下の式に示すように、原画に対して上下の一次元方向にブレが生じたブレ画像のブレ特性関数（以下、単に、フィルタともいう。）を仮定する。
【００３５】
【数５】


【００３６】
そして、上記式（８）において、Ｚから順に、Ｚ-1、Ｚ-2の解を算出したときの式を下記式（９−１）から（９−３）に示す。
【００３７】
【数６】


【００３８】
すると、下記式（９−１）から（９−３）に示すように、下方向に向かってＯにかかる係数が大きくなる。この場合、使用したフィルタによれば、式（９−１）から（９−３）の上から下の方向に向かって計算すると、解が収束しない。また、式（８）の係数によっては、上から下の方向に向かって計算すると、解が収束するものがある。さらに、フィルタは、以下の４つに分類することができる。
（i）上から下方向に入力すると収束するもの
（ii）下から上方向に入力すると収束するもの
（iii）収束する方向のないもの
（iv）座標をずらすことで原画と一致するもの
【００３９】
本発明においては、これらフィルタの種類を判別し、収束する方向があるものはその方向に従ってフィルタ処理し、収束する方向のないものは、上述するように、一次元方向に等速のブレが生じた場合の画像修復を行うものとする。
【００４０】
次に本発明にかかる画像復元方法の手順を説明する。
図４は、画像復元処理の手順示すフローチャートである。最初に、ブレ画像におけるブレの１次元方向を設定し、設定された１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出する。
そして、算出されたブレ特性情報のインパルス応答の収束を判定し、この結果に基づいて、フィルタの種類の判別を実行する。
【００４１】
次に、本実施形態のインパルス応答について説明する。上記式（６）に見られる行列Ｗにおいて、各行は所定のパターンを有しており、例えば、第１行目の値を決定することで、他の行の値を決定することができる。第１行目の規則は、逆特性のインパルス応答列となっている。
【００４２】
逆特性である１／Ｈ（Ｚ）のインパルス応答列を導出する方法は、所定の入力値を逆フィルタに入力することにより得ることができる。図５は、逆フィルタのシグナルフローを示す図である。なお、逆フィルタＷ（＝１／Ｈ（Ｚ））は、以下式で示すものとする。
【００４３】
【数７】


【００４４】
インパルス応答列は、Ｚ-1の初期値を全て０とし、入力値（1,0,0,0,0…）を入力することによりインパルス応答列が出力される。
【００４５】
本実施形態では、出力されたインパルス応答列の収束を調べることで、フィルタの上記種類を分類する。
【００４６】
フィルタの種類の分類の手法としては、上記のように、ブレ特性情報のインパルス応答に基づいて判別する方法のほかに、後述するように、ブレ特性情報の関数を因数分解によって算出することも可能である。
【００４７】
具体的には、ブレ特性情報を示す点広がり関数の逆関数（本実施形態では、逆ブレフィルタともいう。）を因数分解し、その結果に基づいてフィルタ処理を判定する手法を用いることができる。
【００４８】
図６から図９は、逆ぶれフィルタに基づいてフィルタの種類の分類を判定する手順を示すフロー図である。
最初に、ブレ画像におけるブレの１次元方向を設定し、この設定された１次元方向に基づいて、ブレ特性情報を算出する。そして、このブレ特性情報の逆ブレフィルタ（逆ブレ特性関数）を求める。ここで、逆ブレフィルタは、下記式で示すものとする。
【００４９】
【数８】


【００５０】
本実施形態では、逆ブレフィルタが、画素の位置情報を示す所定値の多項式で表され、所定値にかかるそれぞれの係数が０か否かを判別した後、係数の値の大小関係を検出し、ブレ特性情報（ブレフィルタ）の種類を分類するものである。以下、具体的に、説明する。
【００５１】
まず、図６に示すように、逆ブレフィルタの係数bj0，bj1，bj2のうち、いずれか２つが０か否かを判定する。ここで、係数bj0，bj1，bj2のうち、いずれか２つが０の場合には、さらに、係数bj0が０となるか否かを判定する。係数bj0が０の場合には、係数bj1が０となるか否かを判定する。係数bj1が０の場合には、係数bj2が０となるか否かを判定する。
【００５２】
係数bj0が０とはならない場合には、逆ブレフィルタを係数bj0で割ることで因数分解する。係数bj1が０とはならない場合には、ブレ画像の座標を１つ進ませ、係数bj1で割ることで因数分解する。係数bj2が０とはならない場合には、ブレ画像の座標を２つ進ませ、係数bj2で割ることで因数分解する。逆ブレフィルタを因数分解した後、判定を行うフローを終了する。
【００５３】
逆ブレフィルタの係数bj0，bj1，bj2のうち、いずれか２つが０とならない場合には、図７に示すように、係数bj2が０となるか否かの判定を行う。係数bj2が０となる場合には、続いて、係数bj0と係数bj1とのそれぞれの絶対値が等しいか否かを判定する。係数bj0と係数bj1とのそれぞれの絶対値が等しくない場合には、係数bj0の絶対値が係数bj1の絶対値より大きいか否かを判定する。係数bj0の絶対値が係数bj1の絶対値より大きくない場合には、係数bj0の絶対値が係数bj1の絶対値より小さいと判定する。
【００５４】
ここで、係数bj0と係数bj1とのそれぞれの絶対値が等しい場合には、フィルタの収束する方向のないフィルタと判定する。係数bj0の絶対値が係数bj1の絶対値より大きい場合には、現在の方向で収束するフィルタと判定する。係数bj0の絶対値が係数bj1の絶対値より小さい場合には、現在の方向に対して逆の方向で収束するフィルタと判定する。このように、係数bj0と係数bj1とのそれぞれの絶対値の大小によってフィルタの種類の分類を行った後、判定を行うフローを終了する。
【００５５】
係数bj2が０ではないと判定された場合には、続いて、係数bj1が０か否かを判定する。そして、係数bj1が０の場合に、係数bj0と係数bj2とのそれぞれの絶対値が等しいか否かを判定する。係数bj0と係数bj2とのそれぞれの絶対値が等しくない場合には、係数bj0の絶対値が係数bj2の絶対値より大きいか否かを判定する。係数bj0の絶対値が係数bj2の絶対値より大きくない場合には、係数bj0の絶対値が係数bj2の絶対値より小さいと判定する。
【００５６】
ここで、係数bj0と係数bj2とのそれぞれの絶対値が等しい場合には、フィルタの収束する方向のないフィルタと判定する。係数bj0の絶対値が係数bj2の絶対値より大きい場合には、現在の方向で収束するフィルタと判定する。係数bj0の絶対値が係数bj2の絶対値より小さい場合には、現在の方向に対して逆の方向で収束するフィルタと判定する。このように、係数bj0と係数bj2とのそれぞれの絶対値の大小によってフィルタの種類の分類を行った後、判定を行うフローを終了する。
【００５７】
一方で、係数bj1が０とならない場合に、係数bj1と係数bj2とのそれぞれの絶対値が等しいか否かを判定する。係数bj1と係数bj2とのそれぞれの絶対値が等しくない場合には、係数bj1の絶対値が係数bj2の絶対値より大きいか否かを判定する。係数bj1の絶対値が係数bj2の絶対値より大きくない場合には、係数bj1の絶対値が係数bj2の絶対値より小さいと判定する。ここで、係数bj1と係数bj2とのそれぞれの絶対値が等しい場合には、フィルタの収束する方向のないフィルタと判定する。係数bj1の絶対値が係数bj2の絶対値より大きい場合には、現在の方向で収束するフィルタと判定する。係数bj1の絶対値が係数bj2の絶対値より小さい場合には、現在の方向に対して逆の方向で収束するフィルタと判定する。このように、係数bj1と係数bj2とのそれぞれの絶対値の大小によってフィルタの種類の分類を行った後、判定を行うフローを終了する。
【００５８】
なお、上記のフローとは別に、逆ブレフィルタが下記式となる場合がある。
【００５９】
【数９】


【００６０】
逆ブレフィルタが上記式となる場合には、ブレ画像の座標をｋ個進ませて、係数bj0を掛ける。その後、フィルタの分類を判定する処理を終了する。
【００６１】
上記実施形態では、フィルタを分類し、収束する方向を特定し、その収束する方向に従ってブレ画像をフィルタ処理をすることで画像復元処理にかかる処理量を低減させることができる。また、フィルタを分類した結果、収束する方向がないブレ画像については、一次元方向に等速のブレが生じた場合の画像修復を行う。
【００６２】
本発明は、被写体像のブレ画像を修復する画像修復プログラムであって上記画像修復方法を実行するものであってもよい。すなわち、画像修復プログラムは、ブレ画像におけるブレの１次元方向を設定し、設定された１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出するステップと、ブレ特性情報のインパルス応答を算出するステップと、該インパルス応答に基づいてブレ特性情報の種類を分類するステップを有するものである。
【００６３】
また、画像修復プログラムは、ブレ画像におけるブレの１次元方向を設定し、設定された１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出するステップと、点広がり関数の逆関数で表される逆ブレ特性関数を因数分解することで、ブレ特性情報の種類を分類するステップとを有する。
【００６４】
本発明にかかる画像修復プログラムは、演算処理装置によって実行することで可能であり、例えば、デジタルカメラに内蔵された演算部やパーソナルコンピュータの中央処理装置によって実行することができる。
【００６５】
本発明は、被写体像のブレ画像を修復する画像修復装置とすることができる。画像修復装置は、ブレ画像におけるブレの１次元方向を設定し、設定された１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出する手段と、ブレ特性情報のインパルス応答を算出する手段と、該インパルス応答に基づいて前記ブレ特性情報の種類を分類する手段を有する構成とする。
【００６６】
また、本発明にかかる画像修復装置は、ブレ画像におけるブレの１次元方向を設定し、設定された前記１次元方向に基づいて、ブレによる画像の点広がり関数で表されるブレ特性情報を算出する手段と、点広がり関数の逆関数で表される逆ブレ特性関数を因数分解することで、ブレ特性情報の種類を分類する手段とを有する構成とすることができる。
【００６７】
画像修復装置は、例えば、図１に示す構成において、画像処理部１５において各手段を実行することができる。
【図面の簡単な説明】
【００６８】
【図１】本発明にかかる撮像システムを説明する図である。
【図２】ブレ画像の復元を概略的に説明する図である。
【図３】ブレ画像の平面視を示す図である。
【図４】画像復元処理の手順示すフローチャートである。
【図５】逆フィルタのシグナルフローを示す図である。
【図６】逆ぶれフィルタに基づいてフィルタの種類の分類を判定する手順を示すフロー図である。
【図７】逆ぶれフィルタに基づいてフィルタの種類の分類を判定する手順を示すフロー図である。
【図８】逆ぶれフィルタに基づいてフィルタの種類の分類を判定する手順を示すフロー図である。
【図９】図６〜８に示すフローとは別の手順を示すフロー図である。
【符号の説明】
【００６９】
１０ 撮像システム
１１ 被写体像
１３ レンズ
１４ 撮像センサ
１５ 画像処理部
【出願人】 【識別番号】３０６０３７３１１
【氏名又は名称】富士フイルム株式会社
【出願日】 平成１８年９月１日（２００６．９．１）
【代理人】 【識別番号】１００１１５１０７
【弁理士】
【氏名又は名称】高松 猛

【識別番号】１００１３２９８６
【弁理士】
【氏名又は名称】矢澤 清純
【公開番号】 特開２００８−６１１０４（Ｐ２００８−６１１０４Ａ）
【公開日】 平成２０年３月１３日（２００８．３．１３）
【出願番号】 特願２００６−２３７８６０（Ｐ２００６−２３７８６０）