| 【発明の名称】 |
画像処理装置および方法、記録媒体、並びにプログラム |
| 【発明者】 |
【氏名】西 亨 【住所又は居所】東京都品川区北品川6丁目7番35号 ソニー株式会社内
【氏名】上田 和彦 【住所又は居所】東京都品川区北品川6丁目7番35号 ソニー株式会社内
【氏名】浅野 光康 【住所又は居所】東京都品川区北品川6丁目7番35号 ソニー株式会社内
|
| 【要約】 |
【課題】撮像ボケに起因する画像劣化(ボケ画像)を抑制することで、フレームレート変換後の映像をより一段と鮮明に表示させることができるようにする。
【解決手段】高フレームレート変換部11は、入力された動画像に対して高フレームレート変換処理を施す。撮像ボケ抑制処理部13は、動画像を構成する複数のフレームのそれぞれについて、撮像ボケ特性検出部12により検出された撮像ボケの特性を示すパラメータの値のうちの処理対象のフレームに対応する1以上の値に基づいて、処理対象のフレームを構成する各画素値を補正する。これにより、入力時に比べて高フレームレート動画像であって、撮像ボケが抑制されるように各画素値が適切に補正された動画像が出力されるのである。本発明は、テレビジョンシステムに適用可能である。 |
【特許請求の範囲】
【請求項1】 所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置において、 前記動画像におけるアクセスユニットのレートを、現在の第1のレートからそれよりも高い第2のレートに変換する高レート変換処理を実行する高レート変換手段と、 前記動画像を構成する複数のアクセスユニットのそれぞれについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を1以上検出する検出手段と、 前記高レート変換手段による前記高レート変換処理が実行される前または後に、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記検出手段により検出された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正手段と を備えることを特徴とする画像処理装置。 【請求項2】 前記第1のレートは、前記撮影装置により前記動画像が撮影されたときのアクセスユニットのレートである ことを特徴とする請求項1に記載の画像処理装置。 【請求項3】 前記検出手段は、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの少なくとも1つの画素における移動ベクトルのそれぞれを、前記パラメータの値として検出する ことを特徴とする請求項1に記載の画像処理装置。 【請求項4】 前記検出手段は、前記動画像を構成する複数の前記アクセスユニットのそれぞれが前記撮影装置により撮影されたときの前記撮影装置のシャッタ速度のそれぞれを、前記パラメータの値として検出する ことを特徴とする請求項1に記載の画像処理装置。 【請求項5】 前記補正手段は、 前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、 前記検出手段により検出された1以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換手段と、 前記フィルタ特性変換手段により特性が変換された前記ローパスフィルタの逆フィルタを生成する逆フィルタ生成手段と、 処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記逆フィルタ生成手段により生成された前記逆フィルタをかけることで、前記注目画素の画素値を補正するフィルタリング手段と を有することを特徴とする請求項1に記載の画像処理装置。 【請求項6】 前記補正手段は、 前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、 前記検出手段により検出された1以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換手段と、 処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記フィルタ特性変換手段により特性が変換された前記ローパスフィルタをかけ、その結果得られる前記注目画素の補正された画素値を第1の値として出力するフィルタリング手段と、 前記注目画素の補正前の画素値と、前記フィルタリング手段から出力された前記第1の値との差分を演算し、その結果得られる差分値を第2の値として出力する減算手段と、 前記減算手段から出力された前記第2の値を、前記注目画素の補正前の前記画素値に加算し、その結果得られる加算値を、前記注目画素の補正後の画素値として出力する加算手段と を有することを特徴とする請求項1に記載の画像処理装置。 【請求項7】 前記補正手段は、 前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、 処理対象の前記アクセスユニットのうちの、前記注目画素を含む所定の方向に連続して並ぶ画素群に対応する第1の画像信号が順次入力され、入力された前記第1の画像信号を、N画素分(Nは1以上の整数値)に対応する第1の遅延時間だけ遅延させ、その結果得られる第2の画像信号を出力する第1の遅延手段と、 第1の遅延手段から出力された前記第2の画像信号が順次入力され、入力された前記第2の画像信号を、M画素分(Mは、Nを含む1以上の整数値)に対応する第2の遅延時間だけ遅延させ、その結果得られる第3の画像信号を出力する第2の遅延手段と、 前記第1の遅延手段に入力された前記第1の画像信号、前記第1の遅延手段から出力されて前記第2の遅延手段に入力された前記第2の画像信号、および、前記第2の遅延手段から出力された前記第3の画像信号を利用して、前記注目画素の画素値を補正する画素値補正手段と、 前記検出手段により検出された前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記第1の遅延手段の前記第1の遅延時間を変更するとともに、前記第2の遅延手段の前記第2の遅延時間を変更する遅延時間変更手段と を有することを特徴とする請求項1に記載の画像処理装置。 【請求項8】 前記第1のレートは30Hzであり、前記第2のレートは120Hzである ことを特徴とする請求項1に記載の画像処理装置。 【請求項9】 前記第1のレートは60Hzであり、前記第2のレート120Hzである ことを特徴とする請求項1に記載の画像処理装置。 【請求項10】 前記第1のレートは60Hzであり、前記第2のレートは240Hzである ことを特徴とする請求項1に記載の画像処理装置。 【請求項11】 前記第1のレートは50Hzであり、前記第2のレートは100Hzである ことを特徴とする請求項1に記載の画像処理装置。 【請求項12】 前記第1のレートは50Hzであり、前記第2のレートは200Hzである ことを特徴とする請求項1に記載の画像処理装置。 【請求項13】 所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置の画像処理方法において、 前記動画像におけるアクセスユニットのレートを、現在の第1のレートからそれよりも高い第2のレートに変換する高レート変換処理を実行する高レート変換ステップと、 前記動画像を構成する複数のアクセスユニットのそれぞれについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を1以上検出する検出ステップと、 前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記検出ステップの処理により検出された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップと を含むことを特徴とする画像処理方法。 【請求項14】 前記第1のレートは、前記撮影装置により前記動画像が撮影されたときのアクセスユニットのレートである ことを特徴とする請求項13に記載の画像処理方法。 【請求項15】 前記検出ステップは、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する各画素のうちの少なくとも1つの画素における移動ベクトルのそれぞれを、前記パラメータの値として検出する処理を含む ことを特徴とする請求項13に記載の画像処理方法。 【請求項16】 前記検出ステップは、前記動画像を構成する複数の前記アクセスユニットのそれぞれが前記撮影装置により撮影されたときの前記撮影装置のシャッタ速度のそれぞれを、前記パラメータの値として検出する処理を含む ことを特徴とする請求項13記載の画像処理方法。 【請求項17】 前記補正ステップは、 前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、 前記注目画素に対するステップとして、 前記検出ステップの処理により検出された1以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換ステップと、 前記フィルタ特性変換ステップの処理により特性が変換された前記ローパスフィルタの逆フィルタを生成する逆フィルタ生成ステップと、 処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記逆フィルタ生成ステップの処理により生成された前記逆フィルタをかけることで、前記注目画素の画素値を補正するフィルタリングステップと を含むことを特徴とする請求項13に記載の情報処理方法。 【請求項18】 前記補正ステップは、 前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、 前記注目画素に対するステップとして、 前記検出ステップの処理により検出された1以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換ステップと、 処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記フィルタ特性変換ステップの処理により特性が変換された前記ローパスフィルタをかけ、その結果得られる前記注目画素の補正された画素値を第1の値として出力するフィルタリングステップと、 前記注目画素の補正前の画素値と、前記フィルタリングステップの処理結果として出力された前記第1の値との差分を演算し、その結果得られる差分値を第2の値として出力する減算ステップと、 前記減算ステップの処理結果として出力された前記第2の値を、前記注目画素の補正前の前記画素値に加算し、その結果得られる加算値を、前記注目画素の補正後の画素値として出力する加算ステップと を含むことを特徴とする請求項13に記載の情報処理方法。 【請求項19】 前記補正ステップは、 前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、 前記注目画素に対するステップとして、 処理対象の前記アクセスユニットのうちの、前記注目画素を含む所定の方向に連続して並ぶ画素群に対応する第1の画像信号が順次入力され、入力された前記第1の画像信号を、N画素分(Nは1以上の整数値)に対応する第1の遅延時間だけ遅延させ、その結果得られる第2の画像信号を出力する第1の遅延ステップと、 第1の遅延ステップの処理結果として出力された前記第2の画像信号が順次入力され、入力された前記第2の画像信号を、M画素分(Mは、Nを含む1以上の整数値)に対応する第2の遅延時間だけ遅延させ、その結果得られる第3の画像信号を出力する第2の遅延ステップと、 前記第1の遅延ステップの処理対象として入力された前記第1の画像信号、前記第1の遅延ステップの処理結果として出力されて前記第2の遅延ステップの処理対象として入力された前記第2の画像信号、および、前記第2の遅延ステップの処理結果として出力された前記第3の画像信号を利用して、前記注目画素の画素値を補正する画素値補正ステップと、 前記検出ステップの処理により検出された前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記第1の遅延ステップの前記第1の遅延時間を変更するとともに、前記第2の遅延ステップの前記第2の遅延時間を変更する遅延時間変更ステップと を含むことを特徴とする請求項13に記載の情報処理方法。 【請求項20】 前記第1のレートは30Hzであり、前記第2のレートは120Hzである ことを特徴とする請求項13に記載の画像処理方法。 【請求項21】 前記第1のレートは60Hzであり、前記第2のレート120Hzである ことを特徴とする請求項13に記載の画像処理方法。 【請求項22】 前記第1のレートは60Hzであり、前記第2のレートは240Hzである ことを特徴とする請求項13に記載の画像処理方法。 【請求項23】 前記第1のレートは50Hzであり、前記第2のレートは100Hzである ことを特徴とする請求項13に記載の画像処理方法。 【請求項24】 前記第1のレートは50Hzであり、前記第2のレートは200Hzである ことを特徴とする請求項13に記載の画像処理方法。 【請求項25】 所定の撮影装置により撮影された動画像に対して、アクセスユニットを単位として施す画像処理の制御を行うコンピュータに実行させるプログラムであって、 前記動画像におけるアクセスユニットのレートを、現在の第1のレートからそれよりも高い第2のレートに変換する高レート変換処理を実行する高レート変換ステップと、 前記動画像を構成する複数のアクセスユニットのそれぞれについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を1以上検出する検出ステップと、 前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記検出ステップの処理により検出された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップと を含むプログラムを記録していることを特徴とする記録媒体。 【請求項26】 所定の撮影装置により撮影された動画像に対して、アクセスユニットを単位として施す画像処理の制御を行うコンピュータに実行させるプログラムであって、 前記動画像におけるアクセスユニットのレートを、現在の第1のレートからそれよりも高い第2のレートに変換する高レート変換処理を実行する高レート変換ステップと、 前記動画像を構成する複数のアクセスユニットのそれぞれについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を1以上検出する検出ステップと、 前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記検出ステップの処理により検出された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップと を含むことを特徴とするプログラム。 【請求項27】 所定の撮影装置により撮影された動画像と、 前記動画像を構成する複数のアクセスユニットのそれぞれについての、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示す1以上のパラメータの値と が他の画像処理装置から供給されてきた場合、その動画像に対して処理を施す画像処理装置において、 前記他の画像処理装置から供給された前記動画像におけるアクセスユニットのレートを、現在の第1のレートからそれよりも高い第2のレートに変換する高レート変換処理を実行する高レート変換手段と、 前記高レート変換手段による前記高レート変換処理が実行される前または後に、前記他の画像処理装置から供給された前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記他の画像処理装置から供給された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正手段と を備えることを特徴とする画像処理装置。 【請求項28】 前記第1のレートは30Hzであり、前記第2のレートは120Hzである ことを特徴とする請求項27に記載の画像処理装置。 【請求項29】 前記第1のレートは60Hzであり、前記第2のレート120Hzである ことを特徴とする請求項27に記載の画像処理装置。 【請求項30】 前記第1のレートは60Hzであり、前記第2のレートは240Hzである ことを特徴とする請求項27に記載の画像処理装置。 【請求項31】 前記第1のレートは50Hzであり、前記第2のレートは100Hzである ことを特徴とする請求項27に記載の画像処理装置。 【請求項32】 前記第1のレートは50Hzであり、前記第2のレートは200Hzである ことを特徴とする請求項27に記載の画像処理装置。 【請求項33】 所定の撮影装置により撮影された動画像と、 前記動画像を構成する複数のアクセスユニットのそれぞれについての、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示す1以上のパラメータの値と が他の画像処理装置から供給されてきた場合、その動画像に対して処理を施す画像処理装置の画像処理方法において、 前記他の画像処理装置から供給された前記動画像におけるアクセスユニットのレートを、現在の第1のレートからそれよりも高い第2のレートに変換する高レート変換処理を実行する高レート変換ステップと、 前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、前記他の画像処理装置から供給された前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記他の画像処理装置から供給された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップと を含むことを特徴とする画像処理方法。 【請求項34】 前記第1のレートは30Hzであり、前記第2のレートは120Hzである ことを特徴とする請求項33に記載の画像処理方法。 【請求項35】 前記第1のレートは60Hzであり、前記第2のレート120Hzである ことを特徴とする請求項33に記載の画像処理方法。 【請求項36】 前記第1のレートは60Hzであり、前記第2のレートは240Hzである ことを特徴とする請求項33に記載の画像処理方法。 【請求項37】 前記第1のレートは50Hzであり、前記第2のレートは100Hzである ことを特徴とする請求項33に記載の画像処理方法。 【請求項38】 前記第1のレートは50Hzであり、前記第2のレートは200Hzである ことを特徴とする請求項33に記載の画像処理方法。 【請求項39】 所定の撮影装置により撮影された動画像と、 前記動画像を構成する複数のアクセスユニットのそれぞれについての、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示す1以上のパラメータの値と が与えられた場合、その動画像に対する画像処理の制御を行うコンピュータに実行させるプログラムであって、 与えられた前記動画像におけるアクセスユニットのレートを、現在の第1のレートからそれよりも高い第2のレートに変換する高レート変換処理を実行する高レート変換ステップと、 前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、与えられた前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、与えられた前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップと を含むプログラムを記録していることを特徴とする記録媒体。 【請求項40】 所定の撮影装置により撮影された動画像と、 前記動画像を構成する複数のアクセスユニットのそれぞれについての、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示す1以上のパラメータの値と が与えられた場合、その動画像に対する画像処理の制御を行うコンピュータに実行させるプログラムであって、 与えられた前記動画像におけるアクセスユニットのレートを、現在の第1のレートからそれよりも高い第2のレートに変換する高レート変換処理を実行する高レート変換ステップと、 前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、与えられた前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、与えられた前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップと を含むことを特徴とするプログラム。
|
【発明の詳細な説明】【技術分野】 【0001】 本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、撮像ボケに起因する画像劣化(ボケ画像)を抑制することで、フレームレート変換後の映像をより一段と鮮明に表示させることができる画像処理装置および方法、記録媒体、並びにプログラムに関する。 【背景技術】 【0002】 近年、映像(動画像)を表示するための映像信号変換装置において、入力側のテレビジョン方式と出力側のテレビジョン方式との間でフレームまたはフィールド周波数が一定の同期関係がない場合でも、映像の品質を劣化させずに表示させる手法として、フレームレートを調整する手法(以下、フレームレート変換手法と称する)が考えられている(特許文献1参照)。 【特許文献1】特開平7-59054号公報 【発明の開示】 【発明が解決しようとする課題】 【0003】 しかしながら、特許文献1等の従来のフレームレート変換手法を利用してフレームレートを増やす場合には、撮影時に発生する動きボケ(以下、撮像ボケと称する)についての考慮がなされていなかった。これにより、撮像ボケに起因する画像劣化(ボケ画像)は特に改善されずにそのまま残り、その結果、鮮明な映像を表示装置に表示させることは困難になるという課題があった。 【0004】 本発明は、このような状況に鑑みてなされたものであり、撮像ボケに起因する画像劣化(ボケ画像)を抑制することで、フレームレート変換後の映像をより一段と鮮明に表示させることができるようにするものである。 【課題を解決するための手段】 【0005】 本発明の第1の画像処理装置は、所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置であって、動画像におけるアクセスユニットのレートを、現在の第1のレートからそれよりも高い第2のレートに変換する高レート変換処理を実行する高レート変換手段と、動画像を構成する複数のアクセスユニットのそれぞれについて、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を1以上検出する検出手段と、高レート変換手段による高レート変換処理が実行される前または後に、動画像を構成する複数のアクセスユニットのそれぞれについて、検出手段により検出されたパラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値を補正する補正手段とを備えることを特徴とする。 【0006】 第1のレートは、撮影装置により動画像が撮影されたときのアクセスユニットのレートであるようにすることができる。 【0007】 検出手段は、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する各画素のうちの少なくとも1つの画素における移動ベクトルのそれぞれを、パラメータの値として検出するようにすることができる。 【0008】 検出手段は、動画像を構成する複数のアクセスユニットのそれぞれが撮影装置により撮影されたときの撮影装置のシャッタ速度のそれぞれを、パラメータの値として検出するようにすることができる。 【0009】 補正手段は、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する各画素のうちの処理対象として注目すべき画素を注目画素として設定し、検出手段により検出された1以上のパラメータの値のうちの注目画素に対応する値に応じて、撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換手段と、フィルタ特性変換手段により特性が変換されたローパスフィルタの逆フィルタを生成する逆フィルタ生成手段と、処理対象のアクセスユニットのうちの注目画素を含む所定のブロックに対して、逆フィルタ生成手段により生成された逆フィルタをかけることで、注目画素の画素値を補正するフィルタリング手段とを有するようにすることができる。 【0010】 補正手段は、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する各画素のうちの処理対象として注目すべき画素を注目画素として設定し、検出手段により検出された1以上のパラメータの値のうちの注目画素に対応する値に応じて、撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換手段と、処理対象のアクセスユニットのうちの注目画素を含む所定のブロックに対して、フィルタ特性変換手段により特性が変換されたローパスフィルタをかけ、その結果得られる注目画素の補正された画素値を第1の値として出力するフィルタリング手段と、注目画素の補正前の画素値と、フィルタリング手段から出力された第1の値との差分を演算し、その結果得られる差分値を第2の値として出力する減算手段と、減算手段から出力された第2の値を、注目画素の補正前の画素値に加算し、その結果得られる加算値を、注目画素の補正後の画素値として出力する加算手段とを有するようにすることができる。 【0011】 補正手段は、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する各画素のうちの処理対象として注目すべき画素を注目画素として設定し、処理対象のアクセスユニットのうちの、注目画素を含む所定の方向に連続して並ぶ画素群に対応する第1の画像信号が順次入力され、その第1の画像信号を、N画素分(Nは1以上の整数値)に対応する第1の遅延時間だけ遅延させ、その結果得られる第2の画像信号を出力する第1の遅延手段と、第1の遅延手段から出力された第2の画像信号が順次入力され、その第2の画像信号を、M画素分(Mは、Nを含む1以上の整数値)に対応する第2の遅延時間だけ遅延させ、その結果得られる第3の画像信号を出力する第2の遅延手段と、第1の遅延手段に入力された第1の画像信号、第1の遅延手段から出力されて第2の遅延手段に入力された第2の画像信号、および、第2の遅延手段から出力された第3の画像信号を利用して、注目画素の画素値を補正する画素値補正手段と、検出手段により検出されたパラメータの値のうちの注目画素に対応する値に応じて、第1の遅延手段の第1の遅延時間を変更するとともに、第2の遅延手段の第2の遅延時間を変更する遅延時間変更手段とを有するようにすることができる。 【0012】 第1のレートは30Hzであり、第2のレートは120Hzであるようにすることができる。 【0013】 第1のレートは60Hzであり、第2のレート120Hzであるようにすることができる。 【0014】 第1のレートは60Hzであり、第2のレートは240Hzであるようにすることができる。 【0015】 第1のレートは50Hzであり、第2のレートは100Hzであるようにすることができる。 【0016】 第1のレートは50Hzであり、第2のレートは200Hzであるようにすることができる。 【0017】 本発明の第1の画像処理装置の画像処理方法は、所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置の画像処理方法であって、動画像におけるアクセスユニットのレートを、現在の第1のレートからそれよりも高い第2のレートに変換する高レート変換処理を実行する高レート変換ステップと、動画像を構成する複数のアクセスユニットのそれぞれについて、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を1以上検出する検出ステップと、高レート変換ステップによる高レート変換処理が実行される前または後に、動画像を構成する複数のアクセスユニットのそれぞれについて、検出ステップの処理により検出されたパラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値を補正する補正ステップとを含むことを特徴とする。 【0018】 第1のレートは、撮影装置により動画像が撮影されたときのアクセスユニットのレートであるようにすることができる。 【0019】 検出ステップは、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する各画素のうちの少なくとも1つの画素における移動ベクトルのそれぞれを、パラメータの値として検出する処理を含むようにすることができる。 【0020】 検出ステップは、動画像を構成する複数のアクセスユニットのそれぞれが撮影装置により撮影されたときの撮影装置のシャッタ速度のそれぞれを、パラメータの値として検出する処理を含むようにすることができる。 【0021】 補正ステップは、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する各画素のうちの処理対象として注目すべき画素を注目画素として設定し、注目画素に対するステップとして、検出ステップの処理により検出された1以上のパラメータの値のうちの注目画素に対応する値に応じて、撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換ステップと、フィルタ特性変換ステップの処理により特性が変換されたローパスフィルタの逆フィルタを生成する逆フィルタ生成ステップと、処理対象のアクセスユニットのうちの注目画素を含む所定のブロックに対して、逆フィルタ生成ステップの処理により生成された逆フィルタをかけることで、注目画素の画素値を補正するフィルタリングステップとを含むようにすることができる。 【0022】 補正ステップは、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する各画素のうちの処理対象として注目すべき画素を注目画素として設定し、注目画素に対するステップとして、検出ステップの処理により検出された1以上のパラメータの値のうちの注目画素に対応する値に応じて、撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換ステップと、処理対象のアクセスユニットのうちの注目画素を含む所定のブロックに対して、フィルタ特性変換ステップの処理により特性が変換されたローパスフィルタをかけ、その結果得られる注目画素の補正された画素値を第1の値として出力するフィルタリングステップと、注目画素の補正前の画素値と、フィルタリングステップの処理結果として出力された第1の値との差分を演算し、その結果得られる差分値を第2の値として出力する減算ステップと、減算ステップの処理結果として出力された第2の値を、注目画素の補正前の画素値に加算し、その結果得られる加算値を、注目画素の補正後の画素値として出力する加算ステップとを含むことを特徴とする。 【0023】 補正ステップは、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する各画素のうちの処理対象として注目すべき画素を注目画素として設定し、注目画素に対するステップとして、処理対象のアクセスユニットのうちの、注目画素を含む所定の方向に連続して並ぶ画素群に対応する第1の画像信号が順次入力され、入力された第1の画像信号を、N画素分(Nは1以上の整数値)に対応する第1の遅延時間だけ遅延させ、その結果得られる第2の画像信号を出力する第1の遅延ステップと、第1の遅延ステップの処理結果として出力された第2の画像信号が順次入力され、入力された第2の画像信号を、M画素分(Mは、Nを含む1以上の整数値)に対応する第2の遅延時間だけ遅延させ、その結果得られる第3の画像信号を出力する第2の遅延ステップと、第1の遅延ステップの処理対象として入力された第1の画像信号、第1の遅延ステップの処理結果として出力されて第2の遅延ステップの処理対象として入力された第2の画像信号、および、第2の遅延ステップの処理結果として出力された第3の画像信号を利用して、注目画素の画素値を補正する画素値補正ステップと、検出ステップの処理により検出されたパラメータの値のうちの注目画素に対応する値に応じて、第1の遅延ステップの第1の遅延時間を変更するとともに、第2の遅延ステップの第2の遅延時間を変更する遅延時間変更ステップとを含むようにすることができる。 【0024】 第1のレートは30Hzであり、第2のレートは120Hzであるようにすることができる。 【0025】 第1のレートは60Hzであり、第2のレート120Hzであるようにすることができる。 【0026】 第1のレートは60Hzであり、第2のレートは240Hzであるようにすることができる。 【0027】 第1のレートは50Hzであり、第2のレートは100Hzであるようにすることができる。 【0028】 第1のレートは50Hzであり、第2のレートは200Hzであるようにすることができる。 【0029】 本発明の第1の記録媒体のプログラムは、所定の撮影装置により撮影された動画像に対して、アクセスユニットを単位として施す画像処理の制御を行うコンピュータに実行させるプログラムであって、動画像におけるアクセスユニットのレートを、現在の第1のレートからそれよりも高い第2のレートに変換する高レート変換処理を実行する高レート変換ステップと、動画像を構成する複数のアクセスユニットのそれぞれについて、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を1以上検出する検出ステップと、高レート変換ステップによる高レート変換処理が実行される前または後に、動画像を構成する複数のアクセスユニットのそれぞれについて、検出ステップの処理により検出されたパラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値を補正する補正ステップとを含むことを特徴とする。 【0030】 本発明の第1のプログラムは、所定の撮影装置により撮影された動画像に対して、アクセスユニットを単位として施す画像処理の制御を行うコンピュータに実行させるプログラムであって、動画像におけるアクセスユニットのレートを、現在の第1のレートからそれよりも高い第2のレートに変換する高レート変換処理を実行する高レート変換ステップと、動画像を構成する複数のアクセスユニットのそれぞれについて、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を1以上検出する検出ステップと、高レート変換ステップによる高レート変換処理が実行される前または後に、動画像を構成する複数のアクセスユニットのそれぞれについて、検出ステップの処理により検出されたパラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値を補正する補正ステップとを含むことを特徴とするプログラム。 【0031】 本発明の第1の画像処理装置および方法、第1の記録媒体、並びに、第1のプログラムにおいては、所定の撮影装置により撮影された動画像に対して、アクセスユニットを単位とする画像処理が施される。詳細には、動画像におけるアクセスユニットのレートを、現在の第1のレートからそれよりも高い第2のレートに変換する高レート変換処理が実行される。また、動画像を構成する複数のアクセスユニットのそれぞれについて、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値が1以上検出される。そして、高レート変換処理が実行される前または後に、動画像を構成する複数のアクセスユニットのそれぞれについて、検出されたパラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値が補正される。 【0032】 本発明の第2の画像処理装置は、所定の撮影装置により撮影された動画像と、動画像を構成する複数のアクセスユニットのそれぞれについての、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示す1以上のパラメータの値とが他の画像処理装置から供給されてきた場合、その動画像に対して処理を施す画像処理装置であって、他の画像処理装置から供給された動画像におけるアクセスユニットのレートを、現在の第1のレートからそれよりも高い第2のレートに変換する高レート変換処理を実行する高レート変換手段と、高レート変換手段による高レート変換処理が実行される前または後に、他の画像処理装置から供給された動画像を構成する複数のアクセスユニットのそれぞれについて、他の画像処理装置から供給されたパラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値を補正する補正手段とを備えることを特徴とする。 【0033】 第1のレートは30Hzであり、第2のレートは120Hzであるようにすることができる。 【0034】 第1のレートは60Hzであり、第2のレート120Hzであるようにすることができる。 【0035】 第1のレートは60Hzであり、第2のレートは240Hzであるようにすることができる。 【0036】 第1のレートは50Hzであり、第2のレートは100Hzであるようにすることができる。 【0037】 第1のレートは50Hzであり、第2のレートは200Hzであるようにすることができる。 【0038】 本発明の第2の画像処理装置の画像処理方法は、所定の撮影装置により撮影された動画像と、動画像を構成する複数のアクセスユニットのそれぞれについての、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示す1以上のパラメータの値とが他の画像処理装置から供給されてきた場合、その動画像に対して処理を施す画像処理装置の画像処理方法であって、他の画像処理装置から供給された動画像におけるアクセスユニットのレートを、現在の第1のレートからそれよりも高い第2のレートに変換する高レート変換処理を実行する高レート変換ステップと、高レート変換ステップによる高レート変換処理が実行される前または後に、他の画像処理装置から供給された動画像を構成する複数のアクセスユニットのそれぞれについて、他の画像処理装置から供給されたパラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値を補正する補正ステップとを含むことを特徴とする。 【0039】 第1のレートは30Hzであり、第2のレートは120Hzであるようにすることができる。 【0040】 第1のレートは60Hzであり、第2のレート120Hzであるようにすることができる。 【0041】 第1のレートは60Hzであり、第2のレートは240Hzであるようにすることができる。 【0042】 第1のレートは50Hzであり、第2のレートは100Hzであるようにすることができる。 【0043】 第1のレートは50Hzであり、第2のレートは200Hzであるようにすることができる。 【0044】 本発明の第2の記録媒体のプログラムは、所定の撮影装置により撮影された動画像と、動画像を構成する複数のアクセスユニットのそれぞれについての、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示す1以上のパラメータの値とが与えられた場合、その動画像に対する画像処理の制御を行うコンピュータに実行させるプログラムであって、与えられた動画像におけるアクセスユニットのレートを、現在の第1のレートからそれよりも高い第2のレートに変換する高レート変換処理を実行する高レート変換ステップと、高レート変換ステップによる高レート変換処理が実行される前または後に、与えられた動画像を構成する複数のアクセスユニットのそれぞれについて、与えられたパラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値を補正する補正ステップとを含むことを特徴とする。 【0045】 本発明の第2のプログラムは、所定の撮影装置により撮影された動画像と、動画像を構成する複数のアクセスユニットのそれぞれについての、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示す1以上のパラメータの値とが与えられた場合、その動画像に対する画像処理の制御を行うコンピュータに実行させるプログラムであって、与えられた動画像におけるアクセスユニットのレートを、現在の第1のレートからそれよりも高い第2のレートに変換する高レート変換処理を実行する高レート変換ステップと、高レート変換ステップによる高レート変換処理が実行される前または後に、与えられた動画像を構成する複数のアクセスユニットのそれぞれについて、与えられたパラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値を補正する補正ステップとを含むことを特徴とする。 【0046】 本発明の第2の画像処理装置および方法、第2の記録媒体、並びに第2のプログラムにおいては、所定の撮影装置により撮影された動画像と、動画像を構成する複数のアクセスユニットのそれぞれについての、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示す1以上のパラメータの値とが与えられた場合、その動画像に対して画像処理が施される。詳細には、与えられた動画像におけるアクセスユニットのレートを、現在の第1のレートからそれよりも高い第2のレートに変換する高レート変換処理が実行される。また、高レート変換処理が実行される前または後に、与えられた動画像を構成する複数のアクセスユニットのそれぞれについて、与えられたパラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値が補正される。 【発明の効果】 【0047】 以上のごとく、本発明によれば、動画像のフレームレートを入力時よりも大きいフレームレートに変換させることができる。特に、撮像ボケに起因する画像劣化(ボケ画像)を抑制することで、フレームレート変換後の動画像をより一段と鮮明に表示させることができる。 【発明を実施するための最良の形態】 【0048】 以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。 【0049】 さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。 【0050】 本発明によれば、第1の画像処理装置が提供される。この第1の画像処理装置(例えば図1の画像処理装置1、図12の画像処理装置101、または図13の画像処理装置102)は、所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置であって、前記動画像におけるアクセスユニットのレート(例えば、アクセスユニットとしてフレームが採用されている場合、フレームレート)を、現在の第1のレートからそれよりも高い第2のレートに変換する高レート変換処理を実行する高レート変換手段(例えば、図1、図12、または図13の高フレームレート変換部11)と、前記動画像を構成する複数のアクセスユニットのそれぞれについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を1以上検出する検出手段(例えば、図1、図12、または図13の撮像ボケ特性検出部12)と、前記高レート変換手段による高レート変換処理が実行される前または後に、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記検出手段により検出された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正手段(例えば、図1、図12、または図13の撮像ボケ抑制処理部13)とを備えることを特徴とする。 【0051】 この第1の画像処理装置において、前記補正手段(例えば、図5の撮像ボケ抑制処理部13)は、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、前記検出手段により検出された1以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換する(例えば、パラメータの値として、移動速度2,3,4のそれぞれが検出された場合、ローパスフィルタの周波数特性を、図4の撮像ボケの周波数特性H2,H3,H4のそれぞれに変換する)フィルタ特性変換手段(例えば、図5の移動平均フィルタ(ローパスフィルタ)特性変換部21)と、前記フィルタ特性変換手段により特性が変換された前記ローパスフィルタの逆フィルタを生成する逆フィルタ生成手段(例えば、図5の逆移動平均フィルタ(ハイパスフィルタ)生成部22)と、処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記逆フィルタ生成手段により生成された前記逆フィルタをかけることで、前記注目画素の画素値を補正するフィルタリング手段(例えば、図5の逆移動平均フィルタ部(ハイパスフィルタ部)23)とを有するようにすることができる。 【0052】 この第1の画像処理装置において、前記補正手段(例えば、図6の撮像ボケ抑制処理部13)は、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、前記検出手段により検出された1以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換手段(例えば、図6の移動平均フィルタ(ローパスフィルタ)特性変換部31)と、処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記フィルタ特性変換手段により特性が変換された前記ローパスフィルタをかけ、その結果得られる前記注目画素の補正された画素値を第1の値として出力するフィルタリング手段(例えば、図6の移動平均フィルタ部(ローパスフィルタ部)32)と、前記注目画素の補正前の画素値と、前記フィルタリング手段から出力された第1の値との差分を演算し、その結果得られる差分値を第2の値として出力する減算手段(例えば、図6の減算部33)と、前記減算手段から出力された前記第2の値を、前記注目画素の補正前の前記画素値に加算し、その結果得られる加算値を、前記注目画素の補正後の画素値として出力する加算手段(例えば、図6の加算部34)とを有するようにすることができる。 【0053】 この第1の画像処理装置において、前記補正手段(例えば、図7または図9の撮像ボケ抑制処理部13)は、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、処理対象の前記アクセスユニットのうちの、前記注目画素を含む所定の方向に連続して並ぶ画素群に対応する第1の画像信号(例えば、図8の信号a)が順次入力され、入力された前記第1の画像信号を、N画素分(Nは1以上の整数値)に対応する第1の遅延時間(例えば、図8の時間T)だけ遅延させ、その結果得られる第2の画像信号(例えば、図8の信号b)を出力する第1の遅延手段(例えば、図7または図9の可変DL部52)と、第1の遅延手段から出力された前記第2の画像信号が順次入力され、入力された前記第2の画像信号を、M画素分(Mは、Nを含む1以上の整数値)に対応する第2の遅延時間(例えば、図8の時間T)だけ遅延させ、その結果得られる第3の画像信号(例えば、図8の信号c)を出力する第2の遅延手段(例えば、図7または図9の可変DL部53)と、前記第1の遅延手段に入力された前記第1の画像信号、前記第1の遅延手段から出力されて前記第2の遅延手段に入力された前記第2の画像信号、および、前記第2の遅延手段から出力された前記第3の画像信号を利用して、前記注目画素の画素値を補正する画素値補正手段(例えば、図7の補正部54−1または図9の補正部54−2)と、前記検出手段により検出された前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記第1の遅延手段の前記第1の遅延時間を変更するとともに、前記第2の遅延手段の前記第2の遅延時間を変更する遅延時間変更手段(例えば、図7または図9の遅延時間変更部55)とを有するようにすることができる。 【0054】 本発明によれば、第1の画像処理方法が提供される。この第1の画像処理方法は、所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置(例えば図1の画像処理装置1、図12の画像処理装置101、または図13の画像処理装置102)の画像処理方法であって、前記動画像におけるアクセスユニットのレートを、現在の第1のレートからそれよりも高い第2のレートに変換する高レート変換処理を実行する高レート変換ステップ(例えば、図3のステップS2の処理)と、前記動画像を構成する複数のアクセスユニットのそれぞれについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を1以上検出する検出ステップ(例えば、図3のステップS3の処理)と、前記高レート変換ステップによる高レート変換処理が実行される前または後に、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記検出ステップの処理により検出された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップ(例えば、図3のステップS4の処理。なお、図3の例では、高レート変換ステップによる高レート変換処理の例であるステップS2が実行された後に、補正ステップの例であるステップS4の処理が実行されているが、当然ながらステップS4の後にステップS2の処理を実行してもよく、このことについては後述する)とを含むことを特徴とする。 【0055】 この第1の画像処理方法において、前記補正ステップ(例えば、図5の撮像ボケ抑制処理部13の処理)は、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、前記注目画素に対するステップとして、前記検出ステップの処理により検出された1以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換ステップ(例えば、図5の移動平均フィルタ(ローパスフィルタ)特性変換部21の処理)と、前記フィルタ特性変換ステップの処理により特性が変換された前記ローパスフィルタの逆フィルタを生成する逆フィルタ生成ステップ(例えば、図5の逆移動平均フィルタ(ハイパスフィルタ)生成部22の処理)と、処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記逆フィルタ生成ステップの処理により生成された前記逆フィルタをかけることで、前記注目画素の画素値を補正するフィルタリングステップ(例えば、図5の逆移動平均フィルタ部(ハイパスフィルタ部)23の処理)とを含むようにすることができる。 【0056】 この第1の画像処理方法において、前記補正ステップ(例えば、図6の撮像ボケ抑制処理部13の処理)は、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、前記注目画素に対するステップとして、前記検出ステップの処理により検出された1以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換ステップ(例えば、図6の移動平均フィルタ(ローパスフィルタ)特性変換部31の処理)と、処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記フィルタ特性変換ステップの処理により特性が変換された前記ローパスフィルタをかけ、その結果得られる前記注目画素の補正された画素値を第1の値として出力するフィルタリングステップ(例えば、図6の移動平均フィルタ部(ローパスフィルタ部)32の処理)と、前記注目画素の補正前の画素値と、前記フィルタリングステップの処理結果として出力された前記第1の値との差分を演算し、その結果得られる差分値を第2の値として出力する減算ステップ(例えば、図6の減算部33の処理)と、前記減算ステップの処理結果として出力された前記第2の値を、前記注目画素の補正前の前記画素値に加算し、その結果得られる加算値を、前記注目画素の補正後の画素値として出力する加算ステップ(例えば、図6の加算部34の処理)とを含むことを特徴とする。 【0057】 この第1の画像処理方法において、前記補正ステップ(例えば、6または図9の撮像ボケ抑制処理部13の処理)は、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、前記注目画素に対するステップとして、処理対象の前記アクセスユニットのうちの、前記注目画素を含む所定の方向に連続して並ぶ画素群に対応する第1の画像信号が順次入力され、入力された前記第1の画像信号を、N画素分(Nは1以上の整数値)に対応する第1の遅延時間だけ遅延させ、その結果得られる第2の画像信号を出力する第1の遅延ステップ(例えば、図7または図9の可変DL部52の処理)と、第1の遅延ステップの処理結果として出力された前記第2の画像信号が順次入力され、入力された前記第2の画像信号を、M画素分(Mは、Nを含む1以上の整数値)に対応する第2の遅延時間だけ遅延させ、その結果得られる第3の 画像信号を出力する第2の遅延ステップ(例えば、図7または図9の可変DL部53の処理)と、前記第1の遅延ステップの処理対象として入力された前記第1の画像信号、前記第1の遅延ステップの処理結果として出力されて前記第2の遅延ステップの処理対象として入力された前記第2の画像信号、および、前記第2の遅延ステップの処理結果として出力された前記第3の画像信号を利用して、前記注目画素の画素値を補正する画素値補正ステップ(例えば、図7の補正部54−1または図9の補正部54−2の処理)と、前記検出ステップの処理により検出された前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記第1の遅延ステップの前記第1の遅延時間を変更するとともに、前記第2の遅延ステップの前記第2の遅延時間を変更する遅延時間変更ステップ(例えば、図7または図9の遅延時間変更部55の処理)とを含むようにすることができる。 【0058】 本発明によれば、第1の記録媒体が提供される。この第1の記録媒体(例えば、図16のリムーバブル記録媒体211や、記憶部208に含まれるハードディスク等)に記録されるプログラムは、所定の撮影装置により撮影された動画像に対して、アクセスユニットを単位として施す画像処理の制御を行うコンピュータ(例えば、図16の構成のコンピュータ)に実行させるプログラムであって、上述した本発明の第1の画像処理方法に対応するプログラムである。 【0059】 本発明によれば、第1のプログラムが提供される。この第1のプログラムは、上述した本発明の第1の記録媒体に記録されるプログラムに対応するプログラムである。 【0060】 本発明によれば、第2の画像処理装置が提供される。この第2の画像処理装置(例えば、13の画像処理装置112、または図15の画像処理装置131)は、所定の撮影装置により撮影された動画像と、前記動画像を構成する複数のアクセスユニットのそれぞれについての、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示す1以上のパラメータの値とが他の画像処理装置(例えば、図14または図15の画像信号生成装置111)から供給されてきた場合、その動画像に対して処理を施す画像処理装置であって、前記他の画像処理装置から供給された前記動画像におけるアクセスユニットのレートを、現在の第1のレートからそれよりも高い第2のレートに変換する高レート変換処理を実行する高レート変換手段(例えば、図14または図15の高フレームレート変換部11)と、前記高レート変換手段による高レート変換処理が実行される前または後に、前記他の画像処理装置から供給された前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記他の画像処理装置から供給された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正手段(例えば、図14または図15の撮像ボケ抑制処理部13)とを備えることを特徴とする。 【0061】 本発明によれば、第2の画像処理方法が提供される。この第2の画像処理方法は、所定の撮影装置により撮影された動画像と、前記動画像を構成する複数のアクセスユニットのそれぞれについての、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示す1以上のパラメータの値とが他の画像処理装置(例えば、図14または図15の画像信号生成装置111)から供給されてきた場合、その動画像に対して処理を施す画像処理装置(例えば、13の画像処理装置112、または図15の画像処理装置131)の画像処理方法であって、前記他の画像処理装置から供給された前記動画像におけるアクセスユニットのレートを、現在の第1のレートからそれよりも高い第2のレートに変換する高レート変換処理を実行する高レート変換ステップ(例えば、図3のステップS2の処理)と、前記高レート変換ステップによる高レート変換処理が実行される前または後に、前記他の画像処理装置から供給された前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記他の画像処理装置から供給された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップ(例えば、図3のステップS4の処理)とを含むことを特徴とする。 【0062】 なお、図3の例では、高レート変換ステップによる高レート変換処理の例であるステップS2が実行された後に、補正ステップの例であるステップS4の処理が実行されているが、当然ながらステップS4の後にステップS2の処理を実行してもよく、このことについては後述する。また、第2の画像処理方法においては、図3のステップS3の処理は省略される。このことについても後述する。 【0063】 本発明によれば、第2の記録媒体が提供される。この第2の記録媒体(例えば、図16のリムーバブル記録媒体211や、記憶部208に含まれるハードディスク等)に記録されるプログラムは、所定の撮影装置により撮影された動画像と、動画像を構成する複数のアクセスユニットのそれぞれについての、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示す1以上のパラメータの値とが与えられた場合、その動画像に対する画像処理の制御を行うコンピュータ(例えば、図16の構成のコンピュータ)に実行させるプログラムであって、上述した本発明の第2の画像処理方法に対応するプログラムである。 【0064】 本発明によれば、第2のプログラムが提供される。この第2のプログラムは、上述した本発明の第2の記録媒体に記録されるプログラムに対応するプログラムである。 【0065】 以上説明した本発明の第1および第2の画像処理装置は、例えば、テレビジョンシステム全体またはその一構成要素として利用可能である。テレビジョンシステムとは、テレビジョン放送受像機を含む1以上のAV(Audio and Visual)機器からなるシステムを指す。 【0066】 次に、図面を参照して、本発明の実施の形態について説明する。 【0067】 図1は、本発明が適用される画像処理装置の機能的構成の一例を示している。 【0068】 この画像処理装置1は、動画像データに対する各種画像処理をアクセスユニット単位で実行する。アクセスユニットとは、フレームやフィールドといった動画像の単位を指し、具体的には例えば、動画像を構成する各コマ(静止画像)全体またはその一部分を指す。ただし、以下、説明の簡略上、画像処理装置1は、動画像データに対する各種画像処理をフレーム単位で実行するとする。 【0069】 この画像処理装置1は、図1に示されるように、高フレームレート変換部11、撮像ボケ特性検出部12、および、撮像ボケ抑制処理部13から構成される。 【0070】 高フレームレート変換部11には、例えば、テレビジョン放送信号等の動画像信号が、フレーム単位の動画像データとして入力される。 【0071】 なお、以下、動画像と、それに対応する動画像データとを個々に区別する必要がない場合、これらをまとめて動画像と単に称する。同様に、フレームと、それに対応するフレームデータとを個々に区別する必要がない場合、これらをまとめてフレームと単に称する。 【0072】 高フレームレート変換部11は、第1のフレームレートの動画像が入力された場合、その動画像に対して高フレームレート変換処理を施し、その結果得られる、第1のフレームレートよりも高い第2のフレームレートの動画像を撮像ボケ特性検出部12と撮像ボケ抑制処理部13に供給する。 【0073】 高フレームレート変換処理とは、入力時の第1のフレームレートが出力(表示)時の第2のフレームレートよりも低い場合に実行される処理であって、入力時の動画像を構成する各フレームのそれぞれの間に、新たなフレームを創造してそれぞれ挿入することで、第1のフレームレートをそれよりも高い第2のフレームレートに変換する処理を指す。 【0074】 なお、第1のフレームレートとは、高フレームレート変換部11に入力された時点の動画像のフレームレートを指す。従って、第1のフレームレートは、任意のフレームレートとなり得るが、ここでは例えば、図示せぬ撮影装置により動画像が撮影されたときのフレームレート、即ち、撮像フレームレートであるとする。 【0075】 撮像ボケ特性検出部12は、高フレームレート変換部11から供給された動画像を構成する各フレームのそれぞれについて、撮像ボケの特性を示すパラメータの値を検出する。撮像ボケ特性検出部12の検出結果、即ち、撮像ボケの特性を示すパラメータの値は、撮像ボケ抑制処理部13に供給される。 【0076】 なお、撮像ボケの特性を示すパラメータは、特に限定されず様々なパラメータの採用が可能である。ただし、撮像ボケの特性を示すパラメータの具体例については後述する。 【0077】 また、1つのフレーム内での、撮像ボケの特性を示すパラメータの値の検出個数も特に限定されない。例えば、1つのフレームに対して、撮像ボケの特性を示すパラメータの値が1つのみ検出されてもよいし、そのフレームを構成する各画素毎に、撮像ボケの特性を示すパラメータの値が1つずつ個別に検出されてもよい。或いは、その1つのフレームが幾つかのブロックに分割され、分割された各ブロック毎に、撮像ボケの特性を示すパラメータの値が1つずつ個別に検出されてもよい。 【0078】 撮像ボケ抑制処理部13は、高フレームレート変換部11から供給された動画像を構成する各フレームのそれぞれについて、撮像ボケ特性検出部12により検出されたパラメータの値のうちの処理対象のフレームに対応する値に基づいて、処理対象のフレームを構成する各画素値を補正する。即ち、撮像ボケ抑制処理部13は、処理対象のフレームについての撮像ボケの特性(パラメータの値)に応じて、処理対象のフレームの各画素値を、その撮像ボケが抑制されるように補正する。 【0079】 これにより、各フレームの各画素値が補正されることで撮像ボケが抑制された動画像であって、入力時の第1のフレームレートよりも高い第2のフレームレートに変換された動画像が、撮像ボケ抑制処理部13から画像処理装置1の外部に出力される。 【0080】 なお、図1の例では、撮像ボケ特性検出部12と撮像ボケ抑制処理部13との組は、高フレームレート変換部11と組み合わせて用いられているが、当然ながら、その組単体で用いることも可能であるし、また、図示せぬ他のブロック(所定の画像処理を施す他の画像処理部)と組み合わせて用いることも可能である。 【0081】 即ち、撮像ボケ特性検出部12と撮像ボケ抑制処理部13との組だけで、撮像ボケを抑制するという効果を奏することが可能になる。ただし、この効果をより顕著にするためには、撮像ボケ特性検出部12と撮像ボケ抑制処理部13との組に対して、上述したように、高フレームレート変換部11を組み合わせると好適である。以下、この理由について説明していく。 【0082】 図示せぬ表示装置に表示される動画像が人間の網膜上に像として形成される際にその人間に認識されるボケは、その人間が動画像に含まれる動物体を追従視することによるホールドボケと、その動画像の撮像時に加わる上述した撮像ボケとを組み合わせたものである。 【0083】 ここでいう撮像ボケの特性は、図4等を参照して後述するように、ローパスフィルタとして表される。即ち、撮像ボケ後の画像信号とは、撮像ボケ前の画像信号(理想的な画像信号)に対してこのローパスフィルタがかけられた信号と等価な信号である。従って、撮像ボケ後の画像信号は、撮像ボケ前の画像信号と比較して、その周波数特性が落ちてしまう。即ち、撮像ボケ後の画像信号においては、撮像ボケ前の画像信号と比較して、高周波数になればなる程ゲインが一般的に落ちてしまう。 【0084】 ここでいうホールドボケの特性もまた、撮像ボケの特性と同様にローパスフィルタとして表される。即ち、ホールドボケ後の画像信号とは、ホールドボケ前の画像信号(撮像ボケ後の画像信号)に対してこのローパスフィルタがかけられた信号と等価な信号である。従って、ホールドボケ後の画像信号は、ホールドボケ前の画像信号と比較して、その周波数特性が落ちてしまう。即ち、ホールドボケ後の画像信号においては、ホールドボケ前の画像信号と比較して、高周波数になればなる程ゲインが一般的に落ちてしまう。ただし、ホールドボケは、表示装置が固定画素(ホールド)表示装置の時にのみ発生する。 【0085】 従って、周波数特性が撮像ボケのため既に落ちている撮像ボケ後の画像信号に対して、高フレームレート変換処理を施すことで、ホールドボケを抑制すること自体は可能である。しかしながら、このような高フレームレート変換処理を施したとしても、撮像ボケの劣化は変わらず、最終的に人間の網膜上におけるボケを抑制させるという効果は半減してしまう。このことを、図2を参照して説明する。 【0086】 図2は、撮影装置(以下、カメラと称する)の撮影範囲内で移動速度4[画素/フレーム]で移動している実物体を撮影した時における、人間の網膜上で形成される像のボケの周波数特性を示している。図2において、横軸は周波数を、縦軸はゲインのそれぞれを示している。ただし、横軸の各値は、ナイキスト周波数が1とされた場合の相対値を示している。 【0087】 図2において、同図中一点鎖線で示される曲線h0は、ボケ(撮像ボケもホールドボケも含む)を改善するための処理が特に施されていない場合における、人間の網膜上で形成される像のボケの周波数特性を示している。即ち、図1の例では画像処理装置1に入力される動画像が、仮に画像処理装置1に入力されること無く(処理されること無く)そのまま表示装置に供給されて表示された場合に、人間がその動画像を見たときに網膜上で形成される像のボケの周波数特性が、曲線h0である。 【0088】 これに対して、例えば高フレームレート変換処理により表示速度が倍にされると、ホールドボケのみは改善され、その結果、人間の網膜上で形成される像のボケの周波数特性は、同図中点線で示される曲線h1になる。即ち、図1の画像処理装置1に入力された動画像が、高フレームレート変換部11により高フレームレート変換処理が施され、その後、仮に撮像ボケ抑制処理部13に入力されること無く(撮像ボケが改善されること無く)表示装置に供給されて表示された場合、人間がその動画像を見たときに網膜上で形成される像のボケの周波数特性が、曲線h1である。 【0089】 また、例えば本発明が適用されて、高フレームレート変換処理により表示速度が倍にされ(ホールドボケが改善され)、かつ撮像ボケの度合いが半分に改善されると、人間の網膜上で形成される像のボケの周波数特性は、同図中実線で示される曲線h2になる。即ち、図1の画像処理装置1に入力された動画像が、高フレームレート変換部11により高フレームレート変換処理が施され、さらに、撮像ボケ抑制処理部13により撮像ボケが抑制された上で表示装置に供給されて表示された場合、人間がその動画像を見たときに網膜上で形成される像のボケの周波数特性が、曲線h2である。 【0090】 曲線h1と曲線h2とを比較するに、高フレームレート変換処理によりホールドボケのみが改善されただけでは、人間の網膜上におけるボケの特性の改善は不十分であり、さらに撮像ボケの改善も必要なことがわかる。しかしながら、上述したように、従来の手法では、撮像ボケの改善が必要なことは特に考慮されずに、高フレームレート変換処理が単に行われていた。 【0091】 そこで、図1の実施例の他、後述する図12や図13等の実施例で示される本発明の画像処理装置においては、高フレームレート変換部11の他さらに、撮像ボケの改善を目的として、即ち、人間の網膜上のけるボケの特性を図2の曲線h0から曲線h2のように改善することを目的として、撮像ボケ特性検出部12と撮像ボケ抑制処理部13とが設けられているのである。ただし、後述する図14と図15の実施例で示されるように、撮像ボケ特性検出部12は、本発明の画像処理装置にとって必須な構成要素ではない。 【0092】 即ち、撮像ボケ抑制処理部13は、各フレームのそれぞれについて、撮像ボケ特性検出部12により検出された撮像ボケの特性を示すパラメータの値のうちの処理対象のフレームに対応する値に基づいて、処理対象のフレームの各画素値を補正することで、高フレームレート変換後のフレームについての撮像ボケに起因する画像劣化を抑制しているのである。即ち、画像処理装置1など、本発明の画像処理装置から出力された画像信号を図示せぬ表示装置に供給することで、表示装置は、その画像信号に対応する映像として、画像劣化(ボケ画像)が抑制された鮮明な映像を表示することが可能になるのである。 【0093】 このように、撮像ボケ特性検出部12と撮像ボケ抑制処理部13との組は、高フレームレート変換部11と組み合わされると好適である。 【0094】 次に、図3のフローチャートを参照して、かかる図1の機能的構成を有する画像処理装置1の画像処理について説明する。 【0095】 ステップS1において、高フレームレート変換部11は、第1のフレームレートの動画像を入力する。 【0096】 ステップS2において、高フレームレート変換部11は、動画像のフレームレートを、第1のフレームレートよりも高い第2のフレームレートに変換する。 【0097】 第1のフレームレートから第2のフレームレートに変換された動画像が、高フレームレート変換部11から撮像ボケ検出部12と撮像ボケ抑制処理部13とに供給されると、処理はステップS3に進む。 【0098】 ステップS3において、撮像ボケ特性検出部12は、動画像を構成する各フレームのそれぞれの中から、撮像ボケの特性を示すパラメータの値を1以上検出する。 【0099】 動画像を構成する各フレームのそれぞれについての撮像ボケの特性を示すパラメータの1以上の値が、撮像ボケ特性検出部12から撮像ボケ抑制処理部13に供給されると、処理はステップS4に進む。 【0100】 ステップS4において、撮像ボケ抑制処理部13は、高フレームレート変換部11から供給された動画像を構成する各フレームのそれぞれについて、撮像ボケ検出部12により検出されたパラメータの値のうちの処理対象のフレームに対応する1以上の値に基づいて、処理対象のフレームの各画素値を補正する。 【0101】 ステップS5において、撮像ボケ抑制処理部13は、各フレームの画素値が補正され、かつ、第1のフレームレートから第2のフレームレートに変更された動画像を出力する。 【0102】 これにより、図3の画像処理は終了となる。 【0103】 なお、上述した説明では、説明の簡略上、ステップS1乃至S5の各ステップの処理は、動画像が処理単位とされた。ただし、実際には、フレームが処理単位となる場合が多々ある。 【0104】 図3の画像処理において、各ステップの処理単位が動画像であるとは、ステップS1乃至S5のうちの処理対象のステップから次のステップへの移行条件が、処理対象のステップの処理が動画像全体に対して施されるという条件になることと等価である。 【0105】 これに対して、図3の画像処理において、各ステップの処理単位がフレームであるとは、ステップS1乃至S5のうちの処理対象のステップから次のステップへの移行条件が、処理対象のステップの処理が1つのフレーム全体に対して施されるという条件になることと等価である。換言すると、各ステップの処理単位がフレームであるとは、各フレームのそれぞれに対するステップS1乃至S5の連続処理が、他のフレームとは独立して(並行して)実行されることと等価である。この場合、例えば、第1のフレームに対するステップS3の処理が実行されているときに、それとは異なる第2のフレームに対するステップS2の処理が並行して実行されているようなことが起こり得る。 【0106】 さらに、実際には、処理対象のフレームを構成する各画素のそれぞれが、処理の対象として注目すべき画素(以下、注目画素と称する)に順次設定されて、その注目画素に対して、少なくともステップS3とS4の処理が順次個別に施されていくことが多々ある。即ち、ステップS3とS4の処理単位は画素であることが多々ある。 【0107】 そこで、以下の説明においても、ステップS3とS4の処理は画素単位であるとして説明していく。即ち、ステップS3の処理とは撮像ボケ特性検出部12の処理であり、ステップS4の処理とは撮像ボケ抑制処理部13の処理である。従って、以下の説明においては、撮像ボケ特性検出部12と撮像ボケ抑制処理部13の処理単位は画素であるとして説明していく。 【0108】 次に、図1の画像処理装置1のうちの、撮像ボケ抑制処理部13の幾つかの実施の形態例について説明していく。具体的には例えば、撮像ボケの特性を示すパラメータとして、移動ベクトルの絶対値(以下、移動速度と称する)を利用する場合の撮像ボケ抑制処理部13の幾つかの実施の形態例について説明していく。 【0109】 撮像ボケの特性を示すパラメータとして移動速度が利用される場合、撮像ボケ特性検出部12は、例えば、動画像を構成する各フレームのそれぞれについて、処理対象のフレームを構成する各画素のそれぞれを注目画素として順次設定し、注目画素における移動ベクトルを順次検出し、それを、注目画素における撮像ボケの特性を示すパラメータの値として撮像ボケ抑制処理部13に順次供給していくことになる。 【0110】 従って、撮像ボケ抑制処理部13は、例えば、動画像を構成する各フレームのそれぞれについて、処理対象のフレームを構成する各画素のそれぞれを注目画素として順次設定し、撮像ボケ特性検出部12から供給された移動ベクトルのうちの注目画素における移動ベクトルの絶対値に基づいて、即ち、注目画素における移動速度に基づいて、注目画素の画素値を順次補正していくことになる。 【0111】 ここで、移動速度が、撮像ボケの特性を示すパラメータとして採用可能な理由について説明する。 【0112】 撮像ボケの特性は、一般的に被写体の移動速度に依存した形態で表すことが可能である。 【0113】 なお、被写体の移動速度とは、実空間において被写体自体が移動してカメラが固定されている場合に、その被写体がカメラで撮影されたときの、フレーム内での被写体(画像)の移動速度を当然ながら含む。さらに、ここで言う被写体の移動速度とは、実空間において被写体が固定されてカメラが手振れ等により移動した場合、または、実空間において被写体とカメラとが共に移動した場合に、その被写体がカメラで撮影されたときの、フレーム内での被写体(画像)の相対的な移動速度も含む。 【0114】 従って、撮像ボケの特性は、被写体の画像を構成する各画素における移動速度に依存した形態で表すことができる。 【0115】 画素における移動速度とは、処理対象のフレーム内の画素と、それよりも前のフレーム内の対応する画素(対応点)との間の空間的な距離を指す。例えば、処理対象のフレーム内の画素と、その直前(時間的に1つ前)のフレーム内の対応する画素(対応点)との間の空間的な距離が、K(Kは、0以上の任意の整数値)画素分である場合、その画素における移動速度とは、K[画素/フレーム]になる。 【0116】 この場合、被写体の画像を構成する各画素のうちの所定の1つが注目画素に設定されているとすると、注目画素における撮像ボケの特性は、注目画素における移動速度K[画素/フレーム]の大小に依存した形態で表すことができる。 【0117】 より具体的には例えば、注目画素の移動速度が2,3,4[画素/フレーム]のそれぞれの場合、注目画素における撮像ボケの周波数特性のそれぞれは、図4の曲線H2乃至H4のそれぞれで表すことができる。 【0118】 即ち、図4は、注目画素における移動速度が2,3,4[画素/フレーム]のそれぞれの場合についての、注目画素における撮像ボケの周波数特性のそれぞれを示している。図4において、横軸は周波数を、縦軸はゲインのそれぞれを示している。ただし、横軸の各値は、ナイキスト周波数が1とされた場合の相対値を示している。 【0119】 以上の内容が、移動速度が、撮像ボケの特性を示すパラメータとして採用可能な理由である。 【0120】 ところで、図4の周波数特性H2乃至H4の形態からわかるように、注目画素における撮像ボケの特性は空間領域で表現すると、移動平均フィルタ(ローパスフィルタ)で表すことが可能である。 【0121】 即ち、この移動平均フィルタ(ローパスフィルタ)を示す伝達関数(以下、撮像ボケの伝達関数と称する)をHと記述し、撮像ボケが仮に発生しなかった場合の理想的な画像信号(以下、撮像ボケ前の信号と称する)を周波数領域でFと記述し、かつ、カメラから出力される実際の画像信号、即ち、撮像ボケが発生した画像信号(以下、撮像ボケ後の信号と称する)を周波数領域でHと記述すると、撮像ボケ後の信号Gは、次の式(1)のように表される。 【0122】 G = H×F ・・・(1) 【0123】 本発明においては撮像ボケを取り除く(抑制する)ことが目的とされているので、この本発明の目的を達成するためには、既知である撮像ボケ後の信号Gと、既知である撮像ボケの伝達関数Hとから、撮像ボケ前の信号Fを予測演算すればよい。即ち、次の式(2)の予測演算が実行されればよい。 【0124】 F = inv(H)×G ・・・(2) 【0125】 式(2)において、inv(H)は、撮像ボケの伝達関数Hの逆関数を示している。上述したように撮像ボケの伝達関数Hがローパスフィルタの特性を持つことから、その逆関数inv(H)も、当然ながらハイパスフィルタの特性を持つ。 【0126】 また、上述したように、撮像ボケの伝達関数Hは、移動速度に応じてその特性が変化する。具体的には例えば、注目画素における移動速度が2,3,4[画素/フレーム]のそれぞれの場合、注目画素における撮像ボケの伝達関数Hの周波数特性は、図4の曲線H2,曲線H3,曲線H4のそれぞれに示されるような相異な特性となる。 【0127】 従って、撮像ボケ抑制処理部13は、移動速度に応じて撮像ボケの伝達関数Hの特性を変更して、特性が変更された伝達関数Hの逆関数inv(H)を求め、その逆関数inv(H)を用いて上述した式(2)の演算処理を実行すれば、本発明の目的、即ち、撮像ボケを取り除く(抑制する)という目的を達成することが可能になる。 【0128】 或いは、上述した式(2)の演算は周波数領域の演算であるので、本発明の目的を達成するために、撮像ボケ抑制処理部13は、上述した式(2)の演算処理と等価な空間領域での処理を実行してもよい。具体的には例えば、撮像ボケ抑制処理部13は、次のような第1乃至第3の処理を実行してもよい。 【0129】 第1の処理とは、撮像ボケ特性検出部12から供給された注目画素における移動速度に応じて、注目画素における撮像ボケを示す移動平均フィルタ(ローパスフィルタ)の特性を変換する処理である。具体的には例えば、複数の移動速度毎に移動平均フィルタを1つずつ予め用意しておき、複数の移動平均フィルタの中から、注目画素における移動速度に対応する1つを選択する処理が、第1の処理の一例である。 【0130】 第2の処理とは、次の第2−1乃至第2−3の処理からなる処理である。 【0131】 第2−1の処理とは、第1の処理により特性が変換された移動平均フィルタに対してフーリエ変換を施すことにより、その移動平均フィルタを周波数表示する処理である。具体的には例えば、注目画素における移動速度が2,3,4[画素/フレーム]のそれぞれの場合、図4の曲線H2,曲線H3,曲線H4のそれぞれを得る処理が第2−1の処理である。即ち、周波数領域で考えると、注目画素における撮像ボケの伝達関数Hを求める処理が第2−1の処理である。 【0132】 第2−2の処理とは、第2−1の処理により周波数表示された移動平均フィルタの逆数を算出する処理である。即ち、周波数領域で考えると、上述した式(2)に示される、撮像ボケの伝達関数Hの逆関数inv(H)を生成する処理が、第2−2の処理である。 【0133】 第2−3の処理とは、第2−2の処理により算出された、周波数表示された移動平均フィルタの逆数に対して逆フーリエ変換を施す処理である。即ち、逆関数inv(H)に対応するハイパスフィルタ(ウィーナーフィルタ等)を生成する処理が第2−3の処理である。換言すると、移動平均フィルタの逆フィルタを生成する処理が第2−3の処理である。なお、以下、第2−3の処理により生成されるハイパスフィルタを、逆移動平均フィルタと称する。 【0134】 第3の処理とは、撮像ボケ後の周波数領域の上述した式(2)の信号Gに対応する空間領域の画像信号gを入力画像として入力し、その画像信号gに対して、第2−3の処理により生成された逆移動平均フィルタをかける処理である。この第3の処理により、撮像ボケ前の周波数領域の上述した式(2)の信号Fに対応する空間領域の画像信号fが復元(予測演算)されることになる。具体的には例えば、処理対象のフレームのうちの注目画素を含む所定のブロックに対して逆移動平均フィルタをかけることで、注目画素の画素値を補正する処理が、第3の処理である。 【0135】 かかる第1乃至第3の処理を実行可能な撮像ボケ抑制処理部13の機能的構成の一実施例が、図5に示されている。即ち、図5は、撮像ボケ抑制処理部13の機能的構成の一実施例を示している。 【0136】 図5の例の撮像ボケ抑制処理部13には、移動平均フィルタ(ローパスフィルタ)特性変換部21、逆移動平均フィルタ(ハイパスフィルタ)生成部22、および、逆移動平均フィルタ部23(ハイパスフィルタ部23)が設けられている。 【0137】 移動平均フィルタ特性変換部21は、上述した第1の処理を実行する。逆移動平均フィルタ生成部22は、上述した第2の処理を実行する。逆移動平均フィルタ部23は、上述した第3の処理を実行する。 【0138】 しかしながら、撮像ボケ抑制処理部13が図5のように構成された場合、次のような新たな課題が発生してしまう。即ち、図4の周波数特性H2乃至H4にも示されるように、撮像ボケを示す移動平均フィルタ(その周波数特性)には、ゲインが0となる周波数が含まれている。このため、逆移動平均フィルタ生成部22は、その移動平均フィルタの完全な逆フィルタ(完全な逆移動平均フィルタ)を生成するのは困難である、という新たな課題が発生してしまう。 【0139】 ところで、図5の移動平均フィルタ部23の処理、即ち、逆移動平均フィルタ(ハイパスフィルタ)を入力画像に対してかける処理とは、入力画像の周波数特性のうちの、撮像ボケを示すローパスフィルタによりゲインが減衰してしまった周波数帯において、そのゲインを持ち上げる処理であるとも言える。 【0140】 そこで、この新たな課題を解決するためには、図5の構成の撮像ボケ抑制処理部13を採用する代わりに、ゲインが減衰してしまった周波数帯域において、そのゲインを持ち上げる機能を有する撮像ボケ抑制処理部13を採用すればよい。具体的には例えば、図6の構成の撮像ボケ抑制処理部13を採用すればよい。即ち、図6は、撮像ボケ抑制処理部13の機能的構成の図5とは異なる実施例を示している。 【0141】 換言すると、図6の例の撮像ボケ抑制処理部13には、この機能を実現するために、移動平均フィルタ(ローパスフィルタ)特性変換部31乃至加算部34が設けられている。 【0142】 移動平均フィルタ特性変換部31は、図5の移動平均フィルタ特性変換部21と基本的に同様の機能と構成を有している。即ち、移動平均フィルタ特性変換部31は、撮像ボケを示す移動平均フィルタ(ローパスフィルタ)の特性を、処理対象のフレーム(入力画像)内の注目画素の移動速度に応じて変換する。なお、この移動速度は、図6においては、撮像ボケ特性検出部12から供給されるパラメータ値として示されている。即ち、この移動速度は、撮像ボケ特性検出部12から供給される。 【0143】 移動平均フィルタ部32(ローパスフィルタ部32)は、処理対象のフレーム(入力画像)内の注目画素を含む所定のブロックに対して、移動平均フィルタ特性変換部31により特性が変換された移動平均フィルタをかけることで、注目画素の画素値を補正する。移動平均フィルタ部32により補正された注目画素の画素値は、減算部33に供給される。 【0144】 即ち、減算部33には、移動平均フィルタ部32により補正された注目画素の画素値が極性反転されて入力される。減算部33にはまた、処理対象のフレーム(入力画像)のうちの注目画素の補正前の画素値が入力される。 【0145】 そこで、減算部33は、注目画素の補正前の画素値と、移動平均フィルタ部32により補正された注目画素の画素値との差分を求め、その差分値を加算部34に供給する。なお、以下、加算部33の出力を、移動平均フィルタ前後の差分と称する。 【0146】 このようにして、加算部34には、移動平均フィルタ前後の差分が入力される。加算部34にはまた、処理対象のフレーム(入力画像)内の注目画素の補正前の画素値が入力される。 【0147】 そこで、加算部34は、注目画素の補正前の画素値に対して、移動平均フィルタ前後の差分を補正値として加算し、その加算結果を出力画像(その一部)として出力する。即ち、出力画像とは、補正された各画素値からなるフレーム、或いは、それらの複数のフレームからなる動画像である。 【0148】 以上の内容をまとめると、図6の例の撮像ボケ抑制処理部13は、動画像を構成する各フレームのそれぞれについて、処理対象のフレームを構成する各画素値に対して、対応する移動平均フィルタ前後の差分を補正値としてそれぞれ加算することで、各画素値を補正している。 【0149】 このような図6の例の撮像ボケ抑制処理部13の空間領域での処理は、周波数領域で考えると次のようになる。 【0150】 即ち、加算部33の出力信号である移動平均フィルタ前後の差分を周波数領域で考えた場合、所定の周波数に着目すると、加算部33の出力信号のゲインとは、次のようなゲインになる。即ち、着目された周波数において、入力画像信号のゲインと、移動平均フィルタがかけられた後の入力画像信号のゲインとの差分が、加算部33の出力信号のゲインとなる。以下、加算部33の出力信号のゲインを、移動平均フィルタ前後の差分ゲインと称する。 【0151】 従って、図6の例の撮像ボケ抑制処理部13(加算部34)から出力される出力画像信号を周波数領域で考えた場合、所定の周波数に着目すると、出力画像信号のゲインは、入力画像信号のゲインに対して、移動平均フィルタ前後の差分ゲインが加算された値となっている。即ち、各周波数のそれぞれにおいて、出力画像信号のゲインは、入力画像のゲインに比較して、移動平均フィルタ前後の差分ゲイン分だけ持ち上げられている。 【0152】 換言すると、図6の例の撮像ボケ抑制処理部13全体では、ハイパスフィルタをかける処理と基本的に等価な処理を実行していることになる。 【0153】 以上、撮像ボケ抑制処理部13の実施の形態例として、ハイパスフィルタをかける処理を実行する図5の例と、ハイパスフィルタをかける処理と基本的に等価な処理を実行する図6の例とについて説明した。 【0154】 ところで、画像信号に対してハイパスフィルタをかける処理とは、エッジを立たせる処理であるとも言える。即ち、撮像ボケ抑制処理部13の処理とは、結局、いわゆる絵作りのためにエッジを立たせることを目的とするのではなく、撮像ボケにより鈍ってしまったエッジを立たせることを目的とする処理であると言える。従って、この目的を達成するため、撮像ボケ抑制処理部13は、撮像ボケと移動速度との上述した因果関係(撮像ボケの特性は移動速度の大小に依存すると言う関係)を利用して、エッジの立たせ度合(エンハンス量)を制御していると言える。即ち、撮像ボケ抑制処理部13は、エッジ部分(対応する画素)の移動速度に応じて、エッジの立たせ度合を可変していると言える。例えば、上述した図5と図6の例では、撮像ボケ抑制処理部13は、移動速度に応じて、撮像ボケを示す移動平均フィルタ(ローパスフィルタ)の特性を変換することで、エッジの立たせ度合を可変しているのである。 【0155】 また、エッジの立たせ度合と、各画素値に対する補正量とは対応している。 【0156】 従って、本発明においては、撮像ボケ抑制処理部13は、注目画素における移動速度に応じて補正量(エッジの立たせ度合)を可変して、注目画素の補正前の(入力時)の画素値に対してその補正量を加算する手法が単に適用されていればよいことになる。即ち、撮像ボケ抑制処理部13の形態は上述した図5と図6の例に限定されず、様々な形態を取ることが可能である。 【0157】 例えば、撮像ボケ抑制処理部13は、次のような第1の遅延部、第2の遅延部、補正部、および、遅延時間変更部を備えるように構成することができる。 【0158】 即ち、第1の遅延部は、処理対象のフレームのうちの、動きベクトルの方向に連続して並ぶ画素群(注目画素を含む画素群)に対応する第1の画像信号が順次入力されると、その第1の画像信号を第1の遅延時間だけ遅延させ、その結果得られる第2の画像信号を出力する。なお、第1の遅延時間とは、例えば第1の画像信号のうちの、N画素(Nは1以上の整数値)分に対応する部分信号が第1の遅延部に入力されるのに要する時間を指す。 【0159】 第2の遅延部は、第1の遅延部から出力された第2の画像信号が順次入力され、その第2の画像信号を第2の遅延時間だけ遅延させ、その結果得られる第3の画像信号を出力する。なお、第2の遅延時間とは、例えば第2の画像信号のうちの、M画素(Mは、Nを含む1以上の整数値)分に対応する部分信号が第2の遅延部に入力されるのに要する時間を指す。 【0160】 補正部は、第1の信号乃至第3の信号を利用して補正量を決定し、その補正量を、注目画素の画素値に加算することで、注目画素の画素値を補正する。 【0161】 遅延時間変更部は、撮像ボケ特性検出部12から供給された注目画素の移動速度に応じて、第1の遅延部の第1の遅延時間を変更するとともに、第2の遅延部の第2の遅延時間を変更する。 【0162】 このように、注目画素の移動速度に応じて第1の遅延時間と第2の遅延時間が適切に変更されると、それに伴い、第2の信号と第3の信号の形態(波形)も変更される。従って、第1の信号乃至第3の信号を利用して決定される補正量も、注目画素の移動速度に応じて変更される。これにより、撮像ボケが発生しているエッジ部分を、撮像ボケが発生した分だけ適切に立たせることが可能になり、その結果、フレームレート変換後のフレームについての撮像ボケに起因する画像劣化(ボケ画像)を抑制することが可能になる。そして、最終的には、鮮明な映像を表示装置に表示させることが可能になるのである。 【0163】 かかる第1の遅延部、第2の遅延部、補正部、および、遅延時間変更部を備える撮像ボケ抑制処理部13は、具体的には例えば、図7に示されるように構成することができる。即ち、図7は、撮像ボケ抑制処理部13の機能的構成の図5や図6とは異なる実施例を示している。 【0164】 図7の例の撮像ボケ抑制処理部13は、入力部51、第1の遅延部である可変DL部52、第2の遅延部である可変DL部53、補正部54−1、遅延時間変更部55、および、出力部56から構成される。補正部54−1は、減算部61乃至加算部73から構成される。 【0165】 以下、図8に示される各信号を参照しつつ、図7の例の撮像ボケ抑制処理部13の詳細な構成(各ブロックの接続形態)とその動作について併せて説明する。即ち、図8は、図7の例の撮像ボケ抑制処理部13の各ブロックのそれぞれの出力信号の例を示すタイミングチャートである。 【0166】 図7において、入力部51には、高フレームレート変換部11により高フレームレート変換処理が施された入力画像の信号、例えば、図8の信号aが供給される。この入力部51に入力された信号aは可変DL部52に供給される。すると、可変DL部52からは、信号aに対して第1の遅延時間Tだけ遅延された例えば図8の信号bが出力される。可変DL部52の出力信号bは可変DL部53に供給される。すると、信号bに対して第2の遅延時間Tだけ遅延された例えば図8の信号c、即ち、信号aに対して時間2Tだけ遅延された信号cが、可変DL部53から出力される。 【0167】 可変DL部52の入力信号aと可変DL部53の出力信号cとが減算部61に供給される。減算部61は、信号cから信号aを減算し、その結果得られる例えば図8の信号dを全波整流部62に供給する。さらに、この信号dは、全波整流部62を介して、正極性の信号を負極性に変換する負号化部63に供給される。その結果、負号化部63からは、例えば図8の信号eが出力されて、減算部71に供給される。 【0168】 また、可変DL部52の入力信号aと出力信号bとが減算部64に供給される。減算部64は、信号bから信号aを減算し、その結果得られる例えば図8の信号fを全波整流部65に供給する。さらに、この信号fは、全波整流部65と負号化部66を通過することにより、例えば図8の信号gに変換されて、MIN出力部70に供給される。 【0169】 また、可変DL部53の入力信号b(可変DL部52の出力信号b)と出力信号cとが減算部67に供給される。減算部67は、信号cから信号bを減算し、その結果得られる例えば図8の信号hを全波整流部68に供給する。さらに、この信号hは、全波整流部68と負号化部69を通過することにより、例えば図8の信号iに変換されて、MIN出力部70に供給される。 【0170】 MIN(最小値)出力部70は、供給された信号gと信号iとのうちの小さい方を取り出す。従って、MIN出力部70からは、例えば図8の信号jが出力され減算部71に供給される。 【0171】 減算部71は、負号化部63から供給された信号eから、MIN出力部70から供給された信号jを減算し、その結果得られる例えば図8の信号kをスライス部72に供給する。 【0172】 スライス部72に供給された信号kは、例えば図8の信号lに変換されて、加算部73に供給される。 【0173】 加算部73は、可変DL部52の出力信号bに対して、スライス部72から供給された信号lを補正信号として加算して、その結果得られる例えば図8の信号mを出力画像の信号として出力部56を介して出力する。 【0174】 換言すると、補正部54−1においては、可変DL部52から出力されて可変DL部53に入力された画像信号bのうちの注目画素に対応する第1の部分信号、可変DL部52に入力された画像信号aのうちの注目画素に対応する部分信号が入力された略時点よりも第1の遅延時間Tだけ前に入力された第2の部分信号、および、可変DL部53から出力された画像信号cのうちの注目画素に対応する部分信号が出力された略時点から第2の遅延時間Tだけ後に出力された第3の部分信号を利用して、第1の部分信号のレベル(注目画素の画素値)の補正量が決定される。即ち、第1の部分信号のレベル(注目画素の画素値)に対する補正量とは、スライス部72から出力され加算部73に入力される信号lのうちの注目画素に対応する第4の部分信号のレベルである。そして、加算部73において、信号bのうちの第1の部分信号のレベル(注目画素の画素値)に対して、信号lのうちの第4の部分信号のレベル(補正量)が加算されることで、第1の部分信号のレベルが補正されるのである。 【0175】 従って、可変DL部52の第1の遅延時間Tと、可変DL部53の第2の遅延時間Tとを、注目画素における移動速度に応じて適切に可変させることで、注目画素に対する補正量(信号lのうちの第4の部分信号のレベル)を適切に可変させることができる。 【0176】 換言すると、信号aのうちの上述した第2の部分信号のレベルとは、移動ベクトルの方向または逆方向に、第1の遅延時間Tに対応するN画素分だけ注目画素から離間した第1の他の画素の画素値に相当する。同様に、信号cのうちの上述した第3の部分のレベルとは、移動ベクトルの方向または逆方向に、第2の遅延時間Tに対応するM(=N)画素分だけ注目画素から離間した第2の他の画素の画素値に相当する。 【0177】 従って、信号lのうちの第4の部分信号のレベルとは、注目画素の画素値、第1の他の画素の画素値、および第2の他の画素の画素値に基づいて決定された補正量であると言える。また、可変DL部52の第1の遅延時間Tと可変DL部53の第2の遅延時間Tとを、注目画素の移動速度に応じて可変させることとは、結局、第1の他の画素と第2の他の画素として採用する画素を、注目画素の移動速度に応じて可変させることであると言える。 【0178】 以上のように、図7の例の撮像ボケ抑制処理部13は、注目画素の移動速度に応じて第1の他の画素と第2の他の画素とを適切に可変することで、入力画像(入力信号a)に比較して、撮像ボケによって鈍った分だけ(必要な分だけ)エッジ部分が立った信号を出力画像(出力信号m)として出力することが可能になる。これにより、各フレーム内の撮像ボケに起因する劣化部分(ボケ画像)が劣化前の状態(ボケ画像がない状態)にほぼ回復し、その結果、鮮明な映像が図示せぬ表示装置に表示されるのである。 【0179】 なお、図7の例の撮像ボケ抑制処理部13にスライス部72が仮に設けられなかった場合には、例えば図8の信号nが出力画像の信号として出力部56から出力されることになる。この場合、例えば上向きのパルスではレベルが高くなって、図示せぬ表示装置に表示される画像が不自然になる。また下向きのパルスではパルスの中央に大きな凹部が形成されて、図示せぬ表示装置に表示される画像が不自然になる。 【0180】 これに対して、図7の例の撮像ボケ抑制処理部13においては、スライス部72が設けられているので、このような不自然な画像の形成を防止することが可能になる。 【0181】 また、上述したように、図7の例の撮像ボケ抑制処理部13の補正部54−1は、可変DL部52と可変DL部53との入出力信号のうちの所定の2つの信号を減算して得られる減算信号のうちの、3つの減算信号をそれぞれ全波整流して負号化し、これらの3つの信号に対して所定の演算処理を施した後に、負極性の信号成分である信号lのみを取り出して、その信号lを、注目画素に対する補正量として利用する。これにより、プリシュート及びオーバーシュートが付加されることがない出力信号、例えば図8の出力信号mが得られる。 【0182】 即ち、本発明の目的は、撮像ボケ後の画像信号を撮像ボケ前の画像信号に戻す(近づける)ことである。撮像ボケ前の画像信号のエッジ部分には、当然ながらプリシュートとオーバーシュートとは付加されていない。従って、撮像ボケ抑制処理部13の出力信号にプリシュートまたはオーバーシュートが付加されている場合、その出力信号は、撮像ボケ前の画像信号が復元された信号であるとは言い難い。即ち、撮像ボケの抑制を目的とする補正としては過補正となっている。そこで、図7の例の撮像ボケ抑制処理部13では、プリシュートとオーバーシュートとが付加されていない出力信号、即ち、撮像ボケ前の画像信号により近い画像信号を出力するようにしているのである。 【0183】 以上、第1の遅延部、第2の遅延部、補正部、および、遅延時間変更部を備える撮像ボケ抑制処理部13として、図7の構成を有する撮像ボケ抑制処理部13について説明したた。ただし、第1の遅延部、第2の遅延部、補正部、および、遅延時間変更部を備える撮像ボケ抑制処理部13は、当然ながら図7の例に限定されず、様々な実施の形態を取ることが可能である。 【0184】 具体的には例えば、第1の遅延部、第2の遅延部、補正部、および、遅延時間変更部を備える撮像ボケ抑制処理部13は、上述した図7の構成の他、図9に示されるように構成することもできる。即ち、図9は、撮像ボケ抑制処理部13の機能的構成の図5、図6、および図7とは異なる実施例を示している。 【0185】 なお、図9の例の撮像ボケ抑制処理部13において、図7の例の撮像ボケ抑制処理部13と同一の機能と構成を有するブロックについては、図7と対応する符号を付してある。 【0186】 図9の例の撮像ボケ抑制処理部13は、入力部51、第1の遅延部である可変DL部52、第2の遅延部である可変DL部53、補正部54−2、遅延時間変更部55、および、出力部56から構成される。補正部54−2には、図7の補正部54−1にも設けられている減算部61乃至加算部73に加えて、極性反転部74乃至乗算部84がさらに設けられている。 【0187】 即ち、図7と図9とを比較するに、入力部51、可変DL部52、可変DL部53、遅延時間変更部55、出力部56、および、補正部54−2のうちの減算部61乃至加算部73までの構成は同一とされている。 【0188】 そこで、以下、図10に示される各信号を参照しつつ、図9の例の撮像ボケ抑制処理部13のうちの図7の例とは異なる部分、即ち、極性反転部74乃至乗算部84の詳細な構成(各ブロックの接続形態)とその動作についてさらに説明する。即ち、図10は、図9の例の撮像ボケ抑制処理部13のうちの図7の例とは異なる各ブロックのそれぞれの出力信号の例を示すタイミングチャートである。 【0189】 例えばいま、図9のスライス部72からは、図8の信号lと同一の図10の信号aaが出力されているとする。ただし、このスライス部72の出力信号aaは、図9の例では、加算部73に供給されずに、乗算部84に供給されている。 【0190】 なお、図10においては、このスライス部72の出力信号aaを含む信号aa乃至信号nnは、図8の信号lを含む信号a乃至nに比較して振幅が2倍にされている。図10の信号aa乃至信号nnの時間変化を明瞭にするためである。 【0191】 また、図9の減算部64からは、例えば図8の信号fと同一の図10の信号bbが出力されている。ただし、この減算部64の出力信号bbは、全波整流部65に供給される他さらに、MAX出力部75とMIN出力部76とに供給されている。 【0192】 また、図9の減算部67の出力信号は、全波整流部68に供給される他さらに、極性反転部74に供給されている。極性反転部74に供給された信号はその極性が反転されて、その結果、例えば図10の信号ccが得られ、この信号ccがMAX出力部77とMIN出力部78とに供給されている。 【0193】 また、MAX出力部75、MIN出力部76、MAX出力部77、および、MIN出力部78のそれぞれには、交流接地電位が供給される。 【0194】 これによって、MAX出力部75からは、例えば図10に示されるような、減算部64の出力信号bbの正極性の部分である信号ddが出力されて、加算部79に供給される。MIN出力部76からは、例えば図10に示されるような、減算部64の出力信号bbの負極性の部分である信号ggが出力されて、加算部81に供給される。MAX出力部77からは、例えば図10に示されるような、極性反転部74の出力信号ccの正極性の部分である信号ffが出力されて、加算部81に供給される。MIN出力部78からは、例えば図10に示されるような、極性反転部74の出力信号ccの負極性の部分である信号eeが出力されて、加算部79に供給される。 【0195】 加算部79は、MAX出力部75の出力信号ddと、MIN出力部78の出力信号eeとを加算し、その結果得られる例えば図10の信号hhをインバーターアンプ80に供給する。加算部81は、MIN出力部76の出力信号ggと、MAX出力部77の出力信号ffとを加算し、その結果得られる例えば図10の信号jjをインバーターアンプ82に供給する。 【0196】 インバーターアンプ80は、加算部79の出力信号hhの極性を反転して矩形波に成形し、その結果得られる例えば図10の信号iiを加算部83に供給する。同様に、インバーターアンプ82は、加算部81の出力信号jjの極性を反転して矩形波に成形し、その結果得られる例えば図10の信号kkを加算部83に供給する。 【0197】 加算部83は、インバーターアンプ80の出力信号iiと、インバーターアンプ82の出力信号kkとを加算し、その結果得られる例えば図10の信号llを乗算部84に供給する。 【0198】 このようにして、乗算部84においては、加算部83の出力信号llとスライス部72の出力信号aaが供給されるので、それらの信号llと信号aaとが乗算され、その結果得られる例えば図10の信号mm、即ち、スライス部72の出力信号aaの傾きの符号が変化した部分の極性が反転された信号mmが出力される。 【0199】 そしてこの乗算部84の出力信号mmが補正信号として加算部73に供給されて、この加算部73において、この補正信号mmが、上述した可変DL部52の出力信号(図8の信号bと同一の信号)に加算され、その結果得られる例えば図10の信号nnが、出力画像の信号として出力部56を介して出力されるのである。 【0200】 以上説明したように、図9の例の撮像ボケ抑制処理部13は、図7の例に対してさらに、減算信号bb,ccの正極性の部分と負極性の部分とを分離し、これらの信号に対して所定の演算処理を施して、その結果得られる矩形波信号llを用いて補正信号aaの極性を制御することによって、さらに出力信号の輪郭を鋭角にした(エッジを急峻にする)補正を行うことができる。 【0201】 以上、本発明が適用される図1の画像処理装置1のうちの撮像ボケ抑制処理部13の実施の形態として、図5、図6、図7、および図9の機能的構成をそれぞれ有する撮像ボケ抑制処理部13について説明した。 【0202】 これらの機能的構成を有する撮像ボケ抑制処理部13は、各画素値の補正を行う際、上述した例では、移動速度(移動ベクトルの絶対値)をパラメータとして使用したが、この移動速度の他、撮像ボケの特性を示すパラメータであれば任意のパラメータを使用することができる。 【0203】 具体的には例えば、撮像ボケ抑制処理部13は、撮像ボケの特性を示すパラメータとして、処理対象の動画像を撮影した時点のカメラのシャッタ速度を利用することができる。なぜならば、例えば図11に示されるように、シャッタ速度が違うと同図中の時間Ts分だけ撮像ボケの度合いも異なるからである。 【0204】 即ち、図11において、上側の図は、シャッタ速度がフレーム速度と同一の1/30秒である場合の図を示しており、下側の図は、シャッタ速度がフレーム速度よりも早い(1/30-Ts)秒である場合の図を示している。図11の両図とも、横軸は時間軸を表しており、縦軸はシャッタ開口時間の割合を表している。シャッタ開口時間の割合とは、例えば、シャッタ速度をV[秒](Vは、0以上の任意の値)とし、シャッタが開口された第1の時刻の割合を0%とし、第1の時刻からV[秒]が経過してシャッタが閉じる第2の時刻の割合を100%とし、かつ、第1の時刻から現時刻までの時間Ta[秒](Taは、0以上V以下の任意の正値)とした場合に、(Ta/V)×100[%]で示される割合である。この場合、図11の両図の縦軸において、時間軸と接する値が100[%]になり、最大値(各直線の最上位の値)が0[%]になる。即ち、図11の両図の縦軸においては、下方にいく程、シャッタ開口時間の割合は大きくなっていくのである。 【0205】 例えばいま、カメラの1つの検出素子が、フレーム内の1つの画素に対応しているとする。この場合、図11の上側の図に示されるように、シャッタ速度が1/30秒であるときには、カメラの1つの検出素子からは、シャッタが開口している1/30秒間に入射された光の積分値が、対応する画素の画素値として出力される。これに対して、シャッタ速度が(1/30-Ts)秒である場合には、カメラの1つの検出素子からは、シャッタが開口している(1/30-Ts)秒間に入射された光の積分値が、対応する画素の画素値として出力される。 【0206】 即ち、シャッタ速度は、検出素子における光の蓄積時間に対応している。従って、例えば、実空間において所定の検出素子の前を横切って移動するオブジェクトが存在する場合、シャッタ速度が(1/30-Ts)秒のときよりも1/30秒のときの方が、その検出素子には、オブジェクトに対応する光とは異なる光、例えば、背景の光が時間Ts[秒]分だけ多く入射されてしまうことになる。これにより、シャッタ速度が(1/30-Ts)秒のときよりも1/30秒のときの方が、1つの検出素子から出力される画素値の中に、オブジェクトとは異なる背景等の光の蓄積値が混合される割合が多くなってしまう。その結果、撮像ボケの度合いが大きくなってしまう。 【0207】 以上の内容をまとめると、シャッタ速度が遅くなればなるほど、撮像ボケの度合いが大きくなる。即ち、シャッタ速度は、撮像ボケの一特性を示していると言える。従って、シャッタ速度も、移動速度と同様に、撮像ボケの特性を示すパラメータとして利用することが可能である。 【0208】 なお、このようなシャッタ速度が、撮像ボケの特性を示すパラメータとして利用される場合には、図1の撮像ボケ特性検出部12は、例えば、高フレームレート変換部11から供給された動画像(データ)に付加されているヘッダ情報などを解析することで、各フレームのシャッタ速度を検出し、それらを撮像ボケの特性を示すパラメータとして、撮像ボケ抑制処理部13に供給することができる。撮像ボケ抑制処理部13は、例えば、移動速度の代わりにこのシャッタ速度を利用して上述した一連の処理を実行することで、各画素値を適切に補正することができる。このシャッタ速度を利用する場合の撮像ボケ抑制処理部13の構成は、移動速度を利用する場合のそれと基本的に同様の構成を取ることができる。即ち、上述した図5、図6、図7、および図9のいずれの機能的構成を有する撮像ボケ抑制処理部13も、シャッタ速度をパラメータ値として利用して上述した一連の処理を実行することで、各画素値を適切に補正することができる。 【0209】 以上、本発明が適用される画像処理装置の実施の形態として、図1に示される機能的構成を有する画像処理装置1について説明したが、本発明は、図1の例に限定されず、その他様々な実施の形態を取ることが可能である。 【0210】 具体的には例えば、図12乃至図15のそれぞれには、本発明が適用される画像処理装置の他の実施の形態の機能ブロック図が示されている。 【0211】 例えば、図12の画像処理装置101は、図1の画像処理装置1と同様に、高フレームレート変換部11、撮像ボケ特性検出部12、および、撮像ボケ抑制処理部13から構成される。 【0212】 ただし、図12の画像処理装置101においては、撮像ボケ抑制処理部13の補正処理の対象は、画像処理装置101の入力動画像、即ち、高フレームレート変換部11により高フレームレート変換処理が施される前の動画像である。このため、撮像ボケ特性検出部12も、高フレームレート変換部11により高フレームレート変換処理が施される前の動画像の中から、撮像ボケの特性を示すパラメータの値を検出し、その検出結果を撮像ボケ抑制処理部13に供給している。 【0213】 従って、図12の画像処理装置101の画像処理は、図3の画像処理のうちの、ステップS1、S3、S4、S2、およびS5のそれぞれの処理がその順番で実行される処理となる。 【0214】 また、例えば、図13の画像処理装置102は、図1の画像処理装置1や図12の画像処理装置101と同様に、高フレームレート変換部11、撮像ボケ特性検出部12、および、撮像ボケ抑制処理部13から構成される。 【0215】 この図13の画像処理装置102においては、撮像ボケ抑制処理部13の補正処理の対象は、図1の画像処理装置1と同様に、入力動画像に対して高フレームレート変換処理が高フレームレート変換部11により施された結果得られる動画像である。即ち、撮像ボケ抑制処理部13は、高フレームレート変換処理が施された後の動画像に対して補正処理を施す。 【0216】 ただし、図13の画像処理装置102の撮像ボケ特性検出部12は、入力動画像の中から、即ち、高フレームレート変換部11により高フレームレート変換処理が施される前の動画像の中から、撮像ボケの特性を示すパラメータを検出し、その検出結果を撮像ボケ抑制処理部13に供給している。即ち、図13の画像処理装置102の撮像ボケ抑制処理部13は、高フレームレート変換処理が施される前の動画像の中から検出されたパラメータの値を利用して、各画素値を補正している。 【0217】 以上のことから、図13の画像処理装置102の画像処理も、図3の画像処理と同様の流れで実行される処理、即ち、ステップS1、S2、S3、S4、およびS5のそれぞれの処理がその順番で実行される処理となる。ただし、ステップS3の処理は、「高フレームレート変換処理が施される前の動画像、即ち、ステップS1の処理で入力された動画像を構成する各フレームのそれぞれの中から、撮像ボケの特性を示すパラメータの値を検出する」という処理になる。 【0218】 このような図12の画像処理装置101と図13の画像処理装置102とに対して、図14の画像処理装置112と図15の画像処理装置131とは、高フレームレート変換部11と撮像ボケ抑制処理部13とから構成され、撮像ボケ特性検出部12はその構成要素に含んでいない。 【0219】 即ち、図14と図15に示されるように、撮像ボケ特性検出部12は、他の画像処理装置111(以下、図面の記載にあわせて、画像信号生成装置111と称する)内に重畳部121とともに設けられている。この画像信号生成装置111に入力された動画像は、撮像ボケ特性検出部12と重畳部121とに供給される。撮像ボケ特性検出部12は、この動画像の中から、撮像ボケの特性を示すパラメータの値を検出し、重畳部121に供給する。重畳部121は、この動画像に対して、撮像ボケの特性を示すパラメータの値を重畳し、その結果得られる信号を出力する。 【0220】 従って、図14の画像処理装置112と図15の画像処理装置131には、撮像ボケの特性を示すパラメータの値が重畳された動画像(信号)が画像信号生成装置111から供給されてくる。 【0221】 そこで、例えば、図14の画像処理装置112では、撮像ボケ抑制処理部13が、撮像ボケの特性を示すパラメータの値と動画像とを分離して、分離された動画像を構成する各フレームのそれぞれについて、分離された撮像ボケの特性を示すパラメータの値に基づいて各画素値を補正する。 【0222】 次に、高フレームレート変換部11が、撮像ボケ抑制処理部13により補正された動画像に対して高フレームレート変換処理を施し、その結果得られる動画像、即ち、高フレームレートに変換され、かつ補正がなされた動画像を出力する。 【0223】 以上のことから、図14の画像処理装置112の画像処理は、図3の画像処理のうちの、ステップS1、S4、S2、およびS5のそれぞれの処理がその順番で実行される処理となる。 【0224】 これに対して、例えば、図15の画像処理装置131では、高フレームレート変換部11が、撮像ボケの特性を示すパラメータの値と動画像とを分離して、分離された動画像に対して高フレームレート変換処理を施し、その結果得られる動画像、即ち、高フレームレートに変換された動画像を撮像ボケ抑制処理部13に供給する。このとき、高フレームレート変換部11により分離された撮像ボケの特性を示すパラメータの値も、撮像ボケ抑制処理部13に供給される。 【0225】 次に、撮像ボケ抑制処理部13が、高フレームレートに変換された動画像を構成する各フレームのそれぞれについて、撮像ボケの特性を示すパラメータの値に基づいて各画素値を補正し、その結果得られる動画像、即ち、補正がなされ、かつ高フレームレートに変換された動画像を出力する。 【0226】 ところで、上述した一連の処理(或いはそのうちの一部分の処理)は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。 【0227】 この場合、図1の画像処理装置1全体若しくはその一部分(例えば、撮像ボケ抑制処理部13等)、図12の画像処理装置101全体若しくはその一部分、図13の画像処理装置102全体若しくはその一部分、図14の画像処理装置112全体若しくはその一部分、および、図15の画像処理装置131全体若しくはその一部分は、例えば、図16に示されるようなコンピュータで構成することができる。 【0228】 図16において、CPU(Central Processing Unit)201は、ROM(Read Only Memory)202に記録されているプログラム、または記憶部208からRAM(Random Access Memory)203にロードされたプログラムに従って各種の処理を実行する。RAM203にはまた、CPU201が各種の処理を実行する上において必要なデータなども適宜記憶される。 【0229】 CPU201、ROM202、およびRAM203は、バス204を介して相互に接続されている。このバス204にはまた、入出力インタフェース205も接続されている。 【0230】 入出力インタフェース205には、キーボード、マウスなどよりなる入力部206、ディスプレイなどよりなる出力部207、ハードディスクなどより構成される記憶部208、および、モデム、ターミナルアダプタなどより構成される通信部209が接続されている。通信部209は、インターネットを含むネットワークを介して他の画像処理装置との通信処理を行う。 【0231】 入出力インタフェース205にはまた、必要に応じてドライブ210が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体311が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部208にインストールされる。 【0232】 一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。 【0233】 このようなプログラムを含む記録媒体は、図16に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フロッピディスクを含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)を含む)、もしくは半導体メモリなどよりなるリムーバブル記録媒体(パッケージメディア)211により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM202や、記憶部208に含まれるハードディスクなどで構成される。 【0234】 なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 【0235】 また、上述したように、本明細書において、システムとは、複数の処理装置や処理部により構成される装置全体を表すものである。 【0236】 さらにまた、上述の各種実施の形態で実行される高フレームレート変換処理において、入力映像信号の第1のフレームレート(フレーム周波数)と、出力映像信号の第2のフレームレート(フレーム周波数)との組み合わせは、特に限定されず任意の組み合わせで良い。具体的には例えば、入力映像信号の第1のフレームレートとして60(または30)〔Hz〕を採用し、かつ、出力映像信号の第2のフレームレートとして120[Hz]を採用することができる。例えば、入力映像信号の第1のフレームレートとして60(または30)〔Hz〕を採用し、かつ、出力映像信号の第2のフレームレートとして240[Hz]を採用することができる。例えば、入力映像信号の第1のフレームレートとして、PAL(Phase Alternation by Line)方式に対応する50〔Hz〕を採用し、かつ、出力映像信号の第2のフレームレートとして100〔Hz〕や200〔Hz〕を採用することができる。例えば、入力映像信号の第1のフレームレートとして、テレシネに対応する48〔Hz〕を採用し、かつ、出力映像信号の第2のフレームレートとしてそれ以上の所定の周波数を採用することができる。 【0237】 なお、このような既存のテレビジョン方式等に由来する入力映像信号に対して、上述の各種実施の形態における高フレームレート変換処理を施すことで、既存のコンテンツを高品位に表示することが可能になる。 【図面の簡単な説明】 【0238】 【図1】本発明が適用される画像処理装置の機能的構成の一例を示すブロック図である。 【図2】人間の網膜上で形成される像のボケの周波数特性を示す図である。 【図3】図1の画像処理装置が実行する画像処理を説明するフローチャートである。 【図4】移動ベクトル(移動速度)に応じた撮像ボケの周波数特性を示す図である。 【図5】図1の画像処理装置のうちの撮像ボケ抑制処理部の機能的構成の一例を示すブロック図である。 【図6】図1の画像処理装置のうちの撮像ボケ抑制処理部の機能的構成の図5とは異なる例を示すブロック図である。 【図7】図1の画像処理装置のうちの撮像ボケ抑制処理部の機能的構成の図5と図6とは異なる例を示すブロック図である。 【図8】図7の撮像ボケ抑制処理部の各部の出力信号の例を示すタイミングチャートである。 【図9】図1の画像処理装置のうちの撮像ボケ抑制処理部の機能的構成の図5、図6、および図7とは異なる例を示すブロック図である。 【図10】図9の撮像ボケ抑制処理部の各部の出力信号の例を示すタイミングチャートである。 【図11】カメラのシャッタ速度と、撮像ボケの特性とを説明する図である。 【図12】本発明が適用される画像処理装置の機能的構成の図1とは異なる例を示すブロック図である。 【図13】本発明が適用される画像処理装置の機能的構成の図1と図12とは異なる例を示すブロック図である。 【図14】本発明が適用される画像処理装置の機能的構成の図1、図12、および図13とは異なる例を示すブロック図である。 【図15】本発明が適用される画像処理装置の機能的構成の図1、図12、図13、および図14とは異なる例を示すブロック図である。 【図16】本発明が適用される画像処理装置の全部または一部分のハードウエア構成の一例を示すブロック図である。 【符号の説明】 【0239】 1 画像処理装置, 11 高フレームレート変換部, 12 撮像ボケ特性検出部, 13 撮像ボケ抑制処理部, 21 移動平均フィルタ(ローパスフィルタ)特性変換部, 22 逆移動平均フィルタ(ハイパスフィルタ)生成部, 23 移動平均フィルタ部(ハイパスフィルタ部), 31 移動平均フィルタ(ローパスフィルタ)特性変換部, 32 移動平均フィルタ部(ローパスフィルタ部), 33 加算部, 34 加算部, 51 入力部, 52 可変DL部, 53 可変DL部, 54−1,54−2 補正部, 55 遅延時間変更部, 56 出力部, 101,102,112,131 画像処理装置, 201 CPU, 202 ROM, 203 RAM, 208 記憶部, 211 リムーバブル記録媒体
|
| 【出願人】 |
【識別番号】000002185 【氏名又は名称】ソニー株式会社 【住所又は居所】東京都品川区北品川6丁目7番35号
|
| 【出願日】 |
平成17年6月2日(2005.6.2) |
| 【代理人】 |
【識別番号】100082131 【弁理士】 【氏名又は名称】稲本 義雄
|
| 【公開番号】 |
特開2006−81150(P2006−81150A) |
| 【公開日】 |
平成18年3月23日(2006.3.23) |
| 【出願番号】 |
特願2005−162586(P2005−162586) |
|