| 【発明の名称】 |
動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム |
| 【発明者】 |
【氏名】小林 誠司
【氏名】平澤 康孝
【氏名】山崎 寿夫
|
| 【要約】 |
【課題】動画像データの画質低下を防止したデータ変換および復元を行なう装置および方法を提供する。
【構成】動画像データを構成するブロックに含まれるオブジェクトの構成、およびブロックの動きに対応した最適な圧縮処理態様を決定し、決定した態様に従ってブロック領域毎に最適な態様でデータ変換処理を行なう。具体的には、動画像データを構成するブロックに含まれるオブジェクトの構成、およびブロックの動きを解析し、ブロックに複数の異なる移動オブジェクト含まれる場合、ブロックの移動量が短時間に大きく変動する場合などに、間引き処理を行なわない設定とし、画質劣化を抑制したデータ変換、復元処理が実現した。 |
【特許請求の範囲】
【請求項１】
動画像データのデータ変換処理を実行する動画像変換装置であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
前記ブロック分割部において分割された各ブロックに含まれる被写体の移動量をブロック移動量として検出する移動量検出部と、
前記移動量検出部の検出したブロック移動量に基づいて、ブロックに施すべき間引き処理態様を示す間引き処理態様情報を生成する間引き処理態様情報生成部と、
前記移動量検出部の検出したブロック移動量に基づいて、ブロックに対する間引き処理を実行すべきか否かを示す間引き処理制御情報を生成する間引き処理制御情報生成部と、
前記ブロック分割部において分割された各ブロック、および、前記間引き処理態様情報生成部の生成した間引き処理態様情報と、前記間引き処理制御情報生成部の生成した間引き処理制御情報を入力し、入力情報に基づき、各入力ブロックに対する間引き処理の実行の有無および間引き処理態様を決定し、決定に従った処理を行なう間引き処理実行部と、
を有することを特徴とする動画像変換装置。
【請求項２】
前記間引き処理実行部は、
前記間引き処理制御情報生成部の生成した間引き処理制御情報が、ブロックに対する間引き処理を実行すべきであることを示している場合は、前記間引き処理態様情報生成部の生成した間引き処理態様情報に従った間引き処理を実行し、
前記間引き処理制御情報生成部の生成した間引き処理制御情報が、ブロックに対する間引き処理を実行すべきでないことを示している場合は、間引き処理を実行せず、オリジナルのブロックデータを出力する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項３】
前記間引き処理実行部は、
前記間引き処理制御情報生成部の生成した間引き処理制御情報が、ブロックに対する間引き処理を実行すべきであることを示している場合は、前記間引き処理態様情報生成部の生成した間引き処理態様情報に従った間引き処理を実行し、
前記間引き処理制御情報生成部の生成した間引き処理制御情報が、ブロックに対する間引き処理を実行すべきでないことを示している場合においても、前記間引き処理態様情報生成部の生成した間引き処理態様情報に従った間引き処理を実行し、該間引き処理結果と、間引き処理を実行しないオリジナルのブロックデータとを出力する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項４】
前記間引き処理態様情報生成部は、
前記移動量検出部の検出したブロック移動量に基づいて、ブロックに施すべき間引き処理態様として、
空間方向の間引き処理、または時間方向の間引き処理のいずれかまたは複合的な間引き処理の少なくともいずれかの間引き処理態様を決定する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項５】
前記間引き処理態様情報生成部は、
前記移動量検出部の検出したブロック移動量に基づいて、ブロックに施すべき間引き処理態様として、空間方向の間引き処理を行なうことを決定する場合、さらに、空間方向間引き処理における標本点の選択位置を示す標本点位相変化量を決定する処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項６】
前記間引き処理制御情報生成部は、
前記移動量検出部の検出したブロック移動量に基づいて、ブロックに対する間引き処理を実行すべきか否かを示す間引き処理制御情報の生成において、ブロック移動量に関わらず、特定フレームに対応する全てのブロックに対する間引き処理を実行すべきか否かを示す間引き処理制御情報を、間引き処理可、または間引き処理不可として一律の制御情報として生成する処理を行なう構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項７】
前記間引き処理制御情報生成部は、
１つのブロック内に移動速度の異なる複数のオブジェクトが含まれるか否かを検証し、複数のオブジェクトが含まれるブロックについて、間引き処理不可とする制御情報を生成する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項８】
前記間引き処理制御情報生成部は、
制御情報の生成対象として選択されたブロックを含むカレントフレームの選択ブロックと、該カレントフレームと異なる参照フレームにおける前記選択ブロックの移動先と判定される参照ブロックとの差分の分散を算出し、該差分の分散の算出値と予め定めた閾値との比較結果に基づいて、前記間引き処理制御情報を生成する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項９】
前記間引き処理制御情報生成部は、
制御情報の生成対象として選択されたブロックを含むカレントフレームと参照フレームにおける対応位置にあるブロックの移動量の差異に基づいて、前記間引き処理制御情報を生成する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項１０】
前記間引き処理制御情報生成部は、
制御情報の生成対象として選択されたブロックを含むカレントフレームにおける前記ブロックの周囲ブロックの移動量の差異に基づいて、前記間引き処理制御情報を生成する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項１１】
動画像変換データの復元処理を実行する動画像復元装置であり、
動画像変換データを構成するブロック対応データと、ブロックに対する間引き処理態様を示す間引き処理態様情報と、ブロックに対する間引き処理を実行すべきか否かを示す間引き処理制御情報とを入力し、入力情報に基づくブロック対応変換データの拡張処理を実行するブロック拡張部と、
前記ブロック拡張部におけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する合成部とを有し、
前記ブロック拡張部は、
前記間引き処理制御情報に基づいて、ブロックに対する間引き処理データの拡張処理を行なうか否かを判定し、拡張処理行なうと判定したブロック対応変換データに対して、前記間引き処理態様情報の示す間引き処理態様に対応する拡張処理を実行する構成であることを特徴とする動画像復元装置。
【請求項１２】
前記間引き処理態様情報は、
空間方向の間引き処理、または時間方向の間引き処理のいずれかまたは複合的な間引き処理の少なくともいずれかの間引き処理態様を示す情報であり、
前記ブロック拡張部は、
前記間引き処理態様情報の示す空間方向の間引き処理、または時間方向の間引き処理のいずれか、または複合的な間引き処理の少なくともいずれかの間引き処理に対応する拡張処理を実行する構成であることを特徴とする請求項１１に記載の動画像復元装置。
【請求項１３】
前記ブロック拡張部は、
前記間引き処理制御情報に基づいて、ブロックに対する間引き処理データの拡張処理を行なうか否かを判定し、拡張処理行なわないと判定したブロックについては、ブロック対応データとして含まれるブロック対応オリジナルデータを前記合成部に出力する処理を実行する構成であることを特徴とする請求項１１に記載の動画像復元装置。
【請求項１４】
前記合成部は、
前記ブロック拡張部において復元されたブロックを、前記間引き処理態様情報から得られる空間方向間引き処理における標本点の選択位置を示す標本点位相変化量に基づき、フレームの進行に従ってブロック位置をずらせて配置する処理を実行する構成であることを特徴とする請求項１１に記載の動画像復元装置。
【請求項１５】
前記合成部は、
前記ブロック拡張部において復元されたブロックを、前記間引き処理態様情報から得られる空間方向間引き処理における標本点の選択位置を示す標本点位相変化量に基づき、フレームの進行に従ってブロック位置をずらせて配置する処理を実行するとともに、ブロック配置により発生する画素隙間または重複画素の画素値を決定する画素値補正処理を実行する構成であることを特徴とする請求項１１に記載の動画像復元装置。
【請求項１６】
動画像変換装置において、動画像データのデータ変換処理を実行する動画像変換方法であり、
ブロック分割部において、動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
移動量検出部において、前記ブロック分割ステップで分割された各ブロックに含まれる被写体の移動量をブロック移動量として検出する移動量検出ステップと、
間引き処理態様情報生成部において、前記移動量検出ステップで検出されたブロック移動量に基づいて、ブロックに施すべき間引き処理態様を示す間引き処理態様情報を生成する間引き処理態様情報生成ステップと、
間引き処理制御情報生成部において、前記移動量検出ステップで検出されたブロック移動量に基づいて、ブロックに対する間引き処理を実行すべきか否かを示す間引き処理制御情報を生成する間引き処理制御情報生成ステップと、
間引き処理実行部において、前記ブロック分割ステップで分割された各ブロック、および、前記間引き処理態様情報生成ステップで生成した間引き処理態様情報と、前記間引き処理制御情報生成ステップで生成した間引き処理制御情報を入力し、入力情報に基づき、各入力ブロックに対する間引き処理の実行の有無および間引き処理態様を決定し、決定に従った処理を行なう間引き処理実行ステップと、
を有することを特徴とする動画像変換方法。
【請求項１７】
前記間引き処理実行ステップは、
前記間引き処理制御情報生成ステップで生成した間引き処理制御情報が、ブロックに対する間引き処理を実行すべきであることを示している場合は、前記間引き処理態様情報生成部の生成した間引き処理態様情報に従った間引き処理を実行し、
前記間引き処理制御情報生成ステップで生成した間引き処理制御情報が、ブロックに対する間引き処理を実行すべきでないことを示している場合は、間引き処理を実行せず、オリジナルのブロックデータを出力することを特徴とする請求項１６に記載の動画像変換方法。
【請求項１８】
前記間引き処理実行ステップは、
前記間引き処理制御情報生成ステップで生成した間引き処理制御情報が、ブロックに対する間引き処理を実行すべきであることを示している場合は、前記間引き処理態様情報生成部の生成した間引き処理態様情報に従った間引き処理を実行し、
前記間引き処理制御情報生成ステップで生成した間引き処理制御情報が、ブロックに対する間引き処理を実行すべきでないことを示している場合においても、前記間引き処理態様情報生成部の生成した間引き処理態様情報に従った間引き処理を実行し、該間引き処理結果と、間引き処理を実行しないオリジナルのブロックデータとを出力するステップであることを特徴とする請求項１６に記載の動画像変換方法。
【請求項１９】
前記間引き処理態様情報生成ステップは、
前記移動量検出ステップで検出したブロック移動量に基づいて、ブロックに施すべき間引き処理態様として、
空間方向の間引き処理、または時間方向の間引き処理のいずれかまたは複合的な間引き処理の少なくともいずれかの間引き処理態様を決定することを特徴とする請求項１６に記載の動画像変換方法。
【請求項２０】
前記間引き処理態様情報生成ステップは、
前記移動量検出ステップで検出したブロック移動量に基づいて、ブロックに施すべき間引き処理態様として、空間方向の間引き処理を行なうことを決定する場合、さらに、空間方向間引き処理における標本点の選択位置を示す標本点位相変化量を決定する処理を実行することを特徴とする請求項１６に記載の動画像変換方法。
【請求項２１】
前記間引き処理制御情報生成ステップは、
前記移動量検出ステップで検出したブロック移動量に基づいて、ブロックに対する間引き処理を実行すべきか否かを示す間引き処理制御情報の生成において、ブロック移動量に関わらず、特定フレームに対応する全てのブロックに対する間引き処理を実行すべきか否かを示す間引き処理制御情報を、間引き処理可、または間引き処理不可として一律の制御情報として生成する処理を行なうことを特徴とする請求項１６に記載の動画像変換方法。
【請求項２２】
前記間引き処理制御情報生成ステップは、
１つのブロック内に移動速度の異なる複数のオブジェクトが含まれるか否かを検証し、複数のオブジェクトが含まれるブロックについて、間引き処理不可とする制御情報を生成するステップであることを特徴とする請求項１６に記載の動画像変換方法。
【請求項２３】
前記間引き処理制御情報生成ステップは、
制御情報の生成対象として選択されたブロックを含むカレントフレームの選択ブロックと、該カレントフレームと異なる参照フレームにおける前記選択ブロックの移動先と判定される参照ブロックとの差分の分散を算出し、該差分の分散の算出値と予め定めた閾値との比較結果に基づいて、前記間引き処理制御情報を生成するステップであることを特徴とする請求項１６に記載の動画像変換方法。
【請求項２４】
前記間引き処理制御情報生成ステップは、
制御情報の生成対象として選択されたブロックを含むカレントフレームと参照フレームにおける対応位置にあるブロックの移動量の差異に基づいて、前記間引き処理制御情報を生成するステップであることを特徴とする請求項１６に記載の動画像変換方法。
【請求項２５】
前記間引き処理制御情報生成ステップは、
制御情報の生成対象として選択されたブロックを含むカレントフレームにおける前記ブロックの周囲ブロックの移動量の差異に基づいて、前記間引き処理制御情報を生成するステップであることを特徴とする請求項１６に記載の動画像変換方法。
【請求項２６】
動画像復元装置において、動画像変換データの復元処理を実行する動画像復元方法であり、
ブロック拡張部において、動画像変換データを構成するブロック対応データと、ブロックに対する間引き処理態様を示す間引き処理態様情報と、ブロックに対する間引き処理を実行すべきか否かを示す間引き処理制御情報とを入力し、入力情報に基づくブロック対応変換データの拡張処理を実行するブロック拡張ステップと、
合成部において、前記ブロック拡張部におけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する合成ステップとを有し、
前記ブロック拡張ステップは、
前記間引き処理制御情報に基づいて、ブロックに対する間引き処理データの拡張処理を行なうか否かを判定し、拡張処理行なうと判定したブロック対応変換データに対して、前記間引き処理態様情報の示す間引き処理態様に対応する拡張処理を実行するステップであることを特徴とする動画像復元方法。
【請求項２７】
前記間引き処理態様情報は、
空間方向の間引き処理、または時間方向の間引き処理のいずれかまたは複合的な間引き処理の少なくともいずれかの間引き処理態様を示す情報であり、
前記ブロック拡張ステップは、
前記間引き処理態様情報の示す空間方向の間引き処理、または時間方向の間引き処理のいずれか、または複合的な間引き処理の少なくともいずれかの間引き処理に対応する拡張処理を実行するステップであることを特徴とする請求項２６に記載の動画像復元方法。
【請求項２８】
前記ブロック拡張ステップは、
前記間引き処理制御情報に基づいて、ブロックに対する間引き処理データの拡張処理を行なうか否かを判定し、拡張処理行なわないと判定したブロックについては、ブロック対応データとして含まれるブロック対応オリジナルデータを前記合成部に出力する処理を実行するステップであることを特徴とする請求項２６に記載の動画像復元方法。
【請求項２９】
前記合成ステップは、
前記ブロック拡張部において復元されたブロックを、前記間引き処理態様情報から得られる空間方向間引き処理における標本点の選択位置を示す標本点位相変化量に基づき、フレームの進行に従ってブロック位置をずらせて配置する処理を実行するステップであることを特徴とする請求項２６に記載の動画像復元方法。
【請求項３０】
前記合成ステップは、
前記ブロック拡張部において復元されたブロックを、前記間引き処理態様情報から得られる空間方向間引き処理における標本点の選択位置を示す標本点位相変化量に基づき、フレームの進行に従ってブロック位置をずらせて配置する処理を実行するとともに、ブロック配置により発生する画素隙間または重複画素の画素値を決定する画素値補正処理を実行するステップであることを特徴とする請求項２６に記載の動画像復元方法。
【請求項３１】
動画像変換装置において、動画像データのデータ変換処理を実行させるコンピュータ・プログラムであり、
ブロック分割部において、動画像データを構成するフレーム毎にブロック分割処理を実行させるブロック分割ステップと、
移動量検出部において、前記ブロック分割ステップで分割された各ブロックに含まれる被写体の移動量をブロック移動量として検出させる移動量検出ステップと、
間引き処理態様情報生成部において、前記移動量検出ステップで検出されたブロック移動量に基づいて、ブロックに施すべき間引き処理態様を示す間引き処理態様情報を生成させる間引き処理態様情報生成ステップと、
間引き処理制御情報生成部において、前記移動量検出ステップで検出されたブロック移動量に基づいて、ブロックに対する間引き処理を実行すべきか否かを示す間引き処理制御情報を生成させる間引き処理制御情報生成ステップと、
間引き処理実行部において、前記ブロック分割ステップで分割された各ブロック、および、前記間引き処理態様情報生成ステップで生成した間引き処理態様情報と、前記間引き処理制御情報生成ステップで生成した間引き処理制御情報を入力し、入力情報に基づき、各入力ブロックに対する間引き処理の実行の有無および間引き処理態様を決定し、決定に従った処理を行なわせる間引き処理実行ステップと、
を実行させることを特徴とするコンピュータ・プログラム。
【請求項３２】
動画像復元装置において、動画像変換データの復元処理を実行させるコンピュータ・プログラムであり、
ブロック拡張部において、動画像変換データを構成するブロック対応データと、ブロックに対する間引き処理態様を示す間引き処理態様情報と、ブロックに対する間引き処理を実行すべきか否かを示す間引き処理制御情報とを入力し、入力情報に基づくブロック対応変換データの拡張処理を実行させるブロック拡張ステップと、
合成部において、前記ブロック拡張部におけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成させる合成ステップとを有し、
前記ブロック拡張ステップは、
前記間引き処理制御情報に基づいて、ブロックに対する間引き処理データの拡張処理を行なうか否かを判定し、拡張処理行なうと判定したブロック対応変換データに対して、前記間引き処理態様情報の示す間引き処理態様に対応する拡張処理を実行させるステップであることを特徴とするコンピュータ・プログラム。
|
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムに関する。特に動画像データのデータ圧縮処理として実行されるデータ変換において、画質劣化を抑え高品質なデータ変換を可能とする動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに、具体的には、本発明は、画像の区分領域としてのブロック内に複数の異なる移動オブジェクトが存在する場合や、急激な移動速度の変化するオブジェクトが発生する動画像においても、画質劣化を抑え高品質なデータ変換を可能とする動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
動画像データは、ハードディスク、ＤＶＤなどの記憶媒体への保存、あるいはネットワークを介した配信などにおいて、データ量を削減するためのデータ変換、すなわち圧縮処理が行なわれる。特に、近年、動画像データの高品質化、例えばＨＤ（Ｈｉｇｈ Ｄｉｆｉｎｉｔｉｏｎ）データなど、データ品質の改善が進んでおり、このデータの高品質化に伴ってデータ量が急激に増大している。このような状況において、動画像データの圧縮、復元処理における圧縮効率の改善や、復元データの品質劣化防止に関する技術について多くの検討、研究がなされている。
【０００４】
動画像の圧縮処理方法としては、例えば動画像データを構成する画像フレームの構成画素の間引き処理、すなわち空間方向の間引き処理と、フレームレートを間引く処理、すなわち時間方向の間引き処理などが知られている。
【０００５】
このようなデータ変換によるデータ量削減により記憶媒体への保存やネットワークを介したデータ転送が効率的に行なわれるという利点がある。しかしながら、圧縮されたデータを復元し再生する場合、画質の劣化が発生してしまうという問題がある。特にオリジナルデータが高精細画像である場合には、その品質劣化がより顕著になってしまう。
【０００６】
このような画質劣化をいかに低減するかについては様々な検討がなされている。例えば特許文献１には、被写体の移動速度の大小に応じて空間方向の画素数間引き処理と時間方向の画素数間引き処理を切り替える画像圧縮処理構成を開示している。また、特許文献２には、特許文献１の処理に対し、さらに空間方向の画素数間引きにおいて被写体の移動速度に応じた標本点の位相変化を施す処理を加えた圧縮処理構成を開示している。
【特許文献１】特開２００５−１９８２６８号公報
【特許文献２】特開２００６−５９０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述のように、いくつかの従来技術において、被写体の移動速度に応じて画像の領域毎に異なる処理を行なうことで、間引き処理による圧縮処理に伴う画質劣化を抑え、データ品質を高める構成が開示されている。例えば、上記特許文献１，２では、動画像を構成するフレームを所定領域のブロックに分割し、ブロック毎の移動量を検出したのち、各ブロックの移動量に応じて、ブロックに対して一様の間引き処理を行なう構成を開示している。
【０００８】
しかしながら、動画像データの多くは、複数のオブジェクトを含み、動きの大きいオブジェクト、小さいオブジェクト、静止しているオブジェクトなど、様々な動きデータを含む。従って、あるブロックに含まれるオブジェクトが一つの移動速度で移動するオブジェクトとは限らず、１つのブロックに複数の異なる移動量を持つオブジェクトが含まれることがある。このようなブロックについては、上記の従来技術の手法を適用した場合、高品質な圧縮データを得られない場合がある。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、画像の各ブロックの解析を実行してブロックに対して間引きを施すことが適切か否かを示す間引き処理の制御情報を生成し、各ブロックに対して最適なデータ変換処理を行なうとともに、制御情報に従って間引き処理が適切ではない場合には間引き処理を行なわない構成とすることで品質劣化のきわめて少ない圧縮を可能とした動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の側面は、
動画像データのデータ変換処理を実行する動画像変換装置であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
前記ブロック分割部において分割された各ブロックに含まれる被写体の移動量をブロック移動量として検出する移動量検出部と、
前記移動量検出部の検出したブロック移動量に基づいて、ブロックに施すべき間引き処理態様を示す間引き処理態様情報を生成する間引き処理態様情報生成部と、
前記移動量検出部の検出したブロック移動量に基づいて、ブロックに対する間引き処理を実行すべきか否かを示す間引き処理制御情報を生成する間引き処理制御情報生成部と、
前記ブロック分割部において分割された各ブロック、および、前記間引き処理態様情報生成部の生成した間引き処理態様情報と、前記間引き処理制御情報生成部の生成した間引き処理制御情報を入力し、入力情報に基づき、各入力ブロックに対する間引き処理の実行の有無および間引き処理態様を決定し、決定に従った処理を行なう間引き処理実行部と、
を有することを特徴とする動画像変換装置にある。
【００１１】
さらに、本発明の動画像変換装置の一実施態様において、前記間引き処理実行部は、前記間引き処理制御情報生成部の生成した間引き処理制御情報が、ブロックに対する間引き処理を実行すべきであることを示している場合は、前記間引き処理態様情報生成部の生成した間引き処理態様情報に従った間引き処理を実行し、前記間引き処理制御情報生成部の生成した間引き処理制御情報が、ブロックに対する間引き処理を実行すべきでないことを示している場合は、間引き処理を実行せず、オリジナルのブロックデータを出力する構成であることを特徴とする。
【００１２】
さらに、本発明の動画像変換装置の一実施態様において、前記間引き処理実行部は、前記間引き処理制御情報生成部の生成した間引き処理制御情報が、ブロックに対する間引き処理を実行すべきであることを示している場合は、前記間引き処理態様情報生成部の生成した間引き処理態様情報に従った間引き処理を実行し、前記間引き処理制御情報生成部の生成した間引き処理制御情報が、ブロックに対する間引き処理を実行すべきでないことを示している場合においても、前記間引き処理態様情報生成部の生成した間引き処理態様情報に従った間引き処理を実行し、該間引き処理結果と、間引き処理を実行しないオリジナルのブロックデータとを出力する構成であることを特徴とする。
【００１３】
さらに、本発明の動画像変換装置の一実施態様において、前記間引き処理態様情報生成部は、前記移動量検出部の検出したブロック移動量に基づいて、ブロックに施すべき間引き処理態様として、空間方向の間引き処理、または時間方向の間引き処理のいずれかまたは複合的な間引き処理の少なくともいずれかの間引き処理態様を決定する構成であることを特徴とする。
【００１４】
さらに、本発明の動画像変換装置の一実施態様において、前記間引き処理態様情報生成部は、前記移動量検出部の検出したブロック移動量に基づいて、ブロックに施すべき間引き処理態様として、空間方向の間引き処理を行なうことを決定する場合、さらに、空間方向間引き処理における標本点の選択位置を示す標本点位相変化量を決定する処理を実行する構成であることを特徴とする。
【００１５】
さらに、本発明の動画像変換装置の一実施態様において、前記間引き処理制御情報生成部は、前記移動量検出部の検出したブロック移動量に基づいて、ブロックに対する間引き処理を実行すべきか否かを示す間引き処理制御情報の生成において、ブロック移動量に関わらず、特定フレームに対応する全てのブロックに対する間引き処理を実行すべきか否かを示す間引き処理制御情報を、間引き処理可、または間引き処理不可として一律の制御情報として生成する処理を行なう構成であることを特徴とする。
【００１６】
さらに、本発明の動画像変換装置の一実施態様において、前記間引き処理制御情報生成部は、１つのブロック内に移動速度の異なる複数のオブジェクトが含まれるか否かを検証し、複数のオブジェクトが含まれるブロックについて、間引き処理不可とする制御情報を生成する構成であることを特徴とする。
【００１７】
さらに、本発明の動画像変換装置の一実施態様において、前記間引き処理制御情報生成部は、制御情報の生成対象として選択されたブロックを含むカレントフレームの選択ブロックと、該カレントフレームと異なる参照フレームにおける前記選択ブロックの移動先と判定される参照ブロックとの差分の分散を算出し、該差分の分散の算出値と予め定めた閾値との比較結果に基づいて、前記間引き処理制御情報を生成する構成であることを特徴とする。
【００１８】
さらに、本発明の動画像変換装置の一実施態様において、前記間引き処理制御情報生成部は、制御情報の生成対象として選択されたブロックを含むカレントフレームと参照フレームにおける対応位置にあるブロックの移動量の差異に基づいて、前記間引き処理制御情報を生成する構成であることを特徴とする。
【００１９】
さらに、本発明の動画像変換装置の一実施態様において、前記間引き処理制御情報生成部は、制御情報の生成対象として選択されたブロックを含むカレントフレームにおける前記ブロックの周囲ブロックの移動量の差異に基づいて、前記間引き処理制御情報を生成する構成であることを特徴とする。
【００２０】
さらに、本発明の第２の側面は、
動画像変換データの復元処理を実行する動画像復元装置であり、
動画像変換データを構成するブロック対応データと、ブロックに対する間引き処理態様を示す間引き処理態様情報と、ブロックに対する間引き処理を実行すべきか否かを示す間引き処理制御情報とを入力し、入力情報に基づくブロック対応変換データの拡張処理を実行するブロック拡張部と、
前記ブロック拡張部におけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する合成部とを有し、
前記ブロック拡張部は、
前記間引き処理制御情報に基づいて、ブロックに対する間引き処理データの拡張処理を行なうか否かを判定し、拡張処理行なうと判定したブロック対応変換データに対して、前記間引き処理態様情報の示す間引き処理態様に対応する拡張処理を実行する構成であることを特徴とする動画像復元装置にある。
【００２１】
さらに、本発明の動画像復元装置の一実施態様において、前記間引き処理態様情報は、空間方向の間引き処理、または時間方向の間引き処理のいずれかまたは複合的な間引き処理の少なくともいずれかの間引き処理態様を示す情報であり、前記ブロック拡張部は、前記間引き処理態様情報の示す空間方向の間引き処理、または時間方向の間引き処理のいずれか、または複合的な間引き処理の少なくともいずれかの間引き処理に対応する拡張処理を実行する構成であることを特徴とする。
【００２２】
さらに、本発明の動画像復元装置の一実施態様において、前記ブロック拡張部は、前記間引き処理制御情報に基づいて、ブロックに対する間引き処理データの拡張処理を行なうか否かを判定し、拡張処理行なわないと判定したブロックについては、ブロック対応データとして含まれるブロック対応オリジナルデータを前記合成部に出力する処理を実行する構成であることを特徴とする。
【００２３】
さらに、本発明の動画像復元装置の一実施態様において、前記合成部は、前記ブロック拡張部において復元されたブロックを、前記間引き処理態様情報から得られる空間方向間引き処理における標本点の選択位置を示す標本点位相変化量に基づき、フレームの進行に従ってブロック位置をずらせて配置する処理を実行する構成であることを特徴とする。
【００２４】
さらに、本発明の動画像復元装置の一実施態様において、前記合成部は、前記ブロック拡張部において復元されたブロックを、前記間引き処理態様情報から得られる空間方向間引き処理における標本点の選択位置を示す標本点位相変化量に基づき、フレームの進行に従ってブロック位置をずらせて配置する処理を実行するとともに、ブロック配置により発生する画素隙間または重複画素の画素値を決定する画素値補正処理を実行する構成であることを特徴とする。
【００２５】
さらに、本発明の第３の側面は、
動画像変換装置において、動画像データのデータ変換処理を実行する動画像変換方法であり、
ブロック分割部において、動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
移動量検出部において、前記ブロック分割ステップで分割された各ブロックに含まれる被写体の移動量をブロック移動量として検出する移動量検出ステップと、
間引き処理態様情報生成部において、前記移動量検出ステップで検出されたブロック移動量に基づいて、ブロックに施すべき間引き処理態様を示す間引き処理態様情報を生成する間引き処理態様情報生成ステップと、
間引き処理制御情報生成部において、前記移動量検出ステップで検出されたブロック移動量に基づいて、ブロックに対する間引き処理を実行すべきか否かを示す間引き処理制御情報を生成する間引き処理制御情報生成ステップと、
間引き処理実行部において、前記ブロック分割ステップで分割された各ブロック、および、前記間引き処理態様情報生成ステップで生成した間引き処理態様情報と、前記間引き処理制御情報生成ステップで生成した間引き処理制御情報を入力し、入力情報に基づき、各入力ブロックに対する間引き処理の実行の有無および間引き処理態様を決定し、決定に従った処理を行なう間引き処理実行ステップと、
を有することを特徴とする動画像変換方法にある。
【００２６】
さらに、本発明の動画像変換方法の一実施態様において、前記間引き処理実行ステップは、前記間引き処理制御情報生成ステップで生成した間引き処理制御情報が、ブロックに対する間引き処理を実行すべきであることを示している場合は、前記間引き処理態様情報生成部の生成した間引き処理態様情報に従った間引き処理を実行し、
前記間引き処理制御情報生成ステップで生成した間引き処理制御情報が、ブロックに対する間引き処理を実行すべきでないことを示している場合は、間引き処理を実行せず、オリジナルのブロックデータを出力することを特徴とする。
【００２７】
さらに、本発明の動画像変換方法の一実施態様において、前記間引き処理実行ステップは、前記間引き処理制御情報生成ステップで生成した間引き処理制御情報が、ブロックに対する間引き処理を実行すべきであることを示している場合は、前記間引き処理態様情報生成部の生成した間引き処理態様情報に従った間引き処理を実行し、前記間引き処理制御情報生成ステップで生成した間引き処理制御情報が、ブロックに対する間引き処理を実行すべきでないことを示している場合においても、前記間引き処理態様情報生成部の生成した間引き処理態様情報に従った間引き処理を実行し、該間引き処理結果と、間引き処理を実行しないオリジナルのブロックデータとを出力するステップであることを特徴とする。
【００２８】
さらに、本発明の動画像変換方法の一実施態様において、前記間引き処理態様情報生成ステップは、前記移動量検出ステップで検出したブロック移動量に基づいて、ブロックに施すべき間引き処理態様として、空間方向の間引き処理、または時間方向の間引き処理のいずれかまたは複合的な間引き処理の少なくともいずれかの間引き処理態様を決定することを特徴とする。
【００２９】
さらに、本発明の動画像変換方法の一実施態様において、前記間引き処理態様情報生成ステップは、前記移動量検出ステップで検出したブロック移動量に基づいて、ブロックに施すべき間引き処理態様として、空間方向の間引き処理を行なうことを決定する場合、さらに、空間方向間引き処理における標本点の選択位置を示す標本点位相変化量を決定する処理を実行することを特徴とする。
【００３０】
さらに、本発明の動画像変換方法の一実施態様において、前記間引き処理制御情報生成ステップは、前記移動量検出ステップで検出したブロック移動量に基づいて、ブロックに対する間引き処理を実行すべきか否かを示す間引き処理制御情報の生成において、ブロック移動量に関わらず、特定フレームに対応する全てのブロックに対する間引き処理を実行すべきか否かを示す間引き処理制御情報を、間引き処理可、または間引き処理不可として一律の制御情報として生成する処理を行なうことを特徴とする。
【００３１】
さらに、本発明の動画像変換方法の一実施態様において、前記間引き処理制御情報生成ステップは、１つのブロック内に移動速度の異なる複数のオブジェクトが含まれるか否かを検証し、複数のオブジェクトが含まれるブロックについて、間引き処理不可とする制御情報を生成するステップであることを特徴とする。
【００３２】
さらに、本発明の動画像変換方法の一実施態様において、前記間引き処理制御情報生成ステップは、制御情報の生成対象として選択されたブロックを含むカレントフレームの選択ブロックと、該カレントフレームと異なる参照フレームにおける前記選択ブロックの移動先と判定される参照ブロックとの差分の分散を算出し、該差分の分散の算出値と予め定めた閾値との比較結果に基づいて、前記間引き処理制御情報を生成するステップであることを特徴とする。
【００３３】
さらに、本発明の動画像変換方法の一実施態様において、前記間引き処理制御情報生成ステップは、制御情報の生成対象として選択されたブロックを含むカレントフレームと参照フレームにおける対応位置にあるブロックの移動量の差異に基づいて、前記間引き処理制御情報を生成するステップであることを特徴とする。
【００３４】
さらに、本発明の動画像変換方法の一実施態様において、前記間引き処理制御情報生成ステップは、制御情報の生成対象として選択されたブロックを含むカレントフレームにおける前記ブロックの周囲ブロックの移動量の差異に基づいて、前記間引き処理制御情報を生成するステップであることを特徴とする。
【００３５】
さらに、本発明の第４の側面は、
動画像復元装置において、動画像変換データの復元処理を実行する動画像復元方法であり、
ブロック拡張部において、動画像変換データを構成するブロック対応データと、ブロックに対する間引き処理態様を示す間引き処理態様情報と、ブロックに対する間引き処理を実行すべきか否かを示す間引き処理制御情報とを入力し、入力情報に基づくブロック対応変換データの拡張処理を実行するブロック拡張ステップと、
合成部において、前記ブロック拡張部におけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する合成ステップとを有し、
前記ブロック拡張ステップは、
前記間引き処理制御情報に基づいて、ブロックに対する間引き処理データの拡張処理を行なうか否かを判定し、拡張処理行なうと判定したブロック対応変換データに対して、前記間引き処理態様情報の示す間引き処理態様に対応する拡張処理を実行するステップであることを特徴とする動画像復元方法にある。
【００３６】
さらに、本発明の動画像復元方法の一実施態様において、前記間引き処理態様情報は、空間方向の間引き処理、または時間方向の間引き処理のいずれかまたは複合的な間引き処理の少なくともいずれかの間引き処理態様を示す情報であり、前記ブロック拡張ステップは、前記間引き処理態様情報の示す空間方向の間引き処理、または時間方向の間引き処理のいずれか、または複合的な間引き処理の少なくともいずれかの間引き処理に対応する拡張処理を実行するステップであることを特徴とする。
【００３７】
さらに、本発明の動画像復元方法の一実施態様において、前記ブロック拡張ステップは、前記間引き処理制御情報に基づいて、ブロックに対する間引き処理データの拡張処理を行なうか否かを判定し、拡張処理行なわないと判定したブロックについては、ブロック対応データとして含まれるブロック対応オリジナルデータを前記合成部に出力する処理を実行するステップであることを特徴とする。
【００３８】
さらに、本発明の動画像復元方法の一実施態様において、前記合成ステップは、前記ブロック拡張部において復元されたブロックを、前記間引き処理態様情報から得られる空間方向間引き処理における標本点の選択位置を示す標本点位相変化量に基づき、フレームの進行に従ってブロック位置をずらせて配置する処理を実行するステップであることを特徴とする。
【００３９】
さらに、本発明の動画像復元方法の一実施態様において、前記合成ステップは、前記ブロック拡張部において復元されたブロックを、前記間引き処理態様情報から得られる空間方向間引き処理における標本点の選択位置を示す標本点位相変化量に基づき、フレームの進行に従ってブロック位置をずらせて配置する処理を実行するとともに、ブロック配置により発生する画素隙間または重複画素の画素値を決定する画素値補正処理を実行するステップであることを特徴とする。
【００４０】
さらに、本発明の第５の側面は、
動画像変換装置において、動画像データのデータ変換処理を実行させるコンピュータ・プログラムであり、
ブロック分割部において、動画像データを構成するフレーム毎にブロック分割処理を実行させるブロック分割ステップと、
移動量検出部において、前記ブロック分割ステップで分割された各ブロックに含まれる被写体の移動量をブロック移動量として検出させる移動量検出ステップと、
間引き処理態様情報生成部において、前記移動量検出ステップで検出されたブロック移動量に基づいて、ブロックに施すべき間引き処理態様を示す間引き処理態様情報を生成させる間引き処理態様情報生成ステップと、
間引き処理制御情報生成部において、前記移動量検出ステップで検出されたブロック移動量に基づいて、ブロックに対する間引き処理を実行すべきか否かを示す間引き処理制御情報を生成させる間引き処理制御情報生成ステップと、
間引き処理実行部において、前記ブロック分割ステップで分割された各ブロック、および、前記間引き処理態様情報生成ステップで生成した間引き処理態様情報と、前記間引き処理制御情報生成ステップで生成した間引き処理制御情報を入力し、入力情報に基づき、各入力ブロックに対する間引き処理の実行の有無および間引き処理態様を決定し、決定に従った処理を行なわせる間引き処理実行ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。
【００４１】
さらに、本発明の第６の側面は、
動画像復元装置において、動画像変換データの復元処理を実行させるコンピュータ・プログラムであり、
ブロック拡張部において、動画像変換データを構成するブロック対応データと、ブロックに対する間引き処理態様を示す間引き処理態様情報と、ブロックに対する間引き処理を実行すべきか否かを示す間引き処理制御情報とを入力し、入力情報に基づくブロック対応変換データの拡張処理を実行させるブロック拡張ステップと、
合成部において、前記ブロック拡張部におけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成させる合成ステップとを有し、
前記ブロック拡張ステップは、
前記間引き処理制御情報に基づいて、ブロックに対する間引き処理データの拡張処理を行なうか否かを判定し、拡張処理行なうと判定したブロック対応変換データに対して、前記間引き処理態様情報の示す間引き処理態様に対応する拡張処理を実行させるステップであることを特徴とするコンピュータ・プログラムにある。
【００４２】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００４３】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００４４】
本発明の一実施例の構成によれば、動画像データを構成するブロックに含まれるオブジェクトの構成、およびブロックの動きに対応した最適な圧縮処理態様を決定し、決定した態様に従ってブロック領域毎に最適な態様でデータ変換処理を行なう構成としたので、品質劣化のきわめて少ない圧縮および復元が実現される。
【００４５】
また、本発明の一実施例の構成によれば、動画像データを構成するブロックに含まれるオブジェクトの構成、およびブロックの動きを解析し、例えばブロックに複数の異なる移動オブジェクト含まれる場合には間引き処理を行なわない設定としたので、画質劣化を抑制したデータ変換、復元処理が実現される。また、ブロックの移動量が短時間に大きく変動する場合などにも、間引き処理を行なわない設定としたので、画質劣化を抑制したデータ変換、復元処理が実現される。
【００４６】
さらに、本発明の一実施例の構成によれば、検証対象としての選択ブロックを含むカレントフレームの選択ブロックと、参照フレームにおける選択ブロックの移動先と判定される参照ブロックとの差分の分散の検証、あるいは、選択ブロックを含むカレントフレームと参照フレームにおける対応位置にあるブロックの移動量の差異の検証、あるいは、選択ブロックを含むカレントフレームにおける周囲ブロックの移動量の差異の検証などに基づいて、間引き処理の実行の有無を決定して決定に従った間引き処理を行なう構成としたので、画質劣化を抑制したデータ変換、復元処理が実現される。
【発明を実施するための最良の形態】
【００４７】
以下、図面を参照しながら、本発明の動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムの構成について説明する。なお、説明は、以下の項目に従って行なう。
（１）超解像効果を利用した動画像変換装置の基本構成
（２）改良した間引き処理を実行する動画像変換装置の構成
（３）動画像復元装置の構成
（４）改良した間引き処理を実行する動画像変換装置の構成および動画像復元装置の変形例
【００４８】
［（１）超解像効果を利用した動画像変換装置の基本構成］
まず、本発明のベースとなる超解像効果を利用した動画像圧縮を実行する動画像変換装置の基本構成について説明する。なお、この基本構成は、本出願人が先に出願した特開２００６−５９０４号に詳細を記載しているものであり、画像を小領域に分割し、各領域の移動速度に応じて画素数の間引きや、フレームレートの間引きを適応的に行うことでデータ量の圧縮を実現した構成である。
【００４９】
図１に特開２００６−５９０４号に記載した動画像変換装置１０の構成例を示す。この動画像変換装置１０は、超解像効果を利用した動画像変換処理を行うことにより、データ量の削減による画質劣化を観測者が知覚しないようにデータ量の削減を行うことができる構成としたものである。
【００５０】
なお、超解像効果とは、観測者が、ある時間内に複数の画像が加算されたものを知覚するという視覚特性に基づいて実現される視覚的効果である。人の視覚は刺激を知覚すると、その刺激を、その刺激の呈示が終了した後もある時間記憶するという機能（感覚記憶機能と称する）を有している。この時間については１０ｍｓ乃至２００ｍｓであるという報告が多数されている。この機能は、アイコニックメモリー、あるいは視覚的持続などとも呼ばれ、例えば、"視覚情報ハンドブック，日本視覚学界編，ｐｐ．２２９−２３０"などに記載されている。なお、超解像効果は、人間の視覚機能における時間的積分機能および感覚記憶機能が複雑に関係して引き起こされていると考えられる。
【００５１】
図１に特開２００６−５９０４号に記載した動画像変換装置１００の構成例を示す。この動画像変換装置１００は、超解像効果を利用した動画像変換処理を行なうことにより、データ量の削減による画質劣化を観測者が知覚しないようにデータ量の削減を行なうことができる構成としたものである。
【００５２】
なお、超解像効果とは、観測者が、ある時間内に複数の画像が加算されたものを知覚するという視覚特性に基づいて実現される視覚的効果である。人の視覚は、受けた光の刺激の総和がある閾値になったとき光を知覚するという機能（以下、時間的積分機能と称する）を有している。すなわち光の知覚は、呈示時間内の光の刺激の分布状態に関係なく、時間的に積分された光の総和に従う。また光を知覚できる刺激（閾値）は、刺激の呈示時間が長くなるにつれて小さくなり、呈示時間が短くなるにつれて大きくなる。時間的積分機能の詳細については、例えば、"視覚情報ハンドブック、日本視覚学会編、ｐｐ．２２９−２３０"などに記載されている。
【００５３】
図１に示す動画像変換装置１００は、時間的積分機能によって引き起こされる超解像効果を利用した動画像変換処理を行なうことにより、画質劣化を観測者が知覚しないようにデータを削減する圧縮を行なう構成としたものである。
【００５４】
図１の動画像変換装置１００の構成について説明する。ブロック分割部１１０は、入力された動画像の各フレームをブロックに分解し、移動量検出部１２０に供給する。移動量検出部１２０は、ブロック分割部１１０から供給された各ブロックについての移動量を検出し、ブロックとその移動量を、ブロック処理部１３０に送信する。ブロック処理部１３０は、移動量検出部１２０から供給されたブロックに対して、その移動量に応じた動画像変換処理を施し、データ量を削減する。ブロック処理部１３０は、その処理の結果得られた、データ量が削減されたブロックについてのデータを、出力部１４０に供給する。出力部１４０は、ブロック処理部１３０から供給された、データ量が削減されたブロックについてのデータを、例えば、ストリームデータなどとしてまとめて出力する。
【００５５】
次に、図２を参照して、各部の詳細について説明する。初めにブロック分割部１１０について説明する。ブロック分割部１１０の画像蓄積部１１１には、動画像変換装置１００に供給された動画像のフレームが入力される。画像蓄積部１１１は、入力されたフレームを蓄積する。画像蓄積部１１１は、蓄積したフレームの数がＮ枚（Ｎは正の整数）になる度に、そのＮ枚のフレームを、ブロック分割部１１２に供給するとともに、Ｎ枚のフレームの中のＭ番目に記憶したフレーム（以下、Ｍ番目のフレームと称する）を、移動量検出部１２０の移動量検出部１２１に供給する。なお、例えばＮ＝４とする。
【００５６】
ブロック分割部１１２は、画像蓄積部１１１から供給されたＮ枚のフレーム（連続するＮ枚のフレーム）のそれぞれを、ある大きさ（例えば８×８、１６×１６）のブロックに分割し、移動量検出部１２０のブロック分配部１２２に出力する。ブロック分割部１１２はまた、Ｎ枚のフレームの中の、画像蓄積部１１１でＰ番目に記憶されたフレーム（以下、Ｐ番目のフレームと称する）の各ブロックを移動量検出部１２０の移動量検出部１２１に供給する。Ｐ番目のフレームは、Ｍ番目のフレームと異なるフレームである。
【００５７】
次に、移動量検出部１２０について説明する。移動量検出部１２０の移動量検出部１２１は、ブロック分割部１１０のブロック分割部１１２から供給されたＰ番目のフレームの各ブロックの動きベクトルを、画像蓄積部１１１から供給されたＭ番目のフレームを参照して例えばフレーム間のブロックマッチング処理を実行して検出し、検出した動きベクトルをブロック分配部１２２、ブロック処理部１３１および１３２に供給する。動きベクトルは、フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量を表している。例えば、参照フレーム：Ｍ＝２で、供給フレーム：Ｐ＝３とした場合、動きベクトルは、１フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量を表すことになる。なお、動きベクトルの検出はブロックマッチングによる検出のみならず他の方法を適用してもよい。
【００５８】
移動量検出部１２０のブロック分配部１２２には、ブロック分割部１１２から、Ｎ個単位でブロック（Ｎ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック）が供給され、移動量検出部１２１から、そのＮ個のブロックの中のＰ番目のフレームのブロックの移動量が供給される。ブロック分配部１２２は、供給されたＮ個のブロックを、ブロック処理部１３０の、その移動量に対応する処理を行うブロック処理部１３１乃至１３３（以下、個々に区別する必要がない場合、単に、ブロック処理部１３０と称する）の中のいずかに供給する。
【００５９】
具体的にはブロック分配部１２２は、移動量検出部１２１から供給された、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）のどちらか大きいほうの移動量が２ピクセル以上である場合、ブロック分割部１１２から供給されたＮ個のブロックを、ブロック処理部１３１に出力する。また、１フレーム間の水平方向と垂直方向のどちらか大きいほうの移動量が２ピクセル未満で、かつ１ピクセル以上の場合、ブロック分配部１２２は、Ｎ個のブロックを、ブロック処理部１３２に出力する。移動量が、その他の場合には、ブロック分配部１２２は、Ｎ個のブロックをブロック処理部１３３に供給する。
【００６０】
すなわち、
（ａ）移動量≧２ピクセル／フレーム：ブロック処理部１３１（空間方向間引き処理）
（ｂ）２ピクセル／フレーム＞移動量≧１ピクセル／フレーム：ブロック処理部１３２（時間・空間方向間引き処理）
（ｃ）１ピクセル／フレーム＞移動量：ブロック処理部１３３（時間方向間引き処理）
上記（ａ）〜（ｃ）に処理ブロックを出力する。
【００６１】
移動量≧２ピクセルの場合は、ブロック処理部１３１において空間方向間引き処理を実行し、２ピクセル＞移動量≧１ピクセルの場合は、ブロック処理部１３２において時間・空間方向間引き処理を実行し、１ピクセル＞移動量の場合は、ブロック処理部１３３において時間方向間引き処理を実行することになる。
【００６２】
このように、ブロック分配部１２２は、移動量検出部１２１から供給された移動量に基づき、変換に最適なフレームレートおよび空間解像度を決定し、そのフレームレートおよび空間解像度にしたがって画像データを変換する処理を行うブロック処理部１３１〜１３３ブロック画像を分配する処理を実行する。なお、分配先決定のためのこの条件はあくまでも一例であり、他の条件で分配先を決定してもよい。
【００６３】
次にブロック処理部１３０について説明する。ブロック処理部１３０は、この例の場合、３個のブロック処理部１３１乃至１３３で構成されている。
ブロック処理部１３１は、移動量検出部１２０のブロック分配部１２２から供給された、連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向または垂直方向の移動量が２ピクセル／フレーム以上である場合のＮ個のブロック）に対して、画素数を、移動量検出部１３１から供給された水平方向または垂直方向どちらか大きいほうの移動量に応じて間引く処理（空間方向間引き処理）を行う。すなわち、移動量≧２ピクセルのＮ個のブロックに対して空間方向間引き処理を実行する。
【００６４】
１フレーム間の水平方向の移動量が２ピクセル以上である場合、ブロック処理部１３１は、例えばブロックが８×８ピクセルで構成されている場合、図３（ａ）に示すように、ブロック内の画素を、１×４ピクセル単位の集合に分割する。
【００６５】
さらに、ブロック処理部１３１は、図３（ｂ）、図４、図５のいずれかの態様で、１×４ピクセルの各集合の画素値ｐ１乃至ｐ４を、その中の１つの画素値にする画素数の間引き（４画素間の画素数の間引き）（間引き量４の間引き）を行う。
【００６６】
図３（ｂ）に示す間引き処理は、連続するＮ枚のフレーム（ｋ〜ｋ＋３）のすべてのフレームにおいて、同一の画素位置の画素値を代表画素値、すなわち標本点（図の例では標本点＝ｐ１）として、４つの画素の画素値として設定する間引き処理である。
【００６７】
図４および図５に示す間引き処理は、連続するＮ枚のフレーム（ｋ〜ｋ＋３）において、同一の画素位置を標本点とする設定ではなく、フレーム毎に異なる画素位置の画素を標本点とし、フレーム毎に異なる位置の画素値を各フレームの４つの画素の画素値として設定する間引き処理である。
【００６８】
図４に示す間引き処理は、ｋ〜ｋ＋３番目にある４フレームにおいて、それぞれ同一位置にある４つの水平方向の画素の画素値ｐ１〜ｐ４について、
ｋ番目のフレーム：標本点＝ｐ１
ｋ＋１番目のフレーム：標本点＝ｐ２
ｋ＋２番目のフレーム：標本点＝ｐ３
ｋ＋３番目のフレーム：標本点＝ｐ４
のように、フレームの進行に応じて、標本点の画素位置を右方向に１画素ずつ変更して設定した間引き処理である。
【００６９】
図５に示す間引き処理は、ｋ〜ｋ＋３番目にある４フレームにおいて、それぞれ同一位置にある４つの水平方向の画素の画素値ｐ１〜ｐ４について、
ｋ番目のフレーム：標本点＝ｐ４
ｋ＋１番目のフレーム：標本点＝ｐ３
ｋ＋２番目のフレーム：標本点＝ｐ２
ｋ＋３番目のフレーム：標本点＝ｐ１
のように、フレームの進行に応じて、標本点の画素位置を左方向に１画素ずつ変更して設定した間引き処理である。
【００７０】
このように図４、図５に示す間引き処理は、連続するＮ枚のフレーム（ｋ〜ｋ＋３）において、同一の画素位置ではなく、異なる画素位置の画素値を各フレームの４つの画素の画素値として設定する間引き処理である。
【００７１】
ブロック処理部１３１は、移動量検出部１２０の移動量検出部１２１から供給された移動量情報に応じて、図３〜図５に示す３つの間引き処理のいずれかを選択して実行する。
【００７２】
ブロック処理部１３１の詳細構成を図６に示す。ブロック処理部１３１は、間引き処理態様決定部１５１と、間引き処理実行部１５２を有する。間引き処理態様決定部１５１は、移動量検出部１２１から、移動量情報を入力する。なお、前述したように、ブロック処理部１３１へ入力されるブロックは、移動量≧２ピクセル／フレームのブロックであり、ブロック処理部１３１の間引き処理態様決定部１５１へ入力される移動量情報は、２ピクセル／フレーム以上の移動量情報となる。
【００７３】
間引き処理態様決定部１５１は、移動量の値に基づいて、先に説明した図３、図４、図５のいずれの態様での間引き処理を実行するかを決定する。この決定手法の詳細については後述する。間引き処理実行部１５２は、間引き処理態様決定部１５１の決定に従って図３、図４、図５のいずれかの態様での間引き処理を実行する。
【００７４】
このように、図１に示す動画像変換装置１００は、入力された動画像を、そのデータ量が削減された動画像（圧縮データ）に変換する処理を行なうものであるが、その際、所定の視覚特性に基づいて実現される超解像効果を利用した動画像変換処理を行なうことによりデータ量の削減による画質劣化を観測者に知覚させないようにした装置である。
【００７５】
なお、超解像効果とは、前述したように観測者が、ある時間内に複数の画像が加算されたものを知覚するという視覚特性に基づいて実現される視覚的効果であり、人間の視覚機能における時間的積分機能および感覚記憶機能が複雑に関係して引き起こされているものと考えられており、図１に示す動画像変換装置１００は、時間的積分機能によって引き起こされる超解像効果を利用した動画像変換処理を行う構成を有する。
【００７６】
なお、人間の視覚特性および超解像効果に関する原理や説明等は、特開２００５−２９８２６８において詳しく解説がなされている。特開２００５−２９８２６８に説明されている超解像効果の発生条件を以下に説明する。
【００７７】
間引き量ｍ（ピクセル）の画素数間引きを行った場合に超解像効果が発生するには、間引きによる１次乃至ｍ−１次の折り返し成分が全て打ち消される必要がある。ｋ（＝１、２、・・・、ｍ−１）次の折り返し成分が打ち消される条件は、下記式（式１）、（式２）を満足することである。
【数１】
【００７８】
上記式において、φｔは画素数の間引きにおけるサンプリング位置のずれ量であり、時間ｔ（＝０、１Ｔ、２Ｔ、・・・）、信号の移動速度ｖ、時間間隔（フレームレートの逆数）Ｔ、を用いて、下記式（式３）によって定義される値である。
【数２】
【００７９】
なお、上記式において、サンプリング位置が右にずれる場合を正としている（この条件は、特開２００５−１９８２６８に開示している設定とは異なる）。
【００８０】
間引き量ｍ、小領域の移動量ｖという条件下で上記式（式１）および（式２）が満たされれば超解像効果が発生し、画質の劣化は観測者に知覚されにくい。
【００８１】
続いて、図３乃至図５に示す（ｂ１）〜（ｂ３）の３種類の空間間引き処理を用いる理由について説明する。図１乃至図６を参照して説明した動画像変換装置１００は、間引き量４の画素数間引きを行う際の小領域の１フレーム間の移動速度の条件を、水平または垂直方向に２ピクセル以上と設定していた。ここで、使用可能な空間間引き処理が図３に示す処理のみの構成を考える。そのような構成では、例えば移動速度が１フレームにつき４ピクセル、すなわち小領域の移動量ｖ＝４であった場合に、間引き量ｍ＝４とすると、上記式（式３）のサンプリング位置のずれ量：φｔが取り得る値は０以上の整数のみとなる。
【００８２】
つまり、この場合、上記式（式１）は全てのｋの場合において満たされることはなく、超解像効果は発生しない。同様に、間引き量ｍ＝２、小領域の移動量ｖ＝１の場合、間引き量ｍ＝４、小領域の移動量ｖ＝２の場合、などの設定においても上記式（式１）は全てのｋの場合において満たされることはなく、超解像効果は得られず画質は大幅に劣化する。すなわち、図１乃至図６を参照して説明した動画像変換装置１００は、図３乃至図５に示した（ｂ１）〜（ｂ３）の３種類の空間間引き処理を併用することで、被写体の移動速度に依らず、超解像効果を得られる構成としている。
【００８３】
図４あるいは図５に示されているように標本点位置を各フレームに応じて変更して間引き処理を行なう効果について説明する。なお、以下、このように標本点位置を各フレームに応じて変更して実行する間引き処理を［標本点移動型の間引き処理］あるいは［間引き位置の変更処理］と呼ぶことがある。なお、［標本点移動型の間引き処理］においても、図４のように標本点位置をフレームの進行に従って右方向へずらす間引き位置の変更処理と、図５のように、標本点位置をフレームの進行に従って左方向へずらす間引き位置の変更処理の２つの態様の他にも様々な態様が考えられるため、異なる間引き位置の変更処理を、標本点座標のフレーム毎の変化量によって区別する。この変化量を標本点位相変化量と呼ぶ。
【００８４】
間引き位置変更処理において、
標本点位相変化量が［０］の場合が図３（ｂ１）の間引き処理であり、
標本点位相変化量が［＋１］の間引き処理が図４の処理、
標本点位相変化量が［−１］の場合が図５の処理、
に相当する。標本点位相変化量は、方向を区別するため、＋−の符号を付加して区別する。例えば右方向と下方向を［＋］、左方向と上方向を［−］とする。
【００８５】
間引き位置の変更処理は、動画像変換装置の基本構成において説明した数式（式３）に示されている標本点のずれ量φｔをフレーム毎に１／ｍ加算（右にずらす場合（図４））、または１／ｍ減算（左にずらす場合（図５））することに等しい。なお、ｍは間引き量（ｍピクセル）である。
【００８６】
間引き位置の変更処理を行なった場合の新たな標本点のずれ量φ'ｔは、下記数式（式４）として示される。
【数３】
【００８７】
上記数式（式４）から、被写体の進行方向に標本点の位置をずらすことは被写体の移動速度を減速することと、進行方向と逆に位置をずらすことは移動速度を加速することと信号処理の理論上の意味は等価であることがわかる。これは、もちろん実際の映像上で被写体の移動速度が変化することを意味するわけではない。以下、図７を用いて具体的な処理例について説明する。
【００８８】
図７は被写体（ｋ番目のフレームのｐ１〜ｐ５間の５画素）２０１が４フレーム（フレームｋ〜ｋ＋３）の間に（Ａ）移動していないという状況、（Ｂ）水平方向に速度ｖ＝１ピクセル／フレームで移動しているという状況を示している。
【００８９】
図１、図２に示す動画像変換装置１００のブロック処理部１３１には、本来、１フレーム間の水平方向の移動量が２ピクセル以上のブロックが入力されることになるので、図７に示す（Ａ）、（Ｂ）のようなフレームデータの入力は行なわれないが、１フレーム間の水平方向の移動量が２ピクセル以上のデータにおいて、移動量に応じて図３、図４、図５に示す間引き処理のいずれかの処理が実行されることになる。すなわち、移動量に応じて［間引き位置の変更処理］を行なう場合と行なわない場合が生じる。
【００９０】
図７を参照して、［間引き位置の変更処理］を行なう場合と行なわない場合の処理について説明する。例えば、（Ａ）移動していないという状況において、図３に示す固定標本点の間引き処理を実行し、（Ｂ）水平方向に速度ｖ＝１ピクセル／フレームで移動しているという状況において、図４に示す標本点をフレーム毎に移動させる［間引き位置の変更処理］、すなわち標本点移動型の間引き処理を行なったとする。
【００９１】
図７（Ａ）に示すように被写体が移動していないという状況において、間引き量＝４、すなわち４画素間の画素末間引きを行なったとすると、図３を参照して説明した固定標本点の間引き処理を実行した場合、各４ピクセル毎の出力値は全てのフレームにおいてｐ１とｐ５の画素であり、固定位置の画素値となる。一方、図７（Ｂ）に示すように、水平方向に速度ｖ＝１ピクセル／フレームで被写体が移動しているという状況において、図４を参照して説明した標本点をフレーム毎に移動させる［間引き位置の変更処理］を行なったとすると、各４ピクセルに対応する各フレームの出力値は、図７（Ｂ）に示す通り、
ｋ番目のフレーム：ｐ１、ｐ５
ｋ＋１番目のフレーム：ｐ２、ｐ６
ｋ＋２番目のフレーム：ｐ３、ｐ７
ｋ＋３番目のフレーム：ｐ４、ｐ８
となる。
【００９２】
結果として、図７（Ｂ）１ピクセル／フレームの移動被写体と、図７（Ａ）移動しない被写体において、各フレームの出力値が一致することになる。すなわち移動量ｖ＝１ピクセル／フレームの被写体を含む動画像に対して図４を参照して説明した標本点をフレーム毎に移動させる［間引き位置の変更処理］を施した出力と、移動速度がｖ−１＝０の被写体（Ａ）に図３の処理、すなわち、固定標本点を適用した間引き処理を施した出力とが一致していることがわかる。つまり、移動している被写体に図４の処理を施すことは、その移動速度を１減速した被写体に図３の処理を施すことと等しいことが確認できる。
【００９３】
結局、間引き位置の変更処理によって、被写体の移動速度を仮想的に加速または減速することが可能となる。
【００９４】
次に、具体的にどのような速度で被写体が移動しているときに超解像効果が起こらないのかを確認する。図８は、様々なフレームあたりの移動量としての移動速度：ｖを持つ被写体を含む動画像データに対して図３の固定標本点間引き処理（４画素の間引き処理）を行い、その結果得られる変換（圧縮）画像を、再度、復元（伸張）して得られる画像データの画質の良否データを示している。横軸が被写体のフレームあたりの移動量としての移動速度：ｖ（ピクセル／フレーム）であり、縦軸が画質評価値を示している。すなわち、横軸に示した移動量で被写体を右方向に移動させた際の画質の主観評価実験の結果の傾向を示すグラフであり、グラフ中に示す曲線が画質評価曲線２０５である。画質の良否判定基準として、図８中にＴで示す基準評価値を設定し、基準評価値Ｔ以上の評価を得た場合を良好な画質とする。
【００９５】
フレームあたりの移動量としての移動速度：ｖ＝Ｐ（ピクセル／フレーム）〜Ｑ（ピクセル／フレーム）を持つ様々な被写体に対して、図３を参照して説明した固定標本点間引き処理（４画素の間引き処理）を行って、基準評価値Ｔ以上の評価を得た領域が、図８の領域Ａである。領域Ａ以外の領域Ｂは、基準評価値Ｔ未満の評価を得た領域である。
【００９６】
基準評価値Ｔ以上の評価を得た領域、すなわち図８の領域Ａは、被写体のフレームあたりの移動量としての移動速度：ｖが、ａ〜ｂ、ｃ〜ｄ、ｅ〜の範囲にある場合であり、これらの移動量を持つ場合には、図３を参照して説明した固定標本点間引き処理を適用した場合であっても良好な画質となり、超解像効果が損なわれることのない間引きが実現されたと判断される。一方、図８の領域Ｂ、すなわち、被写体のフレームあたりの移動量としての移動速度：ｖが、ａ〜ｂ、ｃ〜ｄ、ｅ〜以外の範囲にある場合は、基準評価値Ｔ未満の画質となり、超解像効果の発生しない、もしくは十分でない領域であると考えられる。
【００９７】
この評価結果に基づいて、被写体の移動速度が図８の領域Ｂの速度に対応する場合に、間引き位置の変更処理によって被写体の移動速度を概念的に加速あるいは減速する。すなわち、例えば図４、図５に示すような間引き位置の変更処理を実行する。この結果として、図７を参照して説明したように、図８の領域Ａの速度で移動する場合と同様の出力が得られ、超解像効果を伴う良好な画質が得られることになる。
【００９８】
図９に示す領域Ｂ１、Ｂ２は図８に示した領域Ｂの一部である。すなわち、基準評価値Ｔ未満の画質領域であり、超解像効果の発生しない、もしくは十分でない被写体移動速度：ｖを持つ領域であると考えられる領域である。領域Ｂ１、Ｂ２の速度で被写体が移動している場合には、仮想的に被写体を加速（＋Δｖ１、＋Δｖ２）する処理を行なうことで、つまり被写体の進行方向とは逆の方向に間引き位置を変更する処理を行う（例えば、被写体が右に移動していれば図５に示すようにフレームの進行に伴い標本点位置を左に移動させる処理を行う）ことで、図９の領域Ｂ１を図９の領域Ｃ１に移動させ、図９の領域Ｂ２を図９の領域Ｃ２に移動させたと同様の効果を得ることができ、結果として、被写体の仮想的なフレームあたりの移動量としての移動速度：ｖを、基準評価値Ｔ以上となる画質領域（図９のＣ１、Ｃ２）に設定することが可能となる。すなわち、図５に示すようにフレームの進行に伴い標本点位置を左に移動させる間引き処理を実行することで、画質劣化の少ない画像変換（圧縮）が実現される。
【００９９】
同様に、図１０の領域Ｂ３の速度で被写体が移動している場合、仮想的に被写体を減速（−Δｖ３）する処理を行なうことで、つまり進行方向と同じ方向に間引き位置変更を行う（例えば右に移動していれば図４の処理を行なう）ことで図１０の領域Ｂ３を図１０の領域Ｃ３に移動させ、結果として、被写体の仮想的なフレームあたりの移動量としての移動速度：ｖを、基準評価値Ｔ以上となる画質領域（図１０のＣ３）に設定することが可能となる。すなわち、図４に示すようにフレームの進行に伴い標本点位置を右に移動させる間引き処理を実行することで、画質劣化の少ない画像変換（圧縮）が実現される。
【０１００】
なお、図８〜図１０において示した画質評価曲線は、あくまでも主観評価による１実験の結果に基づいて設定した評価曲線を示すものであり、画質評価の方法は様々な方法が適用可能であり、その結果に基づいて間引き処理態様の決定を行なう構成としてもよい。
【０１０１】
移動量が２ピクセル／フレーム以上のブロックデータの処理を実行する図２に示すブロック処理部１３１は、図６に示す間引き処理態様決定部１５１において、移動量検出部からの移動量情報に基づいて、
（ａ）標本点固定の間引き処理（図３参照）
（ｂ）標本点位置をフレームの進行に従って右方向へずらす間引き処理（図４参照）
（ｃ）標本点位置をフレームの進行に従って左方向へずらす間引き処理（図５参照）
これら（ａ）〜（ｃ）の間引き処理のいずれを実行するかを決定し、図６に示す間引き処理実行部１５２において決定した処理態様の間引き処理を実行する。
【０１０２】
図６に示す間引き処理態様決定部１５１における間引き処理態様の決定に際しては、例えば図８〜図１０に示した画質評価曲線に基づく決定処理を行なう。すなわち、画質評価曲線が基準評価値Ｔ以上の画質が維持される移動速度領域である場合は、（ａ）標本点固定の間引き処理（図３参照）を実行し、画質評価曲線が基準評価値Ｔ未満の画質になる移動速度領域においては、（ｂ）標本点位置をフレームの進行に従って右方向へずらす間引き処理（図４参照）、または、（ｃ）標本点位置をフレームの進行に従って左方向へずらす間引き処理（図５参照）のいずれかを行なう構成として、仮想的な移動量が、画質評価曲線が基準評価値Ｔ以上の画質が維持される移動量領域に入る設定とする。
【０１０３】
図６に示す間引き処理態様決定部１５１において、移動量検出部からの移動量情報に基づいて、決定する間引き処理態様の決定例を図１１に示す。図１１の決定例は、図８〜図１０に示す画質評価曲線に基づいて処理態様を決定した例を示している。
図１１（ａ）、（ｂ）は、
移動速度：２ピクセル／フレーム≦移動量＜ｃピクセル／フレーム、
移動速度：ｆピクセル／フレーム≦移動量＜ｅピクセル／フレームのいずれかで、
かつ、
移動方向：右、
の場合であり、この場合には、標本点位置をフレームの進行に従って左方向へずらす間引き処理（図５参照）、すなわち標本点位相変化量＝［＋ｎ］とした間引き処理を実行する。この処理は仮想的な加速処理であり、図９の領域Ｂ１からＣ１へ移す処理、または領域Ｂ２からＣ２へ移す処理に相当する。
【０１０４】
図１１（ｃ）、（ｄ）は、
移動速度：２ピクセル／フレーム≦移動量＜ｃピクセル／フレーム、
移動速度：ｆピクセル／フレーム≦移動量＜ｅピクセル／フレームのいずれかで、
かつ、
移動方向：左
の場合であり、この場合には、標本点位置をフレームの進行に従って右方向へずらす間引き処理（図４参照）、すなわち標本点位相変化量＝［−ｎ］とした間引き処理を実行する。この処理も仮想的な加速処理であり、図９の領域Ｂ１からＣ１へ移す処理、または領域Ｂ２からＣ２へ移す処理に相当する。
【０１０５】
図１１（ｅ）は、
移動速度：ｄピクセル／フレーム≦移動量＜ｆピクセル／フレームで、かつ、
移動方向：右
の場合であり、この場合には、標本点位置をフレームの進行に従って右方向へずらす間引き処理（図４参照）、すなわち標本点位相変化量＝［＋ｎ］とした間引き処理を実行する。この処理は仮想的な減速処理であり、図１０の領域Ｂ３からＣ３へ移す処理に相当する。
【０１０６】
図１１（ｆ）は、
移動速度：ｄピクセル／フレーム≦移動量＜ｆピクセル／フレームで、かつ、
移動方向：左
の場合であり、この場合には、標本点位置をフレームの進行に従って左方向へずらす間引き処理（図５参照）、すなわち標本点位相変化量＝［−ｎ］とした間引き処理を実行する。この処理は仮想的な減速処理であり、図１０の領域Ｂ３からＣ３へ移す処理に相当する。
【０１０７】
図１１（ｇ）は、
上記以外の移動速度、すなわち、
移動速度：ｃピクセル／フレーム≦移動量＜ｄピクセル／フレーム、
移動速度：ｅピクセル／フレーム≦移動量、のいずれかで、
移動方向：左または右
の場合であり、この場合には、標本点位置をフレームの進行に従ってずらす間引き処理ではなく固定標本点とした間引き処理（図３参照）、すなわち標本点位相変化量＝［０］とした間引き処理を実行する。この処理は、図８の領域Ａに対応する移動量を持つ被写体を有するブロックの処理に相当する。
【０１０８】
上述の処理例は、水平方向の移動量を持つブロックの処理例であるが、垂直方向の移動量を持つブロックの処理においても同様の処理、すなわち、図２に示すブロック処理部１３１は、図６に示す間引き処理態様決定部１５１において、移動量検出部からの移動量情報に基づいて、
（１）標本点固定の間引き処理（図１２（ｂ１）参照）［標本点位相変化量＝［０］］
（２）標本点位置をフレームの進行に従って下方向へずらす間引き処理（図１３（ｂ２）参照）［標本点位相変化量＝［＋ｎ］］
（３）標本点位置をフレームの進行に従って上方向へずらす間引き処理（図１４（ｂ３）参照）［標本点位相変化量＝［−ｎ］］
のいずれを実行するかを決定し、図６に示す間引き処理実行部１５２において決定した処理態様の間引き処理を実行する。
【０１０９】
ブロック処理部１３１は、このように、処理ブロックに含まれる被写体のフレームあたりの移動量としての移動速度：ｖに応じて異なる間引き処理を実行し、出力部１４０に出力する。ブロック処理部１３１は、間引き量４の場合、空間方向間引き処理を、供給された４個のブロックに対してそれぞれ施すので（隣接した４画素毎に１画素選択されるので）、各ブロックのデータ量が１／４に削減され、４個のブロック全体のデータ量が１／４に削減される。ブロック処理部１３１は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４０に供給する。
【０１１０】
続いて、ブロック処理部１３２の説明の前に、ブロック処理部１３３の動作を、具体的に説明する。
【０１１１】
ブロック処理部１３３は、移動量検出部１２０のブロック分配部１２２から供給された、連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎブロック（水平方向と垂直方向の移動量がともに１ピクセル未満である場合のＮ個のブロック）に対して、フレーム数を間引く処理（時間方向間引き処理）を行う。
【０１１２】
具体的にはブロック処理部１３３は、図１５に示すように、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックＢｉを、その中の１つのブロック（この例の場合、フレームＦ１のブロックＢｉ）にするフレーム数の間引き（４フレーム間のフレーム数の間引き）を行う。
【０１１３】
ブロック処理部１３３は、このような時間方向間引き処理により、データ量が１／４に削減された４個のブロックについてのデータ（１個のブロック）を、出力部１４０に供給する。なお、ここでは、Ｎ＝４の場合を例として説明したが、Ｎが他の値であっても同様な処理が行われる。
【０１１４】
次に、ブロック処理部１３２の動作を具体的に説明する。ブロック処理部１３２は、移動量検出部１２０のブロック分配部１２２から供給された、連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向と垂直方向の移動量が１ピクセル以上２ピクセル未満である場合のＮ個のブロック）に対して、画素数の間引き処理（空間間引き処理）とフレーム数の間引き処理（時間方向間引き処理）をそれぞれ行なうものである。
【０１１５】
ブロック処理部１３２に供給されるブロックのフレームあたりの移動量としての移動速度：ｖ＝１〜２は、数式（式１）、（式２）満足する。すなわち、超解像効果を得るための条件を満たしている。しかしながら、先に図３を参照して説明したものと同様の標本点固定とした間引き処理を実行してしまうと、画質劣化が知覚される場合があることがわかっている。
【０１１６】
そこで、ブロック処理部１３２は、間引き量ｍ＝４ではなく、間引き量ｍ＝２とした間引き処理を実行し、さらに、ブロック処理部１３１における間引き処理と同様の、標本点固定型の間引き処理と標本点移動型の間引き処理を、被写体移動速度に応じて適宜選択して実行する。
【０１１７】
間引き量ｍ＝２とした場合の、標本点固定型の間引き処理と標本点移動型の間引き処理の態様を図１６〜図２１を参照して説明する。図１６〜図１８は、水平方向のフレームあたりの移動量としての移動速度：ｖ＝１〜２ピクセル／フレームである場合のブロック処理部１３２の間引き処理例である。
【０１１８】
図１６は、標本点固定型の間引き処理、すなわち標本点座標のフレーム毎の変化量である標本点位相変化量＝［０］とした間引き処理であり、各フレーム（ｋ〜ｋ＋３）の画素値ｐ１乃至ｐ４を、その中のいずれか２個の画素値（この例の場合、ｐ１、ｐ３）にする画素数の間引き（２画素間の画素数の間引き）、すなわち、間引き量ｍ＝２の間引き処理例である。
【０１１９】
図１７は、標本点移動型の間引き処理であり、各フレーム（ｋ〜ｋ＋３）の画素値ｐ１乃至ｐ４を、先行フレーム（ｋ、ｋ＋１）については、画素値ｐ１、ｐ３に設定し、後続フレーム（ｋ＋２、ｋ＋３）については、画素値ｐ２、ｐ４に設定する間引き処理である。本処理例は、標本点座標のフレーム毎の変化量である標本点位相変化量＝［０．５］とした間引き処理に相当する。
【０１２０】
図１８も、標本点移動型の間引き処理であり、各フレーム（ｋ〜ｋ＋３）の画素値ｐ１乃至ｐ４を、先行フレーム（ｋ、ｋ＋１）については、画素値ｐ２、ｐ４に設定し、後続フレーム（ｋ＋２、ｋ＋３）については、画素値ｐ１、ｐ３に設定する間引き処理である。本処理例は、標本点座標のフレーム毎の変化量である標本点位相変化量＝［−０．５］とした間引き処理に相当する。
【０１２１】
図１９〜図２１は、垂直方向のフレームあたりの移動量としての移動速度：ｖ＝１〜２ピクセル／フレームである場合のブロック処理部１３２の間引き処理例である。
【０１２２】
図１９は、標本点固定型の間引き処理、すなわち標本点座標のフレーム毎の変化量である標本点位相変化量＝［０］とした間引き処理であり、各フレーム（ｋ〜ｋ＋３）の画素値ｐ１乃至ｐ４を、その中のいずれか２個の画素値（この例の場合、ｐ１、ｐ３）にする画素数の間引き（２画素間の画素数の間引き）、すなわち、間引き量ｍ＝２の間引き処理例である。
【０１２３】
図２０は、標本点移動型の間引き処理であり、各フレーム（ｋ〜ｋ＋３）の画素値ｐ１乃至ｐ４を、先行フレーム（ｋ、ｋ＋１）については、画素値ｐ１、ｐ３に設定し、後続フレーム（ｋ＋２、ｋ＋３）については、画素値ｐ２、ｐ４に設定する間引き処理である。本処理例は、標本点座標のフレーム毎の変化量である標本点位相変化量＝［０．５］とした間引き処理に相当する。
【０１２４】
図２１も、標本点移動型の間引き処理であり、各フレーム（ｋ〜ｋ＋３）の画素値ｐ１乃至ｐ４を、先行フレーム（ｋ、ｋ＋１）については、画素値ｐ２、ｐ４に設定し、後続フレーム（ｋ＋２、ｋ＋３）については、画素値ｐ１、ｐ３に設定する間引き処理である。本処理例は、標本点座標のフレーム毎の変化量である標本点位相変化量＝［−０．５］とした間引き処理に相当する。
【０１２５】
ブロック処理部１３２も、ブロック処理部１３１と同様、先に説明した図６の構成を持つ。すなわち、ブロック処理部１３２は、間引き処理態様決定部１５１と、間引き処理実行部１５２を有する。間引き処理態様決定部１５１は、移動量検出部１２１から、移動量情報を入力する。なお、前述したように、ブロック処理部１３２へ入力されるブロックは、フレームあたりの移動量としての移動速度：ｖ＝１〜２ピクセル／フレームであるブロックであり、ブロック処理部１３２の間引き処理態様決定部１５１へ入力される移動量情報は、移動速度ｖ＝１〜２ピクセル／フレームの移動量情報となる。
【０１２６】
間引き処理態様決定部１５１は、移動量の値に基づいて、図１６〜図２１のいずれの態様での間引き処理を実行するかを決定し、間引き処理実行部１５２は、間引き処理態様決定部１５１の決定に従って図１６〜図２１のいずれかの態様での間引き処理を実行する。
【０１２７】
ブロック処理部１３２は、このように、処理ブロックに含まれる被写体のフレームあたりの移動量としての移動速度：ｖに応じて異なる間引き処理を実行し、出力部１４０（図１、図２参照）に出力する。ブロック処理部１３２は、間引き量２の空間方向間引き処理を実行するとともに、図２２に示す時間方向間引き（４フレーム→２フレーム）も施すので、各ブロックのデータ量が１／４に削減され、４個のブロック全体のデータ量が１／４に削減される。ブロック処理部１３１は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４０に供給する。
【０１２８】
次に、出力部１４０について説明する。出力部１４０は、ブロック処理部１３０のブロック処理部１３１〜１３３のそれぞれから供給された、データ量が削減されたＮ個のブロックについてのデータおよび、各ブロックがどのような処理をされたかを示す情報を出力する。処理内容に関する情報は、空間方向間引き、時間方向間引き、空間・時間方向間引きのいずれの方法で間引きされたのかを示す情報、空間間引きされている場合は間引き位置の変更処理は行われたのかを示す情報、行われているのならどのような間引き位置変更処理が施されたのかを示す情報、元の動画のフレームレート、空間解像度に関する情報、などから構成されるが、他の情報が加えられても構わない。
【０１２９】
以上のように、図１乃至図２２を参照して説明した動画像変換装置１００は、被写体の移動速度に応じて異なる間引き位相変化量の空間方向間引きを施すことで、画質劣化を抑えた圧縮によりデータ削減を可能とした構成となっている。
【０１３０】
具体的には、画像中の移動オブジェクトの移動量に応じて異なる間引き位相変化量の空間間引き処理を行なうデータ圧縮（削減）をしている。この間引き処理により、圧縮データを復元して再生を行なった場合に、画像中の移動オブジェクト（被写体）を観測者が追従視することで、各移動オブジェクト（被写体）の速度に対応する間引き処理に基づく超解像現象が発生し、観測者に画素数間引きに伴う画質劣化を知覚させないという効果を発生させるものである。
【０１３１】
なお、"追従視"または"観測者の視線が被写体を追従する"とは、被写体の移動速度：Ｖ（ピクセル／フレーム）と観測者の視線速度：Ｖｏ（ピクセル／フレーム）が同値またはほぼ同値となることである。観測者の視線速度は、フレームの進行に伴う、観測者の注目する画像中の座標位置の変化量である。
【０１３２】
ところで、上述した動画像変換装置１００は、Ｎフレーム間の同一位置のブロックに対して同じ間引き処理を適用するものである。すなわち、Ｎフレーム間の同一位置のブロック単位で算出した唯一のブロック移動量に基づいて決定される唯一の間引き処理態様で、そのブロックに対する間引き処理が行なわれる。
【０１３３】
しかしながら、動画像データにおいては、同一位置のブロックの移動量がＮフレーム間において大幅に変化することもある。例えば画像上の移動オブジェクトの端部などでは、図２３に示すように、Ｎフレーム間でブロックに対応する移動速度が大きく変化することがある。
【０１３４】
図２３は連続するフレーム０，１において、背景としてのオブジェクト２３１上を右方向に速度Ｖで移動するオブジェクト２３２の様子を示したものである。ブロック２３３に施される処理について考える。１つの間引き処理態様を適用するフレーム中にフレーム０，１が含まれている場合、図２３に示すブロック２３３の間引き処理態様は、フレーム０，１において同一の設定となる。
【０１３５】
ブロック対応の移動量検出が、フレーム１を基準にしてなされた場合、例えばフレーム１とフレーム２を適用して行なわれると、検出される移動量は、ブロック２３３に含まれるのは背景としてのオブジェクト２３１の領域であるので［０］となる。この場合、ブロック２３３に時間間引きを施すことになる。同一の間引き処理対象とするＮフレームをフレーム（−１〜２）の４フレームとした場合、フレーム１ではブロック２３３は背景を含むので対応する移動量は０であり、適切な処理となる。しかし、フレーム０では、ブロック２３３に対応する速度はＶであるから、時間間引きは速度に対して適切な処理とはならない。
【０１３６】
一方、移動量検出をフレーム０を基準として実行した場合、例えばフレーム−１とフレーム０を適用して行なわれると、検出される移動量は、ブロック２３３に含まれるのは移動オブジェクト２３２の領域であるので［Ｖ］となる。この場合、ブロック２３３には空間間引きを施すことになる。フレーム０ではブロック２３３の移動量はＶであり、適切な処理となる。しかし、フレーム１では、ブロック２３３に対応する速度は０であるから、空間間引きは速度に対して適切な処理とはならない。
【０１３７】
このように、例えば、ブロックに移動するオブジェクトの端部が含まれるような場合、空間間引き・時間間引き何れの処理を適用しても、連続する数フレーム間同じ処理を適用すると、あるフレームのブロックに対しては適切な処理であっても、別のフレームのブロックに対しては適切とはならない。このように、ブロック移動量に対して適切ではない間引き処理を施した場合、画質劣化が知覚されることになる。
【０１３８】
さらに、画像中には複数のオブジェクトが存在する場合が一般的であり、複数のオブジェクト間で重なりが生じることもよくあることである。例えば、図２４に示すように、画像中に複数のオブジェクト２４１および２４２が存在し、オブジェクト２４１は停止しており、オブジェクト２４２は図中に矢印で示す方向に空間間引きを適用可能な速度Ｖで移動しているとする。このとき、点線で示したブロック２４３に施される間引き処理について考える。ブロック２４３のように、複数のオブジェクトの重なりの部分に位置するブロックに対応する移動速度は、通常は正しく定義できない。しかしながら、ブロックマッチングによる動き検出を行なった場合は、ブロックに含まれるいずれかのオブジェクトの速度がブロックに対応する移動速度となる場合が多いことから、ここではブロック２４３に対応する移動速度は０（オブジェクト２４１の速度）、またはＶ（オブジェクト２４２の速度）として算出されたとする。
【０１３９】
ブロック２４３に対応する移動速度が０と判定された場合、動画像変換装置１００によると時間方向のフレーム数間引きが施される。この場合、ブロック２４３中の、オブジェクト２４１の一部に相当する部分では、速度に対して適切な処理が施されることになるので、画質上の問題は発生しない。ところが、ブロック２５０３中の、オブジェクト２４２の一部に相当する部分では、本来は空間方向の画素数間引きが施される場所に対して時間方向のフレーム数間引きを施すことになり、画質の劣化が発生する。
【０１４０】
同様に、ブロック２４３に対応する移動速度がＶと判定された場合、動画像変換装置１００によると空間方向の画素数間引きが施される。ブロック２４３中の、オブジェクト２４２の一部に相当する部分では、速度に対して適切な処理が施されることになるので、画質上の問題は発生しない。ところが、ブロック２４３中の、オブジェクト２４１の一部に相当する部分では、本来は時間方向のフレーム数間引きが施される場所に対して空間方向の画素数間引きを施すことになり、画質の劣化が発生する。
【０１４１】
このように、一つのブロック内に、異なる移動量を持つ複数のオブジェクトが混在している場合は、いずれの移動速度に従った間引き処理を行なっても、画質上の問題点が発生する。
また、上記の様に複数のオブジェクトを含まないブロックであっても、複数のオブジェクトの重なる部分（エッジ、オブジェクトの境界）に近い場合は、間違った移動量が検出されることがある。特に、ブロックマッチングによる動きの検出においては、動き検出の対象となるブロックそのものよりも広い範囲を入力とする評価関数を用いることがあり、オブジェクトの境界を含まないブロックであっても、動き検出にエラーが発生することがある。その様子を図２５に示す。
【０１４２】
図２５は、ブロックマッチングにおいて、動きを検出する対象のブロックよりも大きい領域を動きベクトルの評価に用いる例である。図２５に示す１つの画像フレームには、動きが０である背景領域２５１と、右方向に速度Ｖで移動するオブジェクト２５２が含まれる。
【０１４３】
ブロック２５４に対応する移動量（動きベクトル）をブロックマッチングによって検出する場合に、参照する画素の範囲を示したものが矩形領域２５３である。すなわち、ブロックマッチングで用いる評価関数としては、カレントフレームと参照フレームのブロックの各画素の差分絶対値の和などがよく用いられるが、図２５に示す例ではブロック２５４ではなく矩形領域２５３を用いた差分絶対値の和の計算を行なう。
【０１４４】
この結果、実際の画像のテクスチャの量などにも依存するが、ブロック２５４の移動量検出の際に使用する矩形領域２５３に属する画素の多くが背景であることから、ブロック２５４に対応する動き量は０となることがあり得る。図２５の例の場合は、ブロック２５４が空間方向の画素数間引き処理を施すべき移動量Ｖで移動しているオブジェクト２５２を完全に含むにも関わらず、移動量０と検出され、時間方向のフレーム数間引きを施される可能性がある。この場合、ブロック２５４に対応する適切な空間間引きが行なわれず、著しい画質劣化が発生する可能性が高まる。
【０１４５】
このように、ブロックに対応する適切な移動量が算出されない場合には、画質劣化につながる画像変換が行われることになる。以下、この問題点を解決した構成について説明する。
【０１４６】
［（２）改良した間引き処理を実行する動画像変換装置の構成］
以下、上述の動画像変換装置１００の問題点を解決し、改良した間引き処理を実行することにより、不適切な間引き処理を施した領域において発生する画質劣化を抑制したデータ削減（圧縮処理）を実現する動画像変換装置について説明する。
【０１４７】
本発明の一実施例に係る動画像変換装置３００の構成を、図２６を参照して説明する。図２６に示す動画像変換装置３００は、先に図１を参照して説明した動画像変換装置１００と同様、人間の視覚特性による超解像効果を利用することにより、データ量の削減による画質劣化を観測者が知覚しないようにデータ量を削減することを可能としたものであり、さらに、被写体の移動量に対して適切な間引き処理を行なうことができない場合においての画質劣化を最小限に抑制したデータ削減を可能としたものである。
【０１４８】
図２６に示す動画像変換装置３００の構成について説明する。入力された動画像の各フレームは一旦フレームバッファ３０１に蓄積される。蓄積されたフレームはブロック分割部３０２および移動量検出部３０３に出力される。ブロック分割部３０２は入力されたフレームをブロックに分割し、移動量検出部３０３および間引き処理実行部３０６に出力する。移動量検出部３０３はフレームバッファ３０１から供給されたフレームとブロック分割部から供給されたブロックを使用して、各ブロックに関する移動量を検出し、間引き処理態様情報生成部３０４および間引き処理制御情報生成部３０５に出力する。
【０１４９】
間引き処理態様情報生成部３０４は、移動量検出部３０３から供給される各ブロックに対応する移動速度（ブロック移動量）を参照して、施すべき適切な間引き処理が、空間方向の画素数間引きであるか、時間方向のフレーム数間引きであるかを決定する。さらに、空間方向の画素数間引き処理の場合には、空間間引きにおける最適な標本点位相変化量を決定し、時間方向の間引き処理か空間方向の間引き処理かについての情報とともに、間引き処理実行部３０６に出力する。
【０１５０】
間引き処理制御情報生成部３０５は、移動量検出部３０３から供給される、各ブロックに対応する移動量情報、およびブロック分割部３０２から供給されるブロックデータを参照して、フレームを構成する各ブロックについて、間引き処理を施すべきかどうかを判断し、結果を間引き処理制御情報として、間引き処理実行部３０６に出力する。
【０１５１】
間引き処理実行部３０６は、間引き処理態様情報生成部３０４から供給された間引き処理態様情報に基づき、各ブロックに対して間引き処理を施す。ただし、この際、間引き処理制御情報生成部３０５から供給された、各ブロックに対応する制御情報に基づき、間引き処理を行なうことが適切では無いブロックに関しては、間引き処理を施さない。間引き処理実行部３０６は、さらに、処理結果を出力部３０７に出力する。出力部３０７は、間引き処理実行部３０６から供給された、データ量が削減されたブロックについてのデータを、例えばストリームデータなどとしてまとめて出力する。
【０１５２】
続いて改良した間引き処理を実行する動画像変換装置３００の各構成部の処理の詳細について説明する。
【０１５３】
まず、フレームバッファ３０１について説明する。フレームバッファ３０１は入力される動画像データを構成するフレームデータを蓄積する。フレームバッファ３０１に蓄積するフレーム数は、移動量検出部３０３における移動量検出処理に適用するフレーム画像に依存する。
【０１５４】
例えば、移動量検出部３０３における移動量検出処理において、現フレームＦと過去のフレームＦ−ｋ（ｋは正の整数）を用いて現フレームＦにおける移動量を検出する構成とした場合は、フレームバッファ３０１は、フレームＦが入力された時点で、少なくとも過去のｋフレームを蓄積する構成とする。
【０１５５】
また、移動量検出部３０３における移動量検出処理において、現フレームＦと未来のフレームＦ＋ｋを用いて現フレームＦにおける移動量を検出する構成である場合は、フレームバッファ３０１は、フレームＦ＋ｋが入力されるまでフレームＦの蓄積状態を維持する構成とする。
【０１５６】
また、移動量検出部３０３における移動量検出処理において、フレームＦの移動量を検出する際に、過去のフレームＦ−ｋおよび未来のフレームＦ＋ｋを使用する構成である場合には、フレームバッファ３０１は少なくともフレームＦ−ｋからフレームＦ＋ｋまでのフレームを蓄積する構成とする。
【０１５７】
以下、１つの実施例として、移動量検出部３０３が、フレームＦの移動量検出の際に過去のフレームＦ−１を参照する構成である場合の処理例について説明する。すなわち、連続する２つのフレームに基づいて、フレームＦの移動量検出を行なう処理例について説明する。フレームバッファ３０１は移動量検出部３０３が移動量を検出するのに必要なフレームを蓄積し、現フレームＮをブロック分割部３０２に出力する。また、移動量検出の際に必要となるフレームＦ−１を移動量検出部３０３に出力する。なお、移動量検出部３０３における移動量検出処理に適用するフレームについては、上述したように様々な設定が可能であり、それぞれの設定において本発明は適用可能である。
【０１５８】
続いて、ブロック分割部３０２の行なう処理について説明する。ブロック分割部３０２は、入力された動画像の各フレームを、予め設定した大きさ、例えば８ピクセル×８ピクセル、４ピクセル×４ピクセル等のブロックに分解し、移動量検出部３０３、間引き処理態様情報生成部３０４、および間引き処理制御情報生成部３０５に供給する。
【０１５９】
移動量検出部３０３は、ブロック分割部３０２から供給された、フレームＦの各ブロックについての移動量を検出する。すなわち、フレームバッファ３０１より入力された参照フレーム（例えば過去のフレーム）を参照してブロックマッチングを行いブロック単位の移動量を検出する。移動量検出部３０３は、検出したブロック毎のブロック移動量を、間引き処理態様情報生成部３０４、および間引き処理制御情報生成部３０５に供給する。
【０１６０】
なお、移動量検出部３０３は、間引き処理制御情報生成部３０５が必要とする任意のフレームに対応する移動量情報を供給可能であるとする。つまり、例えば間引き処理制御情報生成部３０５が、カレントフレームに対応する移動量情報の他に、前後それぞれＱフレーム分の移動量情報を必要とする場合、移動量検出部３０３はそれらの移動量情報を供給することができる。なお、使用する移動量検出手法はブロックマッチング法以外の方法であってもよい。移動量は各ブロックに対応する動きベクトルとして表される。動きベクトルは、フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量を表す。
【０１６１】
次に、間引き処理態様情報生成部３０４の処理について説明する。間引き処理態様情報生成部３０４は、移動量検出部３０３から供給された各ブロックに対応する移動量情報（ブロック移動量）に基づき、各ブロックに施すべきもっとも適切な間引き処理の態様を定める。すなわち、
（ａ）時間間引き処理と空間間引き処理のいずれの処理を施すか、
（ｂ）空間間引き処理を施す場合は、水平方向と垂直方向のどちらの方向の空間間引き処理を施すか、さらに、空間間引きの際の標本点位相変化量を決定する。
【０１６２】
時間・空間いずれの間引き処理を施すかの判断には、まず移動量検出部３０３から供給されたブロック移動量のＸ方向成分：ＶｘとＹ方向成分：Ｖｙを比較する。各成分のうち絶対値の大きいほうの成分の値：Ｖが閾値Ｖｔを超えていた場合は空間方向の画素数間引きを施す。Ｖが閾値Ｖｔを下回る場合は時間方向のフレーム数間引きを施す。空間方向間引きを施す場合、｜Ｖｙ｜＞｜Ｖｘ｜ならば垂直方向の空間間引きを施し、それ以外の場合は、水平方向の空間間引きを施す。さらに、空間間引きの場合は、空間間引き処理を行なう際の標本点位相変化量をも決定する。間引き量Ｍ＝４の場合の標本点位相変化量の決定方法について、以下で詳細を説明する。
【０１６３】
標本点位相変化量の決定処理は、図２７乃至図３０および図３１に示す画質評価曲線に基づいて行なわれる。
図２７に示すグラフは、横軸を被写体の移動量の値とし、
標本点位相変化量＝０
とした空間方向の画素数間引き処理を施して生成した変換画像データを復元・再生し、追従視を行なった場合の画質評価を記録したグラフであり、図８に示したグラフと同様である。横軸に示した移動量で被写体を右方向に移動させた際の主観評価実験の結果の傾向を画質評価曲線４０１（図８における２０５と同様）として示している。縦軸が画質評価（高いほど画質が良いという評価）を示している。
【０１６４】
図２７中にＴで示す基準評価値４０２を設定し、基準評価値Ｔ以上の評価を得られる速度の領域を高画質移動量領域４０３乃至４０５によって示す。図２７から、被写体が４０３乃至４０５の領域の速度で移動している場合には、標本点位相変化量＝０の間引き処理を施しても、十分な画質を得られることがわかる。
【０１６５】
図２８乃至図３０は、図２７の曲線４０１を右方向にシフトすることで作成した画質評価曲線であり、それぞれ、
図２８：標本点位相変化量＝＋１の場合、
図２９：標本点位相変化量＝＋２の場合、
図３０：標本点位相変化量＝＋３の場合、
上記のように対応する。
【０１６６】
以下に図２７の曲線４０１を右方向にシフトすることで、異なる標本点位相変化量の場合の画質評価曲線が得られる理由を説明する。
【０１６７】
（式４）ですでに示したように、間引き位置の変更処理（標本点位相変化量≠０の処理）は、（式３）に示されている標本点のずれ量φｔをフレーム毎に１／ｍ加算（右にずらす場合）、または１／ｍ減算（左にずらす場合）することに等しい。なお、ｍは間引き量（ｍピクセル）である。さらに一般的に、標本点位相変化量＝Ｐの場合の間引き処理は、（式３）に示されている標本点のずれ量φｔをフレーム毎にＰ／ｍ加算することに等しい。標本点位相変化量＝Ｐのもとで画素数の間引き処理を行なった場合の新たな標本点のずれ量φ'ｔは、下記数式（式５）として示される。
【数４】
【０１６８】
結局、標本点位相変化量＝Ｐで間引き処理を行なうことは、被写体の移動速度ｖを概念的に減速することと等しいことが（式５）からわかる。これは、例えばＰ＝１の場合、ｖ＝Ｖ１における画質評価値はＰ＝０の場合のｖ＝Ｖ１−１における画質評価値から得られることを示している。よってＰ＝１の画質評価曲線（図２８の曲線４１１）は図２７の曲線４０１（図２８の点線で示した曲線）を右方向に１ピクセル分シフトすることで得られることがわかる。基準評価値Ｔ以上の評価を得られる速度の領域を高画質移動量領域４１３乃至４１６によって示す。
【０１６９】
同様に標本点位相変化量Ｐの場合のｖ＝Ｖｐにおける画質評価値は、標本点位相変化量＝０の場合の速度ｖ＝Ｖｐ−Ｐの場合の画質評価値より得られるので、図２９のＰ＝２の場合の画質評価曲線４２１は曲線４０１（図２９の点線で示した曲線）を右に２ピクセル分シフトすることで得られる。基準評価値Ｔ以上の評価を得られる速度の領域を高画質移動量領域４２３乃至４２５によって示す。
【０１７０】
さらに、図３０のＰ＝３の場合の画質評価曲線４３１は曲線４０１（図３０の点線で示した曲線）を右に３ピクセル分シフトすることで得られることがわかる。基準評価値Ｔ以上の評価を得られる速度の領域を高画質移動量領域４３３乃至４３６によって示す。
【０１７１】
なお、以上のように標本点位相変化量Ｐ＝０の場合以外の画質評価曲線はシミュレーションによって作成したが、全ての標本点位相変化量の場合について実際に実験等によってＰ＝０の場合と同様にグラフを作成しても構わない。
【０１７２】
図３１は図２７乃至図３０の画質評価曲線４０１、４１１、４２１、４３１を全て示した図である。図３１を参照して理解されるように、あらゆる速度において、画質評価値が閾値Ｔを上回る（十分な画質を得られる）標本点位相変化量は、複数存在する。
【０１７３】
例えば、図３１において移動量ｖ＝３ピクセル／フレームの位置（４４１の点線上）では、曲線４０１と４２１が閾値Ｔを上回っている。つまり、ｖ＝３の場合には、標本点位相変化量Ｐ＝０またはＰ＝２の間引き処理を施した場合に、観測者が画質劣化を感じない十分な品質の画像が提供できることがわかる。
【０１７４】
このようにして、間引き処理態様情報決定部３０４は、各標本点位相変化量に対応する画質評価曲線に基づき、移動量検出部３０３から供給された各ブロックに対応する移動量において、十分な画質（閾値Ｔを上回る画質）を得られるような標本点位相変化量を決定する。そのような標本点位相変化量が複数存在する場合は、その中で最も高い評価値を得られるものに決定すればよい。ただし、他の方法で選択しても構わない。
【０１７５】
上記の例は、変換画像データを右方向に移動させてグラフを作成したが、図２７乃至図３１に示した画質評価曲線は画像データの移動方向（水平・垂直）によらないので、垂直方向の画素数間引きにおける標本点位相変化量の候補も図２７乃至図３１を用いて決定することができる。
【０１７６】
また、上記の例は、間引き量Ｍ＝４の場合の画質評価特性であったが、間引き量がその他の値でも、同様の手段によって画質評価特性を生成することが可能である。すなわち、まず、標本点位相変化量を０とした場合の変換画像データを作成して、移動速度を変えて表示し、画質を測定し、しかるのちに、得られた画質評価曲線をシフトすることで間引き量Ｍに対応する全ての標本点位相変化量に対応する評価曲線を得ることができる。ただし、全ての標本点位相変化量に対応する画質評価曲線を実験によって得ても良い。すなわち、０以外の標本点位相変化量に関しても、実際に変換画像データを作成し、速度を変えて表示し、評価曲線を得ることも可能である。
【０１７７】
以上のようにして、間引き処理態様情報決定部３０４は、各ブロックに施す間引き処理の態様を決定し、それを間引き処理実行部３０６に供給する。
【０１７８】
続いて、間引き処理制御情報生成部３０５について説明する。間引き処理制御情報生成部３０５は、移動量検出部３０３から供給される各ブロックに対応する移動量情報、およびブロック分割部３０２から供給される各ブロックの画素データに基づいて、間引き処理の実行予定フレームとして選択した１つのカレントフレームを構成する各ブロック各々について、間引き処理を施すことが適当かどうかを判断し、その結果を間引き処理制御情報として間引き処理実行部３０６に出力する。
【０１７９】
間引き処理を施すべきではないブロックを判定する方法は多数考えられるが、前述のように、基本的には異なる速度で移動する複数のオブジェクト（背景も１つのオブジェクトとみなしてよい）間の境界部分およびその周辺を間引き処理不可領域とするべきであるので、そのような領域を間引き処理不可と判定できるような方法であればどのような方法であってもよい。すなわち、間引き処理制御情報生成部３０５は、例えば、１つのブロック内に移動速度の異なる複数のオブジェクトが含まれるか否かを検証し、複数のオブジェクトが含まれるブロックについて、間引き処理不可とする制御情報を生成する構成をもつ。
【０１８０】
以下、ブロックに対する間引き処理を行なうか否かを判定する異なる３つの判定手法Ａ〜Ｃについて説明する。間引き処理制御情報生成部３０５は、以下に説明する判定方法Ａ、Ｂ、Ｃの全ての手法によって間引き処理を行なわない、すなわち間引き処理を不可とするブロックを決定してもよいし、いずれか一つの手法のみによって決定しても構わない。
【０１８１】
（方法Ａ）ブロック間差分の分散を用いる方法
まず、ブロック間差分の分散を用いて、ブロックに対する間引き処理を行なうか否かを判定する方法について説明する。この方法では、あるブロックＢに関する間引き処理制御情報を定めるために、ブロックＢの属するカレントフレームＦ１以外のフレームを参照フレームとして利用する。ここでは、仮にカレントフレームＦ１の１フレーム過去のフレームＦ０を参照フレームとして利用するものとする。なお、参照フレームは、カレントフレーム以外のフレームであればいずれのフレームであってもよい。
【０１８２】
方法Ａ、すなわち、ブロック間差分の分散を用いて、ブロックに対する間引き処理を行なうか否かを判定する場合、間引き処理制御情報生成部３０５は、カレントフレームＦ１以外に直前のフレームＦ０も参照可能な構成であるとする。間引き処理制御情報生成部３０５は、移動量検出部３０３より、カレントフレームの各ブロックに対応する移動量情報（動きベクトル）を供給されている。ブロックＢに対応する動きベクトルを（Ｖｘ、Ｖｙ）とする。また、フレームＦ１の画素（ｘ、ｙ）の画素値をＩ１（ｘ、ｙ）、フレームＦ０の画素（ｘ、ｙ）の画素値をＩ０（ｘ、ｙ）とする。方法ＡではブロックＢが直前のフレームにおいて存在した位置の各画素と、ブロックＢを構成する各画素との間の差分の分散を計算する。ブロックＢが直前のフレームで存在した位置は、ブロックＢに対応する動きベクトル（Ｖｘ、Ｖｙ）を現在の座標から減算することで得られる。
【０１８３】
カレントフレームと参照フレームにおける対応ブロックの差分の分散［ｖａｒ］は以下の式によって算出される。すなわち、
【数５】
ここで、Ｉａｖｅは各画素の差分の平均値であり、
【数６】
である。
また、Ｍはブロックサイズである。
【０１８４】
間引き処理制御情報生成部３０５は、上記式によって算出されるカレントフレームと参照フレームにおける対応ブロックの差分の分散［ｖａｒ］と、予め定められた閾値［Ｔｖ］とを比較する。
ｖａｒ＞Ｔｖ
である場合、すなわち、差分の分散［ｖａｒ］が閾値［Ｔｖ］を上回る場合は、該ブロックを間引き処理不可のブロックとする。
一方、
ｖａｒ＞Ｔｖ
が成立しない場合、すなわち、差分の分散［ｖａｒ］が閾値［Ｔｖ］以下である場合は、該ブロックを間引き処理可のブロックとする。
【０１８５】
これは、例えば図２４を用いて示したような、動画像変換装置１００の問題点を解決するための方法である。すなわち、図２４に示すブロック２４３に対応する移動量はオブジェクト２４１またはオブジェクト２４２のいずれかの移動量となる可能性が高い。ここでは仮にブロック２４３に対応する移動量がオブジェクト２４２の移動量Ｖとなったとする。この場合、ブロック２４３の各画素と、直前のフレームにおいてブロック２４３が存在した位置の各画素を比較すると、ブロック２４３の左側部分の差分値は小さくなるが右側部分の画素値は大きくなる。
【０１８６】
具体的な例について、図３２を参照して説明する。図３２は現在フレームと過去フレームにおける、図２４に示したオブジェクト２４２の位置を示している。オブジェクト２４１は省略している。ブロック２４３に対応している移動量はＶであるので、ブロック２４３と領域２４４の画素間の差分を計算することになるが、このとき明らかにブロックの左側、すなわちオブジェクト２４２を含む部分では画素値は一致している。もしくは非常に近いものになっているため、差分値は小さくなり、それ以外の部分の差分値は大きくなる。つまり、分散ｖａｒの値が大きくなる。これに対して、ブロックが完全に一つのオブジェクトしか含まない場合には、差分値は総じて小さくなるので分散も小さくなる。従って、分散が、ある閾値Ｔｖを上回るようなブロックはオブジェクトを複数含んでいる可能性が高いので、間引き処理を不可とする。
【０１８７】
この間引き処理可または不可とした制御情報を、図２６の間引き処理実行部３０６に出力する。間引き処理実行部３０６では、間引き処理が可とされたブロックについては間引き処理を行うが、間引き処理が不可とされたブロックについては、間引き処理を行わない。
【０１８８】
この制御により、複数の異なるオブジェクトが含まれるようなブロックについての間引きが防止され、結果として、図２４を参照して説明したようなブロック対応の１つの移動量に基づく均一な間引き処理による画質劣化の発生を抑制することができる。なお、閾値Ｔｖを適当に調整することで、間引き処理を不可とするブロックの総数を調整することが可能なので、データの削減量の調整も行なうことができる。
【０１８９】
（方法Ｂ）フレーム間の間引き処理変動を検知する方法
次に、フレーム間の間引き処理変動の検知に基づく間引き可否判定処理手法について説明する。この方法では、あるブロックＢに関する間引き処理制御情報を定めるために、ブロックＢの属するカレントフレームＦ１以外のフレームに対応する移動量情報を利用する。すなわち、方法Ｂを用いる場合、間引き処理制御情報生成部３０５はカレントフレームに対応する移動量情報以外に、前後Ｎフレームに対応する移動量情報を利用する。Ｎの値はどのような値であってもよいが、ここでは仮にＮ＝２とする。すなわち、カレントフレームの前後２フレームのブロックＢと同一の位置のブロックの移動量情報を参照する。
【０１９０】
この方法Ｂ、すなわち、フレーム間の間引き処理変動を検知することによる間引き可否判定処理手法では、あるブロックＢの間引き処理制御情報を定める際に、カレントフレームのブロックＢに対応する移動量情報に加えて、前後２フレームの、ブロックＢと同一の位置のブロックの移動量情報を参照し、これら計５種類のブロック移動量情報から定められる最適な間引き処理形態が、全て同一の場合にブロックＢに対応する間引き処理制御情報を「間引き処理可」とする。それ以外の場合は間引き処理制御情報を「間引き処理不可」に設定する。
【０１９１】
具体例について図３３を参照して説明する。図３３は、水平方向に並んだ８つのブロックの５フレーム間の変動を表したものである。横軸がブロックの位置（ｘ座標）であり、縦軸が、時間（ｔ）であり、上から下方向に時間が進行しており、カレントフレームが中段のフレームであり、上段に先行２フレーム、下段に後続２フレームの計５フレームを示している。
【０１９２】
図中に示す斜線部分が移動しているオブジェクト（被写体）である。１つのブロックは４×４ピクセルであり、オブジェクト（被写体）は、右方向に４ピクセル／フレームで移動している。白色の部分は背景であり、移動していない。
【０１９３】
ここで、カレントフレームのブロックＢ０に着目すると、その前後フレームの同一位置のブロックは全て斜線領域の移動オブジェクトであり、４ピクセル／フレームで移動している。すなわち、カレントフレームを中心とする５フレーム間の全てのブロックに対応する移動量が空間間引きを適切な間引き処理とする移動量であり、この場合ブロックＢ０は「間引き処理可」のブロックとなる。
【０１９４】
同様にブロックＢ２は、その前後フレームのブロックを含めた５つの全てのブロックの移動量が０であり、時間間引きを適切な間引き処理とする移動量であるので、ブロックＢ２に対応する間引き処理制御情報も「間引き処理可」となる。
【０１９５】
一方、ブロックＢ１の前後フレームの移動量を参照すると、過去のフレームのブロック（図中ブロックＢ１の直上の２つのブロック）は時間間引きを適切な間引き処理とするブロックであり、ブロックＢ１と未来フレームのブロック（ブロックＢ１の直下の２つのブロック）は空間間引きを適切な間引き処理とするブロックである。この場合、５つのブロックにおいて最適な間引き形態が同一ではないので、ブロックＢ１に対応する間引き処理制御情報は「間引き処理不可」とする。
【０１９６】
この間引き処理可または不可とした制御情報を、図２６の間引き処理実行部３０６に出力する。間引き処理実行部３０６では、間引き処理が可とされたブロックについては間引き処理を行うが、間引き処理が不可とされたブロックについては、間引き処理を行わない。
【０１９７】
この制御は、主に図２３乃至図２５を用いて示したような、動画像変換装置１００の問題点を解決するための方法である。すなわち、図２３で示したように、空間間引きが施される領域と時間間引きが施される領域の境界部分において、先に説明した動画像変換装置１００では、Ｎフレーム（例えば４フレーム）単位で同じ間引き処理を施すことになるが、この判定手法（Ｂ）を適用した場合、このようなブロックでは、間引き処理が実行されないことになり、異なる移動速度で移動するオブジェクトが連続フレームに存在している場合の不適切な間引き処理を防止することができる。
【０１９８】
また、図２５で示したように、異なる移動量のオブジェクトの境界部分では移動量検出のエラーが発生しやすいので、エラーが発生している可能性を予め考慮して、間引き処理を施すことを抑制することができる。なお、方法Ａの場合と同様に、参照する前後フレームの数＝Ｎを適当に調整することで、間引き処理を不可とするブロックの総数を調整することが可能なので、データの削減量の調整も行なうことができる。
【０１９９】
（方法Ｃ）周囲ブロックの間引き処理変動を検知する方法
次に、周囲ブロックの間引き処理変動の検知に基づく間引き可否判定処理手法について説明する。この方法では、あるブロックＢに関する間引き処理制御情報を定めるために、ブロックＢの属するカレントフレームＦ１以外のフレームに対応する移動量情報や、カレントフレームのブロックデータを必要としない。つまり、方法Ａや方法Ｂと異なり、カレントフレームと異なる別のフレームの参照を行なう必要がない。
【０２００】
方法Ｃでは、あるブロックＢの間引き処理制御情報を定める際に、カレントフレームにおけるブロックＢの周囲ブロックの移動量を参照し、ブロックＢおよび周囲のブロックに対応する移動量情報から定められる最適な間引き処理形態が、全て同一の場合にブロックＢに対応する間引き処理制御情報を「間引き処理可」とする。それ以外の場合は間引き処理制御情報を「間引き処理不可」に設定する。
【０２０１】
周囲ブロックは、ブロックＢを含みブロックＢより大きい領域に含まれるブロックであり、例えばブロックＢの上下左右の隣接ブロックを周囲ブロックとする。具体的な処理例について図３４を参照して説明する。図３４は、カレントフレームにおけるある位置のブロックごとの移動量の様子を示したものである。
【０２０２】
図中の矩形の一つ一つがブロックであり、斜線のブロックは対応する移動量が空間間引き処理を最適な間引き処理とする移動量が対応しているブロックであり、白色のブロックは対応する移動量が時間間引き処理を最適な間引き処理とする移動量が対応しているブロックである。
【０２０３】
図中のブロックＢ３に着目するとその上および左のブロックは時間間引きを最適とする移動量であるのに対して、ブロックＢ３およびその右と下のブロックは空間間引きを最適とする移動量である。よって全てのブロックの移動量に対応する間引き処理が共通ではないので、ブロックＢ３に対応する間引き処理制御情報は「間引き処理不可」とする。
【０２０４】
これに対して、ブロックＢ４は、ブロックＢ４とその上下左右のブロック全てに空間間引きを最適とする移動量が対応しているので、ブロックＢ４に対応する間引き処理制御情報は「間引き処理可」とする。
【０２０５】
この間引き処理可または不可とした制御情報を、図２６の間引き処理実行部３０６に出力する。間引き処理実行部３０６では、間引き処理が可とされたブロックについては間引き処理を行うが、間引き処理が不可とされたブロックについては、間引き処理を行わない。
【０２０６】
以上の処理は、主に図２３乃至図２５を用いて示したような、動画像変換装置１００の問題点を解決するための方法である。すなわち、図２３で示したように、空間間引きが施される領域と時間間引きが施される領域の境界部分において、動画像変換装置１０とは異なるが、動画像変換装置１００のようにＮフレーム（例えば４フレーム）単位で同じ間引き処理を施すような構成となっている場合に、移動量に対して適切で無い間引き処理を施すことを防ぐことができる。また、図２５で示したように、異なる移動量のオブジェクトの境界部分では移動量検出のエラーが発生しやすいので、エラーが発生している可能性を予め考慮して、間引き処理を施すことを抑制することができる。なお、方法Ａの場合と同様に、参照する周囲ブロックの範囲を適当に調整することで、間引き処理を不可とするブロックの総数を調整することが可能なので、データの削減量の調整も行なうことができる。
【０２０７】
間引き処理制御情報生成部３０５は、以上のようにして、カレントフレームを構成する全てのブロックに対して、「間引き処理可」か「間引き処理不可」のいずれかの制御情報を定め、これを間引き処理実行部３０６に出力する。間引き処理制御情報生成部３０５は、上述した判定方法Ａ、Ｂ、Ｃの全ての手法を適用して、いずれかの判定手法において、間引き処理不可の判定がなされたブロックを間引き処理不可とする処理を行なってもよいし、あるいは、上述した判定方法Ａ、Ｂ、Ｃのいずれか一つの手法のみによってブロックの間引き可否を決定する構成としてもよい。
【０２０８】
なお、間引き処理制御情報生成部３０５は、特定フレームに対応する全てのブロックに対応する制御情報を、ブロック分割部３０２の分割したブロックデータ、および移動量検出部３０３の検出した移動量情報に依らずに、一律に「間引き処理可」、または「間引き処理不可」と設定して、間引き処理実行部３０６に出力する設定を可能とした構成としてもよい。
【０２０９】
例えば、出力先である記憶手段に十分な記憶容量がある場合や、出力先としてのネットワークを介した受信部において、オリジナルデータが必要であるといった場合には、特定フレームに対応する全てのブロックに対する制御情報を「間引き処理不可」と設定してオリジナルデータを出力するという設定としたり、あるいはその逆のパターンとして、出力先である記憶手段に十分な記憶容量がない場合や、出力先としてのネットワークが混雑しており、十分な帯域確保が困難である場合には、特定フレームに対応する全てのブロックに対する制御情報を「間引き処理可」と設定して全てのブロックに対する間引き処理を実行してデータ量の削減を行なうといった処理を行なう構成としてもよい。
【０２１０】
続いて、間引き処理実行部３０６の処理について説明する。間引き処理実行部３０６は、間引き処理態様情報生成部３０４から供給される間引き処理態様情報、および間引き処理制御情報生成部３０５から供給される間引き処理制御情報に基づいて、ブロック分割部３０２から供給される各ブロックに対して、間引きによるデータの削減処理を行なう。
【０２１１】
間引き処理実行部３０６の実行する間引きの種類としては前述の「（１）超解像効果を利用した動画像変換装置の基本構成」において説明したと同様、空間方向の画素数間引き処理（空間間引き処理）、時間方向のフレーム数間引き処理（時間間引き処理）、空間間引き処理と時間間引き処理の組み合わせを選択適用する構成が考えられるが、以下に説明する実施例の動画像変換装置３００の間引き処理実行部３０６では、空間方向の画素数間引き処理または時間方向のフレーム数間引き処理のいずれかを行なうものとする。また、（１）で示した動画像変換装置１００では、間引き処理は４フレーム単位で行なわれていたが、本実施例の動画像変換装置３００では１フレーム単位の間引き処理を行なう例について説明する。ただし、動画像変換装置１００のように数フレーム単位の処理であってもよい。また、時間間引きと空間間引きを組み合わせた間引き処理を行なってもよい。まず、各間引き処理の詳細について以下に示す。
【０２１２】
前述したように、間引き処理態様情報生成部３０４は、移動量検出部３０３から供給された各ブロックに対応する移動量情報（ブロック移動量）に基づき、各ブロックに施すべきもっとも適切な間引き処理の態様を定める。すなわち、
（ａ）時間間引き処理と空間間引き処理のいずれの処理を施すか、
（ｂ）空間間引き処理を施す場合は、水平方向と垂直方向のどちらの方向の空間間引き処理を施すか、さらに、空間間引きの際の標本点位相変化量を決定する。
【０２１３】
間引き処理実行部３０６は、間引き処理態様情報生成部３０４から入力するこれらの間引き処理態様情報によって処理を変更する。
【０２１４】
さらに、間引き処理実行部３０６は、間引き処理制御情報生成部３０５から、間引き処理可または不可としたブロック対応の制御情報を入力し、間引き処理が可とされたブロックについては間引き処理を行うが、間引き処理が不可とされたブロックについては、間引き処理を行わない。
【０２１５】
すなわち、間引き処理実行部３０６は、間引き処理制御情報生成部３０５から入力する制御情報が間引き不可である場合は、間引き処理を中止し、間引き処理制御情報生成部３０５から入力する制御情報が間引き可である場合は、間引き処理態様情報生成部３０４から入力する情報に応じた間引き処理を実行する。
【０２１６】
以下、間引き処理制御情報生成部３０５から入力する制御情報が間引き可である場合において、間引き処理実行部３０６が実行する間引き処理の具体例について説明する。
【０２１７】
（１）間引き処理態様情報生成部３０４から供給される間引き処理態様情報が時間間引き処理である場合
【０２１８】
あるブロックに対応する間引き処理態様情報が、時間方向のフレーム数間引き処理であった場合、間引き処理実行部３０６は現在処理中のフレーム番号Ｆ（＝０、１、２、・・・）に応じたフレーム数間引き処理を行なう。間引き量がＭ（整数）であるとすると、フレーム番号ＦがＭの倍数の場合には、そのブロックのデータをそのまま出力する。フレーム番号ＦがＭの倍数で無い場合は、そのブロックのデータを全て削除する。間引き量Ｍ＝４とした場合の時間間引き処理は図１５に示した処理に対応する。
【０２１９】
（２）間引き処理態様情報生成部３０４から供給される間引き処理態様情報が空間間引き処理である場合
【０２２０】
あるブロックに対応する間引き処理態様情報が、空間方向の画素数間引き処理であった場合、間引き処理実行部３０６は現在処理中のフレーム番号Ｆに応じた画素数間引き処理を行なう。間引き量はＭとする。間引き処理態様情報が示す空間間引きの方向が水平方向の場合、間引き処理実行部３０６は、まず、図３５に示すようにＭ×Ｍのブロックを縦１画素×横Ｍ画素単位の集合に分割する。
【０２２１】
間引き処理態様情報生成部３０４から供給される間引き処理態様情報から得られる標本点位相変化量：Ｐは０〜Ｍ−１までの値を取り得る。このとき、現在処理中のフレーム番号ＦをＭ×Ｎ＋ｋによって表し、横方向に並んだＭ画素中の一番左の画素の座標を（Ｘ、Ｙ）によって表すと、間引き処理実行部３０６は、（Ｘ＋（Ｐ×ｋ＋１ ＭＯＤ Ｍ）、Ｙ）の位置の画素値を代表画素値、すなわち標本点として、横方向に並んだＭ個の画素の画素値として設定する。
【０２２２】
図３６乃至図４０はＭ＝４の場合の水平方向の空間間引き処理を示しており、間引き処理実行部３０６はまず図３６に示すように４×４のブロックを横１×縦４画素単位の集合に分割し、間引き態様情報が示す標本点位相変化量Ｐに従い、図３７乃至図４０に図示する画素数間引き処理を行なう。Ｐのとりうる値は、Ｍ＝４の場合、０、１、２、３のいずれかであり、Ｐ＝０の場合の処理が図３７、Ｐ＝１の場合の処理が図３８、Ｐ＝２の場合の処理が図３９、Ｐ＝３の場合の処理が図４０にそれぞれ対応する。
【０２２３】
間引き処理態様情報が示す空間間引きの方向が垂直方向の場合、間引き処理実行部３０６は、まず、図４１に示すようにＭ×Ｍのブロックを縦Ｍ画素×横１画素単位の集合に分割する。
【０２２４】
間引き処理態様情報生成部３０４から供給される間引き処理態様情報から得られる標本点位相変化量：Ｐは０〜Ｍ−１までの値を取り得る。このとき、現在処理中のフレーム番号ＦをＭ×Ｎ＋ｋによって表し、縦方向に並んだＭ画素中の一番上の画素の座標を（Ｘ、Ｙ）によって表すと、間引き処理実行部３０６は、（Ｘ、Ｙ＋（Ｐ×ｋ＋１ ＭＯＤ Ｍ））の位置の画素値を代表画素値、すなわち標本点として、縦方向に並んだＭ個の画素の画素値として設定する。
【０２２５】
図４２乃至図４６はＭ＝４の場合の垂直方向の空間間引き処理を示しており、間引き処理実行部３０６はまず図４２に示すように４×４のブロックを横４×縦１画素単位の集合に分割し、間引き態様情報が示す標本点位相変化量Ｐに従い、図４３乃至図４６に図示する画素数間引き処理を行なう。Ｐ＝０の場合の処理が図４３、Ｐ＝１の場合の処理が図４４、Ｐ＝２の場合の処理が図４５、Ｐ＝３の場合の処理が図４６にそれぞれ対応する。
【０２２６】
間引き処理実行部３０６の行なう処理のより詳しい流れについて、図４７に示すフローチャートを参照して説明する。図４７は、あるブロックに対して間引き処理実行部３０６が最終的に何らかの処理を適用するまでの流れを示したものである。
【０２２７】
ステップＳ１０１において、ブロックに対応する間引き態様情報：Ｒ、ブロックに対応する間引き制御情報：Ｓを、それぞれ、間引き処理態様情報生成部３０４、間引き処理制御情報生成部３０５から入力する。
【０２２８】
ステップＳ１０２において、ブロックに対する制御情報：Ｓを確認することで、そのブロックに対して間引き処理が可能であるかどうかを調べる。Ｓが間引き処理を不可であると示している場合には、そのブロックに対してはいずれの間引き処理も行なわず、ブロックデータをそのまま出力し、そのブロックに対する処理を終了する（Ｓ１０８）。
【０２２９】
ブロックに対する制御情報：Ｓが間引き処理を可能であると示していれば、Ｓ１０３に進み、ブロックに対する間引き態様情報Ｒを参照する。Ｒが、ブロックに施す処理が空間間引きであることを示していれば、そのブロックに対して空間間引きを施し（Ｓ１０４）、空間間引きの結果のブロックデータを出力し、処理を終了する（Ｓ１０７）。Ｒが、ブロックに施す処理が空間間引きではないと示していれば、Ｓ１０５に進み、ブロックに対して時間間引き処理を施し、時間間引きの結果のブロックデータを出力し、処理を終了する（Ｓ１０６）。
【０２３０】
間引き処理実行部３０６は、このような図４７に示すフローチャートに従った処理を、フレームを構成する全てのブロックに対して実行し、結果を出力部３０７に出力する。
【０２３１】
最後に、出力部３０７について説明する。出力部３０７は、間引き処理実行部３０６から供給されたデータ量が削減されたブロックもしくはオリジナルのブロック（間引き処理制御情報が「間引き処理不可」の場合）についてのデータ、および各ブロックにどのような処理が施されたに関する情報を出力する。処理内容に関する情報は、「間引き処理が施されたのか否かを示す情報（間引き処理制御情報）」、「空間・時間いずれの間引き処理が施されたのかを示す情報、空間方向の間引き処理が施された場合はいずれの方向（水平・垂直）の間引き処理が施されたのかを示す情報、空間方向の間引き処理における標本点位相変化量を示す情報（間引き処理態様情報）」、元の動画像のフレームレート、空間解像度に関する情報などから構成されるが、他の情報が加えられても構わない。
【０２３２】
なお、出力部３０７の後段には、例えばハードディスク、ＤＶＤなどの記憶媒体、あるいはネットワーク出力手段が接続され、データ変換によって圧縮されたデータの格納、あるいはネットワーク出力が実行される。
【０２３３】
［（３）動画像復元装置の構成について］
次に、上述の動画像変換装置３００によって生成された変換（圧縮）データの復元処理を実行する動画像復元装置について説明する。
【０２３４】
動画像復元装置５００の構成を図４８に示す。動画像復元装置５００は、図４８に示すように、データ拡張部５０１、合成部５０２によって構成される。
データ拡張部５０１には上述の動画像変換装置３００によって生成された変換（圧縮）データと、復元に必要となる属性データが入力される。属性データには、各ブロックに関する間引き処理制御情報と各ブロックに施された処理の具体的内容に関する間引き処理態様情報が含まれる。各ブロックに施された処理の具体的内容とは、空間方向間引き処理、時間方向間引き処理のいずれが実行されたか、また空間間引き処理において実行された間引き処理における標本点位相変化量の情報等を含む情報である。
【０２３５】
データ拡張部５０１は入力された属性情報に含まれる各ブロックの間引き処理態様情報および間引き処理制御情報に基づいて、空間拡張処理か時間拡張処理のいずれかの処理を、復元処理対象となる変換データに対して施す、もしくは直接ブロックデータを合成部５０２に送る。
【０２３６】
具体的には、動画像変換装置３００においてブロックが間引き処理実行部３０６で施された処理が空間間引き処理である場合には、データ拡張部５０１は、空間間引きされた各ブロックデータに対し、空間間引きの方向や、標本点位相変化量を示す間引き処理態様情報に基づき、空間拡張処理を行ない、合成部５０２へ出力する。
【０２３７】
また、動画像変換装置３００の間引き処理実行部３０６で施された処理が時間間引き処理である場合は、時間拡張処理を行ない、合成部５０２へ出力する。また、ブロックに対応する間引き処理制御情報が「間引き不可」であった場合には、ブロックに対しては間引き処理が施されていないので、直接データを合成部５０２へ出力する。
【０２３８】
データ拡張部５０１が実行する空間拡張処理においては、動画像変換装置３００の間引き処理実行部３０６において空間方向に間引き処理を施されたデータの拡張処理を実行する。入力された間引き処理態様情報に基づいて、図４９、図５０に示す態様でのデータ拡張処理を実行し、ブロックを再構成する。また、再構成されたブロックと処理の内容を示す情報を合成部５０２へと出力する。
【０２３９】
図４９および図５０の処理について説明する。図４９は、動画像変換装置３００の間引き処理実行部３０６において、水平方向の空間間引き処理を施された場合の動画像復元装置５００のデータ拡張部５０１による処理を示している。例えば、元のブロックの大きさが４ｘ４であった場合、データ拡張部５０１にはその１／４の４画素分のデータが送られている。この各画素のデータに関して、図４９（１）のように画素のコピー拡張処理を行うことで、１画素を１ｘ４画素に拡張する。なお、図４９（１）に示す処理例は入力された画素の画素値をそのまま４画素分の画素値として配置することで拡張を行なう例であるが、入力された他の画素の値を含む画素値に基づく演算による結果を配置してもかまわない。
【０２４０】
続いて、水平方向の空間間引きが施された場合には、データ拡張部５０１は、図４９（２）に示した処理を行なう。すなわち、図４９（１）の処理によって得られた１ｘ４画素の集合を図４９（２）のように配置することで、入力の４画素から４ｘ４のブロックを復元し、結果を合成部５０２に出力する。また、間引き処理の内容を示す情報も出力する。
【０２４１】
図５０は、動画像変換装置３００の間引き処理実行部３０６において、垂直方向の空間間引き処理を施された場合の空間拡張処理を示している。例えば、元のブロックの大きさが４ｘ４であった場合、データ拡張部５０１にはその１／４の４画素分のデータが送られている。この各画素のデータに関して、図５０（１）の処理を行うことで、１画素を４ｘ１画素に拡張する。なお、図５０（１）に示す処理例は入力された画素の画素値をそのまま４画素分の画素値として配置することで拡張を行なう例であるが、入力された他の画素の値を含む画素値に基づく演算による結果を配置してもかまわない。
【０２４２】
続いて、垂直方向の空間間引きが施された場合には、データ拡張部５０１は、図５０（２）に示す処理を行なう。すなわち、図５０（１）の処理によって得られた４ｘ１画素の集合を図５０（２）のように配置することで、入力の４画素から４ｘ４のブロックを復元し、結果を合成部５０２に出力する。また、間引き処理の内容を示す情報も出力する。
【０２４３】
次に、データ拡張部５０１が実行する時間拡張処理について説明する、時間拡張処理では、動画像変換装置３００の間引き処理実行部３０６において、時間間引き処理を施されたデータの拡張処理の際に実行する。
【０２４４】
時間拡張処理では、図５１に示すように１つのフレームのブロックデータにもとづいて、複数フレームのブロックデータを生成する。具体的には、データ拡張部５０１は初期値０のカウンタを持ち、１フレームの復元が終了するたびに１加算され、値が４（＝Ｎ（ただし間引き量ｍ＝４の場合））に達したときに０へとリセットされる。
【０２４５】
時間拡張対象のデータが入力されたとき、そのブロックをメモリに格納し、間引き量に応じて設定されているカウンタ上限値に至るまで、メモリに格納したブロックデータの複製として複数のフレームデータ対応のブロックデータを生成し、合成部５０２へ出力する。図に示す例では、間引き量ｍ＝４の場合であり、１つのブロックデータから４つのフレーム対応のブロックデータを生成して合成部５０２へ出力する。
【０２４６】
データ拡張部５０１において、ブロックに対応する間引き処理制御情報が「間引き処理不可」であった場合には、そのブロックのブロックデータには間引き処理が施されていないので、そのまま合成部５０２へ出力する。
【０２４７】
合成部５０２はデータ拡張部５０１から入力されたブロックが１フレーム全体を表現できる量に達したときに、ブロックを、同時に入力される間引き処理の内容を表す情報に従い適切に配置して１フレームを復元し、復元された１フレーム全体を出力する。以下でブロックの配置処理について図５２〜図５６を参照して説明する。
【０２４８】
図５２〜図５６は、複数ブロックによって構成される１フレームのデータ例を示している。図５２〜図５６の例では、１フレームデータは、３×３の９個のブロックから構成されている。各図において、破線によって分割される正方形の１つ１つがブロックであり、グレーで塗られた正方形、例えば図５２では、ブロック６０１が、合成部５０２が、データ拡張部５０１から入力し、配置しようとするブロックである。
【０２４９】
図５２は、合成部５０２が、データ拡張部５０１から入力し、配置しようとするブロックが、時間方向の間引き処理を施されたブロックであるか、一切の間引き処理を施されていないブロックである場合のブロック配置位置を示している。この場合、合成部５０２は、動画像変換装置３００におけるブロック分割部３０２において、最初に分割されたときと同じ位置に復元したブロックを配置する。
【０２５０】
図５３は、データ拡張部５０１から入力し、配置しようとするブロックが、水平方向の空間間引き処理を施されていた場合の復元ブロック配置処理例を示している。
【０２５１】
図５３（ａ）は復元ブロックの標本点オフセットが０の場合の水平方向の空間間引き処理を実行した場合の復元データブロックである。標本点オフセットとは、ブロックの左上座標を（Ｘ、Ｙ）としたときの標本点座標が（Ｘ＋ｗ、Ｙ）であるときのｗを指す。すなわち、間引き処理実行部３０６の処理の説明において解説したように、間引き量をＭ、標本点位相変化量をＰとし、カレントフレームの番号をＦ＝Ｍ×Ｎ＋ｋ（Ｎ、ｋは整数）によって表すときに、標本点座標は（Ｘ＋（Ｐ×ｋ＋１ ＭＯＤ Ｍ）、Ｙ）で定まるので、ｗは現在のフレーム番号と標本点位相変化量によって定まる。例えば、標本点位相変化量＝０であれば、標本点オフセットはフレーム番号に依らず１となるので、標本点位相変化量＝０の場合は図５３の（ｂ）の位置にブロックが配置される。また、標本点位相変化量が１であれば、フレーム番号Ｆ＝Ｍ×Ｎ＋ｋのｋの値が０のときは（ｂ）、１のときは（ｃ）、２のときは（ｄ）、３のときは（ａ）に示した位置にブロックが配置される。
【０２５２】
このように、合成部５０２は、水平方向の間引き処理データの復元を行なう場合は、復元ブロックをフレーム毎に水平方向に移動させて配置する処理を実行する。この処理の理由を図５４を参照して説明する。
【０２５３】
図５４（ａ）〜（ｄ）は、図５３（ａ）〜（ｄ）に対応するフレームデータのブロックを構成する一部の画素データ（４×４）のデータを示している。図５４（ａ）→（ｄ）に示すように、標本点オフセットに応じて、標本点位置が右方向に１ピクセルずつ、ずれて変換データが生成される。間引き量Ｍ＝４の場合、例えば水平方向の４画素がすべて同一画素の値に設定される。しかし、本来、その画素値を持つ画素の位置は、図５４（ａ）→（ｄ）に示すように、各フレームにおいて１画素ずつずれた位置にある。この本来の画素値を持つ画素の位置を、表示領域のほぼ中心になるように設定すると、元の画像データにより近い画像の再生が可能となる。
【０２５４】
図５５は、データ拡張部５０１から入力し、配置しようとするブロックが、垂直方向の間引き処理を施されていた場合の復元ブロック配置処理例を示している。
【０２５５】
図５５（ａ）は復元ブロックの標本点オフセットが０の場合の垂直方向の空間間引き処理を実行した場合の復元データブロックである。垂直方向の処理の場合の標本点オフセットとは、ブロックの左上座標を（Ｘ、Ｙ）としたときの標本点座標が（Ｘ、Ｙ＋ｗ）であるときのｗを指す。すなわち、間引き処理実行部３０６の詳細において解説したように、間引き量をＭ、標本点位相変化量をＰとし、カレントフレームの番号をＦ＝Ｍ×Ｎ＋ｋ（Ｎ、ｋは整数）によって表すときに、標本点座標は（Ｘ、Ｙ＋（Ｐ×ｋ＋１ ＭＯＤ Ｍ））で定まるので、ｗは現在のフレーム番号と標本点位相変化量によって定まる。例えば、標本点位相変化量＝０であれば、標本点オフセットはフレーム番号に依らず１となるので、標本点位相変化量＝０の場合は図５５の（ｂ）の位置にブロックが配置される。また、標本点位相変化量が１であれば、フレーム番号Ｆ＝Ｍ×Ｎ＋ｋのｋの値が０のときは（ｂ）、１のときは（ｃ）、２のときは（ｄ）、３のときは（ａ）に示した位置にブロックが配置される。
【０２５６】
このように、合成部５０２は、垂直方向の間引き処理データの復元を行なう場合は、復元ブロックをフレーム毎に垂直方向に移動させて配置する処理を実行する。この処理の理由は、図５４を参照して説明した水平方向の移動処理と同様であり、元の画像データにより近い画像の再生を実現するためである。
【０２５７】
ところで、上記のように、元々のブロックの配置からずれた位置にブロックを配置する場合、隣接するブロックが施された処理の内容次第で、例えば図５６（ａ）に示すように隣接するブロック同士が重なってしまったり、あるいは図５６（ｂ）に示すように、ブロックとブロックの間に隙間が開いてしまったりすることがある。このような場合は、例えば、重なった場合は両ブロックの重なった部分の平均を重なった部分の画素値としたり、隙間が開いた場合は隙間の両側の画素値を用いて線形補間を行なったりするなどの補正処理を実行する。合成部５０２は、このような画素値の補正処理をも実行し、ブロックデータから構成されるフレームデータを完成させて出力する。
【０２５８】
このように、合成部５０２は、ブロック拡張部５０１において復元されたブロックに対して、間引き処理態様情報から得られる空間方向間引き処理における標本点の選択位置を示す標本点位相変化量に基づき、フレームの進行に従ってブロック位置をずらせて配置する処理を実行する構成であり、さらに、ブロック配置により発生する画素隙間または重複画素の画素値を決定する画素値補正処理を実行する。
【０２５９】
最後に、データ拡張部５０１の処理を、再度、図５７のフローチャートを用いて説明する。図５７は、あるブロックに対してデータ拡張部５０１が拡張処理を施し、合成部５０２に出力するまでの流れを示したものである。
【０２６０】
ステップＳ２０１において、拡張処理対象のブロックに対応する間引き態様情報：Ｒ、ブロックに対応する間引き制御情報：Ｓを入力する。ステップＳ２０２において、ブロックに対する制御情報：Ｓを確認することで、そのブロックに対する間引き処理可否情報の設定を確認する。すなわち、ブロックに対して間引き処理が行なわれたのか否かを調べる。Ｓが間引き処理を不可であると示している場合には、そのブロックに対してはいずれの間引き処理も行なわれていないので、そのブロックをそのまま合成部５０２に出力する（Ｓ２０８）。
【０２６１】
Ｓが間引き処理可を示していれば、Ｓ２０３に進み、ブロックに対する間引き態様情報Ｒを参照する。Ｒが、ブロックに施す処理が空間間引きであったことを示していれば、ステップＳ２０４に進み、そのブロックに対して空間拡張処理を施して、ステップＳ２０７で、拡張されたブロックを合成部５０２へ出力する。Ｒが、ブロックに施された処理が空間間引きではないことを示していれば、ステップＳ２０５に進み、ブロックに対して時間拡張処理を施し、ステップＳ２０６で、拡張されたブロックを合成部５０２に出力する。
【０２６２】
このようにして、データ拡張（伸張）処理を実行する動画像復元装置は、動画像変換装置において各ブロックに対応する属性情報として付与された間引き態様情報：Ｒ、ブロックに対応する間引き制御情報：Ｓに基づいて、拡張処理の実行の有無および拡張処理の態様を決定して、データ拡張を実行する。
【０２６３】
［（４）改良した間引き処理を実行する動画像変換装置の構成および動画像復元装置の変形例］
次に、上述した実施例、すなわち、
（２）改良した間引き処理を実行する動画像変換装置の構成
（３）動画像復元装置の構成
これらの各項目において説明した動画像変換装置３００および動画像復元装置５００を変形した実施例について説明する。
【０２６４】
本実施例に係る動画像変換装置７００の基本構成を図５８に示す。動画像変換装置７００の基本構成は、先に図２６を参照して説明した動画像変換装置３００と同様である。ただし、間引き処理実行部７０６および出力部７０７の処理が先に説明した動画像変換装置３００とは異なる。その他のコ | |