トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
【発明者】 【氏名】山崎 寿夫

【氏名】小林 誠司

【氏名】平澤 康孝
【要約】 【課題】動画像データの圧縮、復元における画質低下を防止した装置および方法を提供する。

【構成】動画像データのブロック分割を行い、各ブロックにおける被写体移動量に応じて空間方向、時間方向少なくともいずれかの間引き処理を実行し、間引き処理後の画素データを含むパックブロックからなる圧縮フレームと、間引き処理を実行しないオリジナルフレームとの合成フレームを生成して符号化する。本構成により、例えば、移動量に応じた間引きブロックの復元データに画質劣化が発生する場合、オリジナルフレームを適用した復元が可能となり、高品質なデータ復元が可能となる。
【特許請求の範囲】
【請求項１】
動画像データのデータ変換処理を実行する動画像変換装置であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
前記ブロック分割部において分割された各ブロックにおける被写体移動量を検出する移動量検出部と、
前記ブロック分割部の分割したブロックデータと、前記移動量検出部の検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理部と、
前記ブロック処理部の間引き処理データを入力し、間引き後の画素データからなるブロックとしてのパックブロックを生成するパック処理部と、
前記パック処理部の生成するパックブロックによって構成される間引きおよびパック処理された圧縮フレームと、間引き処理以前のオリジナルフレームとの合成処理により合成フレームの生成を実行するフレーム合成処理部と、
前記フレーム合成処理部によって生成された合成フレームの符号化処理を実行する画像符号化部と、
を有することを特徴とする動画像変換装置。
【請求項２】
前記フレーム合成処理部は、
前記パック処理部の生成するパックブロックによって構成される間引きおよびパック処理された圧縮フレームと、該圧縮フレームの生成元となったオリジナルフレームを少なくとも１つ以上含む合成フレームの生成処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項３】
前記フレーム合成処理部は、
前記圧縮フレームと、前記圧縮フレームの生成元となったオリジナルフレームを少なくとも１つ以上含む複数フレームを時系列に沿って配列した合成フレームを生成する構成であり、圧縮フレームを、該圧縮フレームの生成元となったオリジナルフレームの前後または間に配列した合成フレーム生成処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項４】
前記画像符号化部は、
前記フレーム合成処理部によって生成された合成フレーム中に含まれる前記圧縮フレームと、前記オリジナルフレームとを区別した階層符号化処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項５】
前記画像符号化部は、
前記圧縮フレームのみを構成要素とする階層と、前記圧縮フレームとオリジナルフレームを構成要素とする階層を設定し、前記圧縮フレームのみを適用した符号化データと、前記圧縮フレームとオリジナルフレームを適用した符号化データを生成する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項６】
前記画像符号化部は、
前記フレーム合成処理部によって生成された合成フレーム中に含まれる前記圧縮フレームと、前記オリジナルフレームとを区別した階層符号化処理によりストリーミング配信データを生成する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項７】
前記ブロック処理部は、前記移動量検出部の検出した移動量情報に基づいて、
（Ａ）空間方向間引き処理のみ、または、
（Ｂ）空間方向間引き処理と時間方向間引き処理、または、
（Ｃ）時間方向間引き処理のみ、
上記（Ａ）乃至（Ｃ）のいずれかの態様での間引き処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項８】
前記パック処理部は、
前記パックブロックの構成画素各々の相対的な位置を、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックを生成する処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項９】
前記パック処理部は、
前記ブロック処理部において、空間方向間引き処理を含む同一の処理態様に基づく間引き処理がなされ、かつ連続位置にある複数の連続ブロックを、画素位置補正対象ブロックとして選択し、選択した連続ブロックについて位置補正を行なったパックブロックを生成する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項１０】
前記パック処理部は、
パックブロック構成画素について、元画像上の相対画素位置を算出し、算出した相対画素位置に基づくソート処理による位置補正を行なったパックブロックを生成する構成を有することを特徴とする請求項１に記載の動画像変換装置。
【請求項１１】
前記パック処理部は、
パックブロックの生成元としてのブロックに対応する移動速度に応じて予め設定された画素交換規則を適用してパックブロック構成画素の位置補正を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項１２】
前記動画像変換装置は、さらに、
前記動画像変換装置における処理態様情報を含むサイド情報を生成し、出力する構成を有することを特徴とする請求項１に記載の動画像変換装置。
【請求項１３】
動画像変換データの復元処理を実行する動画像復元装置であり、
間引きおよびパック処理された圧縮フレームと、間引き処理以前のオリジナルフレームとの合成処理により生成された合成フレームの符号化データを入力して復号処理を実行する復号部と、
前記復号部による復号処理によって取得した合成フレーム中の圧縮フレームを入力し、該圧縮フレームの構成データである間引き処理データに基づいて生成されたパックブロックの復元処理としてのアンパック処理を実行して、アンパックフレームを生成するアンパック処理部と、
前記アンパックフレームと、前記復号部による復号処理によって取得した合成フレーム中のオリジナルフレームを入力し、前記アンパックフレームに含まれるブロックに対して、前記オリジナルフレームを適用した補正処理を実行するアンパックブロック補正処理部と、
を有することを特徴とする動画像復元装置。
【請求項１４】
前記アンパックブロック補正処理部は、
前記アンパックフレームのブロック分割処理を実行するブロック分割部と、
前記ブロック分割部の分割処理によって生成された各ブロックについて超解像効果の得られるブロックであるか否かの判定を実行する劣化判定部と、
前記劣化判定部において、超解像効果の得られないと判定された劣化ブロックについて、該劣化ブロックの生成元であるオリジナルフレームを適用した補正処理を実行する画像補正部と、
前記画像補正部の補正したブロックを適用したフレームの再構成処理を実行するフレーム構成部と、
を有する構成であることを特徴とする請求項１３に記載の動画像復元装置。
【請求項１５】
前記復号部は、
複数の階層に分割された階層符号化データを入力し、該階層符号化データの復号処理を実行する構成であり、
前記アンパックブロック補正処理部は、
前記復号部における復号された階層に応じた補正処理を実行する構成であることを特徴とする請求項１３に記載の動画像復元装置。
【請求項１６】
前記アンパック処理部は、
変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックに基づいて、フレーム順に画素位置を並べた初期パックブロックを復元し、復元した初期パックブロックに基づいて、パック以前の各フレーム対応画素から構成される複数ブロックの生成処理を行なう構成であることを特徴とする請求項１３に記載の動画像復元装置。
【請求項１７】
前記アンパック処理部は、
空間方向間引き処理を含む同一の処理態様に基づく間引き処理がなされ、かつ連続位置にある複数の連続ブロックに対応するパックブロックを、画素位置補正対象ブロックとして選択し、選択したパックブロックについて、フレーム順に画素位置を並べた初期パックブロックを復元する処理を実行する構成であることを特徴とする請求項１３に記載の動画像復元装置。
【請求項１８】
前記アンパック処理部は、
変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックの構成画素に対応して設定された相対画素位置ｘを入力し、相対画素位置ｘの値について昇順または降順のソート処理を実行し、該ソート処理の結果として位置変更のあった相対画素位置ｘに対応するパックブロックの画素位置を同様に変更することで、フレーム順に画素位置を並べた初期パックブロックの復元を行なう構成であることを特徴とする請求項１３に記載の動画像復元装置。
【請求項１９】
前記アンパック処理部は、
変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックの生成元としてのブロックに対応する移動速度に応じて予め設定された画素交換規則を適用してパックブロック構成画素の位置補正を実行し、フレーム順に画素位置を並べた初期パックブロックの復元を行なう構成であることを特徴とする請求項１３に記載の動画像復元装置。
【請求項２０】
前記アンパック処理部は、
動画像変換装置において実行されたブロック対応の間引き処理態様情報、およびブロック対応の移動量情報を入力して、アンパック処理態様を決定する構成を有することを特徴とする請求項１３に記載の動画像復元装置。
【請求項２１】
動画像変換装置において、動画像データのデータ変換処理を実行する動画像変換方法であり、
ブロック分割部において、動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
移動量検出部において、前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
ブロック処理部において、前記ブロック分割ステップにおいて分割されたブロックデータと、前記移動量検出ステップにおいて検出された移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップと、
パック処理部において、前記ブロック処理ステップで生成した間引き処理データを入力し、間引き後の画素データからなるブロックとしてのパックブロックを生成するパック処理ステップと、
フレーム合成処理部において、前記パック処理ステップにおいて生成されたパックブロックによって構成される間引きおよびパック処理された圧縮フレームと、間引き処理以前のオリジナルフレームとの合成処理により合成フレームの生成を実行するフレーム合成処理ステップと、
画像符号化部において、前記フレーム合成処理ステップで生成した合成フレームの符号化処理を実行する画像符号化ステップと、
を有することを特徴とする動画像変換方法。
【請求項２２】
前記フレーム合成処理ステップは、
前記パック処理ステップで生成するパックブロックによって構成される間引きおよびパック処理された圧縮フレームと、該圧縮フレームの生成元となったオリジナルフレームを少なくとも１つ以上含む合成フレームの生成処理を実行するステップであることを特徴とする請求項２１に記載の動画像変換方法。
【請求項２３】
前記フレーム合成処理ステップは、
前記圧縮フレームと、前記圧縮フレームの生成元となったオリジナルフレームを少なくとも１つ以上含む複数フレームを時系列に沿って配列した合成フレームを生成するステップであり、圧縮フレームを、該圧縮フレームの生成元となったオリジナルフレームの前後または間に配列した合成フレーム生成処理を実行するステップであることを特徴とする請求項２１に記載の動画像変換方法。
【請求項２４】
前記画像符号化ステップは、
前記フレーム合成処理ステップにおいて生成された合成フレーム中に含まれる前記圧縮フレームと、前記オリジナルフレームとを区別した階層符号化処理を実行するステップであることを特徴とする請求項２１に記載の動画像変換方法。
【請求項２５】
前記画像符号化ステップは、
前記圧縮フレームのみを構成要素とする階層と、前記圧縮フレームとオリジナルフレームを構成要素とする階層を設定し、前記圧縮フレームのみを適用した符号化データと、前記圧縮フレームとオリジナルフレームを適用した符号化データを生成するステップであることを特徴とする請求項２１に記載の動画像変換方法。
【請求項２６】
前記画像符号化ステップは、
前記フレーム合成処理ステップにおいて生成された合成フレーム中に含まれる前記圧縮フレームと、前記オリジナルフレームとを区別した階層符号化処理によりストリーミング配信データを生成するステップであることを特徴とする請求項２１に記載の動画像変換方法。
【請求項２７】
前記ブロック処理ステップは、前記移動量検出ステップにおいての検出した移動量情報に基づいて、
（Ａ）空間方向間引き処理のみ、または、
（Ｂ）空間方向間引き処理と時間方向間引き処理、または、
（Ｃ）時間方向間引き処理のみ、
上記（Ａ）乃至（Ｃ）のいずれかの態様での間引き処理を実行するステップであることを特徴とする請求項２１に記載の動画像変換方法。
【請求項２８】
前記パック処理ステップは、
前記パックブロックの構成画素各々の相対的な位置を、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックを生成する処理を実行するステップであることを特徴とする請求項２１に記載の動画像変換方法。
【請求項２９】
前記パック処理ステップは、
前記ブロック処理ステップにおいて、空間方向間引き処理を含む同一の処理態様に基づく間引き処理がなされ、かつ連続位置にある複数の連続ブロックを、画素位置補正対象ブロックとして選択し、選択した連続ブロックについて位置補正を行なったパックブロックを生成するステップであることを特徴とする請求項２１に記載の動画像変換方法。
【請求項３０】
前記パック処理ステップは、
パックブロック構成画素について、元画像上の相対画素位置を算出し、算出した相対画素位置に基づくソート処理による位置補正を行なったパックブロックを生成するステップであることを特徴とする請求項２１に記載の動画像変換方法。
【請求項３１】
前記パック処理ステップは、
パックブロックの生成元としてのブロックに対応する移動速度に応じて予め設定された画素交換規則を適用してパックブロック構成画素の位置補正を実行するステップであることを特徴とする請求項２１に記載の動画像変換方法。
【請求項３２】
前記動画像変換方法は、さらに、
サイド情報合成部において、前記動画像変換装置における処理態様情報を含むサイド情報を生成し、出力するステップを有することを特徴とする請求項２１に記載の動画像変換方法。
【請求項３３】
動画像復元装置において、動画像変換データの復元処理を実行する動画像復元方法であり、
復号部において、間引きおよびパック処理された圧縮フレームと、間引き処理以前のオリジナルフレームとの合成処理により生成された合成フレームの符号化データを入力して復号処理を実行する復号ステップと、
アンパック処理部において、前記復号ステップにおける復号処理によって取得した合成フレーム中の圧縮フレームを入力し、該圧縮フレームの構成データである間引き処理データに基づいて生成されたパックブロックの復元処理としてのアンパック処理を実行して、アンパックフレームを生成するアンパック処理ステップと、
アンパックブロック補正処理部において、前記アンパックフレームと、前記復号ステップにおける復号処理によって取得した合成フレーム中のオリジナルフレームを入力し、前記アンパックフレームに含まれるブロックに対して、前記オリジナルフレームを適用した補正処理を実行するアンパックブロック補正処理ステップと、
を有することを特徴とする動画像復元方法。
【請求項３４】
前記アンパックブロック補正処理ステップは、
前記アンパックフレームのブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップの分割処理によって生成された各ブロックについて超解像効果の得られるブロックであるか否かの判定を実行する劣化判定ステップと、
前記劣化判定ステップにおいて、超解像効果の得られないと判定された劣化ブロックについて、該劣化ブロックの生成元であるオリジナルフレームを適用した補正処理を実行する画像補正ステップと、
前記画像補正ステップで補正したブロックを適用したフレームの再構成処理を実行するフレーム構成ステップと、
を有することを特徴とする請求項３３に記載の動画像復元方法。
【請求項３５】
前記復号ステップは、
複数の階層に分割された階層符号化データを入力し、該階層符号化データの復号処理を実行するステップであり、
前記アンパックブロック補正処理ステップは、
前記復号部における復号された階層に応じた補正処理を実行するステップであることを特徴とする請求項３３に記載の動画像復元方法。
【請求項３６】
前記アンパック処理ステップは、
変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックに基づいて、フレーム順に画素位置を並べた初期パックブロックを復元し、復元した初期パックブロックに基づいて、パック以前の各フレーム対応画素から構成される複数ブロックの生成処理を行なうステップであることを特徴とする請求項３３に記載の動画像復元方法。
【請求項３７】
前記アンパック処理ステップは、
空間方向間引き処理を含む同一の処理態様に基づく間引き処理がなされ、かつ連続位置にある複数の連続ブロックに対応するパックブロックを、画素位置補正対象ブロックとして選択し、選択したパックブロックについて、フレーム順に画素位置を並べた初期パックブロックを復元する処理を実行するステップであることを特徴とする請求項３３に記載の動画像復元方法。
【請求項３８】
前記アンパック処理ステップは、
変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックの構成画素に対応して設定された相対画素位置ｘを入力し、相対画素位置ｘの値について昇順または降順のソート処理を実行し、該ソート処理の結果として位置変更のあった相対画素位置ｘに対応するパックブロックの画素位置を同様に変更することで、フレーム順に画素位置を並べた初期パックブロックの復元を行なうステップであることを特徴とする請求項３３に記載の動画像復元方法。
【請求項３９】
前記アンパック処理ステップは、
変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックの生成元としてのブロックに対応する移動速度に応じて予め設定された画素交換規則を適用してパックブロック構成画素の位置補正を実行し、フレーム順に画素位置を並べた初期パックブロックの復元を行なうステップであることを特徴とする請求項３３に記載の動画像復元方法。
【請求項４０】
前記アンパック処理ステップは、
動画像変換装置において実行されたブロック対応の間引き処理態様情報、およびブロック対応の移動量情報を入力して、アンパック処理態様を決定することを特徴とする請求項３３に記載の動画像復元方法。
【請求項４１】
動画像変換装置において、動画像データのデータ変換処理を実行させるコンピュータ・プログラムであり、
ブロック分割部において、動画像データを構成するフレーム毎にブロック分割処理を実行させるブロック分割ステップと、
移動量検出部において、前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出させる移動量検出ステップと、
ブロック処理部において、前記ブロック分割ステップにおいて分割されたブロックデータと、前記移動量検出ステップにおいて検出された移動量情報とを入力し、ブロックデータの間引き処理を実行させるブロック処理ステップと、
パック処理部において、前記ブロック処理ステップで生成した間引き処理データを入力し、間引き後の画素データからなるブロックとしてのパックブロックを生成させるパック処理ステップと、
フレーム合成処理部において、前記パック処理ステップにおいて生成されたパックブロックによって構成される間引きおよびパック処理された圧縮フレームと、間引き処理以前のオリジナルフレームとの合成処理により合成フレームの生成を実行させるフレーム合成処理ステップと、
画像符号化部において、前記フレーム合成処理ステップで生成した合成フレームの符号化処理を実行させる画像符号化ステップと、
を実行させることを特徴とするコンピュータ・プログラム。
【請求項４２】
動画像復元装置において、動画像変換データの復元処理を実行させるコンピュータ・プログラムであり、
復号部において、間引きおよびパック処理された圧縮フレームと、間引き処理以前のオリジナルフレームとの合成処理により生成された合成フレームの符号化データを入力して復号処理を実行させる復号ステップと、
アンパック処理部において、前記復号ステップにおける復号処理によって取得した合成フレーム中の圧縮フレームを入力し、該圧縮フレームの構成データである間引き処理データに基づいて生成されたパックブロックの復元処理としてのアンパック処理を実行して、アンパックフレームを生成させるアンパック処理ステップと、
アンパックブロック補正処理部において、前記アンパックフレームと、前記復号ステップにおける復号処理によって取得した合成フレーム中のオリジナルフレームを入力し、前記アンパックフレームに含まれるブロックに対して、前記オリジナルフレームを適用した補正処理を実行させるアンパックブロック補正処理ステップと、
を実行させることを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムに関する。特に、動画像の圧縮および伸張処理を実行する構成において、人間の視覚特性を利用した適切な圧縮、伸張を行ない、効率的なデータ量の削減を実現し、さらにオリジナルデータを利用した処理によって画質劣化を最小限に抑え、高品質な画像復元を実現可能とした動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
動画像データは、フラッシュメモリ、ハードディスク、ＤＶＤなどの記憶媒体への保存、あるいはネットワークを介した配信などにおいて、データ量を削減するためのデータ変換、すなわち圧縮処理が行なわれる。特に、近年、動画像データの高品質化、例えばＨＤ（Ｈｉｇｈ Ｄｉｆｉｎｉｔｉｏｎ）データなど、データ品質の改善が進んでおり、このデータの高品質化に伴ってデータ量が急激に増大している。このような状況において、動画像データの圧縮、復元処理における圧縮効率の改善や、復元データの品質劣化防止に関する技術について多くの検討、研究がなされている。
【０００３】
動画像のデータ量の圧縮方法としては、ＭＰＥＧなどのインターフレーム符号化とイントラフレーム符号化を組み合わせた動画像符号化が代表的である。ところで、ＭＰＥＧによる動画像符号化の符号化効率を向上するために、動画像に対して前処理を行う手法が数多く提案されている。
【０００４】
例えば、特許文献１は、順次走査方式の動画像の画素を半数に間引くことにより飛び越し走査方式の動画像へと変換した後に圧縮することで、画質の劣化を抑えつつ符号化効率の向上を可能とした構成を開示している。また、特許文献２は、前処理としてローパスフィルタを画像に適用することで、符号化後のブロック歪みの発生を抑制した構成を開示している。
【０００５】
しかし、これらの従来技術に開示されたデータ圧縮方法においては、以下のような問題がある。
（１）特許文献１（特開２０００−３２４７０）に開示された方式では、前処理終了時点でデータ量を半分にすることが可能で最終的な符号化効率の大幅な向上が期待できるが、動画の局所的な特性、すなわち、動きのある領域と無い領域の特徴を利用せずに一様な間引きを行っているため、画像全体に対して均一な劣化を生じさせてしまう。
（２）特許文献２（特開２００１−３５２５４６）の方式は、特に低ビットレートで符号化した場合に発生するブロック歪みの抑制を意図したものであり、高ビットレートの符号化時にこの手法を適用することで符号化効率の向上や画質の劣化の抑制が可能であるとは限らない。
【０００６】
そこで、本出願人は、先に出願済みの特開２００５−１９８２６８において、この問題点を解決し、高品質な画像圧縮復元を実現する動画像変換装置を提案した。この動画像変換装置は、人間の視覚特性を鑑みて、動画像の微小領域毎に移動速度情報に応じて最適なフレームレートと空間解像度を決定してデータ量の圧縮を行う構成であり、人間の視覚系における時間積分機能を利用し、動被写体を目で追いかけるときに生じる超解像効果に基づいて、移動量に応じて移動方向に空間的な間引き処理を行うことでデータ量の削減を行う構成である。なお、この動画像変換装置についての詳細は後述する。
【０００７】
しかしながら、この特開２００５−１９８２６８において提案したデータ圧縮方法を用いて、一般的な符号化手法（ＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等）を組み合わせて符号化・復号を行うと、以下のような問題が発生する場合がある。
（１）超解像効果を利用して画質を劣化させた場合、一般的な符号化手法では圧縮率が向上しない。
（２）超解像効果を利用して画質を劣化させた場合、高フレームレート動画像のままで一般的な符号化手法で圧縮した場合、圧縮率が向上しない。
このように、特開２００５−１９８２６８において提案したデータ圧縮方法は、ＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等の一般的な符号化手法と組み合わせた場合、圧縮率が向上しないという問題点がある。
【特許文献１】特開２０００−３２４７０号公報
【特許文献２】特開２００１−３５２５４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述のように、いくつかの従来技術において、画像の劣化を抑えつつ符号化効率の向上を図る構成が開示されているが、これまでに開示されている圧縮方法では、圧縮画像データを復元し、再生した場合の画質劣化を十分に抑えるには至っていない。
【０００９】
そこで、本出願人は、先に出願済みの特願２００５−１４３９２４において、さらに改良を加えた動画像変換装置を提案した。この提案に係る動画像変換装置は、動画像データを構成するフレーム毎にブロック分割を行い、各ブロックにおける被写体移動量に応じて空間方向、時間方向少なくともいずれかの間引き処理を実行し、間引き処理後の画素データを含むパックブロックを生成する構成において、元画像の画素位置に対応した相対位置を持つパックブロックを生成する構成である。
【００１０】
この構成によれば、例えばＭＰＥＧやＭｏｔｉｏｎ ＪＰＥＧ等の符号化処理を行なう際、パックブロックの画像データが元画像に近い滑らかな画像となり、圧縮率を高めた符号化処理が可能となり、間引き処理後のパックブロックに起因する圧縮率低下を抑制することが可能となり、高圧縮率の符号化データを生成することができる。
【００１１】
しかしながら、この特願２００５−１４３９２４に記載の動画像変換装置を利用して符号化・復号を行う場合、動画像のシーンによっては、まれに超解像効果が表れず、不自然な画像になってしまうという問題が発生する場合がある。
【００１２】
すなわち、動画像データの多くは、複数のオブジェクトを含み、動きの大きいオブジェクト、小さいオブジェクト、静止しているオブジェクトなど、様々な動きデータを含む。従って、あるブロックに含まれるオブジェクトが一つの移動速度で移動するオブジェクトとは限らず、１つのブロックに複数の異なる移動量を持つオブジェクトが含まれることがある。このようなブロックについては、上記の手法、すなわち１つのブロックに対して算出する１つの移動量に基づいて間引き態様を決定する手法を適用した場合、圧縮および復元処理においてデータ品質が低下する場合がある。
【００１３】
本発明は、このような状況に鑑みてなされたものであり、圧縮処理を実行する動画像変換装置において、動画像データを構成するフレーム毎にブロック分割を行い、各ブロックにおける被写体移動量に応じて空間方向、時間方向少なくともいずれかの間引き処理を実行し、間引き処理後の画素データを含むパックブロックを生成するとともに、このパックブロックと、少なくとも一部のブロックについて間引き処理を実行しないオリジナルブロックとを併せて出力する構成とし、一方、伸長処理を実行する動画像復元装置において、パックブロックを適用した復元処理、またはオリジナルデータを利用した復元処理をすることで、データの品質を維持したおよびデータ圧縮伸長を可能とした動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００１４】
さらに、本発明は、特開２００５−１９８２６８において提案したデータ圧縮方法、すなわち、動画像の微小領域毎に移動速度情報に応じて最適なフレームレートと空間解像度を決定してデータ量の圧縮を行う構成と、一般的な符号化手法（ＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等）とを組み合わせて、動画像データの符号化・復号を行う構成において、人間の視覚特性を利用した適切な圧縮、伸張を行うことにより、効率的なデータ量の削減を実現するとともに、画質劣化を最小限に抑え、高品質な画像復元を実現可能とした動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の第１の側面は、
動画像データのデータ変換処理を実行する動画像変換装置であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
前記ブロック分割部において分割された各ブロックにおける被写体移動量を検出する移動量検出部と、
前記ブロック分割部の分割したブロックデータと、前記移動量検出部の検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理部と、
前記ブロック処理部の間引き処理データを入力し、間引き後の画素データからなるブロックとしてのパックブロックを生成するパック処理部と、
前記パック処理部の生成するパックブロックによって構成される間引きおよびパック処理された圧縮フレームと、間引き処理以前のオリジナルフレームとの合成処理により合成フレームの生成を実行するフレーム合成処理部と、
前記フレーム合成処理部によって生成された合成フレームの符号化処理を実行する画像符号化部と、
を有することを特徴とする動画像変換装置にある。
【００１６】
さらに、本発明の動画像変換装置の一実施態様において、前記フレーム合成処理部は、前記パック処理部の生成するパックブロックによって構成される間引きおよびパック処理された圧縮フレームと、該圧縮フレームの生成元となったオリジナルフレームを少なくとも１つ以上含む合成フレームの生成処理を実行する構成であることを特徴とする。
【００１７】
さらに、本発明の動画像変換装置の一実施態様において、前記フレーム合成処理部は、前記圧縮フレームと、前記圧縮フレームの生成元となったオリジナルフレームを少なくとも１つ以上含む複数フレームを時系列に沿って配列した合成フレームを生成する構成であり、圧縮フレームを、該圧縮フレームの生成元となったオリジナルフレームの前後または間に配列した合成フレーム生成処理を実行する構成であることを特徴とする。
【００１８】
さらに、本発明の動画像変換装置の一実施態様において、前記画像符号化部は、前記フレーム合成処理部によって生成された合成フレーム中に含まれる前記圧縮フレームと、前記オリジナルフレームとを区別した階層符号化処理を実行する構成であることを特徴とする。
【００１９】
さらに、本発明の動画像変換装置の一実施態様において、前記画像符号化部は、前記圧縮フレームのみを構成要素とする階層と、前記圧縮フレームとオリジナルフレームを構成要素とする階層を設定し、前記圧縮フレームのみを適用した符号化データと、前記圧縮フレームとオリジナルフレームを適用した符号化データを生成する構成であることを特徴とする。
【００２０】
さらに、本発明の動画像変換装置の一実施態様において、前記画像符号化部は、前記フレーム合成処理部によって生成された合成フレーム中に含まれる前記圧縮フレームと、前記オリジナルフレームとを区別した階層符号化処理によりストリーミング配信データを生成する構成であることを特徴とする。
【００２１】
さらに、本発明の動画像変換装置の一実施態様において、前記ブロック処理部は、前記移動量検出部の検出した移動量情報に基づいて、
（Ａ）空間方向間引き処理のみ、または、
（Ｂ）空間方向間引き処理と時間方向間引き処理、または、
（Ｃ）時間方向間引き処理のみ、
上記（Ａ）乃至（Ｃ）のいずれかの態様での間引き処理を実行する構成であることを特徴とする。
【００２２】
さらに、本発明の動画像変換装置の一実施態様において、前記パック処理部は、前記パックブロックの構成画素各々の相対的な位置を、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックを生成する処理を実行する構成であることを特徴とする。
【００２３】
さらに、本発明の動画像変換装置の一実施態様において、前記パック処理部は、前記ブロック処理部において、空間方向間引き処理を含む同一の処理態様に基づく間引き処理がなされ、かつ連続位置にある複数の連続ブロックを、画素位置補正対象ブロックとして選択し、選択した連続ブロックについて位置補正を行なったパックブロックを生成する構成であることを特徴とする。
【００２４】
さらに、本発明の動画像変換装置の一実施態様において、前記パック処理部は、パックブロック構成画素について、元画像上の相対画素位置を算出し、算出した相対画素位置に基づくソート処理による位置補正を行なったパックブロックを生成する構成を有することを特徴とする。
【００２５】
さらに、本発明の動画像変換装置の一実施態様において、前記パック処理部は、パックブロックの生成元としてのブロックに対応する移動速度に応じて予め設定された画素交換規則を適用してパックブロック構成画素の位置補正を実行する構成であることを特徴とする。
【００２６】
さらに、本発明の動画像変換装置の一実施態様において、前記動画像変換装置は、さらに、前記動画像変換装置における処理態様情報を含むサイド情報を生成し、出力する構成を有することを特徴とする。
【００２７】
さらに、本発明の第２の側面は、
動画像変換データの復元処理を実行する動画像復元装置であり、
間引きおよびパック処理された圧縮フレームと、間引き処理以前のオリジナルフレームとの合成処理により生成された合成フレームの符号化データを入力して復号処理を実行する復号部と、
前記復号部による復号処理によって取得した合成フレーム中の圧縮フレームを入力し、該圧縮フレームの構成データである間引き処理データに基づいて生成されたパックブロックの復元処理としてのアンパック処理を実行して、アンパックフレームを生成するアンパック処理部と、
前記アンパックフレームと、前記復号部による復号処理によって取得した合成フレーム中のオリジナルフレームを入力し、前記アンパックフレームに含まれるブロックに対して、前記オリジナルフレームを適用した補正処理を実行するアンパックブロック補正処理部と、
を有することを特徴とする動画像復元装置にある。
【００２８】
さらに、本発明の動画像復元装置の一実施態様において、前記アンパックブロック補正処理部は、前記アンパックフレームのブロック分割処理を実行するブロック分割部と、前記ブロック分割部の分割処理によって生成された各ブロックについて超解像効果の得られるブロックであるか否かの判定を実行する劣化判定部と、前記劣化判定部において、超解像効果の得られないと判定された劣化ブロックについて、該劣化ブロックの生成元であるオリジナルフレームを適用した補正処理を実行する画像補正部と、前記画像補正部の補正したブロックを適用したフレームの再構成処理を実行するフレーム構成部と、を有する構成であることを特徴とする。
【００２９】
さらに、本発明の動画像復元装置の一実施態様において、前記復号部は、複数の階層に分割された階層符号化データを入力し、該階層符号化データの復号処理を実行する構成であり、前記アンパックブロック補正処理部は、前記復号部における復号された階層に応じた補正処理を実行する構成であることを特徴とする。
【００３０】
さらに、本発明の動画像復元装置の一実施態様において、前記アンパック処理部は、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックに基づいて、フレーム順に画素位置を並べた初期パックブロックを復元し、復元した初期パックブロックに基づいて、パック以前の各フレーム対応画素から構成される複数ブロックの生成処理を行なう構成であることを特徴とする。
【００３１】
さらに、本発明の動画像復元装置の一実施態様において、前記アンパック処理部は、空間方向間引き処理を含む同一の処理態様に基づく間引き処理がなされ、かつ連続位置にある複数の連続ブロックに対応するパックブロックを、画素位置補正対象ブロックとして選択し、選択したパックブロックについて、フレーム順に画素位置を並べた初期パックブロックを復元する処理を実行する構成であることを特徴とする。
【００３２】
さらに、本発明の動画像復元装置の一実施態様において、前記アンパック処理部は、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックの構成画素に対応して設定された相対画素位置ｘを入力し、相対画素位置ｘの値について昇順または降順のソート処理を実行し、該ソート処理の結果として位置変更のあった相対画素位置ｘに対応するパックブロックの画素位置を同様に変更することで、フレーム順に画素位置を並べた初期パックブロックの復元を行なう構成であることを特徴とする。
【００３３】
さらに、本発明の動画像復元装置の一実施態様において、前記アンパック処理部は、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックの生成元としてのブロックに対応する移動速度に応じて予め設定された画素交換規則を適用してパックブロック構成画素の位置補正を実行し、フレーム順に画素位置を並べた初期パックブロックの復元を行なう構成であることを特徴とする。
【００３４】
さらに、本発明の動画像復元装置の一実施態様において、前記アンパック処理部は、動画像変換装置において実行されたブロック対応の間引き処理態様情報、およびブロック対応の移動量情報を入力して、アンパック処理態様を決定する構成を有することを特徴とする。
【００３５】
さらに、本発明の第３の側面は、
動画像変換装置において、動画像データのデータ変換処理を実行する動画像変換方法であり、
ブロック分割部において、動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
移動量検出部において、前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
ブロック処理部において、前記ブロック分割ステップにおいて分割されたブロックデータと、前記移動量検出ステップにおいて検出された移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップと、
パック処理部において、前記ブロック処理ステップで生成した間引き処理データを入力し、間引き後の画素データからなるブロックとしてのパックブロックを生成するパック処理ステップと、
フレーム合成処理部において、前記パック処理ステップにおいて生成されたパックブロックによって構成される間引きおよびパック処理された圧縮フレームと、間引き処理以前のオリジナルフレームとの合成処理により合成フレームの生成を実行するフレーム合成処理ステップと、
画像符号化部において、前記フレーム合成処理ステップで生成した合成フレームの符号化処理を実行する画像符号化ステップと、
を有することを特徴とする動画像変換方法にある。
【００３６】
さらに、本発明の動画像変換方法の一実施態様において、前記フレーム合成処理ステップは、前記パック処理ステップで生成するパックブロックによって構成される間引きおよびパック処理された圧縮フレームと、該圧縮フレームの生成元となったオリジナルフレームを少なくとも１つ以上含む合成フレームの生成処理を実行するステップであることを特徴とする。
【００３７】
さらに、本発明の動画像変換方法の一実施態様において、前記フレーム合成処理ステップは、前記圧縮フレームと、前記圧縮フレームの生成元となったオリジナルフレームを少なくとも１つ以上含む複数フレームを時系列に沿って配列した合成フレームを生成するステップであり、圧縮フレームを、該圧縮フレームの生成元となったオリジナルフレームの前後または間に配列した合成フレーム生成処理を実行するステップであることを特徴とする。
【００３８】
さらに、本発明の動画像変換方法の一実施態様において、前記画像符号化ステップは、前記フレーム合成処理ステップにおいて生成された合成フレーム中に含まれる前記圧縮フレームと、前記オリジナルフレームとを区別した階層符号化処理を実行するステップであることを特徴とする。
【００３９】
さらに、本発明の動画像変換方法の一実施態様において、前記画像符号化ステップは、前記圧縮フレームのみを構成要素とする階層と、前記圧縮フレームとオリジナルフレームを構成要素とする階層を設定し、前記圧縮フレームのみを適用した符号化データと、前記圧縮フレームとオリジナルフレームを適用した符号化データを生成するステップであることを特徴とする。
【００４０】
さらに、本発明の動画像変換方法の一実施態様において、前記画像符号化ステップは、前記フレーム合成処理ステップにおいて生成された合成フレーム中に含まれる前記圧縮フレームと、前記オリジナルフレームとを区別した階層符号化処理によりストリーミング配信データを生成するステップであることを特徴とする。
【００４１】
さらに、本発明の動画像変換方法の一実施態様において、前記ブロック処理ステップは、前記移動量検出ステップにおいての検出した移動量情報に基づいて、
（Ａ）空間方向間引き処理のみ、または、
（Ｂ）空間方向間引き処理と時間方向間引き処理、または、
（Ｃ）時間方向間引き処理のみ、
上記（Ａ）乃至（Ｃ）のいずれかの態様での間引き処理を実行するステップであることを特徴とする。
【００４２】
さらに、本発明の動画像変換方法の一実施態様において、前記パック処理ステップは、前記パックブロックの構成画素各々の相対的な位置を、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックを生成する処理を実行するステップであることを特徴とする。
【００４３】
さらに、本発明の動画像変換方法の一実施態様において、前記パック処理ステップは、前記ブロック処理ステップにおいて、空間方向間引き処理を含む同一の処理態様に基づく間引き処理がなされ、かつ連続位置にある複数の連続ブロックを、画素位置補正対象ブロックとして選択し、選択した連続ブロックについて位置補正を行なったパックブロックを生成するステップであることを特徴とする。
【００４４】
さらに、本発明の動画像変換方法の一実施態様において、前記パック処理ステップは、パックブロック構成画素について、元画像上の相対画素位置を算出し、算出した相対画素位置に基づくソート処理による位置補正を行なったパックブロックを生成するステップであることを特徴とする。
【００４５】
さらに、本発明の動画像変換方法の一実施態様において、前記パック処理ステップは、パックブロックの生成元としてのブロックに対応する移動速度に応じて予め設定された画素交換規則を適用してパックブロック構成画素の位置補正を実行するステップであることを特徴とする。
【００４６】
さらに、本発明の動画像変換方法の一実施態様において、前記動画像変換方法は、さらに、サイド情報合成部において、前記動画像変換装置における処理態様情報を含むサイド情報を生成し、出力するステップを有することを特徴とする。
【００４７】
さらに、本発明の第４の側面は、
動画像復元装置において、動画像変換データの復元処理を実行する動画像復元方法であり、
復号部において、間引きおよびパック処理された圧縮フレームと、間引き処理以前のオリジナルフレームとの合成処理により生成された合成フレームの符号化データを入力して復号処理を実行する復号ステップと、
アンパック処理部において、前記復号ステップにおける復号処理によって取得した合成フレーム中の圧縮フレームを入力し、該圧縮フレームの構成データである間引き処理データに基づいて生成されたパックブロックの復元処理としてのアンパック処理を実行して、アンパックフレームを生成するアンパック処理ステップと、
アンパックブロック補正処理部において、前記アンパックフレームと、前記復号ステップにおける復号処理によって取得した合成フレーム中のオリジナルフレームを入力し、前記アンパックフレームに含まれるブロックに対して、前記オリジナルフレームを適用した補正処理を実行するアンパックブロック補正処理ステップと、
を有することを特徴とする動画像復元方法にある。
【００４８】
さらに、本発明の動画像復元方法の一実施態様において、前記アンパックブロック補正処理ステップは、前記アンパックフレームのブロック分割処理を実行するブロック分割ステップと、前記ブロック分割ステップの分割処理によって生成された各ブロックについて超解像効果の得られるブロックであるか否かの判定を実行する劣化判定ステップと、前記劣化判定ステップにおいて、超解像効果の得られないと判定された劣化ブロックについて、該劣化ブロックの生成元であるオリジナルフレームを適用した補正処理を実行する画像補正ステップと、前記画像補正ステップで補正したブロックを適用したフレームの再構成処理を実行するフレーム構成ステップと、を有することを特徴とする。
【００４９】
さらに、本発明の動画像復元方法の一実施態様において、前記復号ステップは、複数の階層に分割された階層符号化データを入力し、該階層符号化データの復号処理を実行するステップであり、前記アンパックブロック補正処理ステップは、前記復号部における復号された階層に応じた補正処理を実行するステップであることを特徴とする。
【００５０】
さらに、本発明の動画像復元方法の一実施態様において、前記アンパック処理ステップは、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックに基づいて、フレーム順に画素位置を並べた初期パックブロックを復元し、復元した初期パックブロックに基づいて、パック以前の各フレーム対応画素から構成される複数ブロックの生成処理を行なうステップであることを特徴とする。
【００５１】
さらに、本発明の動画像復元方法の一実施態様において、前記アンパック処理ステップは、空間方向間引き処理を含む同一の処理態様に基づく間引き処理がなされ、かつ連続位置にある複数の連続ブロックに対応するパックブロックを、画素位置補正対象ブロックとして選択し、選択したパックブロックについて、フレーム順に画素位置を並べた初期パックブロックを復元する処理を実行するステップであることを特徴とする。
【００５２】
さらに、本発明の動画像復元方法の一実施態様において、前記アンパック処理ステップは、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックの構成画素に対応して設定された相対画素位置ｘを入力し、相対画素位置ｘの値について昇順または降順のソート処理を実行し、該ソート処理の結果として位置変更のあった相対画素位置ｘに対応するパックブロックの画素位置を同様に変更することで、フレーム順に画素位置を並べた初期パックブロックの復元を行なうステップであることを特徴とする。
【００５３】
さらに、本発明の動画像復元方法の一実施態様において、前記アンパック処理ステップは、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックの生成元としてのブロックに対応する移動速度に応じて予め設定された画素交換規則を適用してパックブロック構成画素の位置補正を実行し、フレーム順に画素位置を並べた初期パックブロックの復元を行なうステップであることを特徴とする。
【００５４】
さらに、本発明の動画像復元方法の一実施態様において、前記アンパック処理ステップは、動画像変換装置において実行されたブロック対応の間引き処理態様情報、およびブロック対応の移動量情報を入力して、アンパック処理態様を決定することを特徴とする。
【００５５】
さらに、本発明の第５の側面は、
動画像変換装置において、動画像データのデータ変換処理を実行させるコンピュータ・プログラムであり、
ブロック分割部において、動画像データを構成するフレーム毎にブロック分割処理を実行させるブロック分割ステップと、
移動量検出部において、前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出させる移動量検出ステップと、
ブロック処理部において、前記ブロック分割ステップにおいて分割されたブロックデータと、前記移動量検出ステップにおいて検出された移動量情報とを入力し、ブロックデータの間引き処理を実行させるブロック処理ステップと、
パック処理部において、前記ブロック処理ステップで生成した間引き処理データを入力し、間引き後の画素データからなるブロックとしてのパックブロックを生成させるパック処理ステップと、
フレーム合成処理部において、前記パック処理ステップにおいて生成されたパックブロックによって構成される間引きおよびパック処理された圧縮フレームと、間引き処理以前のオリジナルフレームとの合成処理により合成フレームの生成を実行させるフレーム合成処理ステップと、
画像符号化部において、前記フレーム合成処理ステップで生成した合成フレームの符号化処理を実行させる画像符号化ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。
【００５６】
さらに、本発明の第６の側面は、
動画像復元装置において、動画像変換データの復元処理を実行させるコンピュータ・プログラムであり、
復号部において、間引きおよびパック処理された圧縮フレームと、間引き処理以前のオリジナルフレームとの合成処理により生成された合成フレームの符号化データを入力して復号処理を実行させる復号ステップと、
アンパック処理部において、前記復号ステップにおける復号処理によって取得した合成フレーム中の圧縮フレームを入力し、該圧縮フレームの構成データである間引き処理データに基づいて生成されたパックブロックの復元処理としてのアンパック処理を実行して、アンパックフレームを生成させるアンパック処理ステップと、
アンパックブロック補正処理部において、前記アンパックフレームと、前記復号ステップにおける復号処理によって取得した合成フレーム中のオリジナルフレームを入力し、前記アンパックフレームに含まれるブロックに対して、前記オリジナルフレームを適用した補正処理を実行させるアンパックブロック補正処理ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。
【００５７】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００５８】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００５９】
本発明の動画像変換装置および方法によれば、動画像データを構成するフレーム毎にブロック分割を行い、各ブロックにおける被写体移動量に応じて空間方向、時間方向少なくともいずれかの間引き処理を実行し、間引き処理後の画素データを含むパックブロックを生成し、さらに、パックブロックからなる圧縮フレームと、間引き処理を実行しないオリジナルフレームとの合成処理によって合成フレームを生成して、合成フレームの符号化処理を実行して出力する構成としたので、例えば、移動量に応じて間引きを行ったブロックの復元データに画質劣化が発生する場合、オリジナルフレームを適用した復元が可能となり、符号化データからの高品質なデータ復元を実現することができる。
【００６０】
また、本発明の動画像復元装置および方法によれば、各ブロックにおける被写体移動量に応じて空間方向、時間方向少なくともいずれかの間引き処理によって生成し、元画像の画素位置に対応した相対的な画素位置を持つパックブロックに基づく復元処理によってアンパックフレームを生成して、さらに、アンパックフレームに含まれるブロックに画質劣化が発生する場合、オリジナルフレームを適用した復元を行なう構成としたので、符号化データからの高品質なデータ復元が可能となる。
【発明を実施するための最良の形態】
【００６１】
以下、図面を参照しながら、本発明の動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムの構成について説明する。なお、説明は、以下の項目に従って行なう。
（１）超解像効果を利用した動画像変換装置の基本構成
（２）本発明に従った動画像圧縮処理を実行する装置および方法
（３）本発明に従った動画像伸張処理を実行する装置および方法
【００６２】
［（１）超解像効果を利用した動画像変換装置の基本構成］
まず、本発明のベースとなる超解像効果を利用した動画像圧縮を実行する動画像変換装置の基本構成について説明する。なお、この基本構成は、本出願人が先に出願した特開２００５−１９８２６８号、および特願２００５−１４３９２４号に詳細を記載しているものであり、画像を小領域に分割し、各領域の移動速度に応じて画素数の間引きや、フレームレートの間引きを適応的に行うことでデータ量の圧縮を実現した構成である。
【００６３】
図１に特開２００５−１９８２６８号、および特願２００５−１４３９２４号に記載した動画像変換装置１０の構成例を示す。この動画像変換装置１０は、超解像効果を利用した動画像変換処理を行うことにより、データ量の削減による画質劣化を観測者が知覚しないようにデータ量の削減を行うことができる構成としたものである。
【００６４】
なお、超解像効果とは、観測者が、空間方向に離散的にサンプリングされた移動被写体を追従視する際に、表示画素数以上の解像度を知覚するという視覚的効果である。これは、人間は、ある時間内に呈示された複数の画像が加算されたものを知覚するという視覚特性を持つためである。この特性は、ブロックの法則として知られる視覚の時間的積分機能に起因しており、例えば、"視覚情報ハンドブック，日本視覚学会編，ｐｐ．２１９−２２０"などに記載されている。ブロックの法則が成り立つ積分時間は、背景光の強度などの呈示条件によって変化するが、およそ２５ｍｓ乃至１００ｍｓであるという報告がある。
【００６５】
図１に示す動画像変換装置１０は、時間的積分機能によって引き起こされる超解像効果を利用した動画像変換処理を行うことにより、画質劣化を観測者が知覚しないようにデータを削減する圧縮を行う構成としたものである。図１の動画像変換装置１０の構成について説明する。
【００６６】
ブロック分割部１１は、入力された動画像の各フレームを、所定画素の区分領域としてのブロックに分割し移動量検出部１２に供給する。移動量検出部１２は、ブロック分割部１１から供給された各ブロックについての移動量を検出し、ブロックとその移動量を、ブロック処理部１３に送信する。ブロック処理部１３は、移動量検出部１２から供給されたブロックに対して、その移動量に応じた動画像変換処理、すなわち圧縮処理を施し、データ量を削減する。ブロック処理部１３は、その処理の結果得られた、データ量が削減されたブロックについてのデータを、出力部１４に供給する。出力部１４は、ブロック処理部１３から供給された、データ量が削減されたブロックについてのデータを、ストリームデータとしてまとめて出力する。
【００６７】
次に、図２を参照して、各部の詳細について説明する。ブロック分割部１１の画像蓄積部２１には、動画像変換装置１０に供給された動画像のフレームが入力される。画像蓄積部２１は、入力されたフレームを蓄積する。画像蓄積部２１は、蓄積したフレームの数がＮ枚（Ｎは正の整数）になる度に、そのＮ枚のフレームを、ブロック分割部２２に供給するとともに、Ｎ枚のフレームの中のＭ番目に記憶したフレーム（以下、Ｍ番目のフレームと称する）を、移動量検出部１２（移動量検出部３１）に供給する。例えば、Ｎ＝４とする。
【００６８】
ブロック分割部２２は、画像蓄積部２１から供給されたＮ枚のフレーム（連続するＮ枚のフレーム）のそれぞれを、ある大きさ（例えば８×８、１６×１６）のブロックに分割し、移動量検出部１２（ブロック分配部３２）に出力する。ブロック分割部２２はまた、Ｎ枚のフレームの中の、画像蓄積部２１でＰ番目に記憶されたフレーム（以下、Ｐ番目のフレームと称する）の各ブロックを移動量検出部１２（移動量検出部３１）に供給する。Ｐ番目のフレームは、Ｍ番目のフレームと異なるフレームである。
【００６９】
次に、移動量検出部１２について説明する。移動量検出部１２の移動量検出部３１は、ブロック分割部１１のブロック分割部２２から供給されたＰ番目のフレームの各ブロックの動きベクトルを、画像蓄積部２１から供給されたＭ番目のフレームを参照して例えばフレーム間のブロックマッチング処理を実行して検出し、検出した動きベクトルをブロック分配部３２に供給する。動きベクトルは、フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量を表している。なお、移動量検出部３１は、移動量検出の精度を向上させるために画像を拡大し、拡大画像を適用した移動量検出を行なう構成としてもよい。
【００７０】
移動量検出部１２のブロック分配部３２には、ブロック分割部２２から、Ｎ個単位でブロック（Ｎ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック）が供給され、移動量検出部３１から、そのＮ個のブロックの中のＰ番目のフレームのブロックの移動量が供給される。ブロック分配部３２は、供給されたＮ個のブロックと移動量を、ブロック処理部１３の、その移動量に対応する処理を行うブロック処理部５１乃至５３の中のいずかに供給する。
【００７１】
具体的にはブロック分配部３２は、移動量検出部３１から供給された、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の移動量が２ピクセル（画素）以上である場合、ブロック分割部２２から供給されたＮ個のブロックと移動量検出部３１から供給された移動量を、ブロック処理部５１に出力する。また、１フレーム間の水平方向と垂直方向の移動量がともに２ピクセル未満で、かつ１ピクセル以上の場合、ブロック分配部３２は、Ｎ個のブロックと移動量を、ブロック処理部５３に出力する。移動量がそのほかの場合には、ブロック分配部３２は、Ｎ個のブロックと移動量をブロック処理部５２に供給する。
【００７２】
すなわちブロック分配部３２は、移動量検出部２１から供給された移動量に基づき、最適なフレームレートおよび空間解像度を決定し、そのフレームレートおよび空間解像度にしたがって画像データを変換する処理を行うブロック処理部５１〜５３に、ブロック画像を分配する。
【００７３】
次に、ブロック処理部１３の詳細を説明する。ブロック処理部１３は、上述したように３個のブロック処理部５１乃至５３で構成されている。ブロック処理部５１は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ（例えばＮ＝４）枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向または垂直方向の移動量が２ピクセル以上である場合のＮ個のブロック）に対して、画素数を、同様にブロック分配部３２から供給された移動量に応じて間引く処理（空間方向間引き処理）を行う。
【００７４】
具体的には、１フレーム間の水平方向の移動量が２ピクセル（画素）以上である場合、ブロック処理部５１は、処理対象のブロックが図３（ａ）に示すように４×４ピクセルで構成されているとき、水平方向の４画素のうち１つの画素値のみを選択して代表値とする。図３（ｂ）の例では、Ｐ００乃至Ｐ３０の４画素のうちＰ１０のみを代表値（標本点）として有効にする。その他の画素値は無効とする。同様に、Ｐ０１乃至Ｐ３１の４画素に対してはＰ１１を代表値（標本点）とし、Ｐ０２乃至Ｐ３２の４画素に対してはＰ１２を代表値（標本点）とし、Ｐ０３乃至Ｐ３３の４画素に対してはＰ１３を代表値（標本点）とする。
【００７５】
１フレーム間の垂直方向の移動量が２ピクセル以上である場合、ブロック処理部５１は、ブロックが図３（ａ）に示すように４×４ピクセルで構成されているとき、垂直方向の４画素のうち１つの画素値を標本点として有効とする。図３（ｃ）の例では、Ｐ００乃至Ｐ０３の４画素のうちＰ０１のみを標本点として有効にする。その他の画素値は無効とする。同様に、Ｐ１０乃至Ｐ１３の４画素に対してはＰ１１を標本点とし、Ｐ２０乃至Ｐ２３の４画素に対してはＰ２１を標本点とし、Ｐ３０乃至Ｐ３３の４画素に対してはＰ３１を標本点とする。
【００７６】
ブロック処理部５１は、このような空間方向間引き処理を、供給された連続するＮ（例えばＮ＝４）枚のフレームのそれぞれの同一位置にある合計Ｎ＝４個のブロックに対してそれぞれ施すので、各ブロックのデータ量が１／４に削減され、４個のブロック全体のデータ量が１／４に削減される。ブロック処理部５１は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。
【００７７】
次に、図２に示すブロック処理部５２の実行する処理について説明する。図２に示すブロック処理部５２は、移動量検出部１２のブロック分配部３２から供給された連続するＮ枚のフレームのそれぞれの同一位置ある合計Ｎブロック（水平方向と垂直方向の移動量がともに１ピクセル未満である場合のＮ個のブロック）に対して、フレーム数を間引く処理（時間方向間引き処理）を行う。
【００７８】
具体的にはブロック処理部５２は、図４に示すように、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックＢｉを、その中の１つのブロック（この例の場合、フレームＦ１のブロックＢｉ）にするフレーム数の間引き（４フレーム間のフレーム数の間引き）を行う。ブロック処理部５２は、このような時間方向間引き処理により、データ量が１／４に削減された４個のブロックについてのデータ（１個のブロック）を、出力部１４に供給する。選択された１つのブロックの画素データが４フレームに対応する標本点データとなる。
【００７９】
ブロック処理部５３は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向と垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合のＮ個のブロック）に対して、画素数の間引き処理（空間方向間引き処理）とフレーム数の間引き処理（時間方向間引き処理）をそれぞれ行う。
【００８０】
ブロック処理部５３は、ブロック処理部５１における間引き処理とは異なり、図５に示すように、１フレーム間の水平方向の移動量が１ピクセル以上で、２ピクセル未満である場合、ブロック処理部５３は、処理対象のブロックが図５（ａ）に示すように４×４ピクセルで構成されているとき、水平方向の４画素のうち２つの画素値のみを選択して代表値とする。図５（ｂ）の例では、Ｐ００乃至Ｐ３０の４画素のうちＰ００とＰ２０のみを代表値（標本点）として有効にする。その他の画素値は無効とする。同様に、Ｐ０１乃至Ｐ３１の４画素に対してはＰ０１とＰ２１のみを代表値（標本点）とし、Ｐ０２乃至Ｐ３２の４画素に対してはＰ０２とＰ２２のみ代表値（標本点）とし、Ｐ０３乃至Ｐ３３の４画素に対してはＰ０３とＰ２３のみ代表値（標本点）とする。
【００８１】
１フレーム間の垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合、ブロック処理部５３は、処理対象ブロックが図５（ａ）に示すように４×４ピクセルで構成されているとき、垂直方向の４画素のうち２つの画素値を有効とする。図５（ｃ）の例では、Ｐ００乃至Ｐ０３の４画素のうちＰ００およびＰ０２を代表値（標本点）として有効にする。その他の画素値は無効とする。同様に、Ｐ１０乃至Ｐ１３の４画素に対してはＰ１０およびＰ１２を代表値（標本点）とし、Ｐ２０乃至Ｐ２３の４画素に対してはＰ２０およびＰ２２を代表値（標本点）とし、Ｐ３０乃至Ｐ３３の４画素に対してはＰ３０およびＰ３２を代表値（標本点）とする。
【００８２】
さらにブロック処理部５３は、フレーム数の間引き処理を行う。具体的にはブロック処理部５３は、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックに対して、その中の２つのブロックを有効にするフレーム数の間引き処理を実行する。フレーム数の間引き処理においては、ブロック処理部５３は、ブロック処理部５２における間引き処理と異なり、図６に示すように、連続する４枚のフレームＦ１乃至Ｆ４のぞれぞれの同一位置にある合計４個のブロックＢｉを、その中のいずれか２つ（図の例では、フレームＦ１、Ｆ３の２個のブロック）にするフレーム数の間引き（２フレーム間のフレーム数の間引き）を行う。選択された２つのブロックの画素データが４フレームに対応する標本点データとなる。この場合、図５を参照して説明した空間方向の間引きにおいて、すでに１ブロックに８つの標本点選択が実行済みであり、２ブロックから総計１６の標本点が選択され、これらが４フレームに対応する標本点データとして設定されることになる。
【００８３】
ブロック処理部５３は、図５を参照して説明したデータ量を１／２とする空間方向間引き処理と、図６を参照して説明したデータ量を１／２とする時間方向間引き処理を、供給された４個のブロックに対して施すので、結果として４個のブロックのデータ量が（１／２）×（１／２）＝１／４に削減される。ブロック処理部５３は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。
【００８４】
出力部１４は、ブロック処理部１３のブロック処理部５１乃至５３のそれぞれから供給された、データ量が削減されたＮ個のブロックについてのデータからストリームデータを生成する。
【００８５】
本出願人は、先に出願済みの特開２００５−１９８２６８号等において、上述した動画像変換装置を開示している。この動画像変換装置は、人間の視覚特性を鑑みて、動画像の微小領域毎に移動速度情報に応じて最適なフレームレートと空間解像度を決定してデータ量の圧縮を行う構成であり、人間の視覚系における時間積分機能を利用し、動被写体を目で追いかけるときに生じる超解像効果に基づいて、移動量に応じて移動方向に空間的な間引き処理を行うことでデータ量の削減を行う構成である。
【００８６】
［（２）本発明に従った動画像圧縮処理を実行する装置および方法］
上述の動画像変換装置におけるデータ圧縮方法において、時間方向間引きを行なうと、以下のような問題が発生する場合がある。
【００８７】
上述の動画像変換装置におけるデータ圧縮方法において、例えばＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等の一般的な符号化手法を組み合わせて符号化・復号を行うと、以下のような問題が発生する場合がある。
（１）超解像効果を利用して画質を劣化させた場合、一般的な符号化手法では圧縮率が向上しない。
（２）超解像効果を利用して画質を劣化させた場合、高フレームレート動画像のままで一般的な符号化手法で圧縮した場合、圧縮率が向上しない。
【００８８】
上記問題点を解決したデータ圧縮を実現する構成として、本出願人は、特願２００５−１４３９２４号において、間引き処理後の画素データを含み、元画像の画素位置に対応した相対位置を持つパックブロックを生成する構成を提案した。この構成により、例えばＭＰＥＧやＭｏｔｉｏｎ ＪＰＥＧ等の符号化処理を行なう際、パックブロックの画像データが元画像に近い滑らかな画像となり、圧縮率を高めた符号化処理が可能となり、間引き処理後のパックブロックに起因する圧縮率低下を抑制することが可能となり、高圧縮率の符号化データを生成することができる。
【００８９】
しかし、この特願２００５−１４３９２４号において提案した構成においては、１つのブロックに対して１つの移動量が対応付けられ、その移動量に応じた間引きを実行しているため、例えば異なる移動量を持つオブジェクトを含むブロックについては、１つのブロックに対して算出する１つの移動量に基づいて間引き態様を決定する手法を適用した場合、圧縮および復元処理においてデータ品質が低下する場合がある。
【００９０】
本発明は、このようなブロックを含む動画像データの変換（圧縮）、復元（伸長）においても、品質の低下を防止する構成を持つ。具体的には、上述した特願２００５−１４３９２４号において提案したパックブロックと、少なくとも一部のブロックについて間引き処理を実行しないオリジナルブロックとを併せて出力する構成とし、一方、伸長処理を実行する動画像復元装置において、パックブロックを適用した復元処理、またはオリジナルデータを利用した復元処理をすることで、データの品質を維持したおよびデータ圧縮伸長を可能としている。以下、本発明に従った動画像圧縮処理を実行する装置および方法について説明する。
【００９１】
本実施形態における動画像変換装置の概略構成について説明する。図７は、本発明の一実施形態としての動画像変換装置の構成を示すブロック図である。図７に示すように、本実施形態の動画像変換装置１００は、ブロック分割部１１０、移動量検出部１２０、ブロック処理部１３０、パック処理部１４０、出力部１５０を有する。
【００９２】
動画像変換装置１００は、処理対象となる動画像データを入力し、入力した動画像データをブロック分割部１１０と、出力部１５０に並列に供給する。出力部１５０では、ブロック分割部１１０、移動量検出部１２０、およびブロック処理部１３０における処理結果、すなわちこれらの処理部において生成されたパックブロックを入力し、さらに、オリジナルフレームを入力して、これらの入力情報を合成して出力する。この出力部の処理については後段で詳細に説明する。
【００９３】
ブロック分割部１１０、移動量検出部１２０、およびブロック処理部１３０は、先に、図１を参照して説明した特願２００３−４１２５０１号に記載した動画像変換装置１０のブロック分割部１１、移動量検出部１２、ブロック処理部１３と、ほぼ同様の構成を有し、同様の処理を実行する。すなわち、動画像変換装置１００は、処理対象となる動画像データを入力し、ブロック分割部１１０において、動画像を構成するフレーム毎に所定領域のブロックに分割し、移動量検出部１２０に供給する。
【００９４】
移動量検出部１２０は、ブロック分割部１１０から供給された各ブロックについての移動量を検出し、ブロックとその移動量を、ブロック処理部１３０に送信する。ブロック処理部１３０は、移動量検出部１２０から供給されたブロックに対して、その移動量に応じた動画像変換処理、すなわち移動量に応じて空間方向間引き処理、または時間方向間引き処理、または空間および時間方向間引き処理によるデータ圧縮処理を施し、データ量を削減する。データ量を削減されたブロックはパック処理部１４０において、データ量の削減したブロックをＭフレームごとにまとめられ、フレームレートをＲ／Ｍに変換する。なお、入力した動画像のオリジナルフレームレートをＲ、パック処理部においてまとめるフレーム数をＭとする。
【００９５】
ブロック処理部１３０、パック処理部１４０において、データ量が削減されフレームレートがＲ／Ｍに変換されたブロックは、出力部１５０に供給される。出力部１５０は、パック処理部１４０から供給された、データ量が削減されフレームレートがＲ／Ｍに変換されたブロックデータをフレーム単位で合成するブロック合成処理を実行するとともに、ブロック合成処理によって生成されたフレームデータと、出力部１５０に入力されるオリジナルフレームとを組み合わせるフレーム合成処理を実行し、フレーム合成処理結果をストリームデータとして、ＭＰＥＧ圧縮等の動画の圧縮を行うことのできる既存の符号化器へ出力する。
【００９６】
次に、本実施形態の動画像変換装置１００のブロック分割部１１０、移動量検出部１２０およびブロック処理部１３０およびパック処理部１４０の構成について図８を参照して説明する。図８は本実施形態における動画像変換装置１００のブロック分割部１１０、移動量検出部１２０およびブロック処理部１３０およびパック処理部１４０の構成を示すブロック図である。
【００９７】
処理対象となる動画像は、ブロック分割部１１０内の画像蓄積部１１１において、Ｎフレーム分蓄積される。なお、本実施例ではＮ＝４である。蓄積されたフレームはブロック分割部１１２においてある大きさのブロック、例えば８ｐｉｘｅｌ×８ｐｉｘｅｌや１６ｐｉｘｅｌ×１６ｐｉｘｅｌ等のブロックに分解され、ブロック分配部１２２に送られる。また、この時の分割されたフレームのブロックサイズは移動量検出部１２１へ送られる。
【００９８】
移動量検出部１２１は、画像蓄積部１１１に蓄積されたフレームの内Ｍ番目とＭ＋Ｌ番目のフレームを取得し、ブロック分割部１１２からのフレームが分割されたブロックのサイズに合せたブロック単位で、既存の手法、例えばブロックマッチング手法等を用いてフレームの各々のブロックに関する動きベクトルを検出する。なお、本実施例では、Ｍ＝２、Ｌ＝１とした処理例として説明する。すなわちＮ＝４フレームを１つの処理単位として、４フレーム中のＭ＝２番目のフレームと、Ｍ＋Ｌ＝２＋１＝３番目のフレームの各々のピクセル位置の対応するブロックとのブロックマッチングを実行して動きベクトルを検出し、この動きベクトルに基づいてブロックに含まれる被写体の移動量を算出する。
【００９９】
さらに、移動量検出部１２１において検出された移動量を復号に使用するため、移動量検出部１２１の検出した移動量情報は、出力２０２にて出力部１５０に出力し、後述の符号化器において符号化される動画像と共に符号化する。なお、移動量を示す値は使用した動きベクトル検出手法やエラー低減手法に応じて様々な値が適用可能である。
【０１００】
また、本実施例では、移動量検出部１２１は、上述したように、Ｎフレーム中の連続する２フレーム（Ｍ＝２と、Ｍ＋Ｌ＝２＋１＝３）を用いたブロックマッチングによって移動量を算出する構成としたが、移動量検出部１２１の実行する移動量検出処理は、その他のフレーム選択などその他の手法を適用した処理として実行してもよい。さらに、２フレームに基づく移動量検出構成ではなく、Ｎフレーム中の全フレームという選択も含むどのようなフレームの組み合わせに基づいて移動量を算出しても良い。
【０１０１】
ブロック分配部１２２は、各ブロックに対して異なる圧縮処理を行うブロック処理部１３１〜１３３へブロックを振り分ける処理を実行する。ブロック分配部１２２の入力は移動量検出部１２１から出力される各々の処理単位のＮフレームに対応するブロックの移動量と、ブロック分割部１１２から出力されるブロックに分割されたＮフレーム分の画像データである。
【０１０２】
ブロック分配部１２２は入力されたＮフレーム分のブロックを、各ブロックの移動量に従い、ブロック処理部１３１〜１３３のいずれかに出力する。さらに、ブロック分配条件を復号に使用する場合には、ブロック分配条件を、例えばブロック分配フラグとして設定し、出力２０１として出力部１５０出力し、後述の符号化器において符号化される動画像と共に符号化する。
【０１０３】
ブロック分配部１２２は、ブロックの分配条件として移動量検出部１２１の検出した移動量情報を適用する。本実施例では、１フレーム間の水平または垂直方向移動量のうち値の大きい方が２ピクセルを超えた場合には空間方向間引き処理を実行するブロック処理部ａ１３１、１フレーム間の水平または垂直方向移動量のうち値の大きい方が２ピクセル未満、かつ１ピクセル以上の場合には時間方向および空間方向の間引き処理を実行するブロック処理部ｃ１３３へ出力し、そのほかの場合、すなわち、１フレーム間の水平または垂直方向移動量のうち値の大きい方が１ピクセル未満の場合には時間方向間引き処理を実行するブロック処理部ｂ１３２へ出力する。なお、ブロック分配部１２２における出力先決定のための上記条件はあくまでも本実施例のための一例であり、他の条件を適用してもよい。
【０１０４】
前述したように、ブロック処理部１３０内の各々のブロック処理部１３１〜１３３は、ブロック分配部１２２から処理対象となるブロックデータと対応する移動量情報を受け取り、データ圧縮処理としての間引き処理を実行する。
【０１０５】
ブロック処理部ａ１３１は入力されたブロックの画素数を、処理対象ブロックデータと同時に入力された対応する移動量に応じて空間間引き処理を実行する。本実施例では、水平方向の移動量が２ピクセル以上であるときにはブロック内の画素を１ｘ４ピクセル単位の集合に分け、各集合の画素値を各集合に含まれる４つの画素の内いずれかの値にすることで画素数の間引きを実現している。また、垂直方向の移動量が２ピクセル以上であるときにはブロック内の画素を４ｘ１ピクセル単位の集合に分け、各集合の画素値を各集合に含まれる４つの画素の内いずれかの値にする。これらの処理は、先に図３を参照して説明した処理と同様の処理である。さらに垂直・水平方向の移動量がともに２ピクセル以上であるときには、ブロック内の画素を２ｘ２ピクセル単位の集合に分け、各集合の画素値を各集合に含まれる４つの画素の内いずれかの値にする。
【０１０６】
本来、４画素の値を全て同一にすることは著しい画質の劣化を招くが、ブロック処理部ａ１３１は、１フレーム間の水平または垂直方向移動量のうち値の大きい方が２ピクセルを超えたブロックについてのみ、これらの空間間引きを行う構成であり、前述のブロックの法則として知られる視覚の時間的積分機能に起因して、超解像効果がもたらされ、観測者が、空間方向に離散的にサンプリングされた移動被写体を追従視する際に、表示画素数以上の解像度を知覚するという視覚的効果が発生し、観測者は、ほとんど画質の劣化を感ずることがない。すなわち、ブロックが十分な高速で移動しており、かつ動画像のフレームレートが十分大きければ、画質の劣化を人間が知覚することはできない。
【０１０７】
ブロック処理部ｂ１３２は入力されたブロックのフレーム数の間引き処理、すなわち時間方向の間引き処理を実行する。入力されるブロックはＮフレーム画像中の同一位置ブロックＮ個である。本実施例では、あるブロックの水平方向、垂直方向の移動量がともに１ピクセル未満であった場合、入力された４個のブロックの全画素値を４個のブロックのうちいずれかのブロックの値にする。この処理は、先に図４を参照して説明した処理に相当する。
【０１０８】
ブロック処理部ｃ１３３は入力されたブロックの画素数とフレーム数の間引きを実行する。すなわち空間間引き処理と、時間方向の間引き処理との両者を実行する。基本的な動作はブロック処理部ａ１３１の空間間引き処理と、ブロック処理部ｂ１３２の時間方向間引き処理とを組み合わせた処理を実行する。
【０１０９】
ブロック処理部ｃ１３３は、画素数の間引き量とフレーム数の間引き量が、ブロック処理部ａ１３１の空間間引き処理と、ブロック処理部ｂ１３２の時間方向間引き処理とは異なる。まず空間間引きとしての画素数の間引き量に関しては、ブロック処理部ａ１３１のように４ピクセル単位で行うのではなく２ピクセル単位で行われる。つまりブロック処理部ａ１３１においては１ｘ４、４ｘ１、２ｘ２の３通りの間引き方法が存在したが、ブロック処理部ｃ１３３の実行する空間間引き処理は、１ｘ２および２ｘ１の２通りのみが存在する。すなわち、水平方向の移動量が１〜２ピクセルである場合、ブロック内の画素を１ｘ２ピクセル単位の集合に分け、各集合の画素値を各集合に含まれる２つの画素の内いずれかの値にすることで画素数の間引きを実現している。また、垂直方向の移動量が１〜２ピクセルであるときにはブロック内の画素を２ｘ１ピクセル単位の集合に分け、各集合の画素値を各集合に含まれる２つの画素の内いずれかの値にする。この処理は、先に、図５を参照して説明した処理に相当する。
【０１１０】
また、ブロック処理部ｃ１３３は、時間方向の間引き処理、すなわち、フレーム数の間引きも実行するが、ブロック処理部ｂ１３２のように４フレーム単位で行うのではなく２フレーム単位で行うということに違いがある。この処理は、先に図６を参照して説明した処理に相当する。
【０１１１】
ブロック処理部１３１〜１３３において間引き処理が施されデータ量が削減されたブロックは、パック処理部１４１〜１４３に送られる。パック処理部では各間引き処理に合せて、ブロックをＭフレームごとにまとめ、フレームレートをＲ／Ｍに変換し出力部１５０へブロックを出力する。なお、入力した動画像のオリジナルフレームレートをＲ、パック処理部においてまとめるフレーム数をＭとする。
【０１１２】
続いて、パック処理部１４０の実行する処理について説明する。なお、本実施例では、パック処理部においてまとめるフレーム数：Ｍを、Ｍ＝４とし、フレームレートを１／４にする場合について説明する。
【０１１３】
パック処理部ａ１４１、パック処理部ｂ１４２、パック処理部ｃ１４３はそれぞれ異なる動作をおこなう。まず第１のパック処理部ａ１４１の処理について図９を用いて説明する。
【０１１４】
パック処理部ａ１４１の入力はブロック処理部ａ１３１の出力である。ブロック処理部ａ１３１の出力は画素の空間間引き処理を施された連続する４フレームそれぞれから得られた４つのブロックである。すなわち、図３を参照して説明した態様での空間間引きが実行された４つのブロックである。
【０１１５】
これらのブロックは図９においてブロック２２１〜２２４として表記している。これらブロック内部の１ｘ４画素、例えば図９における画素２３１〜２３４では、ブロック処理部ａ１３１による空間間引きがなされ、全て同じ値に変換されている。具体的には、ブロック２４１の１ｘ４画素の画素値は全てｐ１であり、他のブロック２４２〜２４４に関しても同様である。第１のパック処理部ａ１４１は、これら４つの画素値ｐ１〜ｐ４によって一つの１ｘ４画素の領域を構成することでフレーム数を１／４にする処理を行う。
【０１１６】
すなわち、図９におけるブロック２２５はパック処理部ａ１４１の出力であり、ある１ｘ４画素からなる画素領域２３５の画素値はｐ１からｐ４によって構成される。以上はブロック処理装置が水平方向の間引き処理、つまり、１ｘ４画素に対する間引き処理を行った場合であり、４ｘ１画素、２ｘ２画素の場合においても同様のパック処理がパック処理部ａ１４１によって行われる。
【０１１７】
次に、第２のパック処理部ｂ１４２の処理について説明する。パック処理部ｂ１４２への入力はパック処理部ａ１４１と同様に連続する４フレームから得られる４つのブロックであるが、パック処理部ａ１４１と異なり、これらのブロックは、時間方向の間引きがなされたフレーム対応のブロック（図４参照）であり、選択された代表画素値は、フレーム共通であり、完全に同一な画素値を持つブロックとなる。従って、４つのブロックのうち適当な１つのブロックをパック処理部ｂ１４２の出力とするパック処理を実行する。
【０１１８】
続いて、第３のパック処理部ｃ１４３の処理について、図１０を参照して説明する。パック処理部ｃ１４３への入力は他のパック処理装置と同様に連続する４フレームから得られる４つのブロックである。これらは、空間間引きと時間間引きの施されたブロックである。図１０に示すように、これらのブロックのうち１番目と２番目のフレームから得られるブロック、すなわち、ブロック２４１とブロック２４２は同一の画素値（Ｐ１）２５１、２５２をもつ。また３番目と４番目のフレームから得られるブロック、すなわち、ブロック２４３とブロック２４４も同一の画素値（Ｐ３）２５３、２５４をもつ。
【０１１９】
パック処理部ｃ１４３は、２番目のフレーム対応のブロック２４２と、３番目のフレームから得られるブロック２４３の２つのブロックを用いて、パック処理を実行する。図９を参照して説明したパック処理部ａ１４１は、４画素単位での処理を実行したが、パック処理部ｃ１４３は、２画素単位の処理となる。すなわち、図１０の画素２５１〜２５４に示すように、隣接する２画素が同じ値となっており、これらの画素を画素２５５のように並べて出力ブロック２４５を構成することでフレームレートを１／４にすることができる。なお、図１０では１ｘ２画素単位での間引き処理について示したが、２ｘ１画素単位で処理を行う場合も同様である。
【０１２０】
なお、図９に示す例においては画素値ｐ１〜ｐ４を左から順に並べることで画素領域２３５を構成し、図１０に示す例においては、図１０の出力ブロック２４５の画素２５５ではｐ２を左にｐ３を右に配置する設定としたが、画素値を並べる順序については、様々な手法が適用でき、上記パックアルゴリズムと、復号側において実行するアンパック処理のアルゴリズムが整合していればよい。また、パックアルゴリズムについては、特開２００５−１９８２６８号に開示した処理や、特願２００５−１４３９２４で開示した処理の適用が可能である。パック処理の詳細については後述する。
【０１２１】
次に、本実施形態における出力部１５０の構成について図１１を参照して説明する。図１１は本実施形態における出力部１５０の構成および、出力部１５０に対する入力、出力部１５０からの出力構成を示すブロック図である。
【０１２２】
動画像データは、ブロック処理部１３０で、処理対象ブロックに基づいて検出された各移動量に応じて、空間方向間引き、時間方向間引き、空間および時間方向間引きのいずれかの異なる態様で間引き処理がなされた後、パック処理部１４１〜１４３においてパック処理がなされ、出力部１５０内のブロック合成部１５１に入力され、フレームレートがＲ／Ｍであるフレーム画像へ合成される。なお、入力した動画像のオリジナルフレームレートがＲ、パック処理部においてまとめるフレーム数がＭである。
【０１２３】
ブロック合成部１５１において、合成された画像はブロック毎に異なる圧縮処理としての間引き処理が行われ、かつ、フレームレートがＲ／Ｍになった画像フレームデータであり、この画像フレームデータは、フレーム合成部１５３に出力され、フレーム合成部１５３において、入力画像であるオリジナルフレームと合成され、この合成フレームデータが画像符号化部１７０に送られ符号化される。動画像符号化部１７０の実行する符号化処理は、ＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等の一般的な符号化手法による符号化である。
【０１２４】
ブロック合成部１５１の役割は、パック処理部１４１〜１４３によって処理されたブロックデータを、画像符号化部１７０による符号化処理を実行可能な動画像として合成することにある。本実施例では、ブロック処理部１３１〜１３３においてデータを１／４に削減しているので、処理されたブロックを元のフレームレートの１／４にフレームレートのフレームに再構成し６０ｆｐｓの動画像として符号化を行う。ただし、これらのフレームレート値とデータの削減割合は、本実施例のための一例に過ぎず、実際はどのようなフレームレートであっても良い。
【０１２５】
移動量検出部１２０のブロック分配部１２２から出力されたブロック分配条件、例えばブロック分配フラグである出力２０１と、移動量検出部１２１の検出した移動量情報である出力２０２は、出力部１５０のサイド情報合成部１５２に入力される。サイド情報合成部１５２は、これらのブロック分配フラグ、移動量情報を含むデータを、サイド情報符号化部１８０において符号化可能なデータ構成に合成する処理を実行する。
【０１２６】
本実施例では、各ブロックがブロック処理部１３１〜１３３のどの間引き処理が実行されたかを示すブロック分配フラグと、そのブロックの動きベクトルの方向と、動きベクトルの速度を複数の範囲に分割してどの範囲の速度であるかを示す動きベクトル速度フラグ、さらに、画像符号化部１７０における符号化態様情報など、復号側での復号時に必要な情報を含めてサイド情報として符号化する。なお、符号化されるサイド情報は本実施例のための一例に過ぎず、復号側で復号時に必要な情報が含まれていればどのような情報を符号化してもよい。
【０１２７】
フレーム合成部１５３では、ブロック合成部１５１から供給されるフレームデータ、すなわち、ブロック毎に異なる圧縮処理としての間引き処理が行われ、かつ、フレームレートがＲ／Ｍになった画像フレームデータと、入力された動画像を構成するオリジナルフレーム、すなわち図７におけるブロック分割部１１０に入力された入力動画像を構成するオリジナルフレームとを、時系列順に整列させてから動画像を構成する連続するフレームとして画像符号化部１７０へ出力する。
【０１２８】
画像符号化部１７０では、入力されたフレームを一般的な符号化手法、例えばＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等により画像を符号化し復号側へ伝送する。サイド情報符号化部１８０では、入力されたフレームを一般的な符号化手法、例えば、ＬＺＨ、Ｚｉｐ等により符号化し復号側へ伝送する。ただし、サイド情報に関しては、Ｌｏｓｓｙな符号化を行ってもかまわないが、Ｌｏｓｓ Ｌｅｓｓ符号化を行うことが望ましい。なお、符号化されるサイド情報は、符号化された画像情報に埋め込んでもよいし、画像情報とは別に復号側へ伝送してもよい。
【０１２９】
［フレーム合成部の処理の詳細］
次に、図１１に示す出力部１５０のフレーム合成部１５３における処理の詳細について説明する。前述したように、フレーム合成部１５３では、ブロック合成部１５１から供給されるフレームデータ、すなわち、ブロック毎に異なる圧縮処理としての間引き処理が行われ、かつ、フレームレートがＲ／Ｍになった画像フレームデータと、入力された動画像を構成するオリジナルフレーム、すなわち図７におけるブロック分割部１１０に入力された入力動画像を構成するオリジナルフレームとを、時系列順に整列させてから動画像を構成する連続するフレームとして画像符号化部１７０へ出力する。
【０１３０】
フレーム合成部において実行するフレーム合成処理について、図１２を参照して説明する。図１２には、フレーム合成部１５３に入力されるオリジナルフレーム２７１〜２７４と、ブロック合成部１５１から入力される間引きパック処理後の圧縮フレーム２７５を示している。
【０１３１】
ブロック合成部１５１からフレーム合成部１５３に入力される圧縮フレーム２７５は、オリジナルフレーム２７１〜２７４に対する移動量に応じた間引き処理とパック処理によって、フレームレートがＲ／Ｍになっている。図１２に示す例では、フレームレートを１／４として間引きおよびパック処理を行なった例を示している。元の動画データを構成するオリジナルフレーム２７１〜２７４の各ブロックのデータが移動量に基づく間引きおよびパック処理によって変換された後、ブロック合成部１５１におけるブロック集積処理によって１枚の圧縮フレーム２７５にまとめられる。
【０１３２】
圧縮フレーム２７５は、オリジナルフレーム２７１〜２７４に基づいて生成された圧縮フレームデータである。フレーム合成部１５３では、オリジナルフレーム２７１〜２７４と、フレーム合成部１５３から圧縮フレーム２７５を入力して、圧縮フレーム２７５と、オリジナルフレーム２７１〜２７４から選択したフレームを時系列に配列した合成フレームを生成して画像符号化部１７０に出力する。ただし、合成結果のフレーム数は入力されたフレームを超えない設定とすることが好ましい。
【０１３３】
フレーム合成部１５３から画像符号化部１７０に出力する具体的な出力データの例を図１３、図１４に示す。ブロック合成部１５１から供給される圧縮フレーム２７５は、オリジナルフレーム２７１〜２７４に基づいて生成された圧縮フレームであり、時系列的に配列する場合、オリジナルフレーム２７１〜２７４のどの位置としてもよい。
【０１３４】
例えば、図１３（Ｃ１）に示すように、ブロック合成部１５１から供給される圧縮フレーム２７５の位置を、オリジナルフレーム２７１〜２７４の先頭フレーム（時間軸上で一番古いフレーム）として設定し、オリジナルフレーム２７１を圧縮フレーム２７５に置きかえて、［圧縮フレーム２７５、オリジナルフレーム２７２〜２７４］、これらの４フレームを時系列順のフレームとした合成フレームを設定して、画像符号化部１７０に出力する例である。画像符号化部１７０は、このフレーム列に基づいて、例えばＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等により画像を符号化し復号側へ伝送する。
【０１３５】
また、図１３（Ｃ２）に示すように、ブロック合成部１５１から供給される圧縮フレーム２７５の位置を、オリジナルフレーム２７１〜２７４の最後のフレーム（時間軸上で一番新しいフレーム）として設定し、オリジナルフレーム２７４を圧縮フレーム２７５に置きかえて、［オリジナルフレーム２７１〜２７３、圧縮フレーム２７５］、これらの４フレームを時系列順の合成フレームとして設定して、画像符号化部１７０に出力する構成としてもよい。
【０１３６】
さらに、図１４（Ｃ３）に示すように、オリジナルフレーム２７１〜２７４から１つのみ、オリジナルフレーム２７３を選択し、ブロック合成部１５１から供給される圧縮フレーム２７５の後にオリジナルフレーム２７３を配置して、これを合成フレームとして画像符号化部１７０に出力する構成としてもよい。
【０１３７】
さらに、図１４（Ｃ４）に示すように、オリジナルフレーム２７１〜２７４から１つのみ、オリジナルフレーム２７２を選択し、ブロック合成部１５１から供給される圧縮フレーム２７５の前にオリジナルフレーム２７２を配置して、これを合成フレームとして画像符号化部１７０に出力する構成としてもよい。
【０１３８】
このように、フレーム合成部１５３では、ブロック合成部１５１から供給される圧縮フレーム２７５と、その圧縮フレーム２７５の生成元となったオリジナルフレーム中、少なくとも１つのオリジナルフレームを時系列に並べたフレームとして配置した合成フレームを生成する処理を実行して、この時系列順の合成フレームデータを、画像符号化部１７０に出力する。画像符号化部１７０は、この時系列合成フレームデータに基づいて、例えばＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等により画像を符号化し復号側へ伝送する。
【０１３９】
復号側では、画像符号化部１７０において符号化されたデータを受信して、復号処理を行なうことになる。具体的な復号側の処理については、後述するが、復号側では、必要に応じて時系列合成フレームデータに含まれるオリジナルフレームデータを利用した復号処理を行なうことが可能となる。
【０１４０】
復号側の処理の手順は、例えばＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等の一般的な復号処理を行なって時系列合成フレームデータを取得して、この時系列合成フレームデータに含まれる圧縮フレームに基づくアンパック処理、すなわち、間引き処理の逆処理としてのデータ復元処理を実行することになる。このアンパック処理では、圧縮処理を実行した装置側の処理態様（空間方向間引き、時間方向間引き、空間および時間方向間引き）に応じたアンパック処理によるデータ復元が実行される。ただし、このデータ復元処理に際して、間引き処理を実行したブロック、例えば複数の異なる移動オブジェクトの混在するブロックにおいては、復元処理によって得られる画像に基づく超解像効果が表れず、不自然な画像になってしまうという問題がある。このような問題のあるブロックについては、時系列合成フレームデータに含まれるオリジナルフレームデータを利用してブロックの補正処理を実行してブロックの復元を行なう。
【０１４１】
このように、データ復号を実行する装置では、オリジナルフレームのデータを利用した復号処理が可能となり、各ブロック対応の１つの移動量に基づく圧縮ブロックデータに基づく復元の際に生じる超解像効果が表れず、不自然な画像になってしまうという問題を改善したデータ復元を行なうことが可能となる。なお、データ復号側の装置である動画像復元装置の処理構成については、後段で詳細に説明する。
【０１４２】
なお、図１１に示す画像符号化部１７０は、データ圧縮処理に際して、フレーム合成部１５３から入力する時系列合成フレームデータを、そのまま、通常の動画データと同様、例えばＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等により符号化する処理を行なってもよいが、フレーム合成部１５３から入力する時系列合成フレームデータを、ブロック合成部１５１から供給された圧縮フレームと、オリジナルフレームとを判別して、これらを階層に分け、階層符号化を行なう構成としてもよい。
【０１４３】
例えば、画像符号化部１７０は、圧縮フレームのみを構成要素とする基本階層と、前記圧縮フレームとオリジナルフレームを構成要素とする階層を設定し、圧縮フレームのみを適用した符号化データと、圧縮フレームとオリジナルフレームを適用した符号化データを生成する。画像符号化部１７０は、これらのデータの全て、あるいは特定の階層の符号化データを出力する構成としてもよい。
【０１４４】
例えば、出力先としての復号側における復号処理能力や要求、あるいは出力ネットワークの状況に応じて、出力する符号化データを適宜、変更することで、ネットワークや出力先とし手の復号側の装置に適応した処理が可能となる。いわゆるスケーラブル符号化を行なうことが可能となる。
【０１４５】
例えば、復号処理を実行する受信側で、データ受信と、復号処理と、再生処理とを並列に実行するストリーミング受信を行なう場合などに、ネットワーク状況や、復号側での処理能力に応じて受信データを変更することで、安定したストリーミング再生が可能となる。例えば、画像符号化部１７０は、フレーム合成処理部１５３によって生成された合成フレーム中に含まれる圧縮フレームと、オリジナルフレームとを区別した階層符号化処理によりストリーミング配信データを生成して出力する。このような階層化データの生成により、安定したストリーミング配信を行なうことが可能となる。
【０１４６】
なお、画像符号化部１７０においてどのような符号化処理を実行したかを示す情報については、画像符号化部１７０において生成する属性情報に含めるか、あるいは、サイド情報に含め、サイド情報符号化部１８０の生成する符号化データとして、動画像復元装置に提供する。
【０１４７】
以上のように、本実施例では、パックブロックを含むフレームと元の動画像データを構成するフレームとを合成する処理を行なうことにより、動画像のシーンによって、まれに超解像効果が表れず、不自然な画像になってしまうという問題を改善することが可能となり、後段の一般的な符号化手法（ＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等）により画像を符号化した際により高画質の符号化データを生成することができる。
【０１４８】
［パック処理の詳細］
続いて、本実施例における動画像変換装置におけるパック処理部１４０の詳細について説明する。なお、本実施例では、パック処理部においてまとめるフレーム数Ｍを、Ｍ＝４とし、フレームレートを１／４にする処理例について説明する。
【０１４９】
前述の通り、パック処理部１４０はブロック処理部１３０において間引かれたブロックを入力し、ブロックをＭフレームごとにまとめ、フレームレートをＲ／Ｍに変換する。ここで、図１５に示す画像を処理対象とする入力画像として、間引き処理およびパック処理を実行した場合について説明する。図１５に示す入力画像はある１つのフレームの４ブロックの画像を示している。１つのブロックは４×４ピクセルである。
【０１５０】
この画像に表示される被写体が左方向へ２ピクセル／フレームの速度で移動している場合、横方向の２ブロック（４×８ピクセル分）について、前述のパック処理に基づいて処理を行った場合について考察する。
【０１５１】
空間間引き処理対象の２ブロックを図１６に示す。ここで、フレーム１〜４のブロックの画像データは、各フレーム間で、２ピクセルずつ左に移動する移動被写体をデータとして持つ動画像データである。すなわち、画像が２ピクセル／フレームで左に動く画像データである。これらのブロックはブロック処理部１３１において空間方向間引き処理が実行される。
【０１５２】
ブロック処理部１３１において空間方向間引き処理が実行された結果が、図１７に示すデータであり、各ブロックの画素データは、代表画素（標本点）によって、横方向のデータ量が１／４に削減される。間引かれた画素は前述のパック処理によってフレームレートがＲ／Ｍに変換される。
【０１５３】
パック処理部によるパック処理結果のデータを図１８に示す。図１８は、Ｍ＝４としフレームレートを１／４にする場合の例であるため、４フレーム分の２ブロック（４×８ピクセル分）が図１８に示す１フレーム分の２ブロック（４×８ピクセル分）になっている。
【０１５４】
ここで、図１５の元画像と図１８のパック処理結果を比べてみる。すると、図１８のパック処理結果としてのブロックＡとブロックＢの境界のピクセル、すなわち、ブロックＡ側の画素Ｐ７０〜Ｐ７３からなる画素データ列３０２と、ブロックＢ側のＰ５０〜Ｐ５３からなる画素データ列３０１が、図１５に示す元画像の横方向の順序と入れ替わってしまっていることがわかる。
【０１５５】
図１５に示す元画像では、画素データ列３０１は、画素データ列３０２の左側に位置するが、間引き処理とパック処理を行なった結果データである図１８に示すデータでは、画素データ列３０１は、画素データ列３０２の右側に位置する構成となっており、これらの画素データ列の位置が入れ替わってしまっている。
【０１５６】
先に、図１１を参照して説明した本実施例の動画像変換装置の構成では、パック処理部１４０においてパックされた画像は一般的な符号化手法（ＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等）により符号化処理が実行される。このような一般的な符号化処理では、近接する画素の画素値の変化が少ない滑らかな画像データほど圧縮率が高まり、近接する画素の画素値の変化が大きい画像データでは、圧縮率が低下するという一般的な性質を持つ。従って、この図１８に示すパック処理結果画像のように、元画像の画素順を変化させてしまった画像では、画素値の不自然な変化が発生することになり、一般的な符号化手法（ＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等）を適用した場合に、圧縮率を低下させる原因となる。
【０１５７】
本発明の動画像変換装置では、このように圧縮率に悪影響を及ぼすことのない処理を実現する。
【０１５８】
まず、間引き処理とパック処理によって生成されたパック後のパックブロックにおける画素列の入れ替えの発生状況について解析する。図１８に示すパック後のパックブロック中の各画素列が図１５に示す元画像のどの画素列にあたるのかを算出する。元画像の移動速度をｖピクセル／フレームとした時、間引き処理とパック処理によって生成されたパック後のパックブロックに設定される各画素列の元画像における相対画素位置ｘを算出する。
【０１５９】
ｖ：処理対象画像の移動速度，ｖ＝ピクセル／フレーム
ｍ：処理対象となった元画像のフレーム番号，ｍ＝０，１，２，・・
ｎ：パックブロックのブロック番号（０，１，２・・）
ｍは、時間的に先行するものから０，１，２・・のフレーム番号を設定し、ｎは、移動方向に沿って、０，１，２，のブロック番号を付与する。なお、１つのパックブロックは、１つの間引き処理およびパック処理単位の画素データによって構成されるブロックである。
このようなパラメータを設定したとき、間引き処理とパック処理によって生成されたパック後のパックブロックに設定される各画素列の元画像における相対画素位置ｘは、次式（数式１）によって算出される値となる。
ｘ＝ｍ×ｖ＋４×ｎ・・・（数式１）
【０１６０】
図１９を参照して、上記数式１を用いた相対画素位置ｘの具体的な算出処理例について説明する。図１９（ａ）は、図１５に示すと同様の間引き、パック処理前の１つのフレームにおける元画像データである。この画像データは、図１５〜図１８を参照して説明した処理によって生成したパックブロックが図１９（ｂ）に示すブロックであり、図１９（ｂ）は図１８に示すと同様のパックブロックである。
【０１６１】
図１９（ａ）に示す元画像データは、図１６を参照して説明したように、２ピクセル／フレームの移動速度で水平方向に移動している。すなわち、
ｖ＝２
である。
【０１６２】
パックブロックは２つのブロックからなる。すなわち、
パックブロック番号ｎ＝０、
パックブロック番号ｎ＝１
である。
【０１６３】
また、パックブロックに格納される処理フレームは、図１６、図１７を参照して説明したようにフレーム１〜４の各フレームの代表画素（標本点）である。ここで、
フレーム１：フレーム番号ｍ＝０
フレーム２：フレーム番号ｍ＝１
フレーム３：フレーム番号ｍ＝２
フレーム４：フレーム番号ｍ＝３
とする。
【０１６４】
図１９（ｂ）に示すパックブロックｎ＝０と、パックブロックｎ＝１には、それぞれフレーム番号ｍ＝０〜４の画素データが格納されている。すなわち、パックブロックの左から、各画素列に対応するパックブロックｎと、フレーム番号ｍの値は、
（１）パックブロックｎ＝０、フレームｍ＝０
（２）パックブロックｎ＝０、フレームｍ＝１
（３）パックブロックｎ＝０、フレームｍ＝２
（４）パックブロックｎ＝０、フレームｍ＝３
（５）パックブロックｎ＝１、フレームｍ＝０
（６）パックブロックｎ＝１、フレームｍ＝１
（７）パックブロックｎ＝１、フレームｍ＝２
（８）パックブロックｎ＝１、フレームｍ＝３
となる。
【０１６５】
これらの８つの画素列の各々について、図１９（ａ）に示す元画像データのどの位置にあったかを示す相対画素位置ｘを上記式（数式１）を用いて算出した結果を図２０に示す。なお、移動速度ｖ＝２ピクセル／フレームとした。
（１）ｎ＝０，ｍ＝０：ｘ＝０×２＋４×０＝０
（２）ｎ＝０，ｍ＝１：ｘ＝１×２＋４×０＝２
（３）ｎ＝０，ｍ＝２：ｘ＝２×２＋４×０＝４
（４）ｎ＝０，ｍ＝３：ｘ＝３×２＋４×０＝６
（５）ｎ＝１，ｍ＝０：ｘ＝０×２＋４×１＝４
（６）ｎ＝１，ｍ＝１：ｘ＝１×２＋４×１＝６
（７）ｎ＝１，ｍ＝２：ｘ＝２×２＋４×１＝８
（８）ｎ＝１，ｍ＝３：ｘ＝３×２＋４×１＝１０
となる。これらの対応を示すと、図１９の点線矢印で示す対応となる。
【０１６６】
パックフレーム数４として、パックブロックを２とした場合の、移動速度ｖと相対画素位置ｘとの対応関係を示すグラフを図２１に示す。図２１において、実線が第１フレーム（ｍ＝０）の各パックブロック（ｎ＝０，１）における代表画素（標本点）、点線が第２フレーム（ｍ＝１）の各パックブロック（ｎ＝０，１）における代表画素（標本点）、破線が第３フレーム（ｍ＝２）の各パックブロック（ｎ＝０，１）における代表画素（標本点）、一点鎖線が第４フレーム（ｍ＝３）の各パックブロック（ｎ＝０，１）における代表画素（標本点）についての移動速度ｖと相対画素位置ｘとの対応関係を示している。
【０１６７】
パックされた１つのブロックには４フレーム（ｍ＝０〜３）の代表画素が含まれているため、元画像の移動速度が上がるにつれて１つのブロック内のパックされた画素間の元画像上での距離が離れていくことがグラフから読み取れる。
【０１６８】
また、パックされた１つのブロックにはかならず第一フレームの画素が含まれており、ゆえに、元画像の移動速度に依存せずに、その画素は隣のパックされた１つのブロックの第一フレーム画素とＭ＝４の場合４ピクセル離れていることがグラフから読み取れる。
【０１６９】
図２１のグラフ上に示すＡ〜Ｅは、各ラインが交差するポイントを示している。この交差ポイントより上において、元画像の画素列と、パックブロックの画素列が入れ替わる。例えばポイントＡは、移動速度ｖ＝２において示されるポイントであるが、
移動速度ｖ＜２では、
ｎ＝１，ｍ＝０の画素列は、ｎ＝０，ｍ＝２の画素列より右側に位置しているが、
移動速度ｖ≧２では、
ｎ＝１，ｍ＝０の画素列は、ｎ＝０，ｍ＝２の画素列より左側に位置することになる。
すなわち、この移動速度ｖ＝２以上で、画素列の入れ替わりが発生してしまうことになる。
他のポイントＢ〜Ｅも同様の現象が発生するポイントを示している。
【０１７０】
グラフからも読み取れるように、間引き処理およびパック処理を実行する元画像の移動速度が上がるにつれて、パックブロック内の画素列と、元画像の画素列位置の入れ替わりがより多く発生することが読み取れる。
【０１７１】
そこで、本発明に従った動画像変換装置では、例えば図１０を参照して説明したようなパック処理によって生成したパックブロックについて、パックブロックの構成画素の画素位置を検証する。すなわち、パックブロック構成画素の画素位置と元画像の画素位置との入れ替わりの発生の有無を検証し、入れ替わっている画素が存在する場合には、パックブロックの画素位置を元画像の画素位置に対応するように変更する補正処理（ソート処理）を実行する構成とした。この補正処理後のパックブロックをＭＰＥＧ等の符号化手段に出力して符号化する構成とすることで、圧縮効率の高い圧縮データの生成が可能となる。すなわち、パックブロックの画素位置変化を補正し、パック処理後の画素順を元画像に近づけたパック処理を行う構成とした。
【０１７２】
本実施形態における動画像変換装置のパック処理部１４０、すなわちソート処理を実行するパック処理部の詳細構成について、以下、説明する。なお、パックブロックにおける画素位置が元画像の画素位置と入れ替わる場合は、間引き処理として空間方向間引き処理を実行している場合のみである。すなわち時間方向間引き処理を実行してパック処理を行なう場合は、間引き処理単位とする複数フレームから１つのフレームのみの構成画素を適用してパックブロックを生成するので画素データの入れ替われは発生しない。
【０１７３】
すなわち、図８に示す空間方向間引き処理を実行するブロック処理部ａ１３１の間引き処理データについてのパック処理を実行するパック処理部ａ１４１と、空間方向および時間方向間引き処理を実行するブロック処理部１３３の間引き処理データについてのパック処理を実行するパック処理部ｃ１４３において、パックブロックにおける画素位置が元画像の画素位置と入れ替わる可能性があり、これらの２つのパック処理部において、必要に応じてパックブロックのソート処理を行なう。以下、パック処理部ａ１４１とパック処理部ｃ１４３の構成及び処理について、順次、説明する。
【０１７４】
［画素ソーティングを適用したパック処理］
まず、空間方向間引き処理を実行するブロック処理部ａ１３１の間引き処理データについてのパック処理を実行するパック処理部ａ１４１の構成及び処理について、図２２を参照して説明する。
【０１７５】
図２２は、空間方向間引き処理を実行するブロック処理部ａ１３１の間引き処理データについてのパック処理を実行するパック処理部ａ１４１の構成の詳細を示すブロック図である。
【０１７６】
パック処理部ａ１４１のブロック分配部３５１には、ブロック処理部ａ１３１の間引き処理データ、すなわち、空間方向間引き処理を実行されたブロックデータが入力され、さらに、図８に示す移動量検出部１２１の検出情報としてのブロック対応の移動量を示す動きベクトル情報が入力される。
【０１７７】
ブロック分配部３５１に入力された空間方向間引き後のブロックは動きベクトルと共に、ブロック分配部３５１内の図示されないブロック・動きベクトル保存部に蓄えられる。ブロック分配部３５１はブロック・動きベクトル保存部に蓄えられたブロックのうち、左右方向に動いているブロックは水平方向１／４間引き連続ブロック抽出部３５２へ、上下方向に動いているブロックは垂直方向１／４間引き連続ブロック抽出部３５３へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルも、各ブロックに対応する属性情報としてペアで出力される。
【０１７８】
水平方向１／４間引き連続ブロック抽出部３５２は、水平方向に２ブロック以上連続しているブロックを検出し、２ブロック以上連続しているブロックをブロック内画素ソーティングパック処理部３５４へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルも、各ブロックに対応する属性情報としてペアで出力される。ブロック内画素ソーティングパック処理部３５４においては、画素列のソート処理が実行される。なお、ここで処理対象となるブロックは、間引き処理のなされたブロックの組であり、この例の場合は、ブロック分配部３５１において水平方向の移動量を持つブロックを対象として空間方向間引きのなされたブロックが水平方向に２つ以上連続しているもののみが対象となる。
【０１７９】
本実施例では、画像が２ピクセル／フレーム以上で移動しているブロックが、ブロック処理部１３１において空間方向間引き処理の対象として選択されるブロックである。このような空間間引き処理対象ブロックであり、かつ移動方向が水平方向である連続ブロックが、ブロック内画素ソーティングパック処理部３５４において処理されるブロックとなる。例えば、図２３に示すように、間引き処理単位が４フレーム単位である場合、フレーム１〜３において、ブロックｋが２ピクセル／フレーム以上の水平方向の移動量を持つブロックとして、ブロック分配部３５１において空間間引き処理が実行され、ブロックｋに水平方向に隣接するブロックｋ＋１も２ピクセル／フレーム以上の水平方向の移動量を持つブロックとして、ブロック分配部３５１において空間間引き処理が実行された場合、これらのブロックｋ，ｋ＋１についての間引き処理結果が、ブロック内画素ソーティングパック処理部３５４へ入力される。これは、先に図１７を参照して説明した各フレーム毎の間引き処理のなされた結果が、ブロック内画素ソーティングパック処理部３５４へ入力されることに相当する。
【０１８０】
また、垂直方向１／４間引き連続ブロック抽出部３５３は、垂直方向に２ブロック以上連続しているブロックを検出し、２ブロック以上連続しているブロックをブロック内画素ソーティングパック処理部３５５へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルも、各ブロックに対応する属性情報としてペアで出力される。ブロック内画素ソーティングパック処理部３５５においては、画素列のソート処理が実行される。なお、ここで処理対象となるブロックは、間引き処理のなされたブロックの組であり、この例の場合は、ブロック分配部３５１において垂直方向の移動量を持つブロックを対象として空間方向間引きのなされたブロックが垂直方向に２つ以上連続しているもののみが対象となる。
【０１８１】
本実施例では、画像が２ピクセル／フレーム以上で移動しているブロックが、ブロック処理部１３１において空間方向間引き処理の対象として選択されるブロックである。このような空間間引き処理対象ブロックであり、かつ移動方向が垂直方向である連続ブロックが、ブロック内画素ソーティングパック処理部３５５において処理されるブロックとなる。例えば、図２４に示すように、間引き処理単位が４フレーム単位である場合、フレーム１〜３において、ブロックｋが２ピクセル／フレーム以上で垂直方向に移動量を持つブロックとして、ブロック分配部３５１において空間間引き処理が実行され、ブロックｋに垂直方向に隣接するブロックｒも２ピクセル／フレーム以上で垂直方向に移動しているブロックとして、ブロック分配部３５１において空間間引き処理が実行された場合、これらのブロックｋ，ｒについての間引き処理結果が、ブロック内画素ソーティングパック処理部３５５へ入力される。
【０１８２】
図２３や、図２４に示す連続ブロック以外のブロックについては、ソート処理対象ブロックとせず、パック処理部３５６に入力され、ソート処理を伴わないパック処理が実行されることになる。パック処理部３５６は入力されたブロックを、先に、図９を参照して説明したように、間引き結果画素データとしての代表画素を集積するパック処理を実行してパックブロックを生成し、出力部１５０のブロック合成部１５１へ出力する。
【０１８３】
水平方向の連続ブロックについてのソートおよびパック処理を実行するブロック内画素ソーティングパック処理部３５４は入力されたブロックから生成されるパックブロックに含まれる画素位置変化を補正するソート処理を含むパック処理を実行してパックブロックの生成処理を行い、ブロック合成部１５１へ出力する。ブロック内画素ソーティングパック処理部３５４の構成および処理について図２５に示す。
【０１８４】
図２５に示すブロック内画素ソーティングパック処理部３５４は、入力された、連続している間引かれたブロックをブロック保存部３６１に一旦保存する。ブロック内画素相対位置算出処理部３６２は、ペアで入力されたブロックの動きベクトルを適用して、前述の数式１、すなわち、
ｖ：処理対象画像の移動速度，ｖ＝ピクセル／フレーム
ｍ：処理対象となった元画像のフレーム番号，ｍ＝０，１，２，・・
ｎ：パックブロックのブロック番号（０，１，２・・）
としたとき、パックブロックに設定される各画素列の元画像における相対画素位置ｘを、
ｘ＝ｍ×ｖ＋４×ｎ
として求める数式１に基づいて、先頭のパックされたブロックからの元画像上での相対画素位置ｘを算出し、算出した値、相対画素位置ｘを、ブロック内画素相対位置保存部３６４に一旦保存する。
【０１８５】
前述の図１７で示した間引きブロックを処理対象としたときの、パックブロックに含められる各フレームの代表画素の相対画素位置ｘの値の算出例について、図２６に示す。間引き処理およびパック処理単位の連続フレーム１〜４の、水平方向に連続している間引かれたブロックに対して、ブロック内画素相対位置算出処理部３６２は前述の数式１（ｘ＝ｍ×ｖ＋４×ｎ）を用いて、各フレームの代表画素列についての相対画素位置ｘを計算する。
【０１８６】
例えば、フレーム１についての各代表画素列の相対画素位置ｘの値は、
（１ａ）ｎ＝０，ｍ＝０：ｘ＝０×２＋４×０＝０
（１ｂ）ｎ＝１，ｍ＝０：ｘ＝０×２＋４×１＝４
となり、
また、フレーム２についての各代表画素列の相対画素位置ｘの値は、
（２ａ）ｎ＝０，ｍ＝１：ｘ＝１×２＋４×０＝２
（２ｂ）ｎ＝１，ｍ＝１：ｘ＝１×２＋４×１＝６
また、フレーム３についての各代表画素列の相対画素位置ｘの値は、
（３ａ）ｎ＝０，ｍ＝２：ｘ＝２×２＋４×０＝４
（３ｂ）ｎ＝１，ｍ＝２：ｘ＝２×２＋４×１＝８
また、フレーム４についての各代表画素列の相対画素位置ｘの値は、
（４ａ）ｎ＝０，ｍ＝３：ｘ＝３×２＋４×０＝６
（４ｂ）ｎ＝１，ｍ＝３：ｘ＝３×２＋４×１＝１０
となる。
なお、これらの相対画素位置ｘについて、元画像との対応は、先に説明した図１９の点線矢印で示す対応となる。
【０１８７】
ブロック保存部３６１に保存された連続している間引かれたブロックは、まず、パック処理部３６３において、通常のパック処理、すなわち、先に図９を参照して説明したパック処理が行われる。図２６に示す隣接する２ブロックについての間引き処理結果に対してパック処理を実行して生成した初期的なパックブロックの例を図２７（Ａ）に示す。
【０１８８】
図２７（Ａ）に示す例では、初期パックブロックに、ブロック内画素相対位置算出処理部３６２が算出した各フレームの代表画素列についての相対画素位置ｘ情報を対応付けて示している。初期パックブロックは、フレーム順に画素位置を並べたパックブロックである。なお、図２７（Ａ）に示す初期パックブロックは、先に図１９（ｂ）を参照して説明したと同様の画素配列であり、元画像（図１９（ａ）参照）と比較した場合、画素位置の入れ替えが発生している。
【０１８９】
パック処理部３６３におけるパック処理によって生成されるパックブロックは、図２７（Ａ）に示す初期パックブロックであり、この初期パックブロックはソーティング部３６５に入力される。ソーティング部３６５は、この初期パックブロックを入力するとともに、プロック内画素相対位置保存部３６４から、相対位置情報ｘを入力する。ソーティング部３６５は、相対画素位置ｘに基づいて、初期パックブロックの各画素列のソーティングを行う。すなわち図２７（Ａ）に示す初期パックブロックの各画素列に対応する相対画素位置ｘを左から昇順に並べるソート処理を実行する。
【０１９０】
このソート処理の結果、図２７（Ｂ）に示すパックブロックが生成される。このように、ソーティング部３６５は、入力された初期パックブロックの画素列に対応する相対位置情報ｘをキーとして画素列ソーティングを行う。この結果、例えば図２７に示すパックブロックの例では、４列目と５列目の画素列が入れ替わり、画素位置変化の補正が行われた図２７（Ｂ）に示すパックブロックが生成される。
【０１９１】
なお、図２７に示す処理例は、元画像が左に動いている場合の処理例であるが、相対画素位置ｘをキーとして昇順または降順にソーティングを行うことにより、元画像の動き方向は、左右いずれの方向に動いている場合でも同様の処理によって対応できる。また、垂直方向に動いているブロックを処理対象とするブロック内画素ソーティングパック処理部３５５においては、上述の左右方向を上下方向に、画素行のソーティングを垂直方向の相対位置ｙをキーとして適用したソート処理を実行することにより、同様のソート処理によって、元画像に対応した相対位置を持つパックブロックを生成することができる。
【０１９２】
続いて、空間方向間引きと時間方向間引きが行われたブロックのパック処理について説明する。所定の移動量、本実施例では、水平方向と垂直方向の移動量がともに２ピクセル未満で、かつ１ピクセル以上の場合に、ブロック処理部１３３（図８参照）において、空間方向間引きと時間方向間引きが行われる。この処理は、先に図５、図６を参照して説明した処理である。
【０１９３】
このような、空間方向間引きと時間方向間引きが行われたブロックは、図８に示すパック処理部ｃ１４３において、ソート処理を伴うパック処理が実行される。パック処理部ｃ１４３の構成、処理について、図２８を参照して説明する。
【０１９４】
図２８は、空間および時間方向間引き処理を実行するブロック処理部ｃ１３３の間引き処理データについてのパック処理を実行するパック処理部ｃ１４３の構成の詳細を示すブロック図である。
【０１９５】
パック処理部ｃ１４３のブロック分配部３７１には、ブロック処理部ｃ１３３の間引き処理データ、すなわち、空間および時間方向間引き処理を実行されたブロックデータが入力され、さらに、図８に示す移動量検出部１２１の検出情報としてのブロック対応の移動量を示す動きベクトル情報が入力される。
【０１９６】
ブロック分配部３７１に入力された空間方向間引き後のブロックは動きベクトルと共に、ブロック分配部３７１内の図示されないブロック・動きベクトル保存部に蓄えられる。ブロック分配部３７１はブロック・動きベクトル保存部に蓄えられたブロックのうち、左右方向に動いているブロックは水平方向１／２間引き連続ブロック抽出部３７２へ、上下方向に動いているブロックは垂直方向１／２間引き連続ブロック抽出部３７３へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルも、各ブロックに対応する属性情報としてペアで出力される。
【０１９７】
水平方向１／２間引き連続ブロック抽出部３７２は、水平方向に２ブロック以上連続しているブロックを検出し、２ブロック以上連続しているブロックをブロック内画素ソーティングパック処理部３７４へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルも、各ブロックに対応する属性情報としてペアで出力される。ブロック内画素ソーティングパック処理部３７４においては、画素列のソート処理が実行される。なお、ここで処理対象となるブロックは、間引き処理のなされたブロックの組であり、この例の場合は、ブロック分配部３７１において水平方向の移動量を持つブロックを対象として空間方向間引きのなされたブロックが水平方向に２つ以上連続しているもののみが対象となる。
【０１９８】
本実施例では、画像が１〜２ピクセル／フレームで移動しているブロックが、ブロック処理部１３３において間引き処理の対象として選択されるブロックである。このような間引き処理対象ブロックであり、かつ移動方向が水平方向である連続ブロックが、ブロック内画素ソーティングパック処理部３７４において処理されるブロックとなる。これは、先に図２３を参照して説明したブロックと同様である。ただし移動量が異なるものとなる。
【０１９９】
また、垂直方向１／２間引き連続ブロック抽出部３７３は、垂直方向に２ブロック以上連続しているブロックを検出し、２ブロック以上連続しているブロックをブロック内画素ソーティングパック処理部３７５へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルも、各ブロックに対応する属性情報としてペアで出力される。ブロック内画素ソーティングパック処理部３７５においては、画素列のソート処理が実行される。なお、ここで処理対象となるブロックは、間引き処理のなされたブロックの組であり、この例の場合は、ブロック分配部３７１において垂直方向の移動量を持つブロックを対象として空間方向間引きのなされたブロックが垂直方向に２つ以上連続しているもののみが対象となる。これは、先に図２４を参照して説明したブロックと同様である。ただし移動量が異なるものとなる。
【０２００】
図２３や、図２４に示す連続ブロック以外のブロックについては、ソート処理対象ブロックとせず、パック処理部３７６に入力され、ソート処理を伴わないパック処理が実行されることになる。パック処理部３７６は入力されたブロックを、先に、図１０を参照して説明したように、間引き結果画素データとしての代表画素を集積するパック処理を実行してパックブロックを生成し、出力部１５０のブロック合成部１５１へ出力する。
【０２０１】
水平方向の連続ブロックについてのソートおよびパック処理を実行するブロック内画素ソーティングパック処理部３７４は入力されたブロックから生成されるパックブロックに含まれる画素位置変化を補正するソート処理を含むパック処理を実行してパックブロックの生成処理を行い、ブロック合成部１５１へ出力する。ブロック内画素ソーティングパック処理部３７４の構成および処理について、先に、ブロック内画素ソーティングパック処理部３５４の構成として説明した図２５を参照して説明する。
【０２０２】
図２５は前述の空間方向間引きのみが行われたブロックのためのソーティングパック処理部３５４の構成を説明するために用いた図であるが、処理の構成は空間方向間引きと時間方向間引きが行われたブロックが行われたブロックのためのソーティングパック処理部３７４と同様であるため、同じ図を用いて説明を行う。
【０２０３】
ブロック内画素ソーティングパック処理部３７４は、入力された、連続している空間間引きが行われたブロックをブロック保存部３６１に一旦保存する。この時、ペアで入力されたブロックの動きベクトルは、相対画素位置ｘを算出する数式に基づいて、先頭のパックされたブロックからの元画像上での相対画素位置ｘをブロック内画素相対位置算出処理部３６２において求め、ブロック内画素相対位置保存部３６４に一旦保存する。
【０２０４】
ここで、空間方向間引きと時間方向間引きが行われたブロックの場合、元画像上での相対画素位置ｘを求める式が空間方向間引きのみの場合の数式１（ｘ＝ｍ×ｖ＋４×ｎ）と異なり、
ｖ：処理対象画像の移動速度，ｖ＝ピクセル／フレーム
ｍ：処理対象となった元画像のフレーム番号，ｍ＝０，１，２，・・
ｎ：パックブロックのブロック番号（０，１，２・・）
ｐ：パックブロックにおけるブロック内相対位置
としたとき、パックブロックに設定される各画素列の元画像における相対画素位置ｘは、
ｘ＝ｍ×ｖ＋４×ｎ＋ｐ・・・（数式２）
として示される。
【０２０５】
この相対画素位置ｘの算出具体例を、前述の図１５で示した、左方向へ２ピクセル／フレームの速度で移動している場合の横方向の２ブロック（４×８ピクセル分）について、空間方向間引きと時間方向間引きが行われた場合の間引きブロックを図２９に示し、図２９に基づいて説明する。
【０２０６】
図２９には、フレーム１〜４の隣接２ブロックを示し、空間方向間引きと時間方向間引きが行われた結果データを示している。時間方向間引き処理によって、フレーム２、フレーム４は間引かれ、さらに、フレーム１、フレーム３において、空間方向間引きとして、水平方向１／２間引きを行なった結果を示している。
【０２０７】
間引き処理およびパック処理単位の連続フレーム１〜４中、パックブロックに残る画素列を持つフレーム１とフレーム３の各画素列について、ブロック内画素相対位置算出処理部３６２は前述の数式２（ｘ＝ｍ×ｖ＋４×ｎ＋ｐ）を用いて、各フレームの代表画素列についての相対画素位置ｘを計算する。なお、計算例はｖ＝２とする。
【０２０８】
例えば、フレーム１についての各代表画素列の相対画素位置ｘの値は、
（１ａ）ｎ＝０，ｍ＝０，ｐ＝０：ｘ＝０×２＋４×０＋０＝０
（１ｂ）ｎ＝０，ｍ＝０，ｐ＝２：ｘ＝０×２＋４×０＋２＝２
（１ｃ）ｎ＝１，ｍ＝０，ｐ＝０：ｘ＝０×２＋４×１＋０＝４
（１ｄ）ｎ＝１，ｍ＝０，ｐ＝２：ｘ＝０×２＋４×１＋２＝６
となり、
また、フレーム３についての各代表画素列の相対画素位置ｘの値は、
（３ａ）ｎ＝０，ｍ＝２，ｐ＝０：ｘ＝２×２＋４×０＋０＝４
（３ｂ）ｎ＝０，ｍ＝２，ｐ＝２：ｘ＝２×２＋４×０＋２＝６
（３ｃ）ｎ＝１，ｍ＝２，ｐ＝０：ｘ＝２×２＋４×１＋０＝８
（３ｄ）ｎ＝１，ｍ＝２，ｐ＝２：ｘ＝２×２＋４×１＋２＝１０
となる。
【０２０９】
ブロック保存部３６１に保存された連続している間引かれたブロックは、パック処理部３６３において、通常のパック処理、すなわち、前述の、図１０を参照して説明したパック処理が行なわれる。図２９に示す隣接する２ブロックについての間引き処理結果に対してパック処理を実行して生成した初期的なパックブロックの例を図３０（Ａ）に示す。
【０２１０】
図３０（Ａ）に示す例では、初期パックブロックに、ブロック内画素相対位置算出処理部３６２が算出した各フレームの代表画素列についての相対画素位置ｘ情報を対応付けて示している。図３０（Ａ）に示す初期パックブロックは、画素位置の入れ替えが発生している。
【０２１１】
パック処理部３６３におけるパック処理によって生成されるパックブロックは、図３０（Ａ）に示す初期パックブロックであり、この初期パックブロックはソーティング部３６５に入力される。ソーティング部３６５は、この初期パックブロックを入力するとともに、プロック内画素相対位置保存部３６４から、相対位置情報ｘを入力する。ソーティング部３６５は、相対画素位置ｘに基づいて、初期パックブロックの各画素列のソーティングを行う。すなわち図３０（Ａ）に示す初期パックブロックの各画素列に対応する相対画素位置ｘを左から昇順に並べるソート処理を実行する。
【０２１２】
このソート処理の結果、図３０（Ｂ）に示すパックブロックが生成される。このように、ソーティング部３６５は、入力された初期パックブロックの画素列に対応する相対位置情報ｘをキーとして画素列ソーティングを行う。この結果、例えば図３０に示すパックブロックの例では、４列目と５列目の画素列が入れ替わり、画素位置変化の補正が行われた図３０（Ｂ）に示すパックブロックが生成される。
【０２１３】
なお、図３０に示す処理例は、元画像が左に動いている場合の処理例であるが、相対画素位置ｘをキーとして昇順または降順にソーティングを行うことにより、元画像の動き方向は、左右いずれの方向に動いている場合でも同様の処理によって対応できる。また、垂直方向に動いているブロックを処理対象とするブロック内画素ソーティングパック処理部３７５においては、上述の左右方向を上下方向に、画素行のソーティングを垂直方向の相対位置ｙをキーとして適用したソート処理を実行することにより、同様のソート処理によって、元画像に対応した相対位置を持つパックブロックを生成することができる。
【０２１４】
なお、上述のソーティング手法は、特定の手法に依存しないので、クイックソートやマージソート等の既存の手法を用いればよい。
【０２１５】
［空間方向間引が行われたブロックの画素列交換に基づくパック処理］
続いて、元画像に対してのパック後画像の画素位置変化を補正し、パック処理後の画素順を元画像に近づけたパック処理について、本実施例におけるもう一つの手法について説明する。この処理は、前述の実施例と比較して、視覚上問題の無い領域に関して完璧な画素位置変化の補正を行わないことにより、前述の実施例で採用したソーティング処理を省き、処理パフォーマンスを改善した処理である。
【０２１６】
まず、基本的な考え方について説明する。先に図２１を参照して説明した移動量と相対画素位置ｘとの相関を示すグラフは、隣接ブロック数が２つの場合のグラフであるが、同じグラフを隣接ブロック数を４つとした場合についてプロットしたグラフを図３１に示す。
【０２１７】
前述の図２１のグラフと同様、図３１に示すグラフも、移動量ｖと相対画素位置ｘとの相関を示すグラフであり、縦軸に移動量ｖ、横軸が元画像上での相対画素位置ｘを表している。図２１を参照して説明したように、各ラインが交差するポイントは、元画像上での相対画素位置ｘが入れ替わっている点を示している。例えば交点Ｐはパックされた３番目のブロックの４番目の画素列と４番目のブロックの３番目の画素列の、元画像上での相対画素位置ｘが、入れ替わっている点を示している。
【０２１８】
ここで、各ラインの交点について注目してみると、交点が存在する元画像の移動速度は離散値をとることが読み取れる。例えば画像の移動速度が４．０ピクセル／フレームの位置では交点が存在し、次の交点が存在する速度は、画像の移動速度６．０ピクセル／フレームの位置となる。
【０２１９】
これら交点の存在する元画像の移動速度において、複数のパックされたブロックの各画素列の元画像上での順序が入れ替わるのであるから、図３１のグラフに示される、交点の存在しない元画像の移動速度の範囲、例えば、図に示す速度範囲、
速度範囲Ａ：ｖ＝４〜６フレーム／ピクセル
の速度範囲では、複数のパックされたブロックの各画素列の元画像上での順序は変化しないことになる。
速度範囲Ｂにおいても、複数のパックされたブロックの各画素列の元画像上での順序は変化しない。このように、パックブロックにおいて画素列の入れ替えが発生する速度は離散的に存在する。
【０２２０】
このように一定の移動速度ｖでのみパックブロックにおいて画素列の入れ替えが発生する。この理論から、元画像上での相対画素位置ｘを求めなくても、対象となる複数のパックされたブロックの各画素列の元画像上での順序は、それらブロックが切り出された元画像の移動速度がどの範囲であるかの情報に基づいて、パックブロックの画素配列を推定することが可能ということになる。
【０２２１】
パックブロックに設定される画素列の配列が解析されれば、上述の相対画素位置ｘを算出し、相対画素位置ｘに基づくソーティング処理を行なうことなく、複数のパックされたブロックの各画素列画素列を、移動速度ｖに基づいて、画素位置入れ替え処理態様を決定し、決定態様に従って、パックブロックに設定された画素を並び替えるだけで、元画像上の順序に合せたパックブロックを生成することができる。
【０２２２】
この手法によれば、前述の実施例で採用した相対画素位置ｘの算出処理および、相対画素位置ｘの値に基づくソーティング処理を省き、処理パフォーマンスを改善した処理を行うことが可能となる。
【０２２３】
図８に示す画像変換装置のパック処理部１４１において、間引き処理およびパック処理単位としてのブロックに対応する移動速度ｖに基づいて、パックブロックの画素位置交換を伴うパック処理（以降、画素列交換パック処理）を実行する場合の、パック処理部１４１の構成と処理について、図３２を参照して説明する。
【０２２４】
各移動量に応じて異なる態様で間引き処理がなされた後、空間方向間引きのみが行われたブロックは図３２のブロック分配部３８１にブロックの動きベクトルと共に入力される。入力されたブロックは動きベクトルと共に、ブロック分配部３８１内の図示されないブロック・動きベクトル保存部に蓄えられる。また、動きベクトルは画素列交換フラグ生成部３８４へ入力され、入力されたブロックは画素列交換フラグ生成部３８４内の図示されない動きベクトル保存部に蓄えられる。
【０２２５】
ブロック分配部３８１は蓄えられたブロックのうち、左右方向に動いているブロックは水平方向１／４間引き連続ブロック抽出部３８２へ、上下方向に動いているブロックは垂直方向１／４間引き連続ブロック抽出部３８３へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルもペアで出力される。
【０２２６】
画素列交換フラグ生成部３８４は、ブロックの動きベクトルに基づいて移動速度ｖ（ピクセル／フレーム）を取得し、移動速度ｖが、図３１に示す移動量ｖと相対画素位置ｘの相関グラフにおいて、画素列の変動を起こさないどの速度範囲に対応するかを判定し、その判定結果を画素列交換フラグとして生成する。本実施例では、図３３に示すように、各速度範囲に対応するフラグを設定する。すなわち、処理対象ブロックに対応する移動速度ｖ各々について、
（１）０≦ｖ＜２．７５→フラグＡ
（２）２．７５≦ｖ＜４．０→フラグＢ
（３）４．０≦ｖ＜６．０→フラグＣ
（４）６．０≦ｖ→フラグＤ
これら４種類のフラグを移動速度ｖに対応付けて設定する。
【０２２７】
ここで、図３２で示される図８のパック処理部ａ１４１には、時間方向間引きのみの処理、または、時間方向および空間方向の間引き処理が行われるブロックは入力されないため、ｖ＜２．７５の範囲は一まとめのフラグとした。また、６．０≦ｖの範囲は、画像の動きが早い場合、動きぼけが発生するか、または、元々その領域が狭いため、一まとめとした。なお、さらに移動速度に応じて細分化したフラグ設定としてもよい。
【０２２８】
図３２に示すパック処理部１４１の水平方向１／４間引き連続ブロック抽出部３８２は、水平方向に２ブロック以上連続しているブロックを検出し、２ブロック以上連続しているブロックをブロック内画素−画素列交換処理部３８５へ出力する。この時、出力されたブロックに対応するブロックの画素列交換フラグも画素列交換フラグ生成部３８４からペアで出力される。また、連続していないブロックはパック処理部３８７へ出力する。
【０２２９】
同様に垂直方向１／４間引き連続ブロック抽出部３８３は、垂直方向に２ブロック以上連続しているブロックを検出し、２ブロック以上連続しているブロックをブロック内画素ソーティングパック処理部３８６へ出力する。この時、出力されたブロックに対応するブロックの画素列交換フラグも画素列交換フラグ生成部３８４からペアで出力される。また、連続していないブロックはパック処理部３８７へ出力する。
【０２３０】
パック処理部３８７は入力されたブロックを、前述の、図９に示すパック処理手法に従ってパック処理を行いブロック合成部１５１へ出力する。
【０２３１】
ブロック内画素−画素列交換処理部３８５は、入力されたブロックを、前述の、画素列の並び替えを利用した元画像に対してのパック後画像の画素位置変化を補正するパック処理を用いてパック処理を行い、ブロック合成部１５１へ出力する。ブロック内画素−画素列交換処理部３８５の構成および処理について図３４を参照して説明する。
【０２３２】
図３４に示すブロック内画素−画素列交換処理部３８５は、入力された、連続している間引かれたブロックをブロック保存部４０１に一旦保存する。ブロック保存部４０１に保存された連続している間引かれたブロックは、パック処理部４０２において、前述の、図９に示すパック処理手法に従ってパック処理が行われる。
【０２３３】
パック処理が行われたブロックは、ブロック分配部４０３において、前述の画素列交換フラグ生成部で生成された画素列交換フラグ（Ａ〜Ｄ）に従って、ブロック内画素−画素列交換処理部４０４〜４０６へ分配される。本実施例における分配条件は次の通りである。
【０２３４】
（１）０≦ｖ＜２．７５→フラグＡ→処理部Ａ４０４
（２）２．７５≦ｖ＜４．０→フラグＢ→処理部Ｂ４０５
（３）４．０≦ｖ＜６．０→フラグＣ→処理部Ｃ４０６
（４）６．０≦ｖ→フラグＤ→処理部Ｃ４０６
【０２３５】
ここで、元画像移動速度領域ＣとＤを同一の画素列交換処理部Ｃ４０６で画素列交換処理を行っている。これは、画像の動きが早い場合、動きぼけが発生するか、または、元々その領域が狭いため、同一の処理でも不具合は発生しないからである。もちろん、各フラグに応じて異なる別の処理を実行する構成としてもかまわない。
【０２３６】
ブロック内画素−画素列交換処理部４０４〜４０６へ分配されたブロックは、ブロック内画素−画素列交換処理部４０４〜４０６内で、それぞれ、元画像の相対画素位置に従った画素配列となるように画素列交換処理が行なわれたパックブロックが生成される。このときの画素交換処理態様は、元画像の移動速度ｖに基づいて決定される。これらのブロック内画素−画素列交換処理部４０４〜４０６内で生成されたパックブロックが、画素位置補正済みのパックブロックとして出力される。
【０２３７】
ブロック内画素−画素列交換処理部Ａ４０４に入力されるパックブロックは、１／４空間方向間引き処理が実行され、図３４に示すパック処理部４０２において、前述の図９に示すパック処理手法に従ってパック処理が行われたパックブロックであり、移動速度ｖが、
０≦ｖ＜２．７５
の範囲にあるパックブロックである。
【０２３８】
ブロック内画素−画素列交換処理部Ｂ４０５に入力されるパックブロックは、１／４空間方向間引き処理が実行され、図３４に示すパック処理部４０２において、前述の図９に示すパック処理手法に従ってパック処理が行われたパックブロックであり、移動速度ｖが、
２．７５≦ｖ＜４．０
の範囲にあるパックブロックである。
【０２３９】
ブロック内画素−画素列交換処理部Ｃ４０６に入力されるパックブロックは、１／４空間方向間引き処理が実行され、図３４に示すパック処理部４０２において、前述の図９に示すパック処理手法に従ってパック処理が行われたパックブロックであり、移動速度ｖが、
４．０≦ｖ
の範囲にあるパックブロックである。
【０２４０】
ブロック内画素−画素列交換処理部Ａ４０４、ブロック内画素−画素列交換処理部Ｂ４０５、ブロック内画素−画素列交換処理部Ｃ４０６各々の構成および処理について、図３５以下を参照して説明する。図３５に示すように、ブロック内画素−画素列交換処理部Ａ４０４、ブロック内画素−画素列交換処理部Ｂ４０５、ブロック内画素−画素列交換処理部Ｃ４０６は、それぞれ異なる態様の画素交換規則に従った画素列交換処理を実行する１以上の画素列交換処理部α４１１〜ζ４１６の組み合わせによって構成される。各画素列交換処理部α４１１〜ζ４１６は、それぞれが異なる画素列交換規則に従った画素列交換処理を実行する。
【０２４１】
ブロック内画素−画素列交換処理部Ａ４０４に入力されたパックブロックは、画素列交換処理部α４１１、および画素列交換処理部β４１２において、それぞれ異なる画素交換規則に従って画素列交換処理が実行され、
ブロック内画素−画素列交換処理部Ｂ４０５に入力されたパックブロックは、画素列交換処理部α４１１、画素列交換処理部β４１２、および画素列交換処理部γ４１３において、それぞれ異なる画素交換規則に従って画素列交換処理が実行され、
ブロック内画素−画素列交換処理部Ｃ４０６に入力されたパックブロックは、画素列交換処理部δ４１４、画素列交換処理部α４１１、画素列交換処理部ε４１５、および画素列交換処理部ζ４１６において、それぞれ異なる画素交換規則に従って画素列交換処理が実行される。
これらの各画素列交換処理部の複合的な画素列交換処理によって、元画像の持つ相対的な画素配列に対応した画素配列を持つ補正されたパックブロックが生成されて出力される。
【０２４２】
以下、各画素列交換処理部α４１１〜ζ４１６に対応付けられた画素列交換規則に従って実行される画素列交換処理について説明する。
【０２４３】
（画素列交換処理部α）
まず、画素列交換処理部α４１１の実行する画素列交換処理について図３６を参照して説明する。画素列交換処理部α４１１では、連続したブロックの各境界をはさんで２ピクセル分の画素列の交換処理が行われる。図３６には、２つの水平方向に連続するパックブロックを示す。
【０２４４】
図３６（Ａ）は、先に図２３を参照して説明した水平方向に隣接するブロックに基づいて、図３４に示すパック処理部４０２が、先に図９を参照して説明した基本的な間引き画素のパック処理に基づいて生成した初期的なパックブロックであり、図３６（Ｂ）は、画素列交換処理部α４１１の実行する画素列交換処理の結果として生成されるパックブロックである。
【０２４５】
各パックブロックは、ブロック番号を左からＰＢ０，ＰＢ１・・として設定し、各パックブロックの列を左からＬ０，Ｌ１，Ｌ２，Ｌ３として示している。画素列交換処理部