| 【発明の名称】 |
動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム |
| 【発明者】 |
【氏名】小林 誠司
【氏名】平澤 康孝
|
| 【要約】 |
【課題】動画像データの画質低下を防止したデータ削減を行なう装置および方法を提供する。
【構成】動画像データを構成するブロックにおける被写体移動量（ブロック移動量［Ｖｓ］）および視線移動量［Ｖｅ］を検出し、検出した被写体移動量および視線移動量に基づいて、標本点位相変化量［Ｖｐ］を決定し、決定した標本点位相変化量［Ｖｐ］を適用して空間方向間引き処理を実行する。本構成により、観測者が被写体を追従する場合においては超解像効果を発生させることが可能となり、また、観測者が被写体を追従しない場合においても、画像を構成する画素の配置の変化を最小限に抑えることが可能となり、画質劣化を抑制したデータ変換が実現される。 |
【特許請求の範囲】
【請求項１】
動画像データのデータ変換処理を実行する動画像変換装置であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
前記ブロック分割部において分割された各ブロックに含まれる被写体移動量に対応するブロック移動量を検出する移動量検出部と、
動画像データの観測者の視線移動量を算出する視線移動量検出部と、
前記ブロック移動量と、前記視線移動量を入力して、各ブロックに対する空間間引き処理に適用するブロック対応の標本点位相変化量を決定する標本点位相変化量決定部と、
前記ブロック分割部において分割されたブロックを入力し、入力ブロックに対する空間間引き処理を実行する間引き処理実行部であり、前記標本点位相変化量決定部の決定したブロック対応の標本点位相変化量を適用した空間間引き処理を実行する間引き処理実行部と、
を有することを特徴とする動画像変換装置。
【請求項２】
前記視線移動量検出部は、
前記ブロック分割部において分割された各ブロックに対応する視線移動量を算出する構成であり、視線移動量算出対象ブロックの周囲に領域を拡張したブロック拡張領域に含まれるブロックに対応するブロック移動量中、より頻度の高いブロック移動量を視線移動量として算出する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項３】
前記視線移動量検出部は、
処理対象となる動画像の観測者の視線解析により、視線移動量を出する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項４】
前記標本点位相変化量決定部は、
前記ブロック移動量の様々な値に対応する画質評価値を計測した結果としての画質評価曲線を適用した標本点位相変化量の決定処理を実行する構成であり、予め定めた基準評価値以上の評価値の得られる標本点位相変化量を選択してブロック対応の標本点位相変化量を決定する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項５】
前記標本点位相変化量決定部は、
前記ブロック移動量に基づいて、前記画質評価曲線において、予め定めた基準評価値以上の評価値の得られる標本点位相変化量候補を選択する第１段階処理と、
前記第１段階処理において選択された標本点位相変化量候補の解析により、前記動画像変換装置における変換画像の復元、再生画像の観測者の知覚画像における画素反転の発生の有無を検証して、知覚画像における画素反転を発生させない標本点位相変化量を選択する第２段階処理と、
を実行する構成であることを特徴とする請求項４に記載の動画像変換装置。
【請求項６】
前記標本点位相変化量決定部は、
知覚画像における画素反転を発生させない標本点位相変化量を選択する処理において、前記ブロック移動量と前記視線移動量、および網膜座標系における標本点位相変化量とを適用した判定処理を実行する構成であることを特徴とする請求項５に記載の動画像変換装置。
【請求項７】
前記標本点位相変化量決定部は、
前記間引き処理実行部の実行する空間間引き処理が、画素数を１／Ｍに削減する１／Ｍ間引き処理である場合、
０〜（Ｍ−１）のいずれかの標本点位相変化量を決定する処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項８】
前記間引き処理実行部は、
前記移動量検出部から入力するブロック移動量情報から得られる各ブロックの水平方向の移動量Ｖｘおよび垂直方向の移動量Ｖｙ、および予め定められた閾値Ｖｔに基づいて間引き処理態様を決定する構成であり、
Ｖｘ＞Ｖｙ、かつＶｘ＞Ｖｔの場合は、
水平方向の画素数間引きを実行し、
Ｖｙ＞Ｖｘ、かつＶｙ＞Ｖｔの場合は、
垂直方向の画素数間引きを実行し、
ＶｘおよびＶｙがともにＶｔを下回る場合は空間方向の画素数間引きを実行しない構成であることを特徴とする請求項１に記載の動画像変換装置。
【請求項９】
動画像変換装置において、動画像データのデータ変換処理を実行する動画像変換方法であり、
ブロック分割部において、動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
移動量検出部において、前記ブロック分割部において分割された各ブロックに含まれる被写体移動量に対応するブロック移動量を検出する移動量検出ステップと、
視線移動量検出部において、動画像データの観測者の視線移動量を算出する視線移動量検出ステップと、
標本点位相変化量決定部において、前記ブロック移動量と、前記視線移動量を入力して、各ブロックに対する空間間引き処理に適用するブロック対応の標本点位相変化量を決定する標本点位相変化量決定ステップと、
間引き処理実行部において、前記ブロック分割部において分割されたブロックを入力し、入力ブロックに対する空間間引き処理を実行する間引き処理実行部であり、前記標本点位相変化量決定部の決定したブロック対応の標本点位相変化量を適用した空間間引き処理を実行する間引き処理実行ステップと、
を有することを特徴とする動画像変換方法。
【請求項１０】
前記視線移動量検出ステップは、
前記ブロック分割ステップにおいて分割された各ブロックに対応する視線移動量を算出するステップであり、視線移動量算出対象ブロックの周囲に領域を拡張したブロック拡張領域に含まれるブロックに対応するブロック移動量中、より頻度の高いブロック移動量を視線移動量として算出するステップであることを特徴とする請求項９に記載の動画像変換方法。
【請求項１１】
前記視線移動量検出ステップは、
処理対象となる動画像の観測者の視線解析により、視線移動量を出するステップであることを特徴とする請求項９に記載の動画像変換方法。
【請求項１２】
前記標本点位相変化量決定ステップは、
前記ブロック移動量の様々な値に対応する画質評価値を計測した結果としての画質評価曲線を適用した標本点位相変化量の決定処理を実行するステップであり、予め定めた基準評価値以上の評価値の得られる標本点位相変化量を選択してブロック対応の標本点位相変化量を決定することを特徴とする請求項９に記載の動画像変換方法。
【請求項１３】
前記標本点位相変化量決定ステップは、
前記ブロック移動量に基づいて、前記画質評価曲線において、予め定めた基準評価値以上の評価値の得られる標本点位相変化量候補を選択する第１段階処理と、
前記第１段階処理において選択された標本点位相変化量候補の解析により、前記動画像変換装置における変換画像の復元、再生画像の観測者の知覚画像における画素反転の発生の有無を検証して、知覚画像における画素反転を発生させない標本点位相変化量を選択する第２段階処理と、
を実行することを特徴とする請求項１２に記載の動画像変換方法。
【請求項１４】
前記標本点位相変化量決定ステップは、
知覚画像における画素反転を発生させない標本点位相変化量を選択する処理において、前記ブロック移動量と前記視線移動量、および網膜座標系における標本点位相変化量とを適用した判定処理を実行することを特徴とする請求項１３に記載の動画像変換方法。
【請求項１５】
前記標本点位相変化量決定ステップは、
前記間引き処理実行部の実行する空間間引き処理が、画素数を１／Ｍに削減する１／Ｍ間引き処理である場合、
０〜（Ｍ−１）のいずれかの標本点位相変化量を決定する処理を実行するステップであることを特徴とする請求項９に記載の動画像変換方法。
【請求項１６】
前記間引き処理実行ステップは、
前記移動量検出部から入力するブロック移動量情報から得られる各ブロックの水平方向の移動量Ｖｘおよび垂直方向の移動量Ｖｙ、および予め定められた閾値Ｖｔに基づいて間引き処理態様を決定するステップを含み、
Ｖｘ＞Ｖｙ、かつＶｘ＞Ｖｔの場合は、
水平方向の画素数間引きを実行し、
Ｖｙ＞Ｖｘ、かつＶｙ＞Ｖｔの場合は、
垂直方向の画素数間引きを実行し、
ＶｘおよびＶｙがともにＶｔを下回る場合は空間方向の画素数間引きを実行しないことを特徴とする請求項９に記載の動画像変換方法。
【請求項１７】
動画像変換装置において、動画像データのデータ変換処理を実行させるコンピュータ・プログラムであり、
ブロック分割部において、動画像データを構成するフレーム毎にブロック分割処理を実行させるブロック分割ステップと、
移動量検出部において、前記ブロック分割部において分割された各ブロックに含まれる被写体移動量に対応するブロック移動量を検出させる移動量検出ステップと、
視線移動量検出部において、動画像データの観測者の視線移動量を算出させる視線移動量検出ステップと、
標本点位相変化量決定部において、前記ブロック移動量と、前記視線移動量を入力して、各ブロックに対する空間間引き処理に適用するブロック対応の標本点位相変化量を決定させる標本点位相変化量決定ステップと、
間引き処理実行部において、前記ブロック分割部において分割されたブロックを入力し、入力ブロックに対する空間間引き処理を実行する間引き処理実行部であり、前記標本点位相変化量決定部の決定したブロック対応の標本点位相変化量を適用した空間間引き処理を実行させる間引き処理実行ステップと、
を実行させることを特徴とするコンピュータ・プログラム。
|
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラムに関する。特に動画像データのデータ圧縮処理として実行されるデータ変換において、画質劣化を抑え高品質なデータ変換を可能とするとともに、再生データに対する観測者の視線の移動を考慮した圧縮処理を行なうことで、高品質画像の再生を可能とする圧縮を実現する動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
動画像データは、ハードディスク、ＤＶＤなどの記憶媒体への保存、あるいはネットワークを介した配信などにおいて、データ量を削減するためのデータ変換、すなわち圧縮処理が行なわれる。特に、近年、動画像データの高品質化、例えばＨＤ（Ｈｉｇｈ Ｄｉｆｉｎｉｔｉｏｎ）データなど、データ品質の改善が進んでおり、このデータの高品質化に伴ってデータ量が急激に増大している。このような状況において、動画像データの圧縮、復元処理における圧縮効率の改善や、復元データの品質劣化防止に関する技術について多くの検討、研究がなされている。
【０００３】
動画像の圧縮処理方法としては、例えば動画像データを構成する画像フレームの構成画素の間引き処理、すなわち空間方向の間引き処理と、フレームレートを間引く処理、すなわち時間方向の間引き処理などが知られている。
【０００４】
このようなデータ変換によるデータ量削減により記憶媒体への保存やネットワークを介したデータ転送が効率的に行なわれるという利点がある。しかしながら、圧縮されたデータを復元し再生する場合、画質の劣化が発生してしまうという問題がある。特にオリジナルデータが高精細画像である場合には、その品質劣化がより顕著になってしまう。
【０００５】
このような画質劣化をいかに低減するかについては様々な検討がなされている。例えば特許文献１には、被写体の移動速度の大小に応じて空間方向の画素数間引き処理と時間方向の画素数間引き処理を切り替える画像圧縮処理構成を開示している。また、特許文献２には、特許文献１の処理に対し、さらに空間方向の画素数間引きにおいて被写体の移動速度に応じた標本点の位相変化を施す処理を加えた圧縮処理構成を開示している。
【特許文献１】特開２００５−１９８２６８号公報
【特許文献２】特開２００６−５９０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述のように、いくつかの従来技術において、被写体の移動速度に応じて画像の領域毎に異なる処理を行なうことで、間引き処理による圧縮処理に伴う画質劣化を抑え、データ品質を高める構成が開示されている。しかしながら、これまでに開示されている圧縮方法を適用して生成した圧縮画像データの復元再生画像が高品質な画像として見えるためには、再生画像の観測者の視線が動画像中に現れる被写体を追従視していることが条件となっていた。
【０００７】
一般的に、動画像データには複数のオブジェクトが含まれる。すなわち、動きの大きいオブジェクト、小さいオブジェクト、静止しているオブジェクトなど様々な動きを示すオブジェクトが混在しているのが一般的である。これらの異なる動きの全てを観測者が同時に追従することは困難である。従って、あるオブジェクトに対する追従視を行なった場合、観測者は、そのオブジェクトに対する良好な視覚情報が得られるが、その他のオブジェクトに対しては、良好な視覚情報が得られないという問題が発生する。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、画像の各領域の被写体の動きおよび観測者の視線の動きに対応した最適な圧縮処理態様を決定し、決定した態様に従って各領域に対して最適なデータ変換処理を行なう構成とすることで品質劣化のきわめて少ない圧縮を可能とした動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の側面は、
動画像データのデータ変換処理を実行する動画像変換装置であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
前記ブロック分割部において分割された各ブロックに含まれる被写体移動量に対応するブロック移動量を検出する移動量検出部と、
動画像データの観測者の視線移動量を算出する視線移動量検出部と、
前記ブロック移動量と、前記視線移動量を入力して、各ブロックに対する空間間引き処理に適用するブロック対応の標本点位相変化量を決定する標本点位相変化量決定部と、
前記ブロック分割部において分割されたブロックを入力し、入力ブロックに対する空間間引き処理を実行する間引き処理実行部であり、前記標本点位相変化量決定部の決定したブロック対応の標本点位相変化量を適用した空間間引き処理を実行する間引き処理実行部と、
を有することを特徴とする動画像変換装置にある。
【００１０】
さらに、本発明の動画像変換装置の一実施態様において、前記視線移動量検出部は、前記ブロック分割部において分割された各ブロックに対応する視線移動量を算出する構成であり、視線移動量算出対象ブロックの周囲に領域を拡張したブロック拡張領域に含まれるブロックに対応するブロック移動量中、より頻度の高いブロック移動量を視線移動量として算出する構成であることを特徴とする。
【００１１】
さらに、本発明の動画像変換装置の一実施態様において、前記視線移動量検出部は、処理対象となる動画像の観測者の視線解析により、視線移動量を出する構成であることを特徴とする。
【００１２】
さらに、本発明の動画像変換装置の一実施態様において、前記標本点位相変化量決定部は、前記ブロック移動量の様々な値に対応する画質評価値を計測した結果としての画質評価曲線を適用した標本点位相変化量の決定処理を実行する構成であり、予め定めた基準評価値以上の評価値の得られる標本点位相変化量を選択してブロック対応の標本点位相変化量を決定する構成であることを特徴とする。
【００１３】
さらに、本発明の動画像変換装置の一実施態様において、前記標本点位相変化量決定部は、前記ブロック移動量に基づいて、前記画質評価曲線において、予め定めた基準評価値以上の評価値の得られる標本点位相変化量候補を選択する第１段階処理と、前記第１段階処理において選択された標本点位相変化量候補の解析により、前記動画像変換装置における変換画像の復元、再生画像の観測者の知覚画像における画素反転の発生の有無を検証して、知覚画像における画素反転を発生させない標本点位相変化量を選択する第２段階処理とを実行する構成であることを特徴とする。
【００１４】
さらに、本発明の動画像変換装置の一実施態様において、前記標本点位相変化量決定部は、知覚画像における画素反転を発生させない標本点位相変化量を選択する処理において、前記ブロック移動量と前記視線移動量、および網膜座標系における標本点位相変化量とを適用した判定処理を実行する構成であることを特徴とする。
【００１５】
さらに、本発明の動画像変換装置の一実施態様において、前記標本点位相変化量決定部は、前記間引き処理実行部の実行する空間間引き処理が、画素数を１／Ｍに削減する１／Ｍ間引き処理である場合、０〜（Ｍ−１）のいずれかの標本点位相変化量を決定する処理を実行する構成であることを特徴とする。
【００１６】
さらに、本発明の動画像変換装置の一実施態様において、前記間引き処理実行部は、前記移動量検出部から入力するブロック移動量情報から得られる各ブロックの水平方向の移動量Ｖｘおよび垂直方向の移動量Ｖｙ、および予め定められた閾値Ｖｔに基づいて間引き処理態様を決定する構成であり、
Ｖｘ＞Ｖｙ、かつＶｘ＞Ｖｔの場合は、
水平方向の画素数間引きを実行し、
Ｖｙ＞Ｖｘ、かつＶｙ＞Ｖｔの場合は、
垂直方向の画素数間引きを実行し、
ＶｘおよびＶｙがともにＶｔを下回る場合は空間方向の画素数間引きを実行しない構成であることを特徴とする。
【００１７】
さらに、本発明の第２の側面は、
動画像変換装置において、動画像データのデータ変換処理を実行する動画像変換方法であり、
ブロック分割部において、動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
移動量検出部において、前記ブロック分割部において分割された各ブロックに含まれる被写体移動量に対応するブロック移動量を検出する移動量検出ステップと、
視線移動量検出部において、動画像データの観測者の視線移動量を算出する視線移動量検出ステップと、
標本点位相変化量決定部において、前記ブロック移動量と、前記視線移動量を入力して、各ブロックに対する空間間引き処理に適用するブロック対応の標本点位相変化量を決定する標本点位相変化量決定ステップと、
間引き処理実行部において、前記ブロック分割部において分割されたブロックを入力し、入力ブロックに対する空間間引き処理を実行する間引き処理実行部であり、前記標本点位相変化量決定部の決定したブロック対応の標本点位相変化量を適用した空間間引き処理を実行する間引き処理実行ステップと、
を有することを特徴とする動画像変換方法にある。
【００１８】
さらに、本発明の動画像変換方法の一実施態様において、前記視線移動量検出ステップは、前記ブロック分割ステップにおいて分割された各ブロックに対応する視線移動量を算出するステップであり、視線移動量算出対象ブロックの周囲に領域を拡張したブロック拡張領域に含まれるブロックに対応するブロック移動量中、より頻度の高いブロック移動量を視線移動量として算出するステップであることを特徴とする。
【００１９】
さらに、本発明の動画像変換方法の一実施態様において、前記視線移動量検出ステップは、処理対象となる動画像の観測者の視線解析により、視線移動量を出するステップであることを特徴とする。
【００２０】
さらに、本発明の動画像変換方法の一実施態様において、前記標本点位相変化量決定ステップは、前記ブロック移動量の様々な値に対応する画質評価値を計測した結果としての画質評価曲線を適用した標本点位相変化量の決定処理を実行するステップであり、予め定めた基準評価値以上の評価値の得られる標本点位相変化量を選択してブロック対応の標本点位相変化量を決定することを特徴とする。
【００２１】
さらに、本発明の動画像変換方法の一実施態様において、前記標本点位相変化量決定ステップは、前記ブロック移動量に基づいて、前記画質評価曲線において、予め定めた基準評価値以上の評価値の得られる標本点位相変化量候補を選択する第１段階処理と、前記第１段階処理において選択された標本点位相変化量候補の解析により、前記動画像変換装置における変換画像の復元、再生画像の観測者の知覚画像における画素反転の発生の有無を検証して、知覚画像における画素反転を発生させない標本点位相変化量を選択する第２段階処理とを実行することを特徴とする。
【００２２】
さらに、本発明の動画像変換方法の一実施態様において、前記標本点位相変化量決定ステップは、知覚画像における画素反転を発生させない標本点位相変化量を選択する処理において、前記ブロック移動量と前記視線移動量、および網膜座標系における標本点位相変化量とを適用した判定処理を実行することを特徴とする。
【００２３】
さらに、本発明の動画像変換方法の一実施態様において、前記標本点位相変化量決定ステップは、前記間引き処理実行部の実行する空間間引き処理が、画素数を１／Ｍに削減する１／Ｍ間引き処理である場合、０〜（Ｍ−１）のいずれかの標本点位相変化量を決定する処理を実行するステップであることを特徴とする。
【００２４】
さらに、本発明の動画像変換方法の一実施態様において、前記間引き処理実行ステップは、前記移動量検出部から入力するブロック移動量情報から得られる各ブロックの水平方向の移動量Ｖｘおよび垂直方向の移動量Ｖｙ、および予め定められた閾値Ｖｔに基づいて間引き処理態様を決定するステップを含み、
Ｖｘ＞Ｖｙ、かつＶｘ＞Ｖｔの場合は、
水平方向の画素数間引きを実行し、
Ｖｙ＞Ｖｘ、かつＶｙ＞Ｖｔの場合は、
垂直方向の画素数間引きを実行し、
ＶｘおよびＶｙがともにＶｔを下回る場合は空間方向の画素数間引きを実行しないことを特徴とする。
【００２５】
さらに、本発明の第３の側面は、
動画像変換装置において、動画像データのデータ変換処理を実行させるコンピュータ・プログラムであり、
ブロック分割部において、動画像データを構成するフレーム毎にブロック分割処理を実行させるブロック分割ステップと、
移動量検出部において、前記ブロック分割部において分割された各ブロックに含まれる被写体移動量に対応するブロック移動量を検出させる移動量検出ステップと、
視線移動量検出部において、動画像データの観測者の視線移動量を算出させる視線移動量検出ステップと、
標本点位相変化量決定部において、前記ブロック移動量と、前記視線移動量を入力して、各ブロックに対する空間間引き処理に適用するブロック対応の標本点位相変化量を決定させる標本点位相変化量決定ステップと、
間引き処理実行部において、前記ブロック分割部において分割されたブロックを入力し、入力ブロックに対する空間間引き処理を実行する間引き処理実行部であり、前記標本点位相変化量決定部の決定したブロック対応の標本点位相変化量を適用した空間間引き処理を実行させる間引き処理実行ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。
【００２６】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２７】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２８】
本発明の一実施例の構成によれば、画像内の被写体の動き、および観測者の視線の動きに対応した最適な圧縮処理態様を決定し、決定した態様に従って領域毎に最適な態様でデータ変換処理を行なう構成としたので、観測者の視線の動きによらない品質劣化のきわめて少ない動画像のデータ削減処理が可能となる。
【００２９】
本発明の一実施例の構成によれば、動画像データを構成するブロックにおける被写体移動量（ブロック移動量［Ｖｓ］）および視線移動量［Ｖｅ］を検出し、検出した被写体移動量および視線移動量に基づいて、標本点位相変化量［Ｖｐ］を決定し、決定した標本点位相変化量［Ｖｐ］を適用して空間方向間引き処理を実行する構成としたので、観測者が被写体を追従する場合においては超解像効果を発生させることが可能となり、また、観測者が被写体を追従しない場合においても、画像を構成する画素の配置の変化を最小限に抑えることが可能となり、画質劣化を抑制したデータ変換が実現される。
【００３０】
また、本発明の一実施例の構成によれば、間引き量Ｍの空間方向間引き処理において、０からＭ−１までの標本点位相変化量により間引き処理を施した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データを用いて、まず追従視の状況下で処理対象ブロックの移動速度に対して画質の評価値が予め定めた基準評価値以上となる最適な標本点位相変化量の候補を複数選択し、前記候補の中からさらに非追従視に対して最適な標本点位相変化量を選択する構成とすることで、処理対象ブロックの様々な移動量および観測者の様々な視線移動に対応した高品質画像の提示を可能としたデータ変換が実現される。
【発明を実施するための最良の形態】
【００３１】
以下、図面を参照しながら、本発明の動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラムの構成について説明する。なお、説明は、以下の項目に従って行なう。
（１）超解像効果を利用した動画像変換装置の基本構成
（２）改良した間引き処理を実行する動画像変換装置の構成
【００３２】
［（１）超解像効果を利用した動画像変換装置の基本構成］
まず、本発明のベースとなる超解像効果を利用した動画像圧縮を実行する動画像変換装置の基本構成について説明する。なお、この基本構成は、本出願人が先に出願した特開２００６−５９０４号に詳細を記載しているものであり、画像を小領域に分割し、各領域の移動速度に応じて画素数の間引きや、フレームレートの間引きを適応的に行うことでデータ量の圧縮を実現した構成である。
【００３３】
図１に特開２００６−５９０４号に記載した動画像変換装置１０の構成例を示す。この動画像変換装置１０は、超解像効果を利用した動画像変換処理を行うことにより、データ量の削減による画質劣化を観測者が知覚しないようにデータ量の削減を行うことができる構成としたものである。
【００３４】
なお、超解像効果とは、観測者が、ある時間内に複数の画像が加算されたものを知覚するという視覚特性に基づいて実現される視覚的効果である。人の視覚は刺激を知覚すると、その刺激を、その刺激の呈示が終了した後もある時間記憶するという機能（感覚記憶機能と称する）を有している。この時間については１０ｍｓ乃至２００ｍｓであるという報告が多数されている。この機能は、アイコニックメモリー、あるいは視覚的持続などとも呼ばれ、例えば、"視覚情報ハンドブック，日本視覚学界編，ｐｐ．２２９−２３０"などに記載されている。なお、超解像効果は、人間の視覚機能における時間的積分機能および感覚記憶機能が複雑に関係して引き起こされていると考えられる。
【００３５】
図１に特開２００６−５９０４号に記載した動画像変換装置１００の構成例を示す。この動画像変換装置１００は、超解像効果を利用した動画像変換処理を行なうことにより、データ量の削減による画質劣化を観測者が知覚しないようにデータ量の削減を行なうことができる構成としたものである。
【００３６】
なお、超解像効果とは、観測者が、ある時間内に複数の画像が加算されたものを知覚するという視覚特性に基づいて実現される視覚的効果である。人の視覚は、受けた光の刺激の総和がある閾値になったとき光を知覚するという機能（以下、時間的積分機能と称する）を有している。すなわち光の知覚は、呈示時間内の光の刺激の分布状態に関係なく、時間的に積分された光の総和に従う。また光を知覚できる刺激（閾値）は、刺激の呈示時間が長くなるにつれて小さくなり、呈示時間が短くなるにつれて大きくなる。時間的積分機能の詳細については、例えば、"視覚情報ハンドブック、日本視覚学会編、ｐｐ．２２９−２３０"などに記載されている。
【００３７】
図１に示す動画像変換装置１００は、時間的積分機能によって引き起こされる超解像効果を利用した動画像変換処理を行なうことにより、画質劣化を観測者が知覚しないようにデータを削減する圧縮を行なう構成としたものである。
【００３８】
図１の動画像変換装置１００の構成について説明する。ブロック分割部１１０は、入力された動画像の各フレームをブロックに分解し、移動量検出部１２０に供給する。移動量検出部１２０は、ブロック分割部１１０から供給された各ブロックについての移動量を検出し、ブロックとその移動量を、ブロック処理部１３０に送信する。ブロック処理部１３０は、移動量検出部１２０から供給されたブロックに対して、その移動量に応じた動画像変換処理を施し、データ量を削減する。ブロック処理部１３０は、その処理の結果得られた、データ量が削減されたブロックについてのデータを、出力部１４０に供給する。出力部１４０は、ブロック処理部１３０から供給された、データ量が削減されたブロックについてのデータを、例えば、ストリームデータなどとしてまとめて出力する。
【００３９】
次に、図２を参照して、各部の詳細について説明する。初めにブロック分割部１１０について説明する。ブロック分割部１１０の画像蓄積部１１１には、動画像変換装置１００に供給された動画像のフレームが入力される。画像蓄積部１１１は、入力されたフレームを蓄積する。画像蓄積部１１１は、蓄積したフレームの数がＮ枚（Ｎは正の整数）になる度に、そのＮ枚のフレームを、ブロック分割部１１２に供給するとともに、Ｎ枚のフレームの中のＭ番目に記憶したフレーム（以下、Ｍ番目のフレームと称する）を、移動量検出部１２０の移動量検出部１２１に供給する。なお、例えばＮ＝４とする。
【００４０】
ブロック分割部１１２は、画像蓄積部１１１から供給されたＮ枚のフレーム（連続するＮ枚のフレーム）のそれぞれを、ある大きさ（例えば８×８、１６×１６）のブロックに分割し、移動量検出部１２０のブロック分配部１２２に出力する。ブロック分割部１１２はまた、Ｎ枚のフレームの中の、画像蓄積部１１１でＰ番目に記憶されたフレーム（以下、Ｐ番目のフレームと称する）の各ブロックを移動量検出部１２０の移動量検出部１２１に供給する。Ｐ番目のフレームは、Ｍ番目のフレームと異なるフレームである。
【００４１】
次に、移動量検出部１２０について説明する。移動量検出部１２０の移動量検出部１２１は、ブロック分割部１１０のブロック分割部１１２から供給されたＰ番目のフレームの各ブロックの動きベクトルを、画像蓄積部１１１から供給されたＭ番目のフレームを参照して例えばフレーム間のブロックマッチング処理を実行して検出し、検出した動きベクトルをブロック分配部１２２、ブロック処理部１３１および１３２に供給する。動きベクトルは、フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量を表している。例えば、参照フレーム：Ｍ＝２で、供給フレーム：Ｐ＝３とした場合、動きベクトルは、１フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量を表すことになる。なお、動きベクトルの検出はブロックマッチングによる検出のみならず他の方法を適用してもよい。
【００４２】
移動量検出部１２０のブロック分配部１２２には、ブロック分割部１１２から、Ｎ個単位でブロック（Ｎ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック）が供給され、移動量検出部１２１から、そのＮ個のブロックの中のＰ番目のフレームのブロックの移動量が供給される。ブロック分配部１２２は、供給されたＮ個のブロックを、ブロック処理部１３０の、その移動量に対応する処理を行うブロック処理部１３１乃至１３３（以下、個々に区別する必要がない場合、単に、ブロック処理部１３０と称する）の中のいずかに供給する。
【００４３】
具体的にはブロック分配部１２２は、移動量検出部１２１から供給された、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）のどちらか大きいほうの移動量が２ピクセル以上である場合、ブロック分割部１１２から供給されたＮ個のブロックを、ブロック処理部１３１に出力する。また、１フレーム間の水平方向と垂直方向のどちらか大きいほうの移動量が２ピクセル未満で、かつ１ピクセル以上の場合、ブロック分配部１２２は、Ｎ個のブロックを、ブロック処理部１３２に出力する。移動量が、その他の場合には、ブロック分配部１２２は、Ｎ個のブロックをブロック処理部１３３に供給する。
【００４４】
すなわち、
（ａ）移動量≧２ピクセル／フレーム：ブロック処理部１３１（空間方向間引き処理）
（ｂ）２ピクセル／フレーム＞移動量≧１ピクセル／フレーム：ブロック処理部１３２（時間・空間方向間引き処理）
（ｃ）１ピクセル／フレーム＞移動量：ブロック処理部１３３（時間方向間引き処理）
上記（ａ）〜（ｃ）に処理ブロックを出力する。
【００４５】
移動量≧２ピクセルの場合は、ブロック処理部１３１において空間方向間引き処理を実行し、２ピクセル＞移動量≧１ピクセルの場合は、ブロック処理部１３２において時間・空間方向間引き処理を実行し、１ピクセル＞移動量の場合は、ブロック処理部１３３において時間方向間引き処理を実行することになる。
【００４６】
このように、ブロック分配部１２２は、移動量検出部１２１から供給された移動量に基づき、変換に最適なフレームレートおよび空間解像度を決定し、そのフレームレートおよび空間解像度にしたがって画像データを変換する処理を行うブロック処理部１３１〜１３３ブロック画像を分配する処理を実行する。なお、分配先決定のためのこの条件はあくまでも一例であり、他の条件で分配先を決定してもよい。
【００４７】
次にブロック処理部１３０について説明する。ブロック処理部１３０は、この例の場合、３個のブロック処理部１３１乃至１３３で構成されている。
ブロック処理部１３１は、移動量検出部１２０のブロック分配部１２２から供給された、連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向または垂直方向の移動量が２ピクセル／フレーム以上である場合のＮ個のブロック）に対して、画素数を、移動量検出部１３１から供給された水平方向または垂直方向どちらか大きいほうの移動量に応じて間引く処理（空間方向間引き処理）を行う。すなわち、移動量≧２ピクセルのＮ個のブロックに対して空間方向間引き処理を実行する。
【００４８】
１フレーム間の水平方向の移動量が２ピクセル以上である場合、ブロック処理部１３１は、例えばブロックが８×８ピクセルで構成されている場合、図３（ａ）に示すように、ブロック内の画素を、１×４ピクセル単位の集合に分割する。
【００４９】
さらに、ブロック処理部１３１は、図３（ｂ）、図４、図５のいずれかの態様で、１×４ピクセルの各集合の画素値ｐ１乃至ｐ４を、その中の１つの画素値にする画素数の間引き（４画素間の画素数の間引き）（間引き量４の間引き）を行う。
【００５０】
図３（ｂ）に示す間引き処理は、連続するＮ枚のフレーム（ｋ〜ｋ＋３）のすべてのフレームにおいて、同一の画素位置の画素値を代表画素値、すなわち標本点（図の例では標本点＝ｐ１）として、４つの画素の画素値として設定する間引き処理である。
【００５１】
図４および図５に示す間引き処理は、連続するＮ枚のフレーム（ｋ〜ｋ＋３）において、同一の画素位置を標本点とする設定ではなく、フレーム毎に異なる画素位置の画素を標本点とし、フレーム毎に異なる位置の画素値を各フレームの４つの画素の画素値として設定する間引き処理である。
【００５２】
図４に示す間引き処理は、ｋ〜ｋ＋３番目にある４フレームにおいて、それぞれ同一位置にある４つの水平方向の画素の画素値ｐ１〜ｐ４について、
ｋ番目のフレーム：標本点＝ｐ１
ｋ＋１番目のフレーム：標本点＝ｐ２
ｋ＋２番目のフレーム：標本点＝ｐ３
ｋ＋３番目のフレーム：標本点＝ｐ４
のように、フレームの進行に応じて、標本点の画素位置を右方向に１画素ずつ変更して設定した間引き処理である。
【００５３】
図５に示す間引き処理は、ｋ〜ｋ＋３番目にある４フレームにおいて、それぞれ同一位置にある４つの水平方向の画素の画素値ｐ１〜ｐ４について、
ｋ番目のフレーム：標本点＝ｐ４
ｋ＋１番目のフレーム：標本点＝ｐ３
ｋ＋２番目のフレーム：標本点＝ｐ２
ｋ＋３番目のフレーム：標本点＝ｐ１
のように、フレームの進行に応じて、標本点の画素位置を左方向に１画素ずつ変更して設定した間引き処理である。
【００５４】
このように図４、図５に示す間引き処理は、連続するＮ枚のフレーム（ｋ〜ｋ＋３）において、同一の画素位置ではなく、異なる画素位置の画素値を各フレームの４つの画素の画素値として設定する間引き処理である。
【００５５】
ブロック処理部１３１は、移動量検出部１２０の移動量検出部１２１から供給された移動量情報に応じて、図３〜図５に示す３つの間引き処理のいずれかを選択して実行する。
【００５６】
ブロック処理部１３１の詳細構成を図６に示す。ブロック処理部１３１は、間引き処理態様決定部１５１と、間引き処理実行部１５２を有する。間引き処理態様決定部１５１は、移動量検出部１２１から、移動量情報を入力する。なお、前述したように、ブロック処理部１３１へ入力されるブロックは、移動量≧２ピクセル／フレームのブロックであり、ブロック処理部１３１の間引き処理態様決定部１５１へ入力される移動量情報は、２ピクセル／フレーム以上の移動量情報となる。
【００５７】
間引き処理態様決定部１５１は、移動量の値に基づいて、先に説明した図３、図４、図５のいずれの態様での間引き処理を実行するかを決定する。この決定手法の詳細については後述する。間引き処理実行部１５２は、間引き処理態様決定部１５１の決定に従って図３、図４、図５のいずれかの態様での間引き処理を実行する。
【００５８】
このように、図１に示す動画像変換装置１００は、入力された動画像を、そのデータ量が削減された動画像（圧縮データ）に変換する処理を行なうものであるが、その際、所定の視覚特性に基づいて実現される超解像効果を利用した動画像変換処理を行なうことによりデータ量の削減による画質劣化を観測者に知覚させないようにした装置である。
【００５９】
なお、超解像効果とは、前述したように観測者が、ある時間内に複数の画像が加算されたものを知覚するという視覚特性に基づいて実現される視覚的効果であり、人間の視覚機能における時間的積分機能および感覚記憶機能が複雑に関係して引き起こされているものと考えられており、図１に示す動画像変換装置１００は、時間的積分機能によって引き起こされる超解像効果を利用した動画像変換処理を行う構成を有する。
【００６０】
なお、人間の視覚特性および超解像効果に関する原理や説明等は、特開２００５−２９８２６８において詳しく解説がなされている。特開２００５−２９８２６８に説明されている超解像効果の発生条件を以下に説明する。
【００６１】
間引き量ｍ（ピクセル）の画素数間引きを行った場合に超解像効果が発生するには、間引きによる１次乃至ｍ−１次の折り返し成分が全て打ち消される必要がある。ｋ（＝１、２、・・・、ｍ−１）次の折り返し成分が打ち消される条件は、下記式（式１）、（式２）を満足することである。
【数１】
【００６２】
上記式において、φｔは画素数の間引きにおけるサンプリング位置のずれ量であり、時間ｔ（＝０、１Ｔ、２Ｔ、・・・）、信号の移動速度ｖ、時間間隔（フレームレートの逆数）Ｔ、を用いて、下記式（式３）によって定義される値である。
【数２】
【００６３】
なお、上記式において、サンプリング位置が右にずれる場合を正としている（この条件は、特開２００５−１９８２６８に開示している設定とは異なる）。
【００６４】
間引き量ｍ、小領域の移動量ｖという条件下で上記式（式１）および（式２）が満たされれば超解像効果が発生し、画質の劣化は観測者に知覚されにくい。
【００６５】
続いて、図３乃至図５に示す（ｂ１）〜（ｂ３）の３種類の空間間引き処理を用いる理由について説明する。図１乃至図６を参照して説明した動画像変換装置１００は、間引き量４の画素数間引きを行う際の小領域の１フレーム間の移動速度の条件を、水平または垂直方向に２ピクセル以上と設定していた。ここで、使用可能な空間間引き処理が図３に示す処理のみの構成を考える。そのような構成では、例えば移動速度が１フレームにつき４ピクセル、すなわち小領域の移動量ｖ＝４であった場合に、間引き量ｍ＝４とすると、上記式（式３）のサンプリング位置のずれ量：φｔが取り得る値は０以上の整数のみとなる。
【００６６】
つまり、この場合、上記式（式１）は全てのｋの場合において満たされることはなく、超解像効果は発生しない。同様に、間引き量ｍ＝２、小領域の移動量ｖ＝１の場合、間引き量ｍ＝４、小領域の移動量ｖ＝２の場合、などの設定においても上記式（式１）は全てのｋの場合において満たされることはなく、超解像効果は得られず画質は大幅に劣化する。すなわち、図１乃至図６を参照して説明した動画像変換装置１００は、図３乃至図５に示した（ｂ１）〜（ｂ３）の３種類の空間間引き処理を併用することで、被写体の移動速度に依らず、超解像効果を得られる構成としている。
【００６７】
図４あるいは図５に示されているように標本点位置を各フレームに応じて変更して間引き処理を行なう効果について説明する。なお、以下、このように標本点位置を各フレームに応じて変更して実行する間引き処理を［標本点移動型の間引き処理］あるいは［間引き位置の変更処理］と呼ぶことがある。なお、［標本点移動型の間引き処理］においても、図４のように標本点位置をフレームの進行に従って右方向へずらす間引き位置の変更処理と、図５のように、標本点位置をフレームの進行に従って左方向へずらす間引き位置の変更処理の２つの態様の他にも様々な態様が考えられるため、異なる間引き位置の変更処理を、標本点座標のフレーム毎の変化量によって区別する。この変化量を標本点位相変化量と呼ぶ。
【００６８】
間引き位置変更処理において、
標本点位相変化量が［０］の場合が図３（ｂ１）の間引き処理であり、
標本点位相変化量が［＋１］の間引き処理が図４の処理、
標本点位相変化量が［−１］の場合が図５の処理、
に相当する。標本点位相変化量は、方向を区別するため、＋−の符号を付加して区別する。例えば右方向と下方向を［＋］、左方向と上方向を［−］とする。
【００６９】
間引き位置の変更処理は、動画像変換装置の基本構成において説明した数式（式３）に示されている標本点のずれ量φｔをフレーム毎に１／ｍ加算（右にずらす場合（図４））、または１／ｍ減算（左にずらす場合（図５））することに等しい。なお、ｍは間引き量（ｍピクセル）である。
【００７０】
間引き位置の変更処理を行なった場合の新たな標本点のずれ量φ'ｔは、下記数式（式４）として示される。
【数３】
【００７１】
上記数式（式４）から、被写体の進行方向に標本点の位置をずらすことは被写体の移動速度を減速することと、進行方向と逆に位置をずらすことは移動速度を加速することと信号処理の理論上の意味は等価であることがわかる。これは、もちろん実際の映像上で被写体の移動速度が変化することを意味するわけではない。以下、図７を用いて具体的な処理例について説明する。
【００７２】
図７は被写体（ｋ番目のフレームのｐ１〜ｐ５間の５画素）２０１が４フレーム（フレームｋ〜ｋ＋３）の間に（Ａ）移動していないという状況、（Ｂ）水平方向に速度ｖ＝１ピクセル／フレームで移動しているという状況を示している。
【００７３】
図１、図２に示す動画像変換装置１００のブロック処理部１３１には、本来、１フレーム間の水平方向の移動量が２ピクセル以上のブロックが入力されることになるので、図７に示す（Ａ）、（Ｂ）のようなフレームデータの入力は行なわれないが、１フレーム間の水平方向の移動量が２ピクセル以上のデータにおいて、移動量に応じて図３、図４、図５に示す間引き処理のいずれかの処理が実行されることになる。すなわち、移動量に応じて［間引き位置の変更処理］を行なう場合と行なわない場合が生じる。
【００７４】
図７を参照して、［間引き位置の変更処理］を行なう場合と行なわない場合の処理について説明する。例えば、（Ａ）移動していないという状況において、図３に示す固定標本点の間引き処理を実行し、（Ｂ）水平方向に速度ｖ＝１ピクセル／フレームで移動しているという状況において、図４に示す標本点をフレーム毎に移動させる［間引き位置の変更処理］、すなわち標本点移動型の間引き処理を行なったとする。
【００７５】
図７（Ａ）に示すように被写体が移動していないという状況において、間引き量＝４、すなわち４画素間の画素末間引きを行なったとすると、図３を参照して説明した固定標本点の間引き処理を実行した場合、各４ピクセル毎の出力値は全てのフレームにおいてｐ１とｐ５の画素であり、固定位置の画素値となる。一方、図７（Ｂ）に示すように、水平方向に速度ｖ＝１ピクセル／フレームで被写体が移動しているという状況において、図４を参照して説明した標本点をフレーム毎に移動させる［間引き位置の変更処理］を行なったとすると、各４ピクセルに対応する各フレームの出力値は、図７（Ｂ）に示す通り、
ｋ番目のフレーム：ｐ１、ｐ５
ｋ＋１番目のフレーム：ｐ２、ｐ６
ｋ＋２番目のフレーム：ｐ３、ｐ７
ｋ＋３番目のフレーム：ｐ４、ｐ８
となる。
【００７６】
結果として、図７（Ｂ）１ピクセル／フレームの移動被写体と、図７（Ａ）移動しない被写体において、各フレームの出力値が一致することになる。すなわち移動量ｖ＝１ピクセル／フレームの被写体を含む動画像に対して図４を参照して説明した標本点をフレーム毎に移動させる［間引き位置の変更処理］を施した出力と、移動速度がｖ−１＝０の被写体（Ａ）に図３の処理、すなわち、固定標本点を適用した間引き処理を施した出力とが一致していることがわかる。つまり、移動している被写体に図４の処理を施すことは、その移動速度を１減速した被写体に図３の処理を施すことと等しいことが確認できる。
【００７７】
結局、間引き位置の変更処理によって、被写体の移動速度を仮想的に加速または減速することが可能となる。
【００７８】
次に、具体的にどのような速度で被写体が移動しているときに超解像効果が起こらないのかを確認する。図８は、様々なフレームあたりの移動量としての移動速度：ｖを持つ被写体を含む動画像データに対して図３の固定標本点間引き処理（４画素の間引き処理）を行い、その結果得られる変換（圧縮）画像を、再度、復元（伸張）して得られる画像データの画質の良否データを示している。横軸が被写体のフレームあたりの移動量としての移動速度：ｖ（ピクセル／フレーム）であり、縦軸が画質評価値を示している。すなわち、横軸に示した移動量で被写体を右方向に移動させた際の画質の主観評価実験の結果の傾向を示すグラフであり、グラフ中に示す曲線が画質評価曲線２０５である。画質の良否判定基準として、図８中にＴで示す基準評価値を設定し、基準評価値Ｔ以上の評価を得た場合を良好な画質とする。
【００７９】
フレームあたりの移動量としての移動速度：ｖ＝Ｐ（ピクセル／フレーム）〜Ｑ（ピクセル／フレーム）を持つ様々な被写体に対して、図３を参照して説明した固定標本点間引き処理（４画素の間引き処理）を行って、基準評価値Ｔ以上の評価を得た領域が、図８の領域Ａである。領域Ａ以外の領域Ｂは、基準評価値Ｔ未満の評価を得た領域である。
【００８０】
基準評価値Ｔ以上の評価を得た領域、すなわち図８の領域Ａは、被写体のフレームあたりの移動量としての移動速度：ｖが、ａ〜ｂ、ｃ〜ｄ、ｅ〜の範囲にある場合であり、これらの移動量を持つ場合には、図３を参照して説明した固定標本点間引き処理を適用した場合であっても良好な画質となり、超解像効果が損なわれることのない間引きが実現されたと判断される。一方、図８の領域Ｂ、すなわち、被写体のフレームあたりの移動量としての移動速度：ｖが、ａ〜ｂ、ｃ〜ｄ、ｅ〜以外の範囲にある場合は、基準評価値Ｔ未満の画質となり、超解像効果の発生しない、もしくは十分でない領域であると考えられる。
【００８１】
この評価結果に基づいて、被写体の移動速度が図８の領域Ｂの速度に対応する場合に、間引き位置の変更処理によって被写体の移動速度を概念的に加速あるいは減速する。すなわち、例えば図４、図５に示すような間引き位置の変更処理を実行する。この結果として、図７を参照して説明したように、図８の領域Ａの速度で移動する場合と同様の出力が得られ、超解像効果を伴う良好な画質が得られることになる。
【００８２】
図９に示す領域Ｂ１、Ｂ２は図８に示した領域Ｂの一部である。すなわち、基準評価値Ｔ未満の画質領域であり、超解像効果の発生しない、もしくは十分でない被写体移動速度：ｖを持つ領域であると考えられる領域である。領域Ｂ１、Ｂ２の速度で被写体が移動している場合には、仮想的に被写体を加速（＋Δｖ１、＋Δｖ２）する処理を行なうことで、つまり被写体の進行方向とは逆の方向に間引き位置を変更する処理を行う（例えば、被写体が右に移動していれば図５に示すようにフレームの進行に伴い標本点位置を左に移動させる処理を行う）ことで、図９の領域Ｂ１を図９の領域Ｃ１に移動させ、図９の領域Ｂ２を図９の領域Ｃ２に移動させたと同様の効果を得ることができ、結果として、被写体の仮想的なフレームあたりの移動量としての移動速度：ｖを、基準評価値Ｔ以上となる画質領域（図９のＣ１、Ｃ２）に設定することが可能となる。すなわち、図５に示すようにフレームの進行に伴い標本点位置を左に移動させる間引き処理を実行することで、画質劣化の少ない画像変換（圧縮）が実現される。
【００８３】
同様に、図１０の領域Ｂ３の速度で被写体が移動している場合、仮想的に被写体を減速（−Δｖ３）する処理を行なうことで、つまり進行方向と同じ方向に間引き位置変更を行う（例えば右に移動していれば図４の処理を行なう）ことで図１０の領域Ｂ３を図１０の領域Ｃ３に移動させ、結果として、被写体の仮想的なフレームあたりの移動量としての移動速度：ｖを、基準評価値Ｔ以上となる画質領域（図１０のＣ３）に設定することが可能となる。すなわち、図４に示すようにフレームの進行に伴い標本点位置を右に移動させる間引き処理を実行することで、画質劣化の少ない画像変換（圧縮）が実現される。
【００８４】
なお、図８〜図１０において示した画質評価曲線は、あくまでも主観評価による１実験の結果に基づいて設定した評価曲線を示すものであり、画質評価の方法は様々な方法が適用可能であり、その結果に基づいて間引き処理態様の決定を行なう構成としてもよい。
【００８５】
移動量が２ピクセル／フレーム以上のブロックデータの処理を実行する図２に示すブロック処理部１３１は、図６に示す間引き処理態様決定部１５１において、移動量検出部からの移動量情報に基づいて、
（ａ）標本点固定の間引き処理（図３参照）
（ｂ）標本点位置をフレームの進行に従って右方向へずらす間引き処理（図４参照）
（ｃ）標本点位置をフレームの進行に従って左方向へずらす間引き処理（図５参照）
これら（ａ）〜（ｃ）の間引き処理のいずれを実行するかを決定し、図６に示す間引き処理実行部１５２において決定した処理態様の間引き処理を実行する。
【００８６】
図６に示す間引き処理態様決定部１５１における間引き処理態様の決定に際しては、例えば図８〜図１０に示した画質評価曲線に基づく決定処理を行なう。すなわち、画質評価曲線が基準評価値Ｔ以上の画質が維持される移動速度領域である場合は、（ａ）標本点固定の間引き処理（図３参照）を実行し、画質評価曲線が基準評価値Ｔ未満の画質になる移動速度領域においては、（ｂ）標本点位置をフレームの進行に従って右方向へずらす間引き処理（図４参照）、または、（ｃ）標本点位置をフレームの進行に従って左方向へずらす間引き処理（図５参照）のいずれかを行なう構成として、仮想的な移動量が、画質評価曲線が基準評価値Ｔ以上の画質が維持される移動量領域に入る設定とする。
【００８７】
図６に示す間引き処理態様決定部１５１において、移動量検出部からの移動量情報に基づいて、決定する間引き処理態様の決定例を図１１に示す。図１１の決定例は、図８〜図１０に示す画質評価曲線に基づいて処理態様を決定した例を示している。
図１１（ａ）、（ｂ）は、
移動速度：２ピクセル／フレーム≦移動量＜ｃピクセル／フレーム、
移動速度：ｆピクセル／フレーム≦移動量＜ｅピクセル／フレームのいずれかで、
かつ、
移動方向：右、
の場合であり、この場合には、標本点位置をフレームの進行に従って左方向へずらす間引き処理（図５参照）、すなわち標本点位相変化量＝［＋ｎ］とした間引き処理を実行する。この処理は仮想的な加速処理であり、図９の領域Ｂ１からＣ１へ移す処理、または領域Ｂ２からＣ２へ移す処理に相当する。
【００８８】
図１１（ｃ）、（ｄ）は、
移動速度：２ピクセル／フレーム≦移動量＜ｃピクセル／フレーム、
移動速度：ｆピクセル／フレーム≦移動量＜ｅピクセル／フレームのいずれかで、
かつ、
移動方向：左
の場合であり、この場合には、標本点位置をフレームの進行に従って右方向へずらす間引き処理（図４参照）、すなわち標本点位相変化量＝［−ｎ］とした間引き処理を実行する。この処理も仮想的な加速処理であり、図９の領域Ｂ１からＣ１へ移す処理、または領域Ｂ２からＣ２へ移す処理に相当する。
【００８９】
図１１（ｅ）は、
移動速度：ｄピクセル／フレーム≦移動量＜ｆピクセル／フレームで、かつ、
移動方向：右
の場合であり、この場合には、標本点位置をフレームの進行に従って右方向へずらす間引き処理（図４参照）、すなわち標本点位相変化量＝［＋ｎ］とした間引き処理を実行する。この処理は仮想的な減速処理であり、図１０の領域Ｂ３からＣ３へ移す処理に相当する。
【００９０】
図１１（ｆ）は、
移動速度：ｄピクセル／フレーム≦移動量＜ｆピクセル／フレームで、かつ、
移動方向：左
の場合であり、この場合には、標本点位置をフレームの進行に従って左方向へずらす間引き処理（図５参照）、すなわち標本点位相変化量＝［−ｎ］とした間引き処理を実行する。この処理は仮想的な減速処理であり、図１０の領域Ｂ３からＣ３へ移す処理に相当する。
【００９１】
図１１（ｇ）は、
上記以外の移動速度、すなわち、
移動速度：ｃピクセル／フレーム≦移動量＜ｄピクセル／フレーム、
移動速度：ｅピクセル／フレーム≦移動量、のいずれかで、
移動方向：左または右
の場合であり、この場合には、標本点位置をフレームの進行に従ってずらす間引き処理ではなく固定標本点とした間引き処理（図３参照）、すなわち標本点位相変化量＝［０］とした間引き処理を実行する。この処理は、図８の領域Ａに対応する移動量を持つ被写体を有するブロックの処理に相当する。
【００９２】
上述の処理例は、水平方向の移動量を持つブロックの処理例であるが、垂直方向の移動量を持つブロックの処理においても同様の処理、すなわち、図２に示すブロック処理部１３１は、図６に示す間引き処理態様決定部１５１において、移動量検出部からの移動量情報に基づいて、
（１）標本点固定の間引き処理（図１２（ｂ１）参照）［標本点位相変化量＝［０］］
（２）標本点位置をフレームの進行に従って下方向へずらす間引き処理（図１３（ｂ２）参照）［標本点位相変化量＝［＋ｎ］］
（３）標本点位置をフレームの進行に従って上方向へずらす間引き処理（図１４（ｂ３）参照）［標本点位相変化量＝［−ｎ］］
のいずれを実行するかを決定し、図６に示す間引き処理実行部１５２において決定した処理態様の間引き処理を実行する。
【００９３】
ブロック処理部１３１は、このように、処理ブロックに含まれる被写体のフレームあたりの移動量としての移動速度：ｖに応じて異なる間引き処理を実行し、出力部１４０に出力する。ブロック処理部１３１は、間引き量４の場合、空間方向間引き処理を、供給された４個のブロックに対してそれぞれ施すので（隣接した４画素毎に１画素選択されるので）、各ブロックのデータ量が１／４に削減され、４個のブロック全体のデータ量が１／４に削減される。ブロック処理部１３１は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４０に供給する。
【００９４】
続いて、ブロック処理部１３２の説明の前に、ブロック処理部１３３の動作を、具体的に説明する。
【００９５】
ブロック処理部１３３は、移動量検出部１２０のブロック分配部１２２から供給された、連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎブロック（水平方向と垂直方向の移動量がともに１ピクセル未満である場合のＮ個のブロック）に対して、フレーム数を間引く処理（時間方向間引き処理）を行う。
【００９６】
具体的にはブロック処理部１３３は、図１５に示すように、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックＢｉを、その中の１つのブロック（この例の場合、フレームＦ１のブロックＢｉ）にするフレーム数の間引き（４フレーム間のフレーム数の間引き）を行う。
【００９７】
ブロック処理部１３３は、このような時間方向間引き処理により、データ量が１／４に削減された４個のブロックについてのデータ（１個のブロック）を、出力部１４０に供給する。なお、ここでは、Ｎ＝４の場合を例として説明したが、Ｎが他の値であっても同様な処理が行われる。
【００９８】
次に、ブロック処理部１３２の動作を具体的に説明する。ブロック処理部１３２は、移動量検出部１２０のブロック分配部１２２から供給された、連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向と垂直方向の移動量が１ピクセル以上２ピクセル未満である場合のＮ個のブロック）に対して、画素数の間引き処理（空間間引き処理）とフレーム数の間引き処理（時間方向間引き処理）をそれぞれ行なうものである。
【００９９】
ブロック処理部１３２に供給されるブロックのフレームあたりの移動量としての移動速度：ｖ＝１〜２は、数式（式１）、（式２）満足する。すなわち、超解像効果を得るための条件を満たしている。しかしながら、先に図３を参照して説明したものと同様の標本点固定とした間引き処理を実行してしまうと、画質劣化が知覚される場合があることがわかっている。
【０１００】
そこで、ブロック処理部１３２は、間引き量ｍ＝４ではなく、間引き量ｍ＝２とした間引き処理を実行し、さらに、ブロック処理部１３１における間引き処理と同様の、標本点固定型の間引き処理と標本点移動型の間引き処理を、被写体移動速度に応じて適宜選択して実行する。
【０１０１】
間引き量ｍ＝２とした場合の、標本点固定型の間引き処理と標本点移動型の間引き処理の態様を図１６〜図２１を参照して説明する。図１６〜図１８は、水平方向のフレームあたりの移動量としての移動速度：ｖ＝１〜２ピクセル／フレームである場合のブロック処理部１３２の間引き処理例である。
【０１０２】
図１６は、標本点固定型の間引き処理、すなわち標本点座標のフレーム毎の変化量である標本点位相変化量＝［０］とした間引き処理であり、各フレーム（ｋ〜ｋ＋３）の画素値ｐ１乃至ｐ４を、その中のいずれか２個の画素値（この例の場合、ｐ１、ｐ３）にする画素数の間引き（２画素間の画素数の間引き）、すなわち、間引き量ｍ＝２の間引き処理例である。
【０１０３】
図１７は、標本点移動型の間引き処理であり、各フレーム（ｋ〜ｋ＋３）の画素値ｐ１乃至ｐ４を、先行フレーム（ｋ、ｋ＋１）については、画素値ｐ１、ｐ３に設定し、後続フレーム（ｋ＋２、ｋ＋３）については、画素値ｐ２、ｐ４に設定する間引き処理である。本処理例は、標本点座標のフレーム毎の変化量である標本点位相変化量＝［０．５］とした間引き処理に相当する。
【０１０４】
図１８も、標本点移動型の間引き処理であり、各フレーム（ｋ〜ｋ＋３）の画素値ｐ１乃至ｐ４を、先行フレーム（ｋ、ｋ＋１）については、画素値ｐ２、ｐ４に設定し、後続フレーム（ｋ＋２、ｋ＋３）については、画素値ｐ１、ｐ３に設定する間引き処理である。本処理例は、標本点座標のフレーム毎の変化量である標本点位相変化量＝［−０．５］とした間引き処理に相当する。
【０１０５】
図１９〜図２１は、垂直方向のフレームあたりの移動量としての移動速度：ｖ＝１〜２ピクセル／フレームである場合のブロック処理部１３２の間引き処理例である。
【０１０６】
図１９は、標本点固定型の間引き処理、すなわち標本点座標のフレーム毎の変化量である標本点位相変化量＝［０］とした間引き処理であり、各フレーム（ｋ〜ｋ＋３）の画素値ｐ１乃至ｐ４を、その中のいずれか２個の画素値（この例の場合、ｐ１、ｐ３）にする画素数の間引き（２画素間の画素数の間引き）、すなわち、間引き量ｍ＝２の間引き処理例である。
【０１０７】
図２０は、標本点移動型の間引き処理であり、各フレーム（ｋ〜ｋ＋３）の画素値ｐ１乃至ｐ４を、先行フレーム（ｋ、ｋ＋１）については、画素値ｐ１、ｐ３に設定し、後続フレーム（ｋ＋２、ｋ＋３）については、画素値ｐ２、ｐ４に設定する間引き処理である。本処理例は、標本点座標のフレーム毎の変化量である標本点位相変化量＝［０．５］とした間引き処理に相当する。
【０１０８】
図２１も、標本点移動型の間引き処理であり、各フレーム（ｋ〜ｋ＋３）の画素値ｐ１乃至ｐ４を、先行フレーム（ｋ、ｋ＋１）については、画素値ｐ２、ｐ４に設定し、後続フレーム（ｋ＋２、ｋ＋３）については、画素値ｐ１、ｐ３に設定する間引き処理である。本処理例は、標本点座標のフレーム毎の変化量である標本点位相変化量＝［−０．５］とした間引き処理に相当する。
【０１０９】
ブロック処理部１３２も、ブロック処理部１３１と同様、先に説明した図６の構成を持つ。すなわち、ブロック処理部１３２は、間引き処理態様決定部１５１と、間引き処理実行部１５２を有する。間引き処理態様決定部１５１は、移動量検出部１２１から、移動量情報を入力する。なお、前述したように、ブロック処理部１３２へ入力されるブロックは、フレームあたりの移動量としての移動速度：ｖ＝１〜２ピクセル／フレームであるブロックであり、ブロック処理部１３２の間引き処理態様決定部１５１へ入力される移動量情報は、移動速度ｖ＝１〜２ピクセル／フレームの移動量情報となる。
【０１１０】
間引き処理態様決定部１５１は、移動量の値に基づいて、図１６〜図２１のいずれの態様での間引き処理を実行するかを決定し、間引き処理実行部１５２は、間引き処理態様決定部１５１の決定に従って図１６〜図２１のいずれかの態様での間引き処理を実行する。
【０１１１】
ブロック処理部１３２は、このように、処理ブロックに含まれる被写体のフレームあたりの移動量としての移動速度：ｖに応じて異なる間引き処理を実行し、出力部１４０（図１、図２参照）に出力する。ブロック処理部１３２は、間引き量２の空間方向間引き処理を実行するとともに、図２２に示す時間方向間引き（４フレーム→２フレーム）も施すので、各ブロックのデータ量が１／４に削減され、４個のブロック全体のデータ量が１／４に削減される。ブロック処理部１３１は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４０に供給する。
【０１１２】
次に、出力部１４０について説明する。出力部１４０は、ブロック処理部１３０のブロック処理部１３１〜１３３のそれぞれから供給された、データ量が削減されたＮ個のブロックについてのデータおよび、各ブロックがどのような処理をされたかを示す情報を出力する。処理内容に関する情報は、空間方向間引き、時間方向間引き、空間・時間方向間引きのいずれの方法で間引きされたのかを示す情報、空間間引きされている場合は間引き位置の変更処理は行われたのかを示す情報、行われているのならどのような間引き位置変更処理が施されたのかを示す情報、元の動画のフレームレート、空間解像度に関する情報、などから構成されるが、他の情報が加えられても構わない。
【０１１３】
以上のように、図１乃至図２２を参照して説明した動画像変換装置１００は、被写体の移動速度に応じて異なる間引き位相変化量の空間方向間引きを施すことで、画質劣化を抑えた圧縮によりデータ削減を可能とした構成となっている。
【０１１４】
具体的には、画像中の移動オブジェクトの移動量に応じて異なる間引き位相変化量の空間間引き処理を行なうデータ圧縮（削減）をしている。この間引き処理により、圧縮データを復元して再生を行なった場合に、画像中の移動オブジェクト（被写体）を観測者が追従視することで、各移動オブジェクト（被写体）の速度に対応する間引き処理に基づく超解像現象が発生し、観測者に画素数間引きに伴う画質劣化を知覚させないという効果を発生させるものである。
【０１１５】
なお、"追従視"または"観測者の視線が被写体を追従する"とは、被写体の移動速度：Ｖ（ピクセル／フレーム）と観測者の視線速度：Ｖｏ（ピクセル／フレーム）が同値またはほぼ同値となることである。観測者の視線速度は、フレームの進行に伴う、観測者の注目する画像中の座標位置の変化量である。
【０１１６】
しかし、画像中には複数の異なる移動速度や移動方向を持つ異なる複数のオブジェクトが存在する場合がある。例えば図２３に示すように、画像中に複数のオブジェクト（被写体）２８１およびオブジェクト（被写体）２８２が存在し、これらオブジェクトが矢印で示すように異なる動きをしているとする。このとき、観測者がオブジェクト２８１に注目し、このオブジェクト２８１を追従視すると、もうひとつのオブジェクト２８２に対しては観測者の視線は追従視していないことになる。つまり、観測者があらゆる状況において、必ずしも移動しているオブジェクトを追従視するとは限らない。
【０１１７】
もし、図２３に示す２つのオブジェクトの移動量Ｖ１およびＶ２がそれぞれ十分に高速であった場合、前記の動画像変換装置１００によれば、画素数を１／４に削減する空間方向の画素数間引きが施される。観測者が画質劣化を知覚しないための条件のひとつは、観測者が追従視を行なうことであるから、図２３に示す状況において観測者がオブジェクト２８２を追従した場合、オブジェクト２８２に関しては画質劣化を知覚しないが、観測者の視線が追従していないオブジェクト２８１に関しては、観測者が画質劣化を知覚する可能性が高い。以下、この問題点を解決した構成について説明する。
【０１１８】
［（２）改良した間引き処理を実行する動画像変換装置の構成］
以下、上述の動画像変換装置１００の問題点を解決し、改良した間引き処理を実行することにより、空間方向の間引き処理を施した領域に対して観測者が追従視を行なわなかった場合の画質劣化を抑制したデータ削減（圧縮処理）を実現する動画像変換装置について説明する。
【０１１９】
改良した間引き処理を実行する動画像変換装置３００の構成を、図２４を参照して説明する。図２４に示す動画像変換装置３００は、先に図１を参照して説明した動画像変換装置１００と同様、人間の視覚特性による超解像効果を利用することにより、データ量の削減による画質劣化を観測者が知覚しないようにデータ量を削減することを可能としたものであり、さらに、観測者が被写体に対して追従視を行なわなかった場合においても、観測者の知覚する画質劣化を最小限に抑制することを可能としたデータ削減（データ圧縮）を実現するものである。
【０１２０】
図２４の動画像変換装置３００の構成について説明する。入力された動画像データを構成する各フレームデータは、一旦フレームバッファ３０７に蓄積される。蓄積されたフレームはブロック分割部３０１および移動量検出部３０２に出力される。ブロック分割部３０１は入力されたフレームを、予め設定されたサイズのブロックに分割し、分割されたブロックデータを移動量検出部３０２および間引き処理実行部３０３に出力する。移動量検出部３０２はフレームバッファ３０７から供給されたフレームとブロック分割部から供給されたブロックを使用して、各ブロックに関する移動量［Ｖｓ］を検出し、間引き処理実行部３０３および標本点位相変化量決定部３０６に出力する。
【０１２１】
標本点位相変化量決定部３０６は、移動量検出部３０２から供給される各ブロックに対応するブロック移動量［Ｖｓ］および視線移動量検出部３０５から供給された視線移動量［Ｖｅ］を参照して、空間方向の画素数間引きにおける最適な標本点位相変化量［Ｖｐ］を決定し、間引き処理実行部３０３に出力する。
【０１２２】
間引き処理実行部３０３は、移動量検出部３０２から供給された各ブロックのブロック移動量［Ｖｓ］と、標本点位相変化量決定部から供給された各ブロックの空間間引き処理における標本点位相変化量［Ｖｐ］に基づき、ブロック分割部より入力されるブロックに対して空間方向の画素数間引きを施し、結果を出力部３０４に出力する。出力部３０４は、間引き処理実行部３０３から供給された、データ量が削減されたブロックについてのデータを、例えばストリームデータなどとしてまとめて出力する。
【０１２３】
続いて改良した間引き処理を実行する動画像変換装置３００の各構成部の処理の詳細について説明する。
【０１２４】
まず、フレームバッファ３０７について説明する。フレームバッファ３０７は入力される動画像データを構成するフレームデータを蓄積する。フレームバッファ３０７に蓄積するフレーム数は、移動量検出部３０２における移動量検出処理に適用するフレーム画像に依存する。
【０１２５】
例えば、移動量検出部３０２における移動量検出処理において、現フレームＦと過去のフレームＦ−ｋ（ｋは正の整数）を用いて現フレームＦにおける移動量を検出する構成とした場合は、フレームバッファ３０７は、フレームＦが入力された時点で、少なくとも過去のｋフレームを蓄積する構成とする。
【０１２６】
また、移動量検出部３０２における移動量検出処理において、現フレームＦと未来のフレームＦ＋ｋを用いて現フレームＦにおける移動量を検出する構成である場合は、フレームバッファ３０７は、フレームＦ＋ｋが入力されるまでフレームＦの蓄積状態を維持する構成とする。
【０１２７】
また、移動量検出部３０２における移動量検出処理において、フレームＦの移動量を検出する際に、過去のフレームＦ−ｋおよび未来のフレームＦ＋ｋを使用する構成である場合には、フレームバッファ３０７は少なくともフレームＦ−ｋからフレームＦ＋ｋまでのフレームを蓄積する構成とする。
【０１２８】
以下、１つの実施例として、移動量検出部３０２が、フレームＦの移動量検出の際に過去のフレームＦ−１を参照する構成である場合の処理例について説明する。すなわち、連続する２つのフレームに基づいて、フレームＦの移動量検出を行なう処理例について説明する。フレームバッファ３０７は移動量検出部３０２が移動量を検出するのに必要なフレームを蓄積し、現フレームＮをブロック分割部３０１に出力する。また、移動量検出の際に必要となるフレームＦ−１を移動量検出部３０２に出力する。なお、移動量検出部３０２における移動量検出処理に適用するフレームについては、上述したように様々な設定が可能であり、それぞれの設定において本発明は適用可能である。
【０１２９】
続いて、ブロック分割部３０１の行なう処理について説明する。ブロック分割部３０１は、入力された動画像の各フレームを、予め設定した大きさ、例えば８ピクセル×８ピクセル、４ピクセル×４ピクセル等のブロックに分解し、移動量検出部３０２および間引き処理実行部３０３に供給する。
【０１３０】
移動量検出部３０２は、ブロック分割部３０１から供給された、フレームＦの各ブロックについての移動量を検出する。すなわち、フレームバッファ３０７より入力されたフレーム（フレームＦ−１）を参照フレームとしてブロックマッチングを行いブロック単位の移動量（この場合は、１フレームあたりの移動量（ピクセル／フレーム））を検出する。移動量検出部３０２は、検出したブロック毎のブロック移動量［Ｖｓ］を、標本点位相変化量決定部３０６および視線移動量検出部３０５に供給する。
【０１３１】
なお、移動量検出部３０２において実行する移動量検出に適用する参照フレームは、前述したように過去のフレームＦ−１に限らず、さらに過去のフレームＦ−ｋであっても、未来のフレームＦ＋ｋであってもよい。また使用する移動量検出手法はブロックマッチング法以外の方法を適用してもよい。移動量検出部３０２の検出した移動量は各ブロックに対応する動きベクトルとして表される。動きベクトルは、フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量を表すことになる。
【０１３２】
次に、視線移動量検出部３０５について説明する。視線移動量検出部３０５はフレームを構成する各ブロックに対応する観測者の視線移動の予測量を検出する。本発明の動画像変換装置３００において、視線移動量検出部３０５は移動量検出部３０２から供給されるフレームを構成する各ブロックに対応する移動量に基づいて、視線移動の予測量の検出を行なう。視線移動量検出部３０５は、各ブロックについて検出した視線移動の予測量を、視線移動量［Ｖｅ］として標本点位相変化量決定部に出力する。
【０１３３】
すなわち、
移動量検出部３０２は、ブロック単位のブロック移動量［Ｖｓ］、
視線移動量検出部３０５は、ブロック単位の視線移動量［Ｖｅ］、
をそれぞれ検出する。
先に、図１〜図２２を参照して説明した装置では、移動量検出部において検出するブロックの移動量に視線移動量が等しいと仮定して超解像現象を発生させるという構成としていた。
【０１３４】
しかし、以下、説明する本発明の構成に従った処理においては、
移動量検出部３０２の検出するブロックのブロック移動量［Ｖｓ］と、
視線移動量検出部３０５の検出するブロック単位の視線移動量［Ｖｅ］、
これらの２つの値［Ｖｓ］，［Ｖｅ］は、必ずしも一致する値とならない。つまり、視線移動量検出部３０５は、ブロックを追従視しているとの仮定を行わず、観測者がブロック近傍を見ている場合に最も可能性が高いと考えられる視線の動きを予測し、この予測値を視線移動量［Ｖｅ］として算出するものである。
【０１３５】
観測者が、ブロックに含まれるオブジェクト（被写体）を完全に追従視する場合は、図１〜図２２を参照して説明した装置において超解像現象の発生に基づく高画質化が可能となる。しかし、追従視していない場合は、これらのブロックの移動量と、ブロック単位の視線移動の予測量には差が発生し、画質の劣化を知覚させてしまうことになる。本発明の処理ではこの差分が発生した場合にも、観測者に大きな画質劣化を感じさせない構成としたものである。
【０１３６】
視線移動量検出部３０５は、各ブロック単位で視線移動量［Ｖｅ］の検出を行なう。例えば、あるブロックＢにおける視線移動量［Ｖｅ］は、ブロックＢ上もしくはその付近を視線が通過すると仮定したときの観測者の注視点の移動速度であり、必ずしも実際の視線の移動と一致する必要は無い。また、本発明における視線移動量［Ｖｅ］は、原則的にはブロックＢの移動量［Ｖｓ］とは別の独立した移動量として算出される。つまり、視線移動量検出部３０５は、ブロックＢを追従視しているか否かに関わらない独立した値として視線移動量［Ｖｅ］を決定する。すなわち、観測者がブロックＢを含むブロック近傍を見ている場合に最も可能性が高いと考えられる視線の動きを予測して、これを視線移動量［Ｖｅ］として算出する。以下、あるブロックにおける視線移動量［Ｖｅ］を検出する方法の一例を示す。
【０１３７】
図２５および図２６を用いて、ブロックに対応する視線移動量［Ｖｅ］の検出方法の例を説明する。図２５は水平方向に動く２つのオブジェクト（被写体）３５１とオブジェクト（被写体）３５２がすれ違う様子を表している。オブジェクト３５１は、太い矢印が示すように左方向へと速度Ｖ１で動いており、オブジェクト３５２は細い矢印が示すように速度Ｖ２で右方向に移動している。点線の矩形３５４（ブロック３５４）が視線移動量［Ｖｅ］を検出しようとしているブロック、例えば４×４画素のブロックであるとする。ブロック３５４はオブジェクト３５２に完全に含まれるので、ブロック３５４に対応する移動量は、移動量検出部３０２においてＶ２として算出される。
【０１３８】
ここで、視線移動量検出部３０５は、ブロック３５４に対応する視線移動量［Ｖｅ］を予測する。視線移動量［Ｖｅ］は、原則的にそのブロックを観測者が追従視しなかったときに最も可能性の高い視線の動きを予測して算出する。従って、ブロック３５４の移動量［Ｖｓ］であるＶ２に等しくなるとは限らない。
【０１３９】
視線移動量検出部３０５は、視線移動量［Ｖｅ］の算出対象としてのブロック３５４を中心とするブロック拡張領域３５３を設定し、ブロック拡張領域３５３に含まれる全てのブロックのブロック移動量［Ｖｓ］の頻度を数え上げる。視線移動量検出部３０５は、ブロック拡張領域３５３に含まれる各ブロックの移動量の値において、ブロック３５４の移動量であるＶ２とは異なり、かつ頻度が最も高い移動量をブロック３５４における視線移動量とする。
【０１４０】
図２５に示す例の場合は、ブロック拡張領域３５３に含まれる全てのブロックの移動量中、最も頻度が高い移動量はＶ１となる。Ｖ１は、Ｖ２とは異なる値であるので、Ｖ１をブロック３５４に対応する視線移動量、すなわち視線移動量Ｖｅ＝Ｖ１とする。視線移動量検出部３０５は全てのブロックに関して上記の作業を行ない、それぞれのブロックに対応する視線移動量を決定する。
【０１４１】
視線移動量検出部３０５の異なる処理例について、図２６を参照して説明する。図２６において、オブジェクト（被写体）３６１，３６２の動きは図２５のオブジェクト３５１，３５２と同様である。この構成において、ブロック３６４における視線移動量の検出処理を行なう場合、ブロック拡張領域３６３が設定されるが、ブロック拡張領域３６３に含まれる各ブロックの移動量が、全て中心のブロック３６４の移動量と同様となる。
【０１４２】
このような場合は、ブロック３６４に対応する視線移動量としてＶ１を割り当てる。すなわちＶｅ＝Ｖ１とする。ブロック拡張領域３６５のように、ブロック３６６を中心とする領域内のほとんどのブロックの移動量が、中心のブロック３６６の移動量と同じ場合も同様に、ブロック３６６に対応する視線移動量としてＶ２を割り当てる。すなわち視線移動量Ｖｅ＝Ｖ２とする。ブロック拡張領域内のブロックの移動量の大半が中心のブロックと同様であるのかどうかについての判定処理としては、視線移動量検出部３０５、例えば以下の判定処理を実行する。
【０１４３】
視線移動量検出部３０５は、あらかじめ設定した閾値Ｒを保持し、中心のブロックと同じ（もしくはほぼ同じ）移動量を持つブロックの数Ｎｃが閾値Ｒを超えた場合は、領域内の大半が中心のブロックと同様であると判断し、視線移動量として、ブロックの移動量と等しい値を設定する。
【０１４４】
以上の視線移動量決定処理は、ブロックを中心とする特定の範囲内において最も多大な面積を占めるオブジェクトを観測者が注視し易いとの推測によるものである。なお、ブロック拡張領域の形状・大きさは、視線移動量決定処理の対象とするブロックを含み、その中心ブロックより大きな面積を持つ構成とすればどのようなものでもよいが、例えば、中心ブロックを４×４ピクセルとした場合、縦、横の長さが共に１０倍程度とした３０ピクセル〜５０ピクセル程度の正方形などが考えられる。
【０１４５】
このように、本発明の動画像変換装置では、
移動量検出部３０２において、ブロック移動量［Ｖｓ］、
視線移動量検出部３０５は、ブロックの視線移動量［Ｖｅ］、
これらの２つのブロック対応の値を算出して、これらの値に基づく間引き処理を実行してデータ圧縮（削減）を実行する。
【０１４６】
なお、上述した視線移動量検出部３０５の処理は、動画像データに基づいて観測者の視線移動量を推定する処理に基づくものであるが、視線移動量の検出方法は、上記に限らず様々な手法が考えられる。
【０１４７】
例えば、外部に設置したセンサ等により、実際に動画像を見ている観測者の眼球運動を撮像し、眼球の動きから実際の視線移動量を算出することも可能である。その場合は、全てのブロックに対して、実際の視線移動量を、そのブロックに対応する視線移動量として設定すれば良い。その際は、図２７に示すように、視線移動量検出部３０５を動画像変換装置３００の外部に設置する構成となり、視線移動量検出部３０５は移動量検出部３０２からのブロックごとの移動量の供給を必要としない。
【０１４８】
このようにして実際に動画像を見ている観測者の眼球運動に基づいて、各ブロック単位の視線移動量を、動画像データのブロックに対応する属性情報として設定して、この属性情報に従ったデータ圧縮（削減）を行なう構成としてもよい。
【０１４９】
続いて、標本点位相変化量決定部３０６の実行する処理の詳細について説明する。標本点位相変化量決定部３０６は、図２４または図２７に示す視線移動量検出部３０５から供給される各ブロックに対応する視線移動量［Ｖｅ］と、移動量検出部２０２から供給される各ブロックに対応するブロック移動量［Ｖｓ］の各情報を入力し、入力するこれらの情報に基づいて標本点位相変化量［Ｖｐ］を決定して、決定した標本点位相変化量［Ｖｐ］を間引き処理実行部３０３に出力する。間引き処理実行部３０３では、各ブロックに施す空間方向の画素数間引きにおいて、標本点位相変化量決定部３０６から入力する標本点位相変化量［Ｖｐ］に基づく間引き処理を実行する。
【０１５０】
標本点位相変化量決定部３０６における標本点位相変化量［Ｖｐ］の決定処理は以下の２段階の処理によって構成される。
（第１段階処理）画質評価特性に基づく標本点位相変化量［Ｖｐ］の候補の決定である候補決定処理
（第２段階処理）視線速度に対して最適な標本点位相変化量［Ｖｐ］の決定である最終決定処理
以下、これらの処理の詳細について説明する。
【０１５１】
（第１段階処理）画質評価特性に基づく標本点位相変化量［Ｖｐ］の候補の決定である候補決定処理
この第１段階の処理は、本出願人と同一出願人の先の出願である特開２００６−５９０４号に記載されている動画像変換装置１００による間引き処理態様決定の方式と同様の処理であり、例えば図２８乃至図３１および図３２に示す画質評価曲線に基づいて行なわれる。
【０１５２】
図２８に示すグラフは、横軸を被写体の移動量の値とし、
標本点位相変化量＝０
とした空間方向の画素数間引き処理を施して生成した変換画像データを復元・再生し、追従視を行なった場合の画質評価を記録したグラフであり、図８に示したグラフと同様である。横軸に示した移動量で被写体を右方向に移動させた際の主観評価実験の結果の傾向を画質評価曲線４０１（図８における２０５と同様）として示している。縦軸が画質評価（高いほど画質が良いという評価）を示している。
【０１５３】
図２８中にＴで示す基準評価値４０２を設定し、基準評価値Ｔ以上の評価を得られる速度の領域を高画質移動量領域４０３乃至４０５によって示す。図２８から、被写体が４０３乃至４０５の領域の速度で移動している場合には、標本点位相変化量＝０の間引き処理を施しても、十分な画質を得られることがわかる。
【０１５４】
図２９乃至図３１は、図２８の曲線４０１を右方向にシフトすることで作成した画質評価曲線であり、それぞれ、
図２９：標本点位相変化量＝＋１の場合、
図３０：標本点位相変化量＝＋２の場合、
図３１：標本点位相変化量＝＋３の場合、
上記のように対応する。
【０１５５】
以下に図２８の曲線４０１を右方向にシフトすることで、異なる標本点位相変化量の場合の画質評価曲線が得られる理由を説明する。
【０１５６】
（式４）ですでに示したように、間引き位置の変更処理（標本点位相変化量≠０の処理）は、（式３）に示されている標本点のずれ量φｔをフレーム毎に１／ｍ加算（右にずらす場合）、または１／ｍ減算（左にずらす場合）することに等しい。なお、ｍは間引き量（ｍピクセル）である。さらに一般的に、標本点位相変化量＝Ｐの場合の間引き処理は、（式３）に示されている標本点のずれ量φｔをフレーム毎にＰ／ｍ加算することに等しい。標本点位相変化量＝Ｐのもとで画素数の間引き処理を行なった場合の新たな標本点のずれ量φ'ｔは、下記数式（式５）として示される。
【数４】
【０１５７】
結局、標本点位相変化量＝Ｐで間引き処理を行なうことは、被写体の移動速度ｖを概念的に減速することと等しいことが（式５）からわかる。これは、例えばＰ＝１の場合、ｖ＝Ｖ１における画質評価値はＰ＝０の場合のｖ＝Ｖ１−１における画質評価値から得られることを示している。よってＰ＝１の画質評価曲線（図２９の曲線４１１）は図２８の曲線４０１（図２９の点線で示した曲線）を右方向に１ピクセル分シフトすることで得られることがわかる。基準評価値Ｔ以上の評価を得られる速度の領域を高画質移動量領域４１３乃至４１６によって示す。
【０１５８】
同様に標本点位相変化量Ｐの場合のｖ＝Ｖｐにおける画質評価値は、標本点位相変化量＝０の場合の速度ｖ＝Ｖｐ−Ｐの場合の画質評価値より得られるので、図３０のＰ＝２の場合の画質評価曲線４２１は曲線４０１（図３０の点線で示した曲線）を右に２ピクセル分シフトすることで得られる。基準評価値Ｔ以上の評価を得られる速度の領域を高画質移動量領域４２３乃至４２５によって示す。
【０１５９】
さらに、図３１のＰ＝３の場合の画質評価曲線４３１は曲線４０１（図３１の点線で示した曲線）を右に３ピクセル分シフトすることで得られることがわかる。基準評価値Ｔ以上の評価を得られる速度の領域を高画質移動量領域４３３乃至４３６によって示す。
【０１６０】
なお、以上のように標本点位相変化量Ｐ＝０の場合以外の画質評価曲線はシミュレーションによって作成したが、全ての標本点位相変化量の場合について実際に実験等によってＰ＝０の場合と同様にグラフを作成しても構わない。
【０１６１】
図３２は図２８乃至図３１の画質評価曲線４０１、４１１、４２１、４３１を全て示した図である。図３２を参照して理解されるように、あらゆる速度において、画質評価値が閾値Ｔを上回る（十分な画質を得られる）標本点位相変化量は、複数存在する。
【０１６２】
例えば、図３２において移動量ｖ＝３ピクセル／フレームの位置（４４１の点線上）では、曲線４０１と４２１が閾値Ｔを上回っている。つまり、ｖ＝３の場合には、標本点位相変化量Ｐ＝０またはＰ＝２の間引き処理を施した場合に、観測者が画質劣化を感じない十分な品質の画像が提供できることがわかる。
【０１６３】
以上のようにして、標本点位相変化量決定部３０６の第１段階の処理では、各標本点位相変化量に対応する画質評価曲線に基づき、移動量検出部３０２から供給された各ブロックに対応するブロック移動量［Ｖｓ］において、十分な画質（閾値Ｔを上回る画質）を得られるような標本点位相変化量［Ｖｐ］の候補を複数決定する。
【０１６４】
上記の例は、変換画像データを右方向に移動させてグラフを作成したが、図２８乃至図３２に示した画質評価曲線は画像データの移動方向（水平・垂直）によらないので、垂直方向の画素数間引きにおける標本点位相変化量の候補も図２８乃至図３２を用いて決定することができる。
【０１６５】
また、図２９〜図３１に示すグラフは、変換画像データを右方向に移動させてグラフを作成した例であるが、例えば４画素から１画素を選択する間引きでは、
標本点位相変化量＝＋３は、標本点位相変化量＝−１に等しく、
標本点位相変化量＝＋２は、標本点位相変化量＝−２に等しく、
標本点位相変化量＝＋１は、標本点位相変化量＝−３に等しい。
という結果であり、４画素から１画素を選択する間引きでは、標本点位相変化量＝０〜＋３のグラフですべてをカバーできることになる。
【０１６６】
また、上記の例は、間引き量Ｍ＝４の場合の画質評価特性であったが、間引き量がその他の値でも、同様の手段によって画質評価特性を生成することが可能である。すなわち、まず、標本点位相変化量を０とした場合の変換画像データを作成して、移動速度を変えて表示し、画質を測定し、しかるのちに、得られた画質評価曲線をシフトすることで間引き量Ｍに対応する全ての標本点位相変化量に対応する評価曲線を得ることができる。ただし、全ての標本点位相変化量に対応する画質評価曲線を実験によって得ても良い。すなわち、０以外の標本点位相変化量に関しても、実際に変換画像データを作成し、速度を変えて表示し、評価曲線を得ることも可能である。
【０１６７】
なお、ある速度に対して、間引き量Ｍの値によっては、必ずしも複数の標本点位相変化量が、閾値Ｔを上回るものとして選択できるとは限らない。つまり、ある速度に対して評価値が閾値Ｔを上回るような標本点位相変化量が１種類しか存在しない場合も考えられる。そのような時はその１種類のみを候補とする。
【０１６８】
このように、標本点位相変化量決定部３０６は、第１段階処理として、
各標本点位相変化量に対応する画質評価曲線を適用して、移動量検出部３０２から供給された各ブロックに対応するブロック移動量［Ｖｓ］において、十分な画質（閾値Ｔを上回る画質）を得られるような標本点位相変化量［Ｖｐ］の候補を複数決定する。
すなわち、ブロック移動量［Ｖｓ］に基づいて、十分な画質（閾値Ｔを上回る画質）を得られるような標本点位相変化量［Ｖｐ］の候補を複数決定する。
【０１６９】
（第２段階処理）視線速度に対して最適な標本点位相変化量［Ｖｐ］の決定である最終決定処理
続いて、標本点位相変化量決定部３０６は第２段階の処理を行なう。つまり、前記の標本点位相変化量の候補、すなわち、十分な画質（閾値Ｔを上回る画質）を得られるような標本点位相変化量の候補の中から、視線移動量検出部３０５から供給された視線移動量［Ｖｅ］に対して最適な標本点位相変化量［Ｖｐ］を決定する。
【０１７０】
すなわち、第１段階の処理で、ブロック移動量［Ｖｓ］に対応して選択された、閾値Ｔを上回る画質を得られる標本点位相変化量［Ｖｐ］の候補から、さらに、視線移動量検出部３０５から供給された視線移動量［Ｖｅ］に対して最適な標本点位相変化量［Ｖｐ］を決定する。
【０１７１】
第１段階で得られた標本点位相変化量の候補の全ては、観測者が被写体に対して追従視を行なった場合には十分な画質が得られる。そこで第２段階の処理では、観測者が被写体を追従視しない場合、すなわち、非追従視の条件下において、観測者がどのような映像を知覚するかについて考慮した最終的な標本点位相変化量の決定を行なう。
【０１７２】
観測者が追従視を行なっていない場合に知覚する映像は、
被写体の移動速度であるブロック移動量［Ｖｓ］、
標本点位相変化量［Ｖｐ］、
観測者の視線の移動速度である視線移動量［Ｖｅ］、
これらの値によって決定される。
【０１７３】
図３３は、表示系（実際にディスプレイに表示される様子）を表したものであり、縦軸を時間ｔ（フレーム）、横軸を表示形における水平方向の座標Ｘｄとし、間引き処理後の被写体が表示される様子を示したものである。
【０１７４】
図中の上部の図３３（ａ）に示すオブジェクト４５３が、間引き処理前の原画像におけるオブジェクト（被写体）４５３であり、オブジェクト（被写体）４５３を構成する各画素に対して１〜１１の番号を付与している。
【０１７５】
図中の下部の図３３（ｂ）に示す出力オブジェクト（被写体）４５０は、オブジェクト（被写体）４５３の間引き処理結果として各時間ｔ＝１，２，３に出力される出力オブジェクト（被写体）４５０を示している。
時間ｔ＝１では、４画素から１画素を抽出する間引き処理において選択された標本点３，７，１１が出力され、
時間ｔ＝２では、標本点２，６，１０が出力され、
時間ｔ＝３では、標本点１，５，９が出力されている。
【０１７６】
このように、出力オブジェクト４５０は、時間ｔがｔ＝１、２、３と進行するにつれ、右方向に移動する移動オブジェクトである。このときの出力オブジェクト４５０の移動速度がブロック移動量に相当する［Ｖｓ］である。図中に示す矢印４５１が、ブロック移動量対応矢印４５１である。ブロック移動量対応矢印４５１が垂直に近いほどオブジェクト移動速度（＝ブロック移動量［Ｖｓ］）が小さく、水平に近いほどオブジェクト移動速度（＝ブロック移動量［Ｖｓ］）が大きいことを示している。図に示す例では、オブジェクト移動速度（＝ブロック移動量［Ｖｓ］）は、ほぼ２画素／フレームである。すなわち、Ｖｓ＝＋２である。なお、本処理例では、右方向を［＋］、左方向を［−］とする。
【０１７７】
出力画像中の黒点と黒点の間の距離［Ｍ］は間引き量（サンプリング間隔＝Ｍ）と一致する。黒点位置の変化が標本点位相変化量［Ｖｐ］である。被写体速度と同様に標本点位相変化量矢印４５２によって速度（位相変化量）の大きさを表している。標本点位相変化量［Ｖｐ］は、図３３（ｃ）に示すように、間引き処理において選択される標本点のフレームあたりの移動量に相当する。図に示す例では、時間ｔ＝１，２，３と１つのフレームの進行に従って右方向に１つずつ画素を移動させて標本点が選択されている。この場合の標本点位相変化量Ｖｐは、Ｖｐ＝＋１となる。なお、本処理例では、右方向を［＋］、左方向を［−］とする。
【０１７８】
次に、このような間引き処理画像を観測者が実際に見た場合、観測者の網膜上に映る像の状況を図３４および図３５を参照して説明する。図３４、図３５においては、
（ａ）オブジェクト
（ｂ）出力オブジェクト
（ｃ）観測者の知覚画像
を示している。
【０１７９】
（ｃ）観測者の知覚画像は、観測者が（ｂ）出力オブジェクトを実際に見た場合に、観測者の網膜上に映る像の状況を示したものである。
（ｂ）出力オブジェクト中に示す縦軸は図３３と同様に時間ｔ（フレーム）であり、横軸は水平方向の座標Ｘｅとなっている。座標Ｘｅは、（ｃ）観測者の知覚画像においても、観測者の「網膜上」の水平方向の座標Ｘｅに相当する。
【０１８０】
図３４（ｃ）は、観測者が出力オブジェクト４５０を追従して観測した場合の、網膜上の像の状況を示している。網膜座標上における被写体（オブジェクト）移動速度［Ｖｓ＿ｅ］は、オブジェクト移動速度（＝ブロック移動量［Ｖｓ］）と、視線移動量［Ｖｅ］との差分、すなわち、
Ｖｓ−Ｖｅ
によって得られる。
【０１８１】
観測者がオブジェクトを追従視している時の視線移動量［Ｖｅ］は、オブジェクト移動速度（＝ブロック移動量［Ｖｓ］）に等しいので、
網膜座標上における被写体（オブジェクト）移動速度［Ｖｓ＿ｅ］は、
Ｖｓ＿ｅ＝Ｖｓ−Ｖｅ＝０
となる（図３４に示す矢印４６１）。
【０１８２】
また網膜座標系における標本点位相変化量［Ｖｐ＿ｅ］は、視線移動量［Ｖｅ］と、標本点位相変化量［Ｖｐ］とを用いた以下の式によって得られる（ただし、Ｍ＝間引き量とする）。
Ｖｐ＞Ｖｅの場合、
Ｖｐ＿ｅ＝（Ｖｐ−Ｖｅ） ｍｏｄ Ｍ
Ｖｐ＜Ｖｅの場合、
Ｖｐ＿ｅ＝Ｍ−｛（Ｖｅ−Ｖｐ） ｍｏｄ Ｍ｝・・・（式６）
このように示される。
網膜座標系における標本点位相変化量Ｖｐ＿ｅについては詳細を後述する。なお、［＿ｅ］の記号は、網膜座標系を示すものとする。
【０１８３】
図３４（ｃ）は、観測者が出力オブジェクト４５０を追従して観測した場合の、網膜上の像の状況としての知覚画像４６３を示している。観測者の網膜上には、視覚の積分効果により数フレーム分の画像が足しあわされた映像が知覚される。
【０１８４】
最終的に観測者が知覚する映像は、表示映像がサンプリング間隔Ｍの荒い映像であるにもかかわらず、超解像効果によりサンプリング間隔がＭよりも小さくなった高精細な映像となり画質の劣化は起こらない。
【０１８５】
図３４（ｃ）は、観測者が出力オブジェクト４５０を追従して観測した場合の、網膜上の像の状況としての知覚画像４６３は、図３４（ａ）に示すオブジェクト４５３と完全に同一の画素順序が保たれており、知覚画像においては被写体がほぼ完全に復元されていることがわかる。
【０１８６】
図３５は、観測者が移動オブジェクトの追従視を行なわず、被写体の移動速度とは逆の方向に視線を移動させた場合、すなわち、
オブジェクト移動速度（＝ブロック移動量［Ｖｓ］）＞０
視線移動量Ｖｅ＜０
とした場合の網膜上の像の状況を説明する図であり、図３４と同様、
（ａ）オブジェクト
（ｂ）出力オブジェクト
（ｃ）観測者の知覚画像
を示している。
【０１８７】
図３５（ｃ）に示す知覚画像４７２は、図３４（ｃ）に示す知覚画像４６３と同様に、実際に観測者が知覚する映像を表している。
【０１８８】
図３５（ｃ）に示す知覚画像４７２は、図３５（ａ）に示すオブジェクト４５３と画素順序が異なっている。具体的には、図３５（ｃ）に示す知覚画像４７２の「５」の画素の左側に、原画像では右側に存在するはずの画素「１１」、「６」や「７」の画素が存在しており画素の構成が極端に変わっている。図３５（ｃ）に示す知覚画像４７２のような画像、すなわち画素の並びが実際の並びと大きく食い違っている、より具体的には画素の並びが反転しているような画像を観測者が知覚した場合に、観測者は著しい画質劣化を認識する。
【０１８９】
観測者の網膜上に見える像が実際のオブジェクトと異なる画像となる現象、すなわち、観測者の網膜上に見える像の画素の並びが実際の並びと食い違う現象について、図を参照して説明する。
【０１９０】
図３６は、動画像を構成する連続フレーム０，１，２における三角形のオブジェクトが速度２ピクセル／フレームで，右方向に移動している様子を示した図であり、（ａ）オブジェクトの動きと、１／４間引きを行なった出力画像における（ｂ）出力オブジェクトを示している。オブジェクトは右方向に移動している。点線の幅が１画素であり、ブロックは４×４画素によって構成されているとする。図面では、横方向の画素区切りのみを示してある。
【０１９１】
オブジェクトは、速度２ピクセル／フレームで，右方向に移動している。（ｂ）出力オブジェクトは、標本点位相変化量＝３（＝−１）で水平方向の空間間引き処理を施した結果の出力画像である。斜線領域は間引き処理により削除されたピクセルに相当する。フレーム０における標本点の位置は、ブロックの一番右の画素であり、標本点位相変化量＝−１なので、フレームが進行すると、標本点は１ピクセルずつ左にずれる（右に３ピクセルずれる）設定となっている。
【０１９２】
このとき、観測者は、（ｂ）出力オブジェクトを観測する。図３７は、オブジェクトの追従視を行なった場合を説明する図である。観測者は、図３７（１）に示すオブジェクトの中央（白丸）を中止して、オブジェクトを追従視するものとする。この場合、図３７（２）出力オブジェクトに対する注視点は、オブジェクトの移動に対応した速度、すなわち２ピクセル／フレームで右側に移動することになる。
【０１９３】
このときの観測者の網膜上の像について、図３８を参照して説明する。図３８（１）はフレーム単位の観測者の網膜上の像を示している。外周の楕円が網膜の全体である。図３８（２）は観測者の知覚画像を示している。観測者は、積分効果により短い間に表示された複数フレーム画像を積分して認識する結果、図３８（２）に示すような複数フレーム分の像の積分結果としての知覚画像を認識する。
【０１９４】
観測者は、追従視を行なっているので、図３８（１）に示すフレーム単位の観測者の網膜上において、注視点が網膜上の中央に設定される。視覚の積分効果により短い間に表示された複数フレームは積分して認識されるので、図３８（１）に示すフレーム単位の３つの像がそのまま積分されて、右側の図３８（２）知覚画像となる。図３８（２）に示す知覚画像は、元のオブジェクトの形とほぼ同じである。すなわち、観測者の網膜上に見える像の画素の並びが実際の並びと食い違うことない画像として認識され、画像の劣化を感じることがない。
【０１９５】
次に、観測者の網膜上に見える像の画素の並びが実際の並びと食い違う場合の例について、図３９、図４０を参照して説明する。
【０１９６】
図３９は、オブジェクトの追従視を行なわず、視線移動量［Ｖｅ］が、オブジェクト移動速度（＝ブロック移動量［Ｖｓ］）より大きい場合を示している。オブジェクト移動速度（＝ブロック移動量［Ｖｓ］）は、２ピクセル／フレームであるが、視線移動量［Ｖｅ］は４ピクセル／フレームである。この場合、視線が４ピクセル／フレームで右に移動しているためオブジェクトを追い越してしまうことになる。
【０１９７】
このときの観測者の網膜上の像について、図４０を参照して説明する。図４０（１）はフレーム単位の観測者の網膜上の像を示している。外周の楕円が網膜の全体である。図４０（２）は観測者の知覚画像を示している。観測者は、積分効果により短い間に表示された複数フレーム画像を積分して認識する結果、図４０（２）に示すような複数フレーム分の像の積分結果としての知覚画像を認識する。
【０１９８】
観測者は、４ピクセル／フレームで右に移動する視線移動量［Ｖｅ］で画像を観察しているので、図４０（１）に示すフレーム単位の観測者の網膜上において、４ピクセル／フレームで右に移動する注視点が網膜上の中央に設定される。視覚の積分効果により短い間に表示された複数フレームは積分して認識されるので、図４０（１）に示すフレーム単位の３つの像がそのまま積分されて、右側の図４０（２）知覚画像となる。図４０（２）に示す知覚画像は、元のオブジェクトの形と違う形となる。
【０１９９】
すなわち、観測者の網膜上に見える像の画素の並びが実際の並びと食い違うことになり、オブジェクトの形が認識できない画像が知覚されることになり、画像の劣化を感じる。
【０２００】
このように、観測者が、移動オブジェクトを追従視しない場合には、観測者の知覚画像において、画素の並びの反転が発生する場合がある。
【０２０１】
続いて、図４１乃至図４４を参照して、観測者の知覚画像において、画素の並びの反転が発生する条件について考える。図４１乃至図４４は、
（１）オブジェクト移動速度（＝ブロック移動量［Ｖｓ］）と、視線移動量［Ｖｅ］との差の正負、
（２）オブジェクト移動速度（＝ブロック移動量［Ｖｓ］）と、標本点位相変化量［Ｖｐ］の大小関係によって区別して観測者の知覚画像を示した図である。すなわち、それぞれ、
図４１：Ｖｓ−Ｖｅ＜０ かつ Ｖｓ＞Ｖｐ
図４２：Ｖｓ−Ｖｅ＜０ かつ Ｖｓ＜Ｖｐ
図４３：Ｖｓ−Ｖｅ＞０ かつ Ｖｓ＜Ｖｐ
図４４：Ｖｓ−Ｖｅ＞０ かつ Ｖｓ＞Ｖｐ
の状況を示している。図４１乃至図４４の各図における知覚画像と原画像とを比較して、知覚画像において、現画像に対する画素順反転が発生しているか否かを検討する。
【０２０２】
図４１〜図４４、それぞれにおいて、（ａ）オブジェクトと、（ｃ）知覚画像の画素順を比較する。結果は、以下のようになる。
（１）図４１：Ｖｓ−Ｖｅ＜０ かつ Ｖｓ＞Ｖｐとした場合、
（ａ）オブジェクトと、（ｃ）知覚画像の画素順の反転は発生しない。
（２）図４２：Ｖｓ−Ｖｅ＜０ かつ Ｖｓ＜Ｖｐとした場合、
（ａ）オブジェクトと、（ｃ）知覚画像の画素順の反転が発生する。
（３）図４３：Ｖｓ−Ｖｅ＞０ かつ Ｖｓ＜Ｖｐとした場合、
（ａ）オブジェクトと、（ｃ）知覚画像の画素順の反転は発生しない。
（４）図４４：Ｖｓ−Ｖｅ＞０ かつ Ｖｓ＞Ｖｐとした場合、
（ａ）オブジェクトと、（ｃ）知覚画像の画素順の反転が発生する。
【０２０３】
以上の結果が導き出される。上記の結果から、結局、網膜座標系におけるオブジェクト移動速度の絶対値｜Ｖｓ−Ｖｅ｜よりも、網膜座標系における標本点位相変化量の絶対値｜Ｖｐ＿ｅ｜の方が大きければ画素の反転が起こらないと考えられ、以下の様に画素の反転の発生条件をまとめることができる。
【０２０４】
・｜Ｖｐ＿ｅ＊｜＞｜Ｖｓ−Ｖｅ｜→画素順は反転しない
・｜Ｖｐ＿ｅ＊｜＜｜Ｖｓ−Ｖｅ｜→画素順は反転する
【０２０５】
ただし、Ｖｐ＿ｅ＊は、正負をＶｓ−Ｖｅと一致させた網膜座標系における標本点位相変化量［Ｖｐ＿ｅ（＝Ｖｐ−Ｖｅ）］である。すなわち、Ｖｓ−Ｖｅ＞０ならばＶｐ＿ｅ＊＞０であり、Ｖｓ−Ｖｅ＜０ならばＶｐ＿ｅ＊＜０とする。
【０２０６】
先に、（式６）を参照して説明した網膜座標系における標本点位相変化量［Ｖｐ＿ｅ］は、常に正となるが、標本点の位置を変えずに、上記式のＶｐ＿ｅ＊を得ることが可能であり、正負が逆転したＶｐ＿ｅをＶｐ＿ｅ−とすると、Ｖｐ＿ｅ−は、以下の式によって算出することができる。
Ｖｐ＿ｅ−＝Ｖｐ＿ｅ−Ｍ・・・（式７）
【０２０７】
例えばＭ＝４であり、Ｖｐ＿ｅ＝１であったとすると、Ｖｐ＿ｅ−＝−３となる。
つまり、
Ｖｓ−Ｖｅ＞０の場合、
Ｖｐ＿ｅ＊＝Ｖｐ＿ｅ
Ｖｓ−Ｖｅ＜０の場合、
Ｖｐ＿ｅ＊＝Ｖｐ＿ｅ−・・・（式８）
となる。
【０２０８】
上記（式７）の変換が単に記述形式の変更に過ぎず、標本点の位置はＶｐ＿ｅとＶｐ＿ｅ−とで変わらない（間引き処理結果が変わらない）ことを図４５および図４６を用いて説明する。
【０２０９】
図４５はある座標系（表示座標系でも網膜座標系であってもよい）における、標本点の位置（図中の黒点の位置）の時間的変化（ｔ＝１，２，３・・・）を示したものである。ここでは被写体の動きは特に考慮しない。図中の矢印は標本点位相変化量［Ｖｐ］を視覚的に図示したものであり、図４５に示す例の場合、標本点位相変化量Ｖｐ＝１ピクセル／フレームであり、右方向に標本点の位相が変化している様子がわかる。次に図４６に注目すると、標本点位相変化量Ｖｐ＝−３ピクセル／フレームであることがわかる。ところが、図４５と図４６では標本点の位置に全く違いはない。すなわち、上記の（式６）でＶｐ＿ｅの正負の変換が可能であることが確認できる。
【０２１０】
以上の結果を基に、標本点位相変化量決定部３０６の第２段階では、第１段階で決定した、標本点位相変化量の候補の中から、画素の並びが反転しないような標本点位相変化量を１つ決定する。
【０２１１】
すなわち、標本点位相変化量決定部３０６の第２段階の処理では、第１段階の処理においてブロック移動量［Ｖｓ］に対応して選択された、閾値Ｔを上回る画質を得られる標本点位相変化量［Ｖｐ］の候補から、さらに、視線移動量検出部３０５から供給された視線移動量［Ｖｅ］に基づいて、画素の並びが反転しないような標本点位相変化量、すなわち、
｜Ｖｐ＿ｅ＊｜＞｜Ｖｓ−Ｖｅ｜
を満足する標本点位相変化量を決定する。
【０２１２】
なお、上記式において、Ｖｐ＿ｅ＊は、正負をＶｓ−Ｖｅと一致させた網膜座標系における標本点位相変化量［Ｖｐ＿ｅ（＝Ｖｐ−Ｖｅ）］であり、標本点位相変化量決定部３０６は、移動量検出部３０２から入力するブロック移動量［Ｖｓ］と、視線移動量検出部３０５から入力する視線移動量［Ｖｅ］に基づいて、画素の並びが反転しないような標本点位相変化量、すなわち、
｜Ｖｐ＿ｅ＊｜＞｜Ｖｓ−Ｖｅ｜
を満足する値、｜Ｖｐ＿ｅ＊｜を算出し、このＶｐ＿ｅ＊に基づいて、網膜座標系における標本点位相変化量Ｖｐ＿ｅを決定して、
Ｖｐ＿ｅ＝Ｖｐ−Ｖｅ
の関係式に従って、最終的に間引き処理実行部３０３に出力する標本点位相変化量［Ｖｐ］を決定して出力する。
【０２１３】
標本点位相変化量決定部３０６が１つのブロックに対して行なう処理を図４７乃至図５０に示すフローチャートを用いて説明する。標本点位相変化量決定部３０６はこの処理を全てのブロックに対して行なう。
【０２１４】
まず、標本点位相変化量決定部３０６の全体的な処理を図４７に示すフローチャートを参照して説明する。標本点位相変化量決定部３０６は、ステップＳ１０１において、標本点位相変化量を決定するブロックに対応する被写体移動速度（＝ブロック移動量［Ｖｓ］）を、移動量検出部３０２から、視線移動量［Ｖｅ］を、視線移動量検出部３０５から入力する。
【０２１５】
続いて、ステップＳ１０２において、前述した（第１段階処理）画質評価特性に基づく標本点位相変化量［Ｖｐ］の候補の決定である候補決定処理を実行する。ここでは、移動量検出部３０２から入力するブロックに対応する被写体移動速度（＝ブロック移動量［Ｖｓ］）に基づいて、先に図２８〜図３２を参照して説明した画質評価曲線を適用して、予め定めた基準評価値以上の評価値の得られる曲線を選択して、選択曲線に対応する標本点位相変化量［Ｖｐ］の集合を選択候補［Ｑ］として出力する。
【０２１６】
次に、ステップＳ１０３において、前述した（第２段階処理）視線速度に対して最適な標本点位相変化量［Ｖｐ］の決定である最終決定処理を実行する。ここでは、各ブロックに対応する被写体移動速度（＝ブロック移動量［Ｖｓ］）と、移動量検出部３０２から入力する視線移動量［Ｖｅ］とに基づいて、ステップＳ１０２において決定した標本点位相変化量の候補Ｑの中から、視線移動量［Ｖｅ］で動画像を観察した場合に画素の反転が発生しないような標本点位相変化量を１つ選択する。これを出力標本点位相変化量［Ｖｐ］として設定する。
【０２１７】
最後に、ステップＳ１０４において、ステップＳ１０３で決定した標本点位相変化量［Ｖｐ］を間引き処理実行部３０３に対して出力する。
【０２１８】
次に、ステップＳ１０２において実行される標本点位相変化量決定部３０６の第１段階の処理の詳細シーケンスについて、図４８に示すフローチャートを参照して説明する。なお、本処理例では、間引き量をＭとし、画質評価値の閾値をＴとする。また、全ての標本点位相変化量に関する被写体移動速度（＝ブロック移動量［Ｖｓ］）とその画質評価値の関係を示すテーブルをＥとする。テーブルＥは被写体移動速度（＝ブロック移動量［Ｖｓ］）と標本点位相変化量［Ｖｐ］を基に、Ｅ（Ｖｐ、Ｖｓ）の形式で画質評価値を参照可能な表である。テーブルＥは例えば図３２に示したグラフを基に生成される。また、テーブルのような形式ではなく直接グラフを参照する形式にしてもよい。
【０２１９】
標本点位相変化量決定の第１段階の処理では、まずステップＳ２０１において、被写体移動速度（＝ブロック移動量［Ｖｓ］）を入力する。続いて、ステップＳ２０２において、初期化処理を行なう。初期化処理は、カウンタに対応する変数ｉおよび標本点位相変化量［Ｖｐ］に対応する変数［ｐ］を０に設定する処理である。さらに、標本点位相変化量の候補Ｑの集合、すなわち、Ｑ（ｉ）によってｉ番目の要素を参照可能な集合Ｑを空集合に設定する。
【０２２０】
続いて、ステップＳ２０３〜Ｓ２０５において、標本点位相変化量について０からＭ−１の範囲とした全ての標本点位相変化量ｐに関して、被写体移動速度（＝ブロック移動量［Ｖｓ］）における評価値Ｅ（ｐ、Ｖｓ）が閾値Ｔを超えるかどうかを調べる。閾値Ｔを超える場合は、集合Ｑにｐの値を追加する。ステップＳ２０３はこの判定処理に相当し、判定の結果、閾値Ｔを超えると判断された標本点位相変化量のみが集合Ｑの要素として設定される。ステップＳ２０４、Ｓ２０５はそれぞれ変数ｐの更新処理、変数ｐがＭと等しくなったか否かを判定する処理である。
【０２２１】
ステップＳ２０５において、ｐ＝Ｍとなったと判定されると、全ての標本点位相変化量ｐに関して評価値の確認が終了したものと判断して、ステップＳ２０６に進み、集合Ｑの各要素が、対応する評価値に関して降順に並ぶように、すなわち、評価値の大きい順に並ぶように要素のソートを行ない、ステップＳ２０７において、集合Ｑを出力する。
【０２２２】
次に、図４７に示す全体処理フロー中のステップＳ１０３において実行される標本点位相変化量決定部３０６の第２段階の処理の詳細シーケンスについて、図４９に示すフローチャートを参照して説明する。第２段階の処理では、まず、ステップＳ３０１において、各ブロックに対応する被写体移動速度（＝ブロック移動量［Ｖｓ］）と、視線移動量［Ｖｅ］と、間引き量Ｍ、第１段階の処理で生成された標本点位相変化量の候補の集合Ｑが入力される。
【０２２３】
続いて、ステップＳ３０２において、初期化処理として標本点位相変化量［Ｖｐ］についての初期設定として、Ｖｐ＝Ｑ（０）と設定する。集合Ｑの要素は、対応する評価値の大きい順にソーティングされているので、Ｑ（０）は、被写体移動速度（＝ブロック移動量）＝Ｖｓの場合に評価値が最大となる標本点位相変化量である。
【０２２４】
ステップＳ３０３では、視線移動量［Ｖｅ］と、被写体移動速度（＝ブロック移動量［Ｖｓ］）とを比較する。Ｖｅ＝Ｖｓであった場合には、ステップＳ３１０に進み、そのままＶｐ＝Ｑ（０）、すなわち、図４７に示すステップＳ１０２の第１段階処理において、評価値が最大となる標本点位相変化量を最終的な標本点位相変化量［Ｖｐ］として出力して処理を終了する。この処理は、Ｖｅ＝Ｖｓ、すなわち、視線移動量［Ｖｅ］と、被写体移動速度（＝ブロック移動量［Ｖｓ］）とが一致する場合で、観測者がオブジェクトを追従視している場合に相当する処理である。
【０２２５】
ステップＳ３０３において、
Ｖｅ＝Ｖｓ
が成立しない場合、すなわち、視線移動量［Ｖｅ］と、被写体移動速度（＝ブロック移動量［Ｖｓ］）とが一致しない場合は、ステップＳ３０４以降の処理を実行する。
【０２２６】
ステップＳ３０４からＳ３０９では標本点位相変化量の候補Ｑの要素に関して、画素の反転が起きているかどうかを画質評価値が大きいものから順に調べ（Ｓ３０５）、あるｉに対して、Ｑ（ｉ）が画素順の反転が起こらない標本点位相変化量であった場合（Ｓ３０６→Ｓ３０７）、ＶｐをＱ（ｉ）に設定し（Ｓ３０７）終了する（Ｓ３０９）。あるｉに対して、Ｑ（ｉ）が画素順の反転が起こる標本点位相変化量であった場合（Ｓ３０６→Ｓ３０８）、次の候補を調べるためにｉをインクリメントする（Ｓ３０８）。この時点で、ｉがＱの要素数｜Ｑ｜に一致した場合（全ての候補を調べた場合）は処理を終了し（Ｓ３０９）、Ｓ３０２で設定されたＶｐ＝Ｑ（０）を出力する。
【０２２７】
図４９のステップＳ３０５における画素順の反転チェック処理の詳細を、図５０に示すフローチャートを参照して説明する。まず、ステップＳ４０１において、被写体移動速度（＝ブロック移動量［Ｖｓ］）、標本点位相変化量［Ｎ］、視線移動量［Ｖｅ］を入力する。標本点位相変化量［Ｎ］は、標本点位相変化量の候補Ｑの要素Ｑ（ｉ）である。なお、要素は評価値の高い順に配列されている。
【０２２８】
次に、ステップＳ４０２以下において、標本点位相変化量がＮ（＝Ｑ（ｉ））であり、観測者が視線速度Ｖｅで観測する際、速度Ｖｓで移動する被写体の画素順がどのようになるかを調べる。まず、ステップＳ４０２において、
Ｖｓ＞Ｖｅ
が成立するか否かを判定する。すなわち、Ｖｓ−Ｖｅが正になるか負になるかを調べる。
【０２２９】
ステップＳ４０２において、
Ｖｓ−Ｖｅが正であると判定されると、ステップＳ４０４に進み、検証対象とした標本点位相変化量Ｎ（＝Ｑ（ｉ））の値をそのままＶｐ＿ｅ＊、すなわち、
Ｖｐ＿ｅ＊＝Ｎ
とする。
なお、前述したように、Ｖｐ＿ｅ＊は、正負をＶｓ−Ｖｅと一致させた網膜座標系における標本点位相変化量［Ｖｐ＿ｅ（＝Ｖｐ−Ｖｅ）］である。すなわち、Ｖｓ−Ｖｅ＞０ならばＶｐ＿ｅ＊＞０であり、Ｖｓ−Ｖｅ＜０ならばＶｐ＿ｅ＊＜０とする。
【０２３０】
ステップＳ４０２において、
Ｖｓ−Ｖｅが正でないと判定されると、ステップＳ４０３に進み、先に説明した式（式７）、すなわち、
Ｖｐ＿ｅ−＝Ｖｐ＿ｅ−Ｍ
に基づいて、
Ｖｐ＿ｅ＊＝Ｎ−Ｍ
として、Ｖｐ＿ｅ＊を算出する。
【０２３１】
次に、ステップＳ４０５において、画素の逆転が発生しない条件をＶｐ＿ｅ＊が満たしているかどうかを調べる。これは、前述した判定式、
｜Ｖｐ＿ｅ＊｜＞｜Ｖｓ−Ｖｅ｜
を満足するか否かを判定する処理として実行する。
【０２３２】
ステップＳ４０５において、求めたＶｐ＿ｅ＊が
｜Ｖｐ＿ｅ＊｜＞｜Ｖｓ−Ｖｅ｜
を満足する場合は、画素の逆転が発生しない条件をＶｐ＿ｅ＊が満たしていると判断し、ステップＳ４０６に進み、反転識別値［Ｚ］を１に設定し、
｜Ｖｐ＿ｅ＊｜＞｜Ｖｓ−Ｖｅ｜
を満足しない場合は、画素の逆転が発生しない条件をＶｐ＿ｅ＊が満たしていないと判断し、ステップＳ４０７に進み、反転識別値［Ｚ］を０に設定して出力する。反転識別値［Ｚ］＝１は反転を起こさないことを示し、反転識別値［Ｚ］＝０は反転を起こすことを示す識別値である。
ステップＳ４０８では、反転識別値［Ｚ］を出力する。
【０２３３】
図４８に示すフロー中のステップＳ３０５において、上記処理が実行され、あるｉに対して、Ｑ（ｉ）に対して、画素順の反転が起こらない標本点位相変化量であるか否かを示す反転識別値［Ｚ］が得られ、ステップＳ３０６において、Ｚ＝１か否かが判定される。
【０２３４】
ステップＳ３０６において、Ｚ＝０であると判定した場合は、反転を起こすことを示す識別値であるので、この検証対象となった標本点位相変化量の候補Ｑの要素Ｑ（ｉ）は不適切な要素であるので、ステップＳ３０８において、次の候補を調べるためにｉをインクリメントする。ステップＳ３０９では、ｉがＱの要素数｜Ｑ｜に一致するか否かを判定する。一致した場合（全ての候補を調べた場合）は処理を終了し（Ｓ３１０）、ステップＳ３０２で設定されたＶｐ＝Ｑ（０）を出力する。すなわち、最も評価値の高いものを標本点位相変化量［Ｖｐ］として出力する。
【０２３５】
ステップＳ３０６において、Ｚ＝１であると判定した場合は、反転を起こさないことを示す識別値であるので、この検証対象となった標本点位相変化量の候補Ｑの要素Ｑ（ｉ）は適切な要素であるので、ステップＳ３０７において、これを標本点位相変化量［Ｖｐ］として決定して、ステップＳ３１０に進み出力して処理を終了する。
【０２３６】
なお、｜Ｖｐ＿ｅ＊｜の最大値はＭ−１であるが｜Ｖｓ−Ｖｅ｜の最大値は幾らでも大きくなることができる。｜Ｖｓ−Ｖｅ｜がＭ−１を超える場合、いかなる標本点位相変化量を用いても画素順の逆転を防ぐことはできない。しかしながら、｜Ｖｓ−Ｖｅ｜が大きい場合は、すなわち視線の移動速度と被写体の移動速度が極端に乖離している場合であり、そのような条件下では、画素順の逆転が発生しても、画質の劣化は認識されないことが実験により明らかになっている。
【０２３７】
以上のようにして標本点位相変化量決定部３０６は、視線移動量検出部３０５から供給される各ブロックに対応する視線移動量［Ｖｅ］と、移動量検出部３０２から供給される各ブロックに対応する被写体移動速度（＝ブロック移動量［Ｖｓ］）に基づき、間引き処理実行部３０３で各ブロックに施される空間方向の画素数間引きにおいて、画素の逆転の発生しない最適な標本点位相変化量［Ｖｐ］を決定して、間引き処理実行部３０３に供給する。
【０２３８】
なお、標本点位相変化量決定部３０６は、視線移動量検出部３０５から供給される視線移動量［Ｖｅ］と、移動量検出部３０２から供給される被写体移動速度（＝ブロック移動量［Ｖｓ］）に基づいて、逐次、最適な標本点位相変化量［Ｖｐ］を決定する処理を実行する構成としてもよいが、予め、被写体移動速度（＝ブロック移動量［Ｖｓ］）と、視線移動量［Ｖｅ］の想定される組み合わせに対する最適な標本点位相変化量を上述の処理によって算出し、算出結果をルックアップテーブルなどの形式で記憶部に記録し、入力される視線移動量［Ｖｅ］とブロック移動量［Ｖｓ］とに基づいて、ルックアップテーブルから最適な標本点位相変化量［Ｖｐ］を取得する構成としてもよい。
【０２３９】
続いて、間引き処理実行部３０３の処理について説明する。間引き処理実行部３０３はブロック分割部３０１より供給されたブロックに対して空間方向の画素数間引きを施す。この際、移動量検出部３０２より供給されたブロックに対応する移動量情報、すなわち、ブロック移動量［Ｖｓ］に基づいて、間引き処理を実際に施すかどうか、また、間引き処理を施す場合は、水平方向と垂直方向のどちらの方向の画素数間引き処理を施すかを判断する。さらに、標本点位相変化量決定部３０６から入力する標本点位相変化量［Ｖｐ］に基づいて、間引き処理を施す場合の標本点位相変化量［Ｖｐ］を決定する。
【０２４０】
間引き処理を施すか否かの判断には、まず移動量検出部３０２より供給された移動量（ブロック移動量［Ｖｓ］）のＸ方向成分：ＶｘとＹ方向成分：Ｖｙを比較する。各成分のうち絶対値の大きいほうの成分の値：Ｖが、予め設定された閾値Ｖｔを超えていた場合は画素数間引きを施す。このとき｜Ｖｙ｜＞｜Ｖｘ｜ならば垂直方向の画素数間引きを施し、それ以外の場合は、水平方向の画素数間引きを施す。Ｖが閾値Ｖｔを下回る場合は、間引き処理実行部１３は当該ブロックに空間方向の画素数間引き処理は施さない。
【０２４１】
画素数間引きを施すと判断した場合は、さらに、間引き処理実行部３０３は、標本点位相変化量決定部３０６より供給される各ブロックに対応する標本点位相変化量［Ｖｐ］を適用して間引き処理を実行する。以下、画素数間引きの具体的な処理例を説明する。
【０２４２】
図５１乃至図６２を用いて、間引き処理実行部３０３の施す空間方向の画素数間引きの処理例を説明する。この例では、１つのブロックの大きさを、図５１に示すような４ピクセル×４ピクセルに設定する。また、間引き処理実行部３０３の実行する画素数間引き処理によって残す出力画素数は４画素に１画素とする。つまり、画素数間引きが施されたブロックのデータ量は１／４に削減される。
【０２４３】
なお、この間引き処理態様は一例であり、画素数間引きの処理単位は、様々な設定が可能である。また、ここで説明する処理例では、画素数間引きを施す移動量の閾値Ｖｔを、Ｖｔ＝２ピクセル／フレームに設定する。すなわち、水平方向の移動量Ｖｘおよび垂直方向の移動量Ｖｙに関し、
｜Ｖｙ｜＞｜Ｖｘ｜かつ
｜Ｖｙ｜≧２
であれば、垂直方向の画素数間引き処理を施し、
｜Ｖｘ｜≧｜Ｖｙ｜かつ
｜Ｖｘ｜＞２
であれば、水平方向の画素数間引き処理を施す。
【０２４４】
ただし、十分な画質を得るための間引き量には移動速度に対応する上限があるため、その上限以内での処理を行なうことが好ましい。上限や一般的な間引き量と移動速度の関係については人間の視覚特性および超解像現象に関する原理や説明とともに、特開２００５−１９８２６８において詳しく解説がなされている。なお、画素数間引き処理により残す出力画素数をＭ画素に１画素とすると、このときのブロックの大きさとして採用可能なサイズはＰＭピクセル×ＱＭピクセルとなる（Ｐ、Ｑ＝１、２、・・・）。また、標本点位相変化量決定部３０６より供給される標本点位相変化量の取り得る値の範囲は、０〜Ｍ−１（ピクセル／フレーム）となる。標本点位相変化量を適用した処理については後述する。
【０２４５】
図５１乃至図５６を用いて、間引き処理実行部３０３の実行する水平方向の画素数間引きについて説明する。水平方向の画素数間引きを実行する条件は、前述したように、
｜Ｖｘ｜≧｜Ｖｙ｜かつ
｜Ｖｘ｜＞Ｖｔ
であり、ブロックが上記移動量の条件を満足する場合に間引き処理実行部３０３は
水平方向の画素数間引き処理を実行する。
【０２４６】
水平方向の画素数間引き処理を施す場合、間引き処理実行部３０３は、まず、図５１に示すように４×４のブロックを縦１画素×横４画素単位の集合に分割する。さらに、間引き処理実行部３０３は図５２乃至図５５のいずれかの態様で、１×４ピクセルの画素値ｐ１乃至ｐ４を、その中の１つの画素値にする画素数間引き処理を行なう。
【０２４７】
［標本点位相変化量＝０の場合の間引き処理］
まず、標本点位相変化量決定部３０６から入力する標本点位相変化量［Ｖｐ］が０の場合の間引き処理例について説明する。
【０２４８】
図５２に示す間引き処理は、標本点位相変化量が０ピクセル／フレームの画素数間引き処理である。標本点位相変化量が０ピクセル／フレームの場合は、現在処理中のフレーム番号（現在のフレームが処理開始時から数えて何番目のフレームであるか）に依らず、同一位置の画素値を代表画素値、すなわち標本点として、４つの画素の画素値として設定する間引き処理である。図５２の例ではｐ１が標本点となっているが、ｐ１乃至ｐ４のいずれの画素であってもよい。
【０２４９】
［標本点位相変化量＝１の場合の間引き処理］
次に、標本点位相変化量決定部３０６から入力する標本点位相変化量［Ｖｐ］が１の場合の間引き処理例について説明する。なお、この処理例は１／４間引き処理の場合、標本点位相変化量［Ｖｐ］が−３の場合の間引き処理と同等である。
【０２５０】
図５３に示す間引き処理は、標本点位相変化量が１ピクセル／フレームの画素数間引き処理である。標本点位相変化量が１ピクセル／フレームの場合は、フレーム番号の増加とともに標本点の位置も１ピクセルずつ右方向（右方向を正とする場合）へと変化する。すなわち、現在処理中のフレーム番号を４Ｎ＋ｋ（ｋ＝０、１、２、３）によって表し、４画素中の一番左の画素の座標を（Ｘ、Ｙ）によって表すと、（Ｘ＋ｋ、Ｙ）の位置の画素値を代表画素値、すなわち標本点として、４つの画素の画素値として設定する間引き処理である。なお、間引き量Ｍの場合ｋの範囲は０からＭ−１となる。
【０２５１】
図５３に示す標本点位相変化量が１ピクセル／フレームの画素数間引き処理の場合、
フレーム０における標本点をｐ１とすると、
４Ｎ番目のフレーム（０、４、８番目等のフレーム）：標本点＝ｐ１
４Ｎ＋１番目のフレーム（１、５、９番目等のフレーム）：標本点＝ｐ２
４Ｎ＋２番目のフレーム（２、６、１０番目等のフレーム）：標本点＝ｐ３
４Ｎ＋３番目のフレーム（３、７、１１番目等のフレーム）：標本点＝ｐ４
上記のように、１フレームの進行に応じて、４×４画素のブロック内における標本点の画素位置を右方向に１画素ずつ変更した間引き処理を、４フレーム単位で繰り返し実行することになる。
【０２５２】
［標本点位相変化量＝２の場合の間引き処理］
次に、標本点位相変化量決定部３０６から入力する標本点位相変化量［Ｖｐ］が２の場合の間引き処理例について説明する。なお、この処理例は１／４間引き処理の場合、標本点位相変化量［Ｖｐ］が−２の場合の間引き処理と同等である。
【０２５３】
図５４に示す間引き処理は、標本点位相変化量が２ピクセル／フレームの画素数間引き処理である。標本点位相変化量が２ピクセル／フレームの場合は、フレーム番号の増加とともに標本点の位置も２ピクセルずつ右方向へと変化する。すなわち、現在処理中のフレーム番号を４Ｎ＋ｋによって表し、４画素中の一番左の画素の座標を（Ｘ、Ｙ）によって表すと、（Ｘ＋（２ｋ ＭＯＤ ４）、Ｙ）の位置の画素値を代表画素値、すなわち標本点として、４つの画素の画素値として設定する間引き処理である。ここで、ＭＯＤは剰余を意味する。なお、一般的に間引き量をＭとして考えると、（Ｘ＋（２ｋ ＭＯＤ Ｍ）、Ｙ）の位置の画素値が標本点となる。
【０２５４】
図５４に示す標本点位相変化量が２ピクセル／フレームの画素数間引き処理の場合、
フレーム０における標本点をｐ１とすると、
４Ｎ番目のフレーム：標本点＝ｐ１
４Ｎ＋１番目のフレーム：標本点＝ｐ３
４Ｎ＋２番目のフレーム：標本点＝ｐ１
４Ｎ＋３番目のフレーム：標本点＝ｐ３
上記のように、１フレームの進行に応じて、４×４画素のブロック内における標本点の画素位置を右方向に２画素ずつ変更した間引き処理を、２フレーム単位で繰り返し実行することになる。
【０２５５】
［標本点位相変化量＝３の場合の間引き処理］
次に、標本点位相変化量決定部３０６から入力する標本点位相変化量［Ｖｐ］が３の場合の間引き処理例について説明する。なお、この処理例は１／４間引き処理の場合、標本点位相変化量［Ｖｐ］が−１の場合の間引き処理と同等である。
【０２５６】
図５５に示す間引き処理は、標本点位相変化量が３ピクセル／フレームの画素数間引き処理である。標本点位相変化量が３ピクセル／フレームの場合は、フレーム番号の増加とともに標本点の位置も３ピクセルずつ右方向へと変化する。すなわち、現在処理中のフレーム番号を４Ｎ＋ｋによって表し、４画素中の一番左の画素の座標を（Ｘ、Ｙ）によって表すと、（Ｘ＋（３ｋ ＭＯＤ ４）、Ｙ）の位置の画素値を代表画素値、すなわち標本点として、４つの画素の画素値として設定する間引き処理である。なお、一般的に間引き量をＭとして考えると、（Ｘ＋（３ｋ ＭＯＤ Ｍ）、Ｙ）の位置の画素値が標本点となる。
【０２５７】
図５５に示す標本点位相変化量が３ピクセル／フレームの画素数間引き処理の場合、
フレーム０における標本点をｐ４とすると、
４Ｎ番目のフレーム：標本点＝ｐ４
４Ｎ＋１番目のフレーム：標本点＝ｐ３
４Ｎ＋２番目のフレーム：標本点＝ｐ２
４Ｎ＋３番目のフレーム：標本点＝ｐ１
上記のように、１フレームの進行に応じて、４×４画素のブロック内における標本点の画素位置を左方向に１画素ずつ変更した間引き処理を、４フレーム単位で繰り返し実行することになる。
【０２５８】
このように図５３乃至図５５に示す間引き処理は、フレームの進行に応じて、異なる標本点の画素位置を各フレームの４つの画素の画素値として設定する間引き処理である。なお、上記は間引き量Ｍ＝４の場合である。
【０２５９】
間引き量Ｍを任意の値に設定した場合の処理について説明する。一般的には、間引き量Ｍの場合、間引き処理実行部３０３は、まず、図５６に示すようにＭ×Ｍのブロックを縦１画素×横Ｍ画素単位の集合に分割する。なお、標本点位相変化量：Ｐは０〜Ｍ−１までの値を取り得る。このとき、現在処理中のフレーム番号をＭ×Ｎ＋ｋによって表し、Ｍ画素中の一番左の画素の座標を（Ｘ、Ｙ）によって表すと、間引き処理実行部３０３は、（Ｘ＋（Ｐ×ｋ ＭＯＤ Ｍ）、Ｙ）の位置の画素値を代表画素値、すなわち標本点として、Ｍ個の画素の画素値として設定する。
【０２６０】
次に、図５７乃至図６２を用いて、垂直方向の画素数間引きについて説明する。間引き処理実行部３０３が垂直方向の画素数間引き処理を施す場合、間引き処理実行部３０３は、まず、図５７に示すように４×４のブロックを縦４画素×横１画素単位の集合に分割する。さらに、間引き処理実行部３０３は図５８乃至図６１のいずれかの態様で、４×１ピクセルの画素値ｐ１乃至ｐ４を、その中の１つの画素値にする画素数間引き処理を行なう。
【０２６１】
［標本点位相変化量＝０の場合の間引き処理］
次に、標本点位相変化量決定部３０６から入力する標本点位相変化量［Ｖｐ］が０の場合の間引き処理例について説明する。
【０２６２】
図５８に示す間引き処理は、標本点位相変化量が０ピクセル／フレームの画素数間引き処理である。標本点位相変化量が０ピクセル／フレームの場合は、現在処理中のフレーム番号（現在のフレームが処理開始時から数えて何番目のフレームであるか）に依らず、同一位置の画素値を代表画素値、すなわち標本点として、４つの画素の画素値として設定する間引き処理である。図５８に示す間引き処理例ではｐ１が標本点となっているが、ｐ１乃至ｐ４のいずれの画素であってもよい。
【０２６３】
［標本点位相変化量＝１の場合の間引き処理］
次に、標本点位相変化量決定部３０６から入力する標本点位相変化量［Ｖｐ］が１の場合の間引き処理例について説明する。なお、この処理例は１／４間引き処理の場合、標本点位相変化量［Ｖｐ］が−３の場合の間引き処理と同等である。
【０２６４】
図５９に示す間引き処理は、標本点位相変化量が１ピクセル／フレームの画素数間引き処理である。標本点位相変化量が１ピクセル／フレームの場合は、フレーム番号の増加とともに標本点の位置も１ピクセルずつ下方向（下方向を正とする場合）へと変化する。すなわち、現在処理中のフレーム番号を４Ｎ＋ｋ（ｋ＝０、１、２、３）によって表し、４画素中の一番上の画素の座標を（Ｘ、Ｙ）によって表すと、（Ｘ、Ｙ＋ｋ）の位置の画素値を代表画素値、すなわち標本点として、４つの画素の画素値として設定する間引き処理である。なお、間引き量Ｍの場合ｋの範囲は０からＭ−１となる。
【０２６５】
図５９に示す標本点位相変化量が１ピクセル／フレームの画素数間引き処理の場合、
フレーム０における標本点をｐ１とすると、
４Ｎ番目のフレーム（０、４、８番目等のフレーム）：標本点＝ｐ１
４Ｎ＋１番目のフレーム（１、５、９番目等のフレーム）：標本点＝ｐ２
４Ｎ＋２番目のフレーム（２、６、１０番目等のフレーム）：標本点＝ｐ３
４Ｎ＋３番目のフレーム（３、７、１１番目等のフレーム）：標本点＝ｐ４
上記のように、１フレームの進行に応じて、４×４画素のブロック内における標本点の画素位置を下方向に１画素ずつ変更した間引き処理を、４フレーム単位で繰り返し実行することになる。
【０２６６】
［標本点位相変化量＝２の場合の間引き処理］
次に、標本点位相変化量決定部３０６から入力する標本点位相変化量［Ｖｐ］が２の場合の間引き処理例について説明する。なお、この処理例は１／４間引き処理の場合、標本点位相変化量［Ｖｐ］が−２の場合の間引き処理と同等である。
【０２６７】
図６０に示す間引き処理は、標本点位相変化量が２ピクセル／フレームの画素数間引き処理である。標本点位相変化量が２ピクセル／フレームの場合は、フレーム番号の増加とともに標本点の位置も２ピクセルずつ下方向へと変化する。すなわち、現在処理中のフレーム番号を４Ｎ＋ｋによって表し、４画素中の一番上の画素の座標を（Ｘ、Ｙ）によって表すと、（Ｘ、Ｙ＋（２×ｋ ＭＯＤ ４））の位置の画素値を代表画素値、すなわち標本点として、４つの画素の画素値として設定する間引き処理である。なお、一般的に間引き量をＭとして考えると、（Ｘ、Ｙ＋（２×ｋ ＭＯＤ Ｍ））の位置の画素値が標本点となる。
【０２６８】
図６０に示す標本点位相変化量が２ピクセル／フレームの画素数間引き処理の場合、
フレーム０における標本点をｐ１とすると、
４Ｎ番目のフレーム：標本点＝ｐ１
４Ｎ＋１番目のフレーム：標本点＝ｐ３
４Ｎ＋２番目のフレーム：標本点＝ｐ１
４Ｎ＋３番目のフレーム：標本点＝ｐ３
上記のように、１フレームの進行に応じて、４×４画素のブロック内における標本点の画素位置を下方向に２画素ずつ変更した間引き処理を、２フレーム単位で繰り返し実行することになる。
【０２６９】
［標本点位相変化量＝３の場合の間引き処理］
次に、標本点位相変化量決定部３０６から入力する標本点位相変化量［Ｖｐ］が３の場合の間引き処理例について説明する。なお、この処理例は１／４間引き処理の場合、標本点位相変化量［Ｖｐ］が−１の場合の間引き処理と同等である。
【０２７０】
図６１に示す間引き処理は、標本点位相変化量が３ピクセル／フレームの画素数間引き処理である。標本点位相変化量が３ピクセル／フレームの場合は、フレーム番号の増加とともに標本点の位置も３ピクセルずつ下方向へと変化する。すなわち、現在処理中のフレーム番号を４Ｎ＋ｋによって表し、４画素中の一番上の画素の座標をＸによって表すと、（Ｘ、Ｙ＋（３×ｋ ＭＯＤ ４））の位置の画素値を代表画素値、すなわち標本点として、４つの画素の画素値として設定する間引き処理である。なお、一般的に間引き量をＭとして考えると、（Ｘ、Ｙ＋（３×ｋ ＭＯＤ Ｍ））の位置の画素値が標本点となる。
【０２７１】
図６１に示す標本点位相変化量が３ピクセル／フレームの画素数間引き処理の場合、
フレーム０における標本点をｐ４とすると、
４Ｎ番目のフレーム：標本点＝ｐ４
４Ｎ＋１番目のフレーム：標本点＝ｐ３
４Ｎ＋２番目のフレーム：標本点＝ｐ２
４Ｎ＋３番目のフレーム：標本点＝ｐ１
上記のように、１フレームの進行に応じて、４×４画素のブロック内における標本点の画素位置を上方向に１画素ずつ変更した間引き処理を、４フレーム単位で繰り返し実行することになる。
【０２７２】
このように図５８乃至図６１に示す間引き処理は、フレームの進行に応じて、異なる標本点の画素位置を各フレームの４つの画素の画素値として設定する間引き処理である。なお、上記は間引き量Ｍ＝４の場合である。
【０２７３】
間引き量Ｍを任意の値に設定した場合の処理について説明する。一般的には、間引き量Ｍの場合、間引き処理実行部３０３は、まず、図６２に示すようにＭ×Ｍのブロックを縦Ｍ画素×横１画素単位の集合に分割する。なお、標本点位相変化量：Ｐは０〜Ｍ−１までの値を取り得る。このとき、現在処理中のフレーム番号をＭＮ＋ｋによって表し、Ｍ画素中の一番上の画素の座標を（Ｘ、Ｙ）によって表すと、間引き処理実行部１３は、（Ｘ、Ｙ＋（Ｐ×ｋ ＭＯＤ Ｍ））の位置の画素値を代表画素値、すなわち標本点として、Ｍ個の画素の画素値として設定する。
【０２７４】
最後に、出力部３０４について説明する。出力部３０４は、間引き処理実行部３０３から供給されたデータ量が削減されたブロックもしくはオリジナルのブロックについてのデータ、および各ブロックにどのような処理が施されたに関する情報を出力する。処理内容に関する情報は、間引き処理が施されたのか否かを示す情報、空間方向の間引き処理が施された場合はいずれの方向（水平・垂直）の間引き処理が施されたのかを示す情報、空間方向の間引き処理における標本点位相変化量を示す情報、元の動画像のフレームレート、空間解像度に関する情報などから構成されるが、他の情報が加えられても構わない。
【０２７５】
なお、出力部３０４の後段には、例えばハードディスク、ＤＶＤなどの記憶媒体、あるいはネットワーク出力手段が接続され、データ変換によって圧縮されたデータの格納、あるいはネットワーク出力が実行される。
【０２７６】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２７７】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０２７８】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０２７９】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２８０】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２８１】
以上、説明したように、本発明の一実施例の構成によれば、画像内の被写体の動き、および観測者の視線の動きに対応した最適な圧縮処理態様を決定し、決定した態様に従って領域毎に最適な態様でデータ変換処理を行なう構成としたので、観測者の視線の動きによらない品質劣化のきわめて少ない動画像のデータ削減処理を可能とした動画像変換装置が実現される。
【０２８２】
本発明の一実施例の構成によれば、動画像データを構成するブロックにおける被写体移動量（ブロック移動量［Ｖｓ］）および視線移動量［Ｖｅ］を検出し、検出した被写体移動量および視線移動量に基づいて、標本点位相変化量［Ｖｐ］を決定し、決定した標本点位相変化量［Ｖｐ］を適用して空間方向間引き処理を実行する構成としたので、観測者が被写体を追従する場合においては超解像効果を発生させることが可能となり、また、観測者が被写体を追従しない場合においても、画像を構成する画素の配置の変化を最小限に抑えることが可能となり、画質劣化を抑制したデータ変換を実現する動画像変換装置が提供される。
【０２８３】
また、本発明の一実施例の構成によれば、間引き量Ｍの空間方向間引き処理において、０からＭ−１までの標本点位相変化量により間引き処理を施した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データを用いて、まず追従視の状況下で処理対象ブロックの移動速度に対して画質の評価値が予め定めた基準評価値以上となる最適な標本点位相変化量の候補を複数選択し、前記候補の中からさらに非追従視に対して最適な標本点位相変化量を選択する構成とすることで、処理対象ブロックの様々な移動量および観測者の様々な視線移動に対応した高品質画像の提示を可能としたデータ変換を実現する動画像変換装置が提供される。
【図面の簡単な説明】
【０２８４】
【図１】超解像効果を利用したデータ変換を実行する動画像変換装置の基本構成を示す図である。
【図２】超解像効果を利用したデータ変換を実行する動画像変換装置の詳細構成の詳細を示す図である。
【図３】動画像変換装置におけるブロック処理部の処理について説明する図である。
【図４】動画像変換装置におけるブロック処理部の処理について説明する図である。
【図５】動画像変換装置におけるブロック処理部の処理について説明する図である。
【図６】動画像変換装置におけるブロック処理部の詳細構成について説明する図である。
【図７】被写体が移動していないという状況、水平方向に速度ｖ＝１ピクセル／フレームで移動しているという状況を説明する図である。
【図８】被写体移動量と、画質の主観評価実験の結果の傾向を示すグラフとしての画質評価曲線を示す図である。
【図９】標本点移動型の間引き処理における仮想的な移動速度の設定と画質評価曲線との対応について説明する図である。
【図１０】標本点移動型の間引き処理における仮想的な移動速度の設定と画質評価曲線との対応について説明する図である。
【図１１】移動量検出部からの移動量情報に基づいて、決定する間引き処理態様の決定例について説明する図である。
【図１２】標本点固定［標本点位相変化量＝［０］］の間引き処理例について説明する図である。
【図１３】標本点位置をフレームの進行に従って下方向へずらす間引き処理［標本点位相変化量＝［＋ｎ］］について説明する図である。
【図１４】標本点位置をフレームの進行に従って上方向へずらす間引き処理［標本点位相変化量＝［−ｎ］］について説明する図である。
【図１５】時間方向間引き処理の例について説明する図である。
【図１６】間引き量ｍ＝２とした場合の、標本点固定型の間引き処理と標本点移動型の間引き処理の態様を説明する図である。
【図１７】間引き量ｍ＝２とした場合の、標本点固定型の間引き処理と標本点移動型の間引き処理の態様を説明する図である。
【図１８】間引き量ｍ＝２とした場合の、標本点固定型の間引き処理と標本点移動型の間引き処理の態様を説明する図である。
【図１９】間引き量ｍ＝２とした場合の、標本点固定型の間引き処理と標本点移動型の間引き処理の態様を説明する図である。
【図２０】間引き量ｍ＝２とした場合の、標本点固定型の間引き処理と標本点移動型の間引き処理の態様を説明する図である。
【図２１】間引き量ｍ＝２とした場合の、標本点固定型の間引き処理と標本点移動型の間引き処理の態様を説明する図である。
【図２２】時間方向間引き（４フレーム→２フレーム）処理例について説明する図である。
【図２３】複数の異なる移動速度や移動方向を持つ異なる複数のオブジェクトが存在する場合の例について説明する図である。
【図２４】本発明の一実施例に従った動画像変換装置の構成例について説明する図である。
【図２５】ブロックに対応する視線移動量［Ｖｅ］の検出方法の例を説明する図である。
【図２６】ブロックに対応する視線移動量［Ｖｅ］の検出方法の例を説明する図である。
【図２７】本発明の一実施例に従った動画像変換装置の構成例について説明する図である。
【図２８】標本点位相変化量＝０とした空間方向の画素数間引き処理を施して生成した変換画像データを復元・再生し、追従視を行なった場合の画質評価曲線を示す図である。
【図２９】標本点位相変化量＝＋１の場合の画質評価曲線を示す図である。
【図３０】標本点位相変化量＝＋２の場合の画質評価曲線を示す図である。
【図３１】標本点位相変化量＝＋３の場合の画質評価曲線を示す図である。
【図３２】図２８乃至図３１の画質評価曲線を全て示した図である。
【図３３】縦軸を時間ｔ（フレーム）、横軸を表示形における水平方向の座標Ｘｄとし、間引き処理後の被写体が表示される様子を説明する図である。
【図３４】間引き処理画像を観測者が実際に見た場合、観測者の網膜上に映る像の状況を説明 | |