トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 映像信号符号化装置、映像信号復号化装置、映像信号符号化プログラム及び映像信号復号化プログラム
【発明者】 【氏名】嶋内 和博
【要約】 【課題】従来はプレディクション処理において、Ｌフレームにフィルタ処理を施したブロックとフィルタ処理を施していないブロックが混在し、局所的な画質の差が生じることがある。

【構成】ベースレイヤローカルデコード信号を解像度インターポレーションして得られた映像信号とＭＥ／ＭＣ処理した信号とがそれぞれ重みＷの値に応じて混合された信号に対してフィルタリング部４１１Ｄによるフィルタリングが行われてＨフレームが生成され、また、そのＨフレームに重みＷで重み付けした信号に対してアップデート処理を行ってＬフレームを生成するため、Ｌフレームに時間方向の成分のみを反映させることができる。Ｌフレームに常にフィルタリング部４１１Ｄによるフィルタ処理を施したブロックが存在する。これにより、解像度間の予測をしつつ、時間方向の帯域分割を実現できる。
【特許請求の範囲】
【請求項１】
入力映像信号に対して補償時間方向フィルタ処理を行って、２つの分割周波数帯域にサブバンド分割された低域側分割周波数帯域のＬフレームと高域側分割周波数帯域のＨフレームとからなるフレーム列信号を生成し、そのフレーム列信号に対して直交変換・量子化及びエントロピー符号化を行って得た第１の符号化信号を、前記入力映像信号よりも低解像度の映像信号を符号化した第２の符号化信号と共に出力する映像信号符号化装置であって、
前記入力映像信号を所定の比率で空間−時間縮小し、前記入力映像信号とは異なる空間−時間解像度を持つ低解像度映像信号を生成する縮小手段と、
前記低解像度映像信号を符号化して前記第２の符号化信号を生成する符号化手段と、
前記第２の符号化信号を局部復号して局部復号信号を生成する局部復号手段と、
前記局部復号信号を前記縮小手段とは逆の比率で空間解像度拡大し、高空間解像度映像信号を生成する拡大手段と、
前記入力映像信号の時間方向に存在する異なる複数のフレームの内の一つを基準フレームとして前記複数のフレームの内の他のフレームの動きを推定して、前記基準フレームと前記他のフレームの対応する各ブロックの相対位置関係を示す動き情報を取得し、その動き情報に基づいて前記他のフレームの動きを補償する動き推定／補償手段と、
前記動き推定／補償手段により動き補償された前記入力映像信号に、第１の重みにより重み付けを行う第１の重み付け手段と、
前記局部復号信号から前記拡大手段により生成された前記高空間解像度映像信号に、前記第１の重みを用いて算出した第２の重みにより重み付けを行う第２の重み付け手段と、
前記第１及び第２の重み付け手段により重み付けされたそれぞれの信号に対して、合成及びフィルタリングを行って前記Ｈフレームを生成する第１の処理手段と、
前記第１の処理手段により生成された前記Ｈフレームに前記第１の重みにより重み付けを行う第３の重み付け手段と、
前記第３の重み付け手段により重み付けされた前記Ｈフレームに対して、前記動き推定／補償手段によって取得した前記動き情報を逆方向に適用して動き補償した後フィルタリングして前記Ｌフレームを生成する第２の処理手段と、
前記第１及び第２の処理手段によりそれぞれ生成された前記Ｈフレームと前記Ｌフレームを合成して前記フレーム列信号を生成して出力するフレーム列信号生成手段と、
前記フレーム列信号生成手段により生成された前記フレーム列信号に対して直交変換・量子化及びエントロピー符号化を行って前記第１の符号化信号を生成するフレーム列信号符号化手段と
を有することを特徴とする映像信号符号化装置。
【請求項２】
入力映像信号に対して補償時間方向フィルタ処理を行って、２つの分割周波数帯域にサブバンド分割された低域側分割周波数帯域のＬフレームと高域側分割周波数帯域のＨフレームとからなるフレーム列信号を生成し、そのフレーム列信号に対して直交変換・量子化及びエントロピー符号化を行って得た第１の符号化信号を、前記入力映像信号よりも低解像度の映像信号を符号化した第２の符号化信号と共に出力する動作を、コンピュータにより実行させる映像信号符号化プログラムであって、
前記コンピュータを、
前記入力映像信号を所定の比率で空間−時間縮小し、前記入力映像信号とは異なる空間−時間解像度を持つ低解像度映像信号を生成する縮小手段と、
前記低解像度映像信号を符号化して前記第２の符号化信号を生成する符号化手段と、
前記符号化信号を局部復号して局部復号信号を生成する局部復号手段と、
前記局部復号信号を前記縮小手段とは逆の比率で空間解像度拡大し、高空間解像度映像信号を生成する拡大手段と、
前記入力映像信号の時間方向に存在する異なる複数のフレームの内の一つを基準フレームとして前記複数のフレームのうちの他のフレームの動きを推定して、前記基準フレームと前記他のフレームの対応する各ブロックの相対位置関係を示す動き情報を取得し、その動き情報に基づいて前記他のフレームの動きを補償する動き推定／補償手段と、
前記動き推定／補償手段により動き補償された前記入力映像信号に、第１の重みにより重み付けを行う第１の重み付け手段と、
前記局部復号信号から前記拡大手段により生成された前記高空間解像度映像信号に、前記第１の重みを用いて算出した第２の重みにより重み付けを行う第２の重み付け手段と、
前記第１及び第２の重み付け手段により重み付けされたそれぞれの信号に対して、合成及びフィルタリングを行って前記Ｈフレームを生成する第１の処理手段と、
前記第１の処理手段により生成された前記Ｈフレームに前記第１の重みにより重み付けを行う第３の重み付け手段と、
前記第３の重み付け手段により重み付けされた前記Ｈフレームに対して、前記動き推定／補償手段によって取得した前記動き情報を逆方向に適用して動き補償した後フィルタリングして前記Ｌフレームを生成する第２の処理手段と、
前記第１及び第２の処理手段によりそれぞれ生成された前記Ｈフレームと前記Ｌフレームを合成して前記フレーム列信号を生成して出力するフレーム列信号生成手段と、
前記フレーム列信号生成手段により生成された前記フレーム列信号に対して直交変換・量子化及びエントロピー符号化を行って前記第１の符号化信号を生成するフレーム列信号符号化手段と
して機能させることを特徴とする映像信号符号化プログラム。
【請求項３】
請求項１記載の映像信号符号化装置より出力された、又は請求項２記載の映像信号符号化プログラムにより生成された、前記第１及び第２の符号化信号と前記動き情報と前記第１乃至第３の重みを示す重み情報からなる信号を受信して復号化する映像信号復号化装置であって、
前記第１及び第２の符号化信号を受信してそれぞれ分離する受信手段と、
前記受信手段からの前記第１の符号化信号をエントロピー復号化した後、逆量子化・逆直交変換して前記Ｈフレーム及び前記Ｌフレームを復号する第１の復号手段と、
前記受信手段からの前記第２の符号化信号を復号して前記低解像度映像信号を生成する第２の復号手段と、
前記第２の復号手段により復号された前記低解像度映像信号を空間解像度拡大し、高空間解像度映像信号を生成する拡大手段と、
前記第１の復号手段からの前記Ｈフレームに、受信した前記重み情報から得た前記第１の重みにより重み付けする第１の重み付け手段と、
前記第１の重み付け手段により重み付けされた前記Ｈフレーム又は復号映像信号に対して、前記受信手段によって受信した前記動き情報を逆方向に適用して動き補償した後フィルタリングして第１の復号信号を生成する第１の処理手段と、
前記第１の復号信号を、前記受信手段によって受信した前記動き情報を適用して動き補償した後、前記受信手段によって受信した前記重み情報から得た前記第１の重みにより重み付けする第２の重み付け手段と、
前記拡大手段からの前記高空間解像度映像信号に対して、前記受信手段によって受信した前記重み情報から得た第２の重みにより重み付けする第３の重み付け手段と、
前記第２及び第３の重み付け手段によりそれぞれ重み付けされた信号を合成し、その合成信号及び前記受信手段によって受信及び分離した前記Ｈフレームに対してフィルタリングを行って第２の復号信号を生成する第２の処理手段と、
前記第１の復号信号と前記第２の復号信号を合成して前記復号映像信号を生成する復号映像信号生成手段と
を有することを特徴とする映像信号復号化装置。
【請求項４】
請求項１記載の映像信号符号化装置により出力された、又は請求項２記載の映像信号符号化プログラムにより生成された、前記第１及び第２の符号化信号と前記動き情報と前記第１乃至第３の重みを示す重み情報からなる信号を受信して、コンピュータにより復号化させる映像信号復号化プログラムであって、
前記コンピュータを、
前記第１及び第２の符号化信号を受信してそれぞれ分離する受信手段と、
前記受信手段からの前記第１の符号化信号をエントロピー復号化した後、逆量子化・逆直交変換して前記Ｈフレーム及び前記Ｌフレームを復号する第１の復号手段と、
前記受信手段からの前記第２の符号化信号を復号して前記低解像度映像信号を生成する第２の復号手段と、
前記第２の復号手段により復号された前記低解像度映像信号を空間解像度拡大し、高空間解像度映像信号を生成する拡大手段と、
前記第１の復号手段からの前記Ｈフレームに、受信した前記重み情報から得た前記第１の重みにより重み付けする第１の重み付け手段と、
前記第１の重み付け手段により重み付けされた前記Ｈフレーム又は復号映像信号に対して、前記受信手段によって受信した前記動き情報を逆方向に適用して動き補償した後フィルタリングして第１の復号信号を生成する第１の処理手段と、
前記第１の復号信号を、前記受信手段によって受信した前記動き情報を適用して動き補償した後、前記受信手段によって受信した前記重み情報から得た前記第１の重みにより重み付けする第２の重み付け手段と、
前記拡大手段からの前記高空間解像度映像信号に対して、前記受信手段によって受信した前記重み情報から得た第２の重みにより重み付けする第３の重み付け手段と、
前記第２及び第３の重み付け手段によりそれぞれ重み付けされた信号を合成し、その合成信号及び前記受信手段によって受信及び分離した前記Ｈフレームに対してフィルタリングを行って第２の復号信号を生成する第２の処理手段と、
前記第１の復号信号と前記第２の復号信号を合成して前記復号映像信号を生成する復号映像信号生成手段と、
して機能させることを特徴とする映像信号復号化プログラム。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は映像信号符号化装置、映像信号復号化装置、映像信号符号化プログラム及び映像信号復号化プログラムに係り、特に空間解像度とフレームレートにそれぞれスケーラビリティをもたせた映像信号符号化装置、映像信号復号化装置、映像信号符号化プログラム及び映像信号復号化プログラム符号化に関する。
【背景技術】
【０００２】
従来、映像符号化において空間解像度及びＳＮＲ(Signal to Noise Ratio)スケーラビリティを実現する方法は数多く提案されており、様々な分野でこれらの実用化がなされている。しかしながら、フレームレー卜のスケーラビリティに関しては画期的なものが存在せず、低レートの映像信号を実現するためには、符号化処理とは別に便宜的にフレームを間引くなどの処理が必要であった。これに対して、近年、フレームレートのスケーラビリティを高い符号化効率で実現する方法が提案された（例えば、特許文献１参照）。
【０００３】
この特許文献１では、「動き補償時間方向フィルタ処理（以下、ＭＣＴＦ;Motion Compensation Temporal Filteringと表記）」が提案されており、これは、例えば従来のＨ．２６４／ＡＶＣのような動き推定（ＭＥ;Motion Estimation）と動き補償（ＭＣ;Motion Compensation）を行った後に時間方向にリフティング構成のウェーブレット変換を用いて帯域分割する方法である。
【０００４】
図１１にＭＣＴＦの一例として５／３リフティング構成のものを示す。また、ＭＣＴＦの手順の流れの例を図１２に示す。この従来の映像信号符号化方法の一例であるＭＣＴＦの一例について、図１１及び図１２と共に説明するに、まず、図１１に示すオリジナルの映像信号２０１を例えば８フレーム毎の単位（以下ＧＯＰ（Group Of Picture）と表記）で処理を行うために蓄積する（図１２のステップＳ５０１）。ここで、映像信号２０１は図１１に示すように、フレームＳ（ｎ−２）〜フレームＳ（ｎ＋５）の連続する８フレームからなる。
【０００５】
図１１のオリジナルの映像信号２０１のうち、Ｓ（ｎ）フレームを処理対象フレーム（偶数）とした場合、Ｓ（ｎ）フレームの前後の奇数フレームであるＳ（ｎ−１）フレームとＳ（ｎ＋１）フレームをＳ（ｎ）フレームの位相に合わせるようにそれぞれＭＥ／ＭＣを行う（図１２のステップＳ５０２）。
【０００６】
そして、ＭＥ／ＭＣ処理したＳ（ｎ−１）フレーム及びＳ（ｎ＋１）フレームと、Ｓ（ｎ）フレームとに対してフィルタ処理する（図１２のステップＳ５０３）。ステップＳ２０２及びステップＳ２０３の処理をここではプレディクション処理（予測処理）と呼ぶ。プレディクション処理の結果得られるフレームがＨ１（ｎ）（高周波数成分に分割された）フレーム２０２である。この処理をＧＯＰ内の連続する他の偶数フレームにも同様に行う（ステップＳ２０４、Ｓ２０２、Ｓ２０３）。
【０００７】
これにより、図１１に２０２で示すように、Ｈ１（ｎ）フレーム以外に、Ｈ１（ｎ−２）、Ｈ１（ｎ＋２）、Ｈ１（ｎ＋４）フレームが生成される。これらのＨ１（ｎ−２）、Ｈ１（ｎ）、Ｈ１（ｎ＋２）、Ｈ１（ｎ＋４）フレームは、１ＧＯＰのオリジナルの映像信号２０１を、２つの分割周波数帯域にサブバンド分割することで得られる低域側分割周波数帯域のＬ成分フレームと高域側分割周波数帯域のＨ成分フレームのうちのＨ成分フレーム（以下、Ｈフレームともいう）である。
【０００８】
次に、Ｓ（ｎ−１）フレームを処理対象フレーム（奇数）とした場合、そのＳ（ｎー１）フレームの前後のプレディクションしたフレーム（偶数）であるＨ１（ｎ）フレームとＨ１（ｎ−２）フレームとを、Ｓ（ｎ−１）フレームの位相に合わせるように逆ＭＣして（図１２のステップＳ５０５）、図１１に２０３で示すように逆ＭＣしたＨ１（ｎ）フレームとＨ１（ｎ−２）フレーム、及びＳ（ｎ−１）フレームにフィルタ処理をする（図１２のステップＳ５０６）。このフィルタ処理のことをここではアップデート処理（更新処理）と呼ぶ。
【０００９】
このアップデート処理の結果得られるＬ１（ｎ−１）フレーム２０３は時間方向の低域成分である。なお、Ｓ（ｎ−１）フレーム以外にも、同様の処理を他の奇数フレームであるＳ（ｎ＋１）フレーム、Ｓ（ｎ＋３）フレームに対しても行う（図１２のステップＳ５０７、Ｓ２０５、Ｓ２０６）。
【００１０】
この結果、図１１に２０３で示すように時間方向の低域成分であるＬ１（ｎ＋１）フレーム、Ｌ１（ｎ＋３）フレーム、Ｌ１（ｎ＋５）フレームも生成される。これらのＬ１（ｎ−１）、Ｌ１（ｎ＋１）、Ｌ１（ｎ＋３）、Ｌ１（ｎ＋５）フレームは、１ＧＯＰのオリジナルの映像信号２０１を、２つの分割周波数帯域にサブバンド分割することで得られる低域側分割周波数帯域のＬ成分フレームと高域側分割周波数帯域のＨ成分フレームのうちのＬ成分フレーム（以下、Ｌフレームともいう）である。
【００１１】
以上の処理をステップＳ２０８で残りのＬフレームが１枚か、又はＭＣＴＦを途中で終了すると判定するまで、ＭＣＴＦを繰り返し行い（図１２のステップＳ５０２〜Ｓ５０７）、時間方向に帯域分割して低域信号を取り出すことで、フレームレートの低い映像信号を生成する。
【００１２】
すなわち、２回目のＭＣＴＦでは４つのＬフレーム２０３（Ｌ１（ｎ−１）、Ｌ１（ｎ＋１）、Ｌ１（ｎ＋３）、Ｌ１（ｎ＋５））のうちの２フレームを単位として用いてプレディクション処理により図１１に２０４で示す２つのＨフレームＨ２（ｎ−１）とＨ２（ｎ＋３）とを生成すると共に、アップデート処理により図１１に２０５で示す２つのＬフレームＬ２（ｎ＋１）、Ｌ２（ｎ＋５）とを生成する。更に、３回目のＭＣＴＦでは２つのＬフレーム２０５（Ｌ２（ｎ＋１）、Ｌ２（ｎ＋５））を用いて図１１に２０６で示すＨフレームＨ３（ｎ−１）と２０７で示すＬフレームＬ３（ｎ＋５）をそれぞれ生成する。
【００１３】
ここで、ＭＣＴＦを繰り返して実施する場合、図１１から分かるように、２回目のＭＣＴＦはプレディクション処理対象フレームが偶数フレームから奇数フレームへと変わり、アップデート処理対象フレームが奇数フレームから偶数フレームとなり、それ以降もＭＣＴＦの回数を重ねる度に対象フレームが変わることに注意されたい。
【００１４】
このようにして、最終的には、図１３に３０１で示すように、1つのＬフレームＬ３（ｎ＋５）と７つのＨフレームＨ１（ｎ−２）、Ｈ２（ｎ−１）、Ｈ１（ｎ）、Ｈ３（ｎ＋１）、Ｈ１（ｎ＋２）、Ｈ２（ｎ＋３）、Ｈ１（ｎ＋４）とからなる１ＧＯＰ分の係数フレーム列を得ることで、１ＧＯＰのフレーム間符号化が完了する。
【００１５】
デコード側で高レートの映像信号を再生する場合には，ＭＣＴＦの逆の手順で逆アップデート処理及び逆プレディクション処理を繰り返し、低域信号に高域信号を合成すればよい。
【００１６】
更に、特許文献１には、時間方向のみならず、空間方向にも例えばウェーブレットやＤＣＴを用いて帯域分割する方法が示されている。このことにより、デコード側ではデコーダやディスプレイなどの性能に合わせて任意の解像度及びフレームレートを選択して受信することが可能となっている。なお、特許文献１の方法における各帯域の信号は、各帯域の相関関係は利用されずにそれぞれ独立に符号化される。
【００１７】
一方、現行の高性能な符号化方式であるＨ．２６４／ＡＶＣを拡張したものに上記のＭＣＴＦを組み合わせることでより高効率、かつ、空間解像度、フレームレート及びＳＮＲそれぞれのスケーラビリティ機能をもった符号化を実現した符号化方法が知られている（例えば、非特許文献１参照）。この非特許文献１記載の符号化装置は、特許文献１記載の符号化装置とは異なり、空間−時間解像度間の相関を利用して符号化を行うことで高い符号化効率を表現している。
【００１８】
図１４は上記の非特許文献１記載の符号化部１０と復号化部３０の一例のブロック図を示す。同図において、符号化部１０にはオリジナルの映像信号が入力され、符号化部１０で生成されたビットストリームが通信回線またはメディア２０を介して復号化部３０に伝送される。復号化部３０では供給されたビットストリームから必要な情報を取り出して、ディスプレイ等の性能に合った空間解像度、フレームレート、ＳＮＲのデコード映像信号を出力する。
【００１９】
符号化部１０は、時間−空間デシメーション部１１、ベースレイヤエンコード部１２、ベースレイヤリコンストラクト部１３、エンハンスメントレイヤエンコード部１４及び多重化部１５から構成される。
【００２０】
空間−時間デシメーション部１１は、オリジナルの映像信号を入力として受け付け、入力された映像信号を所望の空間解像度に空間解像度デシメーション（縮小）する機能を有する。ここで、空間解像度デシメーションの方法には、空間フィルタによる方法やウェーブレット変換などが用いられる。また、空間−時間デシメーション部１１は、所望の空間解像度に空間解像度デシメーションされた信号を所望のフレームレートに時間解像度デシメーションし、ベースレイヤエンコード部１２に出力する機能を有する。ここで、時間解像度デシメーションの方法には、ＭＣＴＦや単純フレーム間引きなどが用いられる。
【００２１】
ベースレイヤエンコード部１２は、空間−時間デシメーション部１１の出力信号を入力として受け付け、入力された信号を符号化（エンコード）してビットストリームを生成し、多重化部１５へ出力する機能を有する。ここで、符号化の方法には、Ｈ.２６４などが用いられる。また、ベースレイヤエンコード部１２は、Ｈ.２６４等における直交変換・量子化まで処理を行った信号をベースレイヤリコンストラクト部１３へ出力する機能を有する。
【００２２】
ベースレイヤリコンストラクト部１３は、ベースレイヤエンコード部１２において、Ｈ.２６４などの規格にて量子化までの処理を行わせた信号を入力として受け付ける機能と、その入力信号をリコンストラク卜して局部復号画像信号であるローカルデコード信号を生成し、エンハンスメントレイヤエンコード部１４へ出力する機能とを有する。
【００２３】
エンハンスメントレイヤエンコード部１４は、オリジナルの映像信号とベースレイヤリコンストラクト部１３より入力されるローカルデコード信号とを入力として受け付ける機能と、これらの入力信号を用いて、時間−空間−ＳＮＲスケーラビリティを実現するための信号の符号化を行い、それにより得た符号化信号（ビットストリーム）を多重化部１５に出力する機能とを有する。詳細については後述する。
【００２４】
多重化部１５は、ベースレイヤエンコード部１２及びエンハンスメントレイヤエンコード部１４より出力されるそれぞれのビットストリームを入力として受け付け、多重化して一つのビットストリームを生成し、符号化部１０の外部、例えば通信回線やメディア２０へ出力する機能を有する。
【００２５】
復号化部３０は、エクストラクト部３１、ベースレイヤデコード部３２及びエンハンスメントレイヤデコード部３３から構成される。エクストラクト部３１は、ビットストリームを入力として受け付ける機能と、復号化部３０またはディスプレイ等の性能に合わせて、ビットストリーム全体から復号に必要なものを切り出し、分割してそれぞれをベースレイヤデコード部３２及びエンハンスメントレイヤデコード部３３に出力する機能とを有する。
【００２６】
ベースレイヤデコード部３２は、エクストラクト部３１で切り出されたベースレイヤのビットストリームを入力として受け付ける機能と、入力されたビットストリームを復号し、デコード映像信号をエンハンスメントレイヤデコード部３３と必要に応じてディスプレイ等への出力を行う機能とを有する。ここで、復号にはＨ.２６４デコーダなどを用いる。
【００２７】
エンハンスメントレイヤデコード部３３は、エクストラクト部３１から得られるビットストリーム及びベースレイヤデコード部３２から出力されるデコード映像信号を入力として受け付ける機能と、入力される信号を用いて、ディスプレイ等の性能に合わせた空間解像度、フレームレート、ＳＮＲを実現する映像信号を復号する機能とを有する。復号された映像信号は、ディスプレイ等へ出力される。なお、エンハンスメントレイヤデコード部３３の詳細については後述する。
【００２８】
次に、図１４に示した符号化部の構成例を用いて映像信号をスケーラブル符号化する手順について図１５のフローチャートと共に説明する。符号化部１０は、まず、オリジナルの映像信号を空間−時間デシメーション部１１において、空間解像度のデシメーションを行う（図１５のステップＳ６０１）。ここで、デシメーション後の信号の空間解像度が、解像度スケーラビリティにおいて最も低い解像度となるようにデシメーションする。次に、時間方向のデシメーションを行う（図１５のステップＳ６０２）。ここで、空間解像度と同様に、フレームレートのスケーラビリティにおいて最も低いフレームレートとなるように時間解像度デシメーションする。
【００２９】
次に、上記の空間解像度及びフレームレートをデシメーションした信号を、ベースレイヤエンコード部１２を用いて符号化し、ビットストリームを生成する（図１５のステップＳ６０３）。続いて、生成されたビットストリームを多重化部１５へ送り、符号化過程で得られる直交変換係数量子化データをベースレイヤリコンストラクト部１３へ送る。
【００３０】
続いて、ベースレイヤの符号化過程で得られた直交変換係数量子化データをベースレイヤリコンストラクト部１３においてリコンストラクトし、ローカルデコード信号を生成する（図１５のステップＳ６０４）。そして、生成したローカルデコード信号をエンハンスメントレイヤエンコード部１４に送る。
【００３１】
続いて、オリジナルの映像信号と生成されたベースレイヤローカルデコード信号を用いて、エンハンスメントレイヤエンコード部１４において時間−空間−ＳＮＲスケーラビリティを実現するための信号の符号化を行う（図１５のステップＳ６０５）。詳細については後述する。符号化により生成されたビットストリームは、多重化部１５へ送られる。
【００３２】
そして、ベースレイヤエンコード部１２及びエンハンスメントレイヤエンコード部１４より得られたそれぞれのビットストリームを多重化部１５において、多重化を行い、一つのビットストリームを生成する（図１５のステップＳ６０６）。
【００３３】
次に、図１４に示した復号化部３０の構成例を用いてスケーラブル構成のビットストリームを復号してデコード映像信号を得る手順を図１６のフローチャートと共に説明する。図１４の通信回線やメディア等２０からビットストリームを、エクストラクト部３１を用いて受信すると、エクストラクト部３１は受信したビットストリームを解析し、復号化部３０及びディスプレイ等の性能に合わせて必要な符号データを抽出する。そして、ベースレイヤデコード部３２、エンハンスメントレイヤデコード部３３それぞれに対応したデータに分割して出力する（図１６のステップＳ７０１）。
【００３４】
続いて、エクストラクト部３１で分割したベースレイヤに対応するデータが、ベースレイヤデコード部３２で復号される（図１６のステップＳ７０２）。復号されたベースレイヤデコード映像信号は、エンハンスメントレイヤデコード部３３に出力され、必要があればディスプレイ等にも出力される。
【００３５】
続いて、エクストラクト部３１で分割したエンハンスメントレイヤに対応するデータ及びベースレイヤデコード部３２で復号したベースレイヤデコード映像信号がエンハンスメントレイヤデコード部３３において復号される（図１６のステップＳ７０３）。そして、復号したデコード映像信号をディスプレイ等へ出力する。エンハンスメントレイヤのデコード手順についての詳細は後述する。
【００３６】
図１７は、図１４のエンハンスメントレイヤエンコード部１４の一例のブロック図を示す。図１７に示すように、エンハンスメントレイヤエンコード部１４は、ＭＣＴＦ−ＩＬＰ部１４１、直交変換・量子化部１４２及びエントロピー符号化部１４３から構成される。
【００３７】
ＭＣＴＦ−ＩＬＰ（MCTF-Inter Layer Prediction）部１４１は、オリジナルの映像信号とベースレイヤのローカルデコード信号を入力として受け付ける機能と、入力される信号を用いて時間−空間スケーラビリティを実現する信号を生成し、映像情報を直交変換・量子化部１４２、動き情報をエントロピー符号化部１４３へ出力する機能とを有する。動作の詳細については後述する。
【００３８】
直交変換・量子化部１４２は、映像情報を入力として受け付け、直交変換して量子化し、エントロピー符号化部１４３へ出力する機能を有する。直交変換はＤＣＴやアダマール変換、ウェーブレット変換などが代表例である。エントロピー符号化部１４３は、量子化された映像情報と動き情報を入力として受け付け、それぞれをエントロピー符号化し、エンハンスメントレイヤエンコード部１４の外部へ出力する機能を有する。ここで、エントロピー符号化はＳＮＲスケーラビリティが実現できるように工夫されている。
【００３９】
次に、図１７に示したエンハンスメントレイヤエンコード部１４の構成例を用いてエンハンスメントレイヤを符号化する手順について図１８のフローチャートと共に説明する。オリジナルの映像信号とベースレイヤのローカルデコード信号を用いて、ＭＣＴＦ−ＩＬＰ部１４１において、時間−空間スケーラビリティを実現する信号を生成する（図１８のステップＳ８０１）。手順の詳細については後述する。この結果得られた映像情報を直交変換・量子化部１４２に送る。動き情報は、エントロピー符号化部１４３に送られる。
【００４０】
ＭＣＴＦ−ＩＬＰ部１４１において生成した時間−空間スケーラビリティを実現する映像情報信号は直交変換・量子化部１４２で直交変換後に量子化される（図１８のステップＳ８０２）。直交変換及び量子化した信号はエントロピー符号化部１４３へ送られる。
【００４１】
ＭＣＴＦ−ＩＬＰ部１４１で得た動き情報と直交変換・量子化部１４２から出力される映像情報とは、エントロピー符号化部１４３においてエントロピー符号化され、ビットストリームが生成される（図１８のステップＳ８０３）。
【００４２】
次に、図１４のエンハンスメントレイヤデコード部３３について説明する。図１９はエンハンスメントレイヤデコード部３３の一例のブロック図を示す。図１９において、エンハンスメントレイヤデコード部３３は、エントロピー復号化部３３１、逆直交変換・逆量子化部３３２及び逆ＭＣＴＦ−ＩＬＰ部３３３から構成される。
【００４３】
エントロピー復号化部３３１は、ビットストリームを入力として受け付け、復号して映像情報を逆量子化・逆直交変換部３３２、動き情報を逆ＭＣＴＦ−ＩＬＰ部３３３へ出力する機能を有する。
【００４４】
逆量子化・逆直交変換部３３２は、復号された映像情報を入力として受け付け、逆量子化した後逆直交変換を行って逆ＭＣＴＦ−ＩＬＰ部３３３へ出力する機能を有する。逆ＭＣＴＦ−ＩＬＰ部３３３は、逆直交変換された映像情報信号、ベースレイヤのローカルデコード信号及び復号された動き情報を入力として受け付け、入力された信号を用いて、時間方向の帯域合成と空間解像度間の逆予測を行って映像信号を復号し、エンハンスメントレイヤデコード部３３の外部へ出力する。動作の詳細については後述する。
【００４５】
次に、図１９に示したエンハンスメントレイヤデコード部３３の構成例を用いてエンハンスメントレイヤを復号化する手順を図２０のフローチャートと共に説明する。エンハンスメントレイヤデコード部３３は、入力されたビットストリームをエントロピー復号化部３３１において復号し（図２０のステップＳ１００１）、復号した結果得られる映像情報を逆量子化・逆直交変換部３３２へ送り、復号した動き情報を逆ＭＣＴＦ−ＩＬＰ部３３３に送る。
【００４６】
復号した映像情報は逆量子化・逆直交変換部３３２を用いて逆量子化された後、逆直交変換される（図２０のステップＳ１００２）。この結果得られる映像情報は逆ＭＣＴＦ−ＩＬＰ部３３３へと送られる。逆ＭＣＴＦ−ＩＬＰ部３３３は、逆直交変換された映像情報と、ベースレイヤのローカルデコード信号及び復号された動き情報とを用いて、時間方向の帯域合成と空間解像度間の逆予測を行い映像信号を復号する（図２０のステップＳ１００３）。手順の詳細については後述する。
【００４７】
次に、図１７のＭＣＴＦ−ＩＬＰ部１４１の動作例と処理手順の例について図２１と図２２とを用いて説明する。まず、図２１に示すオリジナルの映像信号１１０４を例えば８フレーム毎の単位（ＧＯＰ）で処理を行うために蓄積する（図２２のステップＳ１２０１）。ここで、映像信号１１０４は図２１に示すように、フレームＳ（ｎ−２）〜フレームＳ（ｎ＋５）の連続する８フレームからなる。また、ベースレイヤのフレームレートは、オリジナル映像信号の１／２である。ＭＣＴＦ−ＩＬＰ部１４１は、図２１からも分かるように、ＭＣＴＦにＩＬＰ（Inter Layer Prediction，解像度間予測）を拡張したものである。
【００４８】
まず、プレディクション処理の手順について説明する。図２１に示すベースレイヤのローカルデコード信号１１０３をオリジナルの映像信号１１０４と同じ空間解像度となるようにインターポレーション（拡大）する（図２１の１１０２、図２２のステップＳ１２０２）。そして、図２１のＳ（ｎ）フレームを処理対象フレーム（偶数）とした場合、その前後のＳ（ｎ−１）フレームとＳ（ｎ＋１）フレームをＳ（ｎ）フレームの位相に合わせるように、それぞれＭＥ／ＭＣを行う（図２２のステップＳ１２０３）。
【００４９】
このとき、従来のＭＣＴＦとは異なり、図２１に１１０３で示すベースレイヤのローカルデコード信号中のＳ’（ｎ）をインターポレーションした信号を第３のリファレンスフレームとして選択的に用いることができる。すなわち、ブロック毎に時間方向の動き補償を伴った帯域分割と空間解像度間の予測の符号化効率の良い方を適応的に採用することができる。ここで、解像度間の予測を用いた場合、そのブロックのベクトルは０とすることで、デコード側で判断可能な仕組みとなっている。
【００５０】
このようにベースレイヤの情報を選択的に用いてＭＣしたＳ（ｎ−１）フレームとＳ（ｎ＋１）フレーム及びＳ（ｎ）フレームにフィルタ処理を施して、図２１に示すＨ１（ｎ）フレームを生成する（図２２のステップＳ１２０４）。以上のステップＳ１２０３及びＳ１２０４の処理をＧＯＰ内の他の偶数フレームに対しても行う（図２２のステップＳ１２０５）。
【００５１】
次にアップデート処理の手順について説明する。図２１のＳ（ｎ−１）フレームを処理対象フレーム（奇数）とした場合、その前後のプレディクションしたＨ１（ｎ）フレームとＨ１（ｎ−２）フレームをＳ（ｎ−１）フレームの位相に合わせるように逆ＭＣして（図２２のステップＳ１２０６）、逆ＭＣしたＨ１（ｎ）フレームとＨ１（ｎ−２）フレーム、及びＳ（ｎ−１）フレームにフィルタ処理をする（図２２のステップＳ１２０８）。
【００５２】
ここで、プレディクション処理におけるＭＣでベースレイヤの情報を用いて解像度間予測を行ったブロックは、時間方向のＨ成分ではないため、ステップＳ１２０６で逆ＭＣしたブロックがベースレイヤを採用したブロックであるとステップＳ１２０７で判定したときは、ステップＳ１２０８のフィルタ処理（時間方向のＬ成分を生成する処理）はスキップする。続いて、ＧＯＰ内の偶数フレームに対するアップデートが処理が終了したかどうか判定し（図２２のステップＳ１２０９）、終了していない場合は他の奇数フレームに対してもステップＳ１２０６〜Ｓ１２０８のアップデート処理を行う。
【００５３】
以上の処理をステップＳ１２１０で残りのＬフレームが１枚か、又はＭＣＴＦを途中で終了すると判定するまで、ＭＣＴＦを繰り返し行い（図２２のステップＳ１２０２〜Ｓ１２０９）、時間方向に帯域分割して低域信号を取り出すことで、フレームレートの低い映像信号を生成する。時間方向の帯域分割は上記のように繰り返し行うことができる。一方、解像度間の予測はベースレイヤとのフレームレートが一致している場合に利用できる。
【００５４】
次に、図１９の逆ＭＣＴＦ−ＩＬＰ部３３３の動作例と処理手順の例について図２３と図２４を用いて説明する。図２３の例は、オリジナルの映像信号のＧＯＰサイズが”８”、図２３に１３０４で示すように符号化側のＭＣＴＦ−ＩＬＰが１階分解、１３０３で示すようにベースレイヤのフレームレートがオリジナルの１／２の条件で符号化された信号を復元するものである。まず、図２３に示すオリジナルの映像信号１３０４を例えば８フレーム毎の単位（ＧＯＰ）で処理を行うために蓄積する（図２４のステップＳ１４０１）。
【００５５】
次に、図２３に示すベースレイヤのデコード信号１３０３をエンハンスメントレイヤの信号１３０４と同じ空間解像度となるように、１３０２で示すように予めインターポレーションしておく（図２４のステップＳ１４０２）。続いて、逆アップデート処理を行う。まず、図２３のＳ（ｎ−１）フレームを復元する場合、Ｈ１（ｎ−２）フレームとＨ１（ｎ）フレームをＳ（ｎ−１）フレームの位相に合わせるようにそれぞれ逆ＭＣして（図２４のステップＳ１４０３）、逆ＭＣしたＨ１（ｎ−２）フレームとＨ１（ｎ）フレーム、及びＬ１（ｎ−１）フレームにフィルタ処理をする（図２４のステップＳ１４０５）。
【００５６】
ここで、逆ＭＣには、エントロピー復号化部３３１で復号した（図２０のステップＳ１００１）動き情報を用い、ベクトルが”０”であるブロックにはフィルタ処理は行わない（図２４のステップＳ１４０４）。同様の処理をＧＯＰ内の同じテンポラルレベルの他のＬフレームに対しても行う（図２４のステップＳ１４０６）。
【００５７】
次に、逆プレディクション処理の手順について説明する。図２３のＳ（ｎ）フレームを復元する場合、処理対象のＳ（ｎ）フレームの前後の逆アップデートしたＳ(n-1)フレームとＳ(n+1)フレームをＨ１（ｎ）フレームの位相に合わせるようにそれぞれＭＣする（図２４のステップＳ１４０７）。ここで、ベクトルが”０”のブロックは、ベースレイヤデコード信号Ｓ’(n)をインターポレーションした信号を適用する。
【００５８】
そして、ＭＣしたＳ(n-1)フレームとＳ(n+1)フレーム及びＨ１(ｎ)フレームにフィルタ処理をすることで、Ｓ（ｎ）フレームを得る（図２４のステップＳ１４０８）。同様の処理をＧＯＰ内の同じテンポラルレベルの他のＨフレームに対しても行う（図２４のステップＳ１４０９）。
【００５９】
符号化側で、さらに複数階層のＭＣＴＦ−ＩＬＰを行った場合には、逆アップデート処理と逆プレディクンョン処理をさらに繰り返してデコード映像信号を得る（図２４のステップＳ１４１０）。
【００６０】
【特許文献１】特表２００４−５２４７３０号公報
【非特許文献１】Diego Santa-Cruz,Davide Maestroni,Francesco Ziliani,Julien Reichel and Stefano Tubaro,”Improved Scalable MCTF Video Codec Using A H.264/AVC Base Layer”,Picture Coding Symposium 2004,Dec.2004.
【発明の開示】
【発明が解決しようとする課題】
【００６１】
上記の非特許文献１記載の映像信号符号化方式は、時間方向の帯域分割であるＭＣＴＦと解像度間の予測ＩＬＰを選択的に用いることで時間−空間スケーラビリティを高符号化効率で実現した優れた符号化方式である。しかしながら、この符号化方式ではデコード映像を主観的に評価した場合にちらつきが生じてしまうという問題がある。これについては、非特許文献１の中でも”a flash of artifacts can appear”と指摘されており、改善を要する課題である。
非特許文献１記載の映像信号符号化方式では、プレディクション処理（予測処理）においてベースレイヤローカルデコード信号を採用したブロックにはアップデート処理（更新処理）でフィルタ処理を施さない。このため、Ｌフレームにフィルタ処理を施したブロックと時間周波数が高いにもかかわらず（フィルタ処理しなければ映像信号の質に問題が生じる可能性があるものの）フィルタ処理が施されないままフレームが間引かれてしまっているブロックが混在し、局所的な画質の差が生じてしまっている。
【００６２】
動きのある部分においては、原理的により相関の強いベースレイヤローカルデコード信号が採用される頻度が高いため、この問題が生じ易い。特に、ＭＣＴＦにおいては、時間帯域分割を繰り返し行うため、Ｌフレームにフィルタ処理が施されずにフレームが間引かれることによって生じる劣化が、次のＭＣ及び時間帯域分割処理に伝播してしまい、それ以降の処理の精度を保つことが難しくなる。従って、従来の映像符号化における単純な空間−時間適応処理よりも、ＭＣＴＦにおける適応処理は信号処理理論に基づいて処理される（信号を破綻させない）必要がある。
【００６３】
本発明は以上の点に鑑みなされたもので、非特許文献１において生じている符号化と信号処理の相反する現象を解決し、符号化効率とデコード映像の品質を共に向上させ得る映像信号符号化装置、映像信号復号化装置、映像信号符号化プログラム及び映像信号復号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００６４】
上記の目的を達成するため、第１の発明の映像信号符号化装置は、入力映像信号に対して補償時間方向フィルタ処理を行って、２つの分割周波数帯域にサブバンド分割された低域側分割周波数帯域のＬフレームと高域側分割周波数帯域のＨフレームとからなるフレーム列信号を生成し、そのフレーム列信号に対して直交変換・量子化及びエントロピー符号化を行って得た第１の符号化信号を、入力映像信号よりも低解像度の映像信号を符号化した第２の符号化信号と共に出力する映像信号符号化装置であって、入力映像信号を所定の比率で空間−時間縮小し、入力映像信号とは異なる空間−時間解像度を持つ低解像度映像信号を生成する縮小手段(11)と、低解像度映像信号を符号化して第２の符号化信号を生成する符号化手段(12)と、第２の符号化信号を局部復号して局部復号信号を生成する局部復号手段(13)と、局部復号信号を縮小手段とは逆の比率で空間解像度拡大し、高空間解像度映像信号を生成する拡大手段(4117)と、入力映像信号の時間方向に存在する異なる２つのフレームの一方を基準フレームとして他方のフレームの動きを推定して、基準フレームと他方のフレームの対応する各ブロックの相対位置関係を示す動き情報を取得し、その動き情報に基づいて他方のフレームの動きを補償する動き推定／補償手段(4118)と、動き推定／補償手段により動き補償された入力映像信号に、第１の重みにより重み付けを行う第１の重み付け手段(4119,411A)と、局部復号信号から拡大手段により生成された高空間解像度映像信号に、第１の重みを用いて算出した第２の重みにより重み付けを行う第２の重み付け手段(4119,411B)と、第１及び第２の重み付け手段により重み付けされたそれぞれの信号に対して、合成及びフィルタリングを行ってＨフレームを生成する第１の処理手段(411C,411D)と、第１の処理手段により生成されたＨフレームに第１の重みにより重み付けを行う第３の重み付け手段(4119,4112)と、第３の重み付け手段により重み付けされたＨフレームに対して、動き推定／補償手段によって取得した動き情報を逆方向に適用して動き補償した後フィルタリングしてＬフレームを生成する第２の処理手段(4113)と、第１及び第２の処理手段によりそれぞれ生成されたＨフレームとＬフレームを合成してフレーム列信号を生成して出力するフレーム列信号生成手段(4115)とを有することを特徴とする。
【００６５】
また、上記の目的を達成するため、第２の発明の映像信号符号化プログラムは、入力映像信号に対して補償時間方向フィルタ処理を行って、２つの分割周波数帯域にサブバンド分割された低域側分割周波数帯域のＬフレームと高域側分割周波数帯域のＨフレームとからなるフレーム列信号を生成し、そのフレーム列信号に対して直交変換・量子化及びエントロピー符号化を行って得た第１の符号化信号を、入力映像信号よりも低解像度の映像信号を符号化した第２の符号化信号と共に出力する動作を、コンピュータにより実行させる映像信号符号化プログラムであって、コンピュータを、第１の発明の映像信号符号化装置の構成の各手段として機能させることを特徴とする。
【００６６】
また、上記の目的を達成するため、第３の発明の映像信号復号化装置は、第１の発明の映像信号符号化装置より出力された、又は第２の発明の映像信号符号化プログラムにより生成された、第１及び第２の符号化信号と動き情報と第１乃至第３の重みを示す重み情報からなる信号を受信して復号化する映像信号復号化装置であって、第１及び第２の符号化信号を受信してそれぞれ分離する受信手段(31)と、受信手段からの第１の符号化信号をエントロピー復号化した後、逆量子化・逆直交変換してＨフレーム及びＬフレームを復号する第１の復号手段(511,512)と、受信手段からの第２の符号化信号を復号して低解像度映像信号を生成する第２の復号手段(32)と、第２の復号手段により復号された低解像度映像信号を空間解像度拡大し、高空間解像度映像信号を生成する拡大手段(5137)と、第１の復号手段からのＨフレームに、受信した重み情報から得た第１の重みにより重み付けする第１の重み付け手段(5133)と、第１の重み付け手段により重み付けされたＨフレーム又は復号映像信号に対して、受信手段によって受信した動き情報を逆方向に適用して動き補償した後フィルタリングして第１の復号信号を生成する第１の処理手段(5134)と、第１の復号信号を、受信手段によって受信した動き情報を適用して動き補償した後、受信手段によって受信した重み情報から得た第１の重みにより重み付けする第２の重み付け手段(5136,5138)と、拡大手段からの高空間解像度映像信号に対して、受信手段によって受信した重み情報から得た第２の重みにより重み付けする第３の重み付け手段(5139)と、第２及び第３の重み付け手段によりそれぞれ重み付けされた信号を合成し、その合成信号及び受信手段によって受信及び分離したＨフレームに対してフィルタリングを行って第２の復号信号を生成する第２の処理手段(513A,513B)と、第１の復号信号と第２の復号信号を合成して復号映像信号を生成する復号映像信号生成手段(513C)とを有することを特徴とする。
【００６７】
また、上記の目的を達成するため、第４の発明の映像信号復号化プログラムは、第１の発明の映像信号符号化装置により出力された、又は第２の発明の映像信号符号化プログラムにより生成された、第１及び第２の符号化信号と動き情報と第１乃至第３の重みを示す重み情報からなる信号を受信して、コンピュータにより復号化させる映像信号復号化プログラムであって、コンピュータを、第３の発明の映像信号復号化装置の構成の各手段として機能させることを特徴とする。
【００６８】
本発明の目的は、非特許文献１のプレディクション処理（予測処理）において選択的にベースレイヤの局部復号を用いること、また、アップデート処理（更新処理）におけるフィルタ処理を施すか否かの処理を切り替えることによって生じていた前述の問題を解決することである。この目的を達成するために、第１の発明又は第２発明においては、動き推定／補償手段により動き補償された入力映像信号に第１の重みにより重み付けを行うと共に、局部復号信号から空間解像度拡大により生成された高空間解像度映像信号に、第１の重みから算出した第２の重みにより重み付けを行い、これら重み付けされた信号に対して、合成及びフィルタリングを行ってＨフレームを第１の処理手段により生成し、更に第１の処理手段により生成されたＨフレームに、動き補償された入力映像信号と同じ第１の重みにより重み付けし、そのＨフレームに対して第２の処理手段により逆動き補償した後フィルタリングしてＬフレームを生成するようにしたため、第１の処理手段では常に動き補償された入力映像信号と、局部復号信号から空間解像度拡大により生成された高空間解像度映像信号とが重み付け合成された信号に基づいてＨフレームを生成でき、第２の処理手段により時間方向の成分のみを反映させたＬフレームを生成できる。すなわち、解像度間の予測をしつつ、時間方向の帯域分割を実現する。
【００６９】
すなわち、本発明では、第２の処理手段により得られるＬフレームに常にフィルタ処理を施したブロックが存在するため、非特許文献１に記載の従来装置では、プレディクション処理においてベースレイヤ局部復号信号を採用したブロックにはアップデート処理でフィルタ処理を施さないため、Ｌフレームにフィルタ処理を施したブロックとフィルタ処理を施さなければ映像信号の質に問題が生じる可能性があるもののフィルタ処理が施されないままフレームが間引かれてしまっているブロックが混在し、局所的な画質の差が生じるという問題が生じていたが、この問題を解決することができる。
【００７０】
更に、ＭＣＴＦにおいては、時間帯域分割を繰り返し行うため、Ｌフレームにフィルタ処理が施されずにフレームが間引かれることによって生じる劣化が、次のＭＣ及び時間帯域分割処理に伝播してしまい、それ以降の処理の精度を保つことが難しくなるという問題も解決することができ、また、空間−時間成分の予測、帯域分割の自由度が増すことから符号化効率も向上できる。
【発明の効果】
【００７１】
本発明によれば、第１の処理手段により常に動き補償された入力映像信号と局部復号信号とが重み付け合成された信号に基づいてＨフレームを生成し、第２の処理手段により時間方向の成分のみを反映させたＬフレームを生成することで、第２の処理手段により得られるＬフレームに常にフィルタ処理を施したブロックが存在するようにしたため、非特許文献１に記載の従来装置におけるＬフレームにフィルタ処理を施したブロックとフィルタ処理を施さなければ映像信号の質に問題が生じる可能性があるもののフィルタ処理が施されないままフレームが間引かれてしまっているブロックが混在し、局所的な画質の差が生じるという問題を解決することができ、これにより、デコード映像におけるちらつきが改善されデコード映像の品質を向上できる。
【００７２】
また、本発明によれば、ＭＣＴＦにおいては、時間帯域分割を繰り返し行うため、Ｌフレームにフィルタ処理が施されずにフレームが間引かれることによって生じる劣化が、次のＭＣ及び時間帯域分割処理に伝播してしまい、それ以降の処理の精度を保つことが難しくなるという問題も解決することができ、更に、空間−時間成分の予測、帯域分割の自由度が増すことから符号化効率も向上できる。
【発明を実施するための最良の形態】
【００７３】
次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる映像信号符号化装置及び映像信号復号化装置の一実施の形態のブロック図を示す。同図中、図１４と同一構成部分には同一符号を付し、その説明を省略する。図１において、本発明になる映像信号符号化装置の一実施の形態である符号化部４０は、時間−空間デシメーション部１１、ベースレイヤエンコード部１２、ベースレイヤリコンストラクト部１３、エンハンスメントレイヤエンコード部４１及び多重化部１５から構成される。また、本発明になる映像信号復号化装置の一実施の形態である復号化部５０は、エクストラクト部３１、ベースレイヤデコード部３２及びエンハンスメントレイヤデコード部５１から構成される。
【００７４】
図１４と同様に、本実施の形態でも符号化部４０にはオリジナルの映像信号が入力され、符号化部４０で生成されたビットストリームが通信回線またはメディア２０を介して復号化部５０に伝送される。復号化部５０では供給されたビットストリームから必要な情報を取り出して、ディスプレイ等の性能に合った空間解像度、フレームレート、ＳＮＲのデコード映像信号を出力する。
【００７５】
ここで、本発明では、非特許文献１におけるＭＣＴＦとＩＬＰを選択的に用いることによる弊害を改善することを目的としており、本実施の形態では非特許文献１のＭＣＴＦ−ＩＬＰ部を含むエンハンスメントレイヤエンコード部１４を後述する構成のエンハンスメントレイヤエンコード部４１に変更すると共に、逆ＭＣＴＦ−ＩＬＰ部を含むエンハンスメントレイヤデコード部３３を後述する構成のエンハンスメントレイヤデコード部５１に変更した点に特徴がある。それ以外の構成部分に関しては、図１４の従来の構成と同様である。なお、図１の実施の形態は図１４の例と同様に空間解像度スケーラビリティを２層で実現しているが、多層であってもよい。
【００７６】
図２は図１中のエンハンスメントレイヤエンコード部４１の一実施の形態のブロック図を示す。図２において、エンハンスメントレイヤエンコード部４１は、ＭＣＴＦ−ＩＬＰ部４１１、直交変換・量子化部４１２及びエントロピー符号化部４１３から構成される。ＭＣＴＦ−ＩＬＰ部４１１は、オリジナルの映像信号とベースレイヤリコンストラクト部１３からのベースレイヤのローカルデコード信号（局部復号信号）とを入力として受け、これらの信号を用いて、空間−時間スケーラビリティを実現する信号を生成する機能を有する。動作の詳細については後述する。また、ＭＣＴＦ−ＩＬＰ部４１１は、映像情報を直交変換・量子化部４１２へ出力し、重み情報及び動き情報をそれぞれエントロピー符号化部４１３へ出力する機能を有する。
【００７７】
直交変換・量子化部４１２は、ＭＣＴＦ−ＩＬＰ部４１１より出力される映像情報を入力として受け、この信号を直交変換後に量子化する機能を有する。直交変換はＤＣＴやアダマール変換、ウェーブレット変換などが代表例である。また、直交変換・量子化部４１２は、直交変換後に量子化した信号をエントロピー符号化部４１３へ出力する機能を有する。
【００７８】
エントロピー符号化部４１３は、直交変換・量子化部４１２より出力された映像情報と、ＭＣＴＦ−ＩＬＰ部４１１より出力された重み情報及び動き情報とを取得する機能と、これら取得した入力情報をエントロピー符号化してビットストリームを生成し、エンハンスメントレイヤエンコーダ部４１の外部へ出力する機能とを有する。ここで、エントロピー符号化は従来の方法と同様にＳＮＲスケーラビリティが実現できるような構成や手順も採用できる。
【００７９】
図２に示した構成のエンハンスメントレイヤエンコード部４１を用いてエンハンスメントレイヤを符号化する手順を図３のフローチャートと共に説明する。オリジナルの映像信号とベースレイヤの局部復号信号を用いて、ＭＣＴＦ−ＩＬＰ部４１１において、時間−空間スケーラビリティを実現する信号を生成する（図３のステップＳ１０１）。手順の詳細については後述する。この結果得られた映像情報を直交変換・量子化部４１２に送る。重み情報及び動き情報は、エントロピー符号化部４１３に送られる。
【００８０】
ＭＣＴＦ−ＩＬＰ部４１１において生成した時間−空間スケーラビリティを実現する映像情報信号は直交変換・量子化部４１２で直交変換された後、得られた直交変換係数が量子化される（図３のステップＳ１０２）。直交変換及び量子化された信号はエントロピー符号化部４１３へ送られる。ＭＣＴＦ−ＩＬＰ部４１１で得た重み情報と動き情報及び直交変換・量子化部４１２から出力される映像情報は、エントロピー符号化部４１３においてエントロピー符号化され、ビットストリームが生成される（図３のステップＳ１０３）。
【００８１】
次に、エンハンスメントレイヤエンコード部４１内の図２に示したＭＣＴＦ−ＩＬＰ部４１１の構成及び動作について詳細に説明する。図４はＭＣＴＦ−ＩＬＰ部４１１の一実施の形態の構成図を示す。同図において、ＭＣＴＦ−ＩＬＰ部４１１は、入力切り替え器４１１０、プレディクション処理部４１１１、アップデート用重み付け部４１１２、アップデート処理部４１１３、フレーム管理部４１１４、フレーム並び替え部４１１５、動き情報更新部４１１６より構成される。
【００８２】
プレディクション処理部４１１１は、入力切り替え器４１１０より入力される信号と、ベースレイヤリコンストラクト部１３から出力されたベースレイヤの局部復号信号と、フレーム管理部４１１４より出力されるフレーム管理情報とを入力として取得する機能を有する。プレディクション処理部４１１１の内部構成及び動作については後述する。また、プレディクション処理部４１１１は、プレディクション処理結果（予測処理結果）の信号をフレーム並び替え部４１１５及びアップデート用重み付け部４１１２に出力する機能と、重み情報をアップデート用重み付け部４１１２、動き情報更新部４１１６及びＭＣＴＦ−ＩＬＰ部４１１の外部へと出力する機能と、動き情報（例えば動きベクトル、マクロブロックタイプなど）をアップデート処理部４１１３及び動き情報更新部４１１６へ出力する機能とを有する。
【００８３】
アップデート処理部４１１３は、入力切り替え器４１１０より入力される信号と、アップデート用重み付け部４１１２より出力される信号と、フレーム管理部４１１４より出力されるフレーム管理情報と、プレディクション処理部４１１１より出力される動き情報を入力として取得する機能と、入力された信号と情報を用いて、逆ＭＣとフィルタ処理を行う機能と、処理後の信号をフレーム並び替え部４１１５に出力する機能とを有する。
【００８４】
フレーム管理部４１１４は、ＭＣＴＦ−ＩＬＰ部４１１内のフレームを管理する機能と、その管理情報を入力切り替え器４１１０、プレディクション処理部４１１１、アップデート処理部４１１３及びフレーム並び替え部４１１５へ出力する機能とを有する。
【００８５】
フレーム並び替え部４１１５は、プレディクション処理部４１１１より出力されるプレディクション処理後（予測処理後）の信号と、アップデート処理部４１１３より出力されるアップデート処理後（更新処理後）の信号及びフレーム管理部４１１４より出力されるフレーム管理情報を取得する機能と、取得した各情報に基づいてＭＣＴＦ−ＩＬＰ処理の終了したフレームを適宜所望の順序に並び替える機能と、その並び替えの処理結果をＭＣＴＦ−ＩＬＰ部４１１の外部へ出力する機能とを有する。
【００８６】
アップデート用重み付け部４１１２は、プレディクション処理部４１１１より出力されるプレディクション処理結果の信号（Ｈフレーム）及び重み情報を取得する機能と、取得したプレディクション処理結果の信号（Ｈフレーム）に取得した重み情報をもとに重み付け処理をする機能と、重み付け処理結果の信号をアップデート処理部４１１３へ出力する機能とを有する。
【００８７】
動き情報更新部４１１６は、プレディクション処理部４１１１より出力される動き情報及び重み情報を取得する機能と、取得した重み情報の内容に応じて動き情報を更新する機能と、その更新結果をＭＣＴＦ−ＩＬＰ部４１１の外部へ出力する機能とを有する。
【００８８】
入力切り替え器４１１０は、映像信号と、アップデート処理部４１１３より出力されるアップデート処理結果の信号（Ｌフレーム）と、フレーム管理部４１１４より出力されるフレーム管理情報とを取得する機能と、取得したフレーム管理情報に応じて取得した映像信号とアップデート処理結果の信号（Ｌフレーム）のいずれかを選択し、プレディクション処理部４１１１及びアップデート処理部４１１３へ出力する機能とを有する。
【００８９】
次に、プレディクション処理部４１１１の詳細な構成例について説明する。図４に示すように、プレディクション処理部４１１１は、解像度インターポレーション部４１１７、ＭＥ／ＭＣ部４１１８、重み指示部４１１９、プレディクション用重み付け部４１１Ａ、ＩＬＰ用重み付け部４１１Ｂ、信号合成部４１１Ｃ、フィルタリング部４１１Ｄより構成される。
【００９０】
解像度インターポレーション部４１１７は、ベースレイヤローカルデコード信号及びフレーム管理部４１１４より出力されるフレーム管理情報を取得する機能と、ベースレイヤローカルデコード信号を映像信号と同じ空間解像度までインターポレーション（拡大；補間）する機能とを有する。ここで、インターポレーションの方法は何を用いてもよいが、ベースレイヤの空間解像度までデシメーションした（縮小した）ときに用いたフィルタに対応するものを用いることが望ましい。また、解像度インターポレーション部４１１７は、インターポレーションした結果の信号をＩＬＰ用重み付け部４１１Ｂに出力する機能を有する。
【００９１】
ＭＥ／ＭＣ部４１１８は、入力切り替え器４１１０より入力される信号及びフレーム管理部４１１４より出力されるフレーム管理情報を取得する機能と、例えば従来のＭＰＥＧ(Moving Picture Experts Group)シリーズやＨ.２６４、ＭＣＴＦのような動き推定（ＭＥ）及び動き補償（ＭＣ）を行う機能と、ＭＥ／ＭＣの結果得られる信号をプレディクション用重み付け部４１１Ａへ出力し、動き情報をプレディクション部４１１１の外部に出力する機能とを有する。
【００９２】
重み指示部４１１９は、フィルタリング部４１１Ｄから出力されるプレディクション処理結果の信号（Ｈフレーム）及びフレーム管理部４１１４より出力されるフレーム管理情報を取得する機能と、取得した情報を基に重みＷを算出し、それをプレディクション用重み付け部４１１Ａ、ＩＬＰ用重み付け部４１１Ｂ、アップデート用重み付け部４１１２及び動き情報更新部４１１６に供給すると共にＭＣＴＦ−ＩＬＰ部４１１の外部へ出力する機能とを有する。なお、重み指示部４１１９に対する入力は外部から指示を受け付けてもよい。
【００９３】
プレディクション用重み付け部４１１Ａは、ＭＥ／ＭＣ部４１１８よりＭＥ／ＭＣした信号及び重み指示部４１１９より出力された重みＷを取得する機能と、ＭＥ／ＭＣした信号に重みＷを重み付けし、信号合成部４１１Ｃへ出力する機能とを有する。ＩＬＰ用重み付け部４１１Ｂは、解像度インターポレーション部４１１７より出力される信号及び重み指示部４１１９より重みＷを取得する機能と、（１−Ｗ）を算出する機能と、算出結果を解像度インターポレーションされた信号に重み付けして信号合成部４１１Ｃへ出力する機能とを有する。
【００９４】
信号合成部４１１Ｃは、プレディクション用重み付け部４１１Ａ及びＩＬＰ用重み付け部４１１Ｂよりそれぞれ出力される信号と、フレーム管理部４１１４から出力されるフレーム管理情報を取得する機能と、プレディクション用重み付け部４１１Ａ及びＩＬＰ用重み付け部４１１Ｂよりそれぞれ取得した信号を例えば加算して合成し、プレディクション処理用の最終的なリファレンスフレームを作成する機能と、その結果得られる信号をフィルタリング部４１１Ｄへ出力する機能とを有する。
【００９５】
フィルタリング部４１１Ｄは、信号合成部４１１Ｃから出力される信号、入力切り替え器４１１０より出力される信号及びフレーム管理部４１１４より出力されるフレーム情報を取得する機能と、信号合成部４１１Ｃで得られるリファレンスフレームと入力信号にフィルタ処理を行ってＨフレームを生成し、プレディクション処理部４１１１の外部及び重み指示部４１１９へと出力する機能とを有する。
【００９６】
すなわち、ＭＣＴＦ−ＩＬＰ部４１１は、オリジナルの映像信号に対してＭＥ／ＭＣ部４１１８でＭＥ／ＭＣした信号とベースレイヤローカルデコード信号を空間解像度・インターポレーション部４１１７においてインターポレーションした信号にそれぞれプレディクション用重み付け部４１１ＡとＩＬＰ用重み付け部４１１Ｂで重み付けをする。そして、信号合成部４１１Ｃでそれぞれの信号を合成し、リファレンスフレームを生成する。リファレンスフレームと入力切り替え器４１１０からの出力をフィルタリング部４１１Ｄでフィルタ処理してプレディクション処理結果の信号（Ｈフレーム）を得る。アップデート処理部４１１３におけるフィルタ処理は、スキップせずに、プレディクション部４１１１におけるプレディクション用重み付け部４１１Ａと同じ重み付けをしたＨフレームを用い、ＬフレームにＨフレームの時間方向の成分のみを反映させる。すなわち、空間解像度間の予測をしつつ、時間方向の帯域分割を実現する。
【００９７】
次に、図４に示した構成のＭＣＴＦ−ＩＬＰ部４１１によるＭＣＴＦ−ＩＬＰ処理を行う手順を図５のフローチャートと共に説明する。図５に示す一連の処理を、非特許文献１と同様に１ＧＯＰ単位で行うために、１ＧＯＰ分の映像フレームを蓄積する（図５のステップＳ２０１）。なお、図５に示す一連の処理を、複数のＧＯＰ単位で行い、複数のＧＯＰにまたがる処理を行ってもよい。次に、図１のベースレイヤリコンストラクト部１３からのベースレイヤローカルデコード信号を、図４の解像度インターポレーション部４１１７において、空間−時間デシメーション部１１のデシメーション比率とは逆の比率で空間解像度インターポレーションして、ＭＣＴＦ−ＩＬＰ部４１１の入力映像信号と同じ高空間解像度の映像信号に変換する（図５のステップＳ２０２）。
【００９８】
次に、プレディクション処理部４１１１によりプレディクション処理を行う。プレディクション処理では、最初は外部から入力された高空間解像度の映像信号が入力切り替え器４１１０を通してプレディクション処理部４１１１に入力され、ＭＣＴＦによる１回目の帯域分割処理が行われる。プレディクション処理部４１１１ではＭＥ／ＭＣ部４１１８により、処理対象フレーム（偶数）の前後のＭＥ／ＭＣ部４１１８において入力切り替え器４１１０からの出力信号である処理対象フレーム（偶数）の前後のフレーム（奇数）に対してＭＥ／ＭＣ処理が行われる（図５のステップＳ２０３）。
【００９９】
すなわち、ＭＥ／ＭＣ部４１１８では、まず処理対象フレームを基準フレームとして前又は後のフレームの動きを推定して、基準フレームと前又は後のフレームの対応する各ブロックの相対位置関係を示す動きベクトル情報（以下、動き情報ともいう）を取得する動き推定（ＭＥ）処理を行い、続いて、その動きベクトル情報に基づいて基準フレームの前又は後のフレームの動きを補償する動き補償（ＭＣ）処理を行う。このＭＥ／ＭＣ処理を基準フレームの前と後のフレームのそれぞれについて行う。
【０１００】
なお、後述するフィルタリング部４１１Ｄからサブバンド分割された２つの分割周波数帯域のうち高域側分割周波数帯域のＨフレームが最初に出力された後、引き続いてプレディクション処理部４１１１では同様にして２回目以降のＭＣＴＦによる帯域分割処理を行うが、ＭＣＴＦによる２回目以降の帯域分割処理は、図１１等と共に説明したようにＬフレームに対して行われるため、アップデート処理部４１１３から出力される低域側分割周波数帯域のＬフレームが入力切り替え器４１１０により選択されてプレディクション処理部４１１１に入力される。
【０１０１】
上記のＭＥ／ＭＣ部４１１８でＭＥ／ＭＣ処理された信号は、重み指示部４１１９の指示に従ってプレディクション用重み付け部４１１ＡにおいてＷの値（０＜Ｗ＜１）を重み付けされる（図５のステップＳ２０４）。なお、ここでは重み指示部４１１９には、信号合成部４１１Ｃの出力信号が小さくなるようにフィルタリング部４１１Ｄから出力されるプレディクション処理後の信号（Ｈフレーム）をフィードバックして最適なＷを求めるようにしているが、重み指示部４１１９における重みＷの算出ルールはこれ以外にも何通りも考えられ、例えば外部から指示を与えてもよい。
【０１０２】
一方、解像度インターポレーション部４１１７においてベースレイヤローカルデコード信号に対して解像度のインターポレーションを行って得られた高空間解像度の映像信号は、重み指示部４１１９の指示に従ってＩＬＰ用重み付け部４１１Ｂにおいて（１−Ｗ）の値が重み付けされる（図５のステップＳ２０５）。
【０１０３】
続いて、プレディクション用重み付け部４１１Ａ及びＩＬＰ用重み付け部４１１Ｂにおいてそれぞれ重み付けした信号を信号合成部４１１Ｃで合成し、プレディクション処理のための最終的なリファレンスフレームを生成する（図５のステップＳ２０６）。
【０１０４】
続いて、入力切り替え器４１１０で選択された信号と、信号合成部４１１Ｃからのリファレンスフレームとに対して、フィルタリング部４１１Ｄにてフィルタ処理が行われる（図５のステップＳ２０７）。この結果、フィルタリング部４１１ＤからＭＣＴＦ−ＩＬＰ部４１１におけるプレディクション処理結果の信号としてＨフレームを得ることができる。
【０１０５】
続いて、ＧＯＰ内の偶数フレームのすべてに対して、ステップＳ２０３〜Ｓ２０７のプレディクション処理が行われたかどうか判定し（図５のステップＳ２０８）、全て終了するまでステップＳ２０３〜Ｓ２０７のプレディクション処理が繰り返される。これにより、プレディクション処理部４１１１による１回目以降のＭＣＴＦによる帯域分割処理が終了する。
【０１０６】
続いて、アップデート処理が行われる。アップデート処理では、プレディクション処理結果の信号のうち、時間方向の高周波数成分だけをアップデート処理に反映させたいため、フィルタリング部４１１Ｄから出力されたプレディクション処理結果の信号（Ｈフレーム）にアップデート用重み付け部４１１２においてＷの重み付けをする（図５のステップＳ２０９）。
【０１０７】
次に、アップデート用重み付け部４１１２においてＷの重み付けをした、処理対象フレーム（奇数）の前後のフレーム（偶数）のプレディクション処理結果の信号（Ｈフレーム）は、プレディクション処理部４１１１から得られる動き情報を用いて、アップデート処理部４１１３において逆ＭＣされる（図５のステップＳ２１０）。続いて、アップデート処理部４１１３は、この逆ＭＣした信号と入力切り替え器４１１０により選択された信号に対してフィルタ処理を行う（図５のステップＳ２１１）。この結果、アップデート処理を行ったＬフレームが生成される。
【０１０８】
続いて、同じＧＯＰ内の偶数フレームに対してアップデート処理が終了したかどうか判定し（図５のステップＳ２１２）、終了するまで上記のステップＳ２０９〜Ｓ２１１のアップデート処理を他のフレームに対しても行う。
【０１０９】
ステップＳ２１２でアップデート処理が終了したと判定されることにより、１回目のＭＣＴＦによる帯域分割処理が終了し、続いて、入力切り替え器４１１０がアップデート処理部４１１３からのＬフレームを選択するように切り替わった後、上記のステップＳ２０３〜Ｓ２１２による２回目以降のＭＣＴＦによる帯域分割処理が行われ、最終的に残りのＬフレームが１枚になるか、又はＭＣＴＦを途中で終了するまで、上記のステップＳ２０３以降の処理を繰り返し、従来のＭＣＴＦと同様に、時間方向の帯域分割を繰り返し行う（図５のステップＳ２１３）。最後に、フレーム並び替え部４１１５で所望のフレーム順序に並び替えてＭＣＴＦ−ＩＬＰ部４１１の外部へ出力する。以上の方法を用いることで、ＭＣＴＦ−ＩＬＰ処理を施した信号を生成できる。
【０１１０】
次に、制御情報（動き情報、重み情報）の扱いについて説明する。基本的には、ＭＥ／ＭＣ部４１１８で得た動き情報及び重み指示部４１１９で算出した重みＷは、そのままＭＣＴＦ−ＩＬＰ部４１１の外部へ出力されエントロピー符号化される。
【０１１１】
このように、本実施の形態によれば、フィルタリング部４１１Ｄから出力されるプレディクション処理後の信号（Ｈフレーム）を重み指示部４１１９にフィードバックして、信号合成部４１１Ｃの出力信号が小さくなるような最適な重みＷを求め、その重みＷの値又は（１−Ｗ）の値に従って、フィルタリング部４１１Ｄに入力される信号に対して重み付けすると共に、フィルタリング部４１１Ｄから出力されるプレディクション処理された信号（Ｈフレーム）に対しても重みＷにより重み付けしているため、ベースレイヤローカルデコード信号を解像度インターポレーションして得られた映像信号とＭＥ／ＭＣ処理した信号とがそれぞれ重みＷの値に応じて混合された信号に対してフィルタリング部４１１Ｄによるフィルタリングが行われてＨフレームが生成され、また、そのＨフレームに重みＷで重み付けした信号に対してアップデート処理を行ってＬフレームを生成するため、Ｌフレームに時間方向の成分のみを反映させることができる（Ｌフレームに常にフィルタリング部４１１Ｄによるフィルタ処理を施したブロックが存在する）。
【０１１２】
このため、解像度間の予測をしつつ、時間方向の帯域分割を実現することができ、その結果、プレディクション処理においてベースレイヤローカルデコード信号を採用したブロックにはアップデート処理でフィルタ処理を施さないため、Ｌフレームにフィルタ処理を施したブロックと、フィルタ処理を施さなければ映像信号の質に問題が生じる可能性があるもののフィルタ処理が施されないままフレームが間引かれてしまっているブロックとが混在し、局所的な画質の差が生じるという非特許文献１の問題を解決することができ、デコード映像におけるちらつきが改善される。また、ＭＣＴＦにおいては、時間帯域分割を繰り返し行うため、Ｌフレームにフィルタ処理が施されずにフレームが間引かれることによって生じる劣化が、次のＭＣ及び時間帯域分割処理に伝播してしまい、それ以降の処理の精度を保つことが難しくなるという問題も解決することができ、更に、空間−時間成分の予測、帯域分割の自由度が増すことから符号化効率も向上できる。また、本実施の形態のＭＣＴＦ−ＩＬＰ部４１１の構成と手順はすべて線形処理であるため、量子化の影響を無視できる条件であればデコード側での再構成が可能となる。
【０１１３】
なお、この実施の形態の応用例として、例えば、重みＷを”０”としてもよい。この場合は、非特許文献１のベースレイヤの情報を選択した場合と等価であり、上記の非特許文献１の問題は残るが、図４の動き情報更新部４１１６でベクトルを”０”とすることができ、それによりエントロピーが下がる場合にはこの方法を採用できる。更に、重みＷの値を”０”または”１”に限定して、重みＷを符号化しないようにすれば、完全に非特許文献１と等価となり、互換性を保つこともできる。
【０１１４】
次に、図１の復号化部５０内のエンハンスメントレイヤデコード部５１について説明する。図６はエンハンスメントレイヤデコード部５１の一実施の形態のブロック図を示す。同図に示すように、エンハンスメントレイヤデコード部５１は、エントロピー復号化部５１１、逆量子化・逆直交変換部５１２及び逆ＭＣＴＦ−ＩＬＰ部５１３から構成される。エントロピー復号化部５１１は、ビットストリームを取得して解析し、エントロピー復号化を行って、映像情報、重み情報及び動き情報を復号する機能と、復号した映像情報を逆量子化・逆直交変換部５１２へ出力し、重み情報及び動き情報を逆ＭＣＴＦ−ＩＬＰ部５１３へ出力する機能とを有する。ここで、入力されたビットストームがＳＮＲスケーラビリティに対応していた場合、従来の方法と同様に、これを復号できるような構成や手順を備えてもよい。
【０１１５】
逆量子化・逆直交変換部５１２は、エントロピー復号化部５１１より出力される復号映像情報を取得し、この復号映像情報を逆量子化した後逆直交変換する機能と、逆量子化及び逆直交変換した信号を逆ＭＣＴＦ−ＩＬＰ部５１３へ出力する機能とを有する。逆ＭＣＴＦ−ＩＬＰ部５１３は、逆量子化・逆直交変換部５１２において逆量子化及び逆直交変換された信号と、エントロピー復号化部５１１から出力される復号された重み情報及び動き情報と、図１のベースレイヤデコード部３２においてベースレイヤをデコードした信号とを取得する機能と、時間方向の帯域合成と解像度間の逆予測を行って、デコード映像信号を得る機能と、デコード映像信号をエンハンスメントレイヤデコード部５１の外部へ出力する機能とを有する。
【０１１６】
次に、図６に示した構成のエンハンスメントレイヤデコード部５１によるエンハンスメントレイヤを復号化する手順を図７のフローチャートと共に説明する。エンハンスメントレイヤデコード部５１は、入力されたビットストリームをエントロピー復号化部５１１において復号する（図７のステップＳ３０１）。復号した結果得られる映像情報は逆量子化・逆直交変換部５１２へ送られ、復号した重み情報及び動き情報は逆ＭＣＴＦ−ＩＬＰ部５１３に送られる。
【０１１７】
復号した映像情報は逆量子化・逆直交変換部５１２にて逆量子化された後逆直交変換される（図７のステップＳ３０２）。この結果得られる信号は逆ＭＣＴＦ−ＩＬＰ部５１３へと送られる。逆ＭＣＴＦ−ＩＬＰ部５１３は逆直交変換された映像情報、ベースレイヤのデコード信号及び復号された重み情報及び動き情報を用いて、時間方向の帯域合成と解像度間の逆予測を行いデコード映像信号を得る（図７のステップＳ３０３）。手順の詳細については後述する。
【０１１８】
次に、図６に示したエンハンスメントレイヤデコード部５１内の逆ＭＣＴＦ−ＩＬＰ部５１３の構成及び動作について詳細に説明する。図８は逆ＭＣＴＦ−ＩＬＰ部５１３の一実施の形態の構成図を示す。同図に示すように、逆ＭＣＴＦ−ＩＬＰ部５１３は、フレーム管理部５１３０、フレーム分割部５１３１、入力切り替え器５１３２、逆アップデート用重み付け部５１３３、逆アップデート処理部５１３４、逆プレディクション処理部５１３５及びフレーム並び替え部５１３Ｃで構成される。
【０１１９】
フレーム管理部５１３０は、逆ＭＣＴＦ−ＩＬＰ部５１３内のフレームを管理する機能と、そのフレーム管理情報をフレーム分割部５１３１、入力切り替え器５１３２、逆アップデート処理部５１３４、逆プレディクション処理部５１３５及びフレーム並び替え部５１３Ｃへと出力する機能とを有する。
【０１２０】
フレーム分割部５１３１は、復元対象の映像情報及びフレーム管理部５１３０より出力されるフレーム管理情報を取得する機能と、取得した映像情報をＬフレームとＨフレームに分け、Ｌフレームを入力切り替え器５１３２に出力し、Ｈフレームを逆アップデート用重み付け部５１３３及び逆プレディクション処理部５１３５へ出力する機能とを有する。
【０１２１】
入力切り替え器５１３２はフレーム分割部５１３１から出力される信号、逆プレディクション処理部５１３５から出力される信号及びフレーム管理部５１３０から出力されるフレーム管理情報を取得する機能と、フレーム管理情報に応じて入力されるフレーム分割部５１３１からの出力信号または逆プレディクション処理部５１３５から出力される信号のいずれかを選択して逆アップデート処理部５１３４へ出力する機能とを有する。
【０１２２】
逆アップデート用重み付け部５１３３は、フレーム分割部５１３１から出力されるＨフレームとエントロピー復号化部５１１で復号された重み情報を取得する機能と、重み情報Ｗに基づいてＨフレームに重み付けを行い、その結果得られる信号を逆アップデート処理部５１３４へ出力する機能とを有する。
【０１２３】
逆アップデート処理部５１３４は、逆アップデート用重み付け部５１３３より出力される信号（Ｈフレーム）、入力切り替え器５１３２から出力される信号、エントロピー復号化部５１１で復号された動き情報及びフレーム管理部５１３０から出力されるフレーム管理情報を取得する機能と、取得した動き情報を基に逆ＭＣを行い（動き情報を逆方向に適用して動き補償を行い）、更にフィルタ処理を行って得たＬフレームを逆プレディクション処理部５１３５及びフレーム並び替え部５１３Ｃへ出力する機能とを有する。
【０１２４】
逆プレディクション処理部５１３５はフレーム管理部５１３０から出力されるフレーム管理情報、フレーム分割部５１３１から出力されるＨフレーム、逆アップデート処理部５１３４から出力されるＬフレーム、エントロピー復号化部５１１で復号された動き情報及び重み情報、ベースレイヤデコード信号を取得する機能と、逆プレディクション処理結果をフレーム並び替え部５１３Ｃへ出力する機能とを有する。逆プレディクション処理部５１３５の内部構成及び動作については後述する。
【０１２５】
フレーム並び替え部５１３Ｃは、逆アップデート処理部５１３４で復元したＬフレーム、逆プレディクション処理で復元したＨフレーム及びフレーム管理部５１３０から出力されるフレーム管理情報を取得する機能と、フレーム情報を用いて、逆アップデート処理部５１３４で復元したＬフレーム及び逆プレディクション処理２１０７で復元したＨフレームを所望のフレーム順序に並び替えて入力切り替え器５１３２及び外部へと出力する機能とを有する。
【０１２６】
次に、逆プレディクション部５１３５の詳細な構成例について説明する。図８に示すように、逆プレディクション処理部５１３５は、ＭＣ部５１３６、解像度インターポレーション部５１３７、逆プレディクション用重み付け部５１３８、逆ＩＬＰ用重み付け部５１３９、信号・合成部５１３Ａ、フィルタリング部５１３Ｂから構成される。
【０１２７】
ＭＣ部５１３６は、逆アップデート処理部５１３４から出力されるＬフレーム、動き情報及びフレーム管理部５１３０から出力されるフレーム情報を取得する機能と、動き情報を基にＬフレームの動き補償（ＭＣ）を行い、その結果得られる信号を逆プレディクション用重み付け部５１３８へ出力する機能とを有する。
【０１２８】
解像度インターポレーション部５１３７は、ベースレイヤデコード信号及びフレーム管理部５１３０より出力されるフレーム管理情報を取得する機能と、取得したベースレイヤデコード信号を復元対象の映像情報と同じ空間解像度までインターポレーションする機能とを有する。ここで、インターポレーションの方法は何を用いてもよいが、符号化部４０のＭＣＴＦ−ＩＬＰ部４１１で用いたフィルタに対応するものを用いることが望ましい。また、解像度インターポレーション部５１３７はインターポレーションした結果の信号を逆ＩＬＰ用重み付け部５１３８に出力する機能を有する。
【０１２９】
逆プレディクション用重み付け部５１３８は、ＭＣ部５１３６から出力される信号及び重み情報を取得する機能と、取得した重み情報Ｗに基づいてＭＣ部５１３６から出力される信号に重み付けをして、信号合成部５１３Ａへと出力する機能とを有する。逆ＩＬＰ用重み付け部５１３９は、解像度インターポレーション部５１３７から出力される信号及び重み情報を取得する機能と、取得した重み情報Ｗに基づいて（１−Ｗ）を算出し、解像度インターポレーション部５１３７から出力される信号に重み付けを行って、信号合成部５１３Ａへ出力する機能とを有する。
【０１３０】
信号合成部５１３Ａは、逆プレディクション用重み付け部５１３８及び逆ＩＬＰ用重み付け部５１３９から出力されるそれぞれの信号を取得する機能と、取得したそれぞれの信号を例えば加算して合成し、逆ＭＣＴＦ−ＩＬＰのためのリファレンスフレームを生成し、フィルタリング部５１３Ｂへ出力する機能とを有する。
【０１３１】
フィルタリング部５１３Ｂは、フレーム分割部５１３１から出力されるＨフレーム、信号合成部５１３Ａより出力されるリファレンスフレーム及びフレーム管理部５１３０から出力されるフレーム管理情報を取得する機能と、取得したＨフレームとリファレンスフレームに対してフィルタ処理を施して、時間方向の帯域合成及び解像度間の逆予測された（復元された）信号を生成してフレーム並び替え部５１３Ｃへ出力する機能とを有する。
【０１３２】
次に、図８に示した構成の逆ＭＣＴＦ−ＩＬＰ部５１３による逆ＭＣＴＦ−ＩＬＰ処理を行う手順について図９のフローチャートと共に説明する。図９に示す一連の処理を、１ＧＯＰ単位で行うために、１ＧＯＰ分の映像フレームを蓄積する（図９のステップＳ４０１）。なお、図９に示す一連の処理を複数のＧＯＰ単位で行い、複数のＧＯＰにまたがる処理を行ってもよい。続いて、図１のベースレイヤデコード部３２からのベースレイヤデコード信号は、図８の解像度インターポレーション部５１３７において予めインターポレーションしておく（図９のステップＳ４０２）。
【０１３３】
次に、逆アップデート処理を行う。逆アップデート処理では、入力された復元対象の映像情報のうちＬフレームは、最初は入力切り替え器５１３２を通して逆アップデート処理部５１３４に入力される。ここで、２回目以降の帯域合成処理は、復元したフレーム（逆プレディクション処理結果の出力）に対して行われるため、入力切り替え器５１３２からは復元したフレームが出力されることになる。
【０１３４】
逆アップデート処理に用いるＨフレームの信号は逆アップデート用重み付け部５１３３において重みＷの重み付けされる（図９のステップＳ４０３）。処理対象のＬフレームの前後のＷの重み付けをされたＨフレームの信号は、逆アップデート処理部５１３４において動き情報を用いて逆ＭＣされる（図９のステップＳ４０４）。さらに、逆アップデート処理部５１３４は、入力切り替え器５１３２から出力される信号と逆ＭＣされた信号に対してフィルタ処理を施す（図９のステップＳ４０５）。この結果、逆アップデート処理を行った復元されたフレームが生成される。続いて、ＧＯＰ内の同レベルのＬフレームに対して逆アップデートが全て終了したかどうか判断し（図９のステップＳ４０６）、逆アップデートが全て終了するまでステップＳ４０３〜Ｓ４０５の処理が繰り返される。
【０１３５】
次に、逆プレディクション処理を行う。この逆プレディクション処理では、処理対象のＨフレームの前後の逆アップデートして復元したＬフレームの信号をＭＣ部５１３６において動き情報を用いてＭＣする（図９のステップＳ４０７）。そして、ＭＣした信号に対して、逆プレディクション用重み付け部５１３８で、重み情報Ｗの重み付けをする（図９のステップＳ４０８）。一方、解像度インターポレーション部５１３７で解像度インターポレーションされたベースレイヤデコード信号に対しては、逆ＩＬＰ用重み付け部５１３９において重み（１−Ｗ）の値を算出し、それを重み付けする（図９のステップＳ４０９）。
【０１３６】
逆プレディクション用重み付け部５１３８及び逆ＩＬＰ用重み付け部５１３９においてそれぞれ重み付けされた信号は、信号合成部５１３Ａに供給されて合成され、プレディクション処理のための最終的なリファレンスフレームとして生成される（図９のステップＳ４１０）。この信号合成部５１３Ａから出力されたリファレンスフレームと、フレーム分割部５１３１から出力されるＨフレームとに対してフィルタリング部５１３８にてフィルタ処理が施される（図９のステップＳ４１１）。この結果、逆ＭＣＴＦ−ＩＬＰ部５１３における逆プレディクション処理結果の信号を得ることができる。
【０１３７】
続いて、ＧＯＰ内の同レベルのＨフレームの逆プレディクション処理が終了したかどうか判定し（図９のステップＳ４１２）、終了していない場合は終了するまで、ステップＳ４０７〜Ｓ４１１の処理が繰り返し行われる。なお、符号化部４０の時間方向の帯域分解数や復号化部５０の環境に応じて、時間方向の帯域合成は繰り返し行う（図９のステップＳ４１３）。すなわち、全レベル逆ＭＣＴＦ−ＩＬＰが終了するか、逆ＭＣＴＦ−ＩＬＰを途中で終了するまではステップＳ４０３以降の動作が繰り返される。
【０１３８】
最後に、フレーム並び替え部５１３Ｃで所望のフレーム順序に並び替えて逆ＭＣＴＦ−ＩＬＰ部５１３の外部へ出力する。以上が本実施の形態におけるＭＣＴＦ−ＩＬＰ部４１１を含むエンハンスメントレイヤエンコード部４１及び逆ＭＣＴＦ−ＩＬＰ部５１３を含むエンハンスメントレイヤデコード部５１の構成例と手順の例である。これらを実施することで、従来技術よりも高符号化効率で品質が向上するスケーラブル符号化方式を実現することができる。
【０１３９】
次に、本発明の符号化プログラム及び復号化プログラムの実施の形態について説明する。図１０は本発明になる符号化プログラム及び復号化プログラムの一実施の形態を備えた情報処理装置１００の一例のブロック図を示す。同図に示すように、情報処理装置１００は、外部記憶装置１０１、一時記憶装置１０２、通信装置１０３、入力装置１０４、出力装置１０５及び中央処理制御装置１０６で構成されており、コンピュータである中央処理制御装置１０６により符号化及び復号化装置の機能をプログラムにより実現させるものである。
【０１４０】
ここで、上記のプログラムは記録媒体から入力装置１０４により読み取られて中央処理制御装置１０６に取り込まれてもよいし、ネットワークを介して通信装置１０３により受信されて中央処理制御装置１０６に取り込まれてもよい。
【０１４１】
中央処理制御装置１０６は、上記符号化プログラムにより、符号化部４０の空間−時間デシメーション部１１に相当する空間−時間デシメーション手段１０７、ベースレイヤエンコード部１２に相当するベースレイヤエンコード手段１０８、ベースレイヤリコンストラクト部１３に相当するベースレイヤリコンストラクト手段１０９、エンハンスメントレイヤエンコード部４１に相当するエンハンスメントレイヤエンコード手段１１０を実行し、また、復号化プログラムにより、復号化部５０のエクストラクト部３１に相当するエクストラクト手段１１３、ベースレイヤデコード部３２に相当するベースレイヤデコード手段１１３及びエンハンスメントレイヤデコード部５１に相当するエンハンスメントデコード手段１１４を実行する。
【図面の簡単な説明】
【０１４２】
【図１】本発明の映像信号符号化装置及び映像信号復号化装置の一実施の形態のブロック図である。
【図２】本発明の映像信号符号化装置の要部のエンハンスメントレイヤエンコード部の一実施の形態のブロック図である。
【図３】図２の動作説明用フローチャートである。
【図４】図２中のＭＣＴＦ−ＩＬＰ部の一実施の形態の構成図である。
【図５】図４の動作説明用フローチャートである。
【図６】本発明の映像信号復号化装置の要部のエンハンスメントレイヤデコード部の一実施の形態のブロック図である。
【図７】図６の動作説明用フローチャートである。
【図８】図６中の逆ＭＣＴＦ−ＩＬＰ部の一実施の形態の構成図である。
【図９】図８の動作説明用フローチャートである。
【図１０】本発明の符号化及び復号化プログラムを実行する情報処理装置の一例のブロック図である。
【図１１】ＭＣＴＦの一例を示す図である。
【図１２】ＭＣＴＦの一例を示すフローチャー卜である。
【図１３】ＭＣＴＦ処理後の信号の一例を示す図である。
【図１４】従来の映像信号符号化装置及び映像信号復号化装置の一例のブロック図である。
【図１５】従来の符号化部の動作説明用フローチャートである。
【図１６】従来の復号化部の動作説明用フローチャートである。
【図１７】従来の映像信号符号化装置の要部のエンハンスメントレイヤエンコード部の一例のブロック図である。
【図１８】図１７の動作説明用フローチャートである。
【図１９】従来の映像信号復号化装置の要部のエンハンスメントレイヤエンコード部の一例のブロック図である。
【図２０】図１９の動作説明用フローチャートである。
【図２１】図１７中のＭＣＴＦ−ＩＬＰ部の一例の動作を説明する図である。
【図２２】従来のＭＣＴＦ−ＩＬＰ部の動作説明用フローチャートである。
【図２３】従来の逆ＭＣＴＦ−ＩＬＰ部の一例の動作を説明する図である。
【図２４】従来の逆ＭＣＴＦ−ＩＬＰ部の動作説明用フローチャートである。
【符号の説明】
【０１４３】
１１ 空間−時間デシメーション部
１２ ベースレイヤエンコード部
１３ ベースレイヤリコンストラクト部
１５ 多重化部
２０ 通信回線またはメディア
３１ エクストラクト部
３２ ベースレイヤデコード部
４０ 符号化部
４１ エンハンスメントレイヤエンコード部
５０ 復号化部
５１ エンハンスメントレイヤデコード部
１００ 情報処理装置
１０６ 中央処理制御装置
１１０ エンハンスメントレイヤエンコード手段
１１４ エンハンスメントレイヤデコード手段
４１１ ＭＣＴＦ−ＩＬＰ部
４１２ 直交変換・量子化部
４１３ エントロピー符号化部
５１１ エントロピー復号化部
５１２ 逆量子化・逆直交変換部
５１３ 逆ＭＣＴＦ−ＩＬＰ部
４１１０、５１３２ 入力切り替え器
４１１１ プレディクション部
４１１２ アップデート用重み付け部
４１１３ アップデート処理部
４１１４、５１３０ フレーム管理部
４１１５、５１３Ｃ フレーム並び替え部
４１１６ 動き情報更新部
４１１７、５１３７ 解像度インターポレーション部
４１１８ ＭＥ／ＭＣ部
４１１９ 重み指示部
４１１Ａ プレディクション用重み付け部
４１１Ｂ ＩＬＰ用重み付け部
４１１Ｃ 信号合成部
４１１Ｄ、５１３Ｂ フィルタリング部
５１３１ フレーム分割部
５１３３ 逆アップデート用重み付け部
５１３４ 逆アップデート処理部
５１３５ 逆プレディクション処理部
５１３６ ＭＣ部
５１３８ 逆プレディクション用重み付け部
５１３９ 逆ＩＬＰ用重み付け部
５１３Ａ 信号・合成部
【出願人】 【識別番号】０００００４３２９
【氏名又は名称】日本ビクター株式会社
【出願日】 平成１８年６月２８日（２００６．６．２８）
【代理人】 【識別番号】１０００８５２３５
【弁理士】
【氏名又は名称】松浦 兼行
【公開番号】 特開２００８−１１００９（Ｐ２００８−１１００９Ａ）
【公開日】 平成２０年１月１７日（２００８．１．１７）
【出願番号】 特願２００６−１７７６７０（Ｐ２００６−１７７６７０）