動画像符号化装置

トップ :: H 電気 :: H04 電気通信技術

【発明の名称】	動画像符号化装置
【発明者】	【氏名】川島裕司【氏名】菊池義浩【氏名】鈴木真吾
【要約】	【課題】符号化コスト算出に、符号化対象である４×４ブロック内の全ての画素のＳＡＤではなく、処理負荷が大きくなるにつれて、予測に用いる隣接画素から空間的に近い画素をＳＡＤ算出対象の画素から除外するよう、ＳＡＤ対象画素開始点を変更することで、符号化性能の劣化を抑えつつ、処理量削減する動画像符号化装置及び方法を提供する。【構成】本発明は、負荷を検出し負荷情報を出力する処理負荷検出部１と、上記負荷情報に基づき負荷レベルを判断し、当該負荷レベルに応じてブロック内の画素よりＳＡＤを計算する対象画素の開始点を定め、当該開始点に基づいてＳＡＤを計算し、当該ＳＡＤに基づいて符号化コストを計算し、当該符号化コストが最小のモードを選択するビデオエンコーダ２と、を具備することを特徴とする動画像符号化装置が提供される。

【特許請求の範囲】
【請求項１】
負荷を検出し負荷情報を出力する処理負荷検出部と、
上記負荷情報に基づき負荷レベルを判断し、当該負荷レベルに応じてブロック内の画素よりモード選択のための評価値を計算する対象画素の開始点を定め、当該開始点に基づいて前記評価値を計算し、当該評価値に基づいて符号化コストを計算し、当該符号化コストが最小のモードを選択するビデオエンコーダと、を具備することを特徴とする動画像符号化装置。
【請求項２】
前記評価値は、動画像信号と予測画像信号とから求まる差分の絶対値和であることを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
上記ビデオエンコーダは、上記ブロック内の対象画素に対するＳＡＤと符号化モード情報の符号量に対するコストとの加算からイントラ予測の上記符号化コストを計算することを更に特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
上記負荷とは、レンダリング負荷、オーディオ処理負荷、ビデオエンコード処理負荷の少なくともいずれかである、ことを更に特徴とする請求項１に記載の動画像符号化装置。
【請求項５】
動画像信号と予測画像信号との差分である残差信号を生成する残差信号算出部と、
上記残差信号に対してＤＣＴ及び量子化を行うＤＣＴ・量子化部と、
上記量子化された変換係数信号に対して逆ＤＣＴ及び逆量子化を行い、復号信号を生成する逆ＤＣＴ・逆量子化部と、
上記予測画像信号と上記復号信号を加算し復号画像信号を生成するデコード部と、
上記復号画像信号をフィルタリングするデブロックフィルタと、
上記デブロック後の復号画像信号を蓄積するフレームバッファと、
負荷情報に基づき負荷レベルを判断し、当該負荷レベルに応じてブロック内の画素よりＳＡＤを計算する対象画素の開始点を定めるＳＡＤ対象画素開始判定部と、
上記フレームバッファの参照画像信号を読み出し、上記開始点の情報に基づいてイントラ予測を行い、予測画像信号とモード選択のための評価値を生成するイントラ予測部と、
を具備することを特徴とする動画像符号化装置。

【発明の詳細な説明】【技術分野】
【０００１】
本発明は、動画像符号化装置に関する。
【背景技術】
【０００２】
動画像の圧縮符号化技術であるＭＰＥＧ方式では、インター予測、イントラ予測、離散コサイン変換（ＤＣＴ）及び可変長符号化を組み合わせて符号化を行う。イントラ予測では、符号化対象ブロックの画素値を周囲の参照ブロックの画素値から予測し、予測値に対する実際の画素値の誤差である予測誤差を符号化する。
【０００３】
一方、ＭＰＥＧ方式をさらに発展させたＨ．２６４／ＡＶＣと称される動画像符号化規格では、複雑な画像については４×４画素のブロック単位のイントラ予測（以下、イントラ４×４予測モードと称する）を行い、平坦な画像については１６×１６画素のマクロブロック単位のイントラ予測（以下、イントラ１６×１６予測モードと称する）を行うなどして、符号化効率を向上させている。いずれも隣接ブロックの復号済みの画素を予測画素とし、これを元に作成された予測画像と原画像との差分を符号化する。
【０００４】
イントラ１６×１６予測モードは、マクロブロックごとに４つのモード、イントラ４×４予測モードは、４×４ブロックごとに９つのモードが存在する。このイントラ４×４予測モードの選択処理では、９つのモードに対する符号化コストを算出し、コスト最小のモードを最適符号化モードとして選択する。一般的に、符号化コストとして原画像と予測画像とのＳＡＤが用いられる。イントラ４×４予測モード選択処理は、モード数が９つと多いため符号化コスト算出にかかる処理量が多い。一方、適切な符号化コストを用いずにモード選択を行うと、符号化性能に多大な影響を及ぼしてしまう。
【０００５】
ここで、イントラ４×４予測モード選択のコスト計算に用いる画素数については、非特許文献１に開示されている。
【０００６】
その第１章の中盤以降では、ＪＶＴ標準化で使用されている参照ソフトJM5.0のアルゴリズムについて記述されている。すなわち、非特許文献１の数式（１）では、４×４ブロック内の全ての画素に対するＳＡＤSAD_16と、符号化モード情報（垂直予測、水平予測等）の符号量に対するコスト4Pλ(Qp)との加算からイントラ４×４予測のコストCost_4x4を計算し、コスト最小のモードを選択する。
【０００７】
また、その第２章では、ＥＩＰ方式について記述されている。すなわち、非特許文献１の数式（３）では、サブサンプルされた４画素に対するＳＡＤSAD_4と符号化モード情報の符号量に対するコストPλ(Qp)との加算からイントラ４×４予測のコストCost_4を用いてコストを計算し、コスト最小のモードを選択する。
【非特許文献１】Bojun Meng等，“Efficient Intra-Prediction Algorithm in H.264”,ICIP2003
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、符号化対象４×４ブロック内の画素は、隣接ブロックに空間的に近いほど予測画像の値に類似し、空間的に遠いほど予測画像の値からはずれる傾向にある。そのため、符号化コストとして得られる４×４画素のＳＡＤの大部分は、隣接ブロックから空間的に遠い画素とのＳＡＤが占めると考えられる。
【０００９】
本発明の目的とするところは、符号化コスト算出に、符号化対象である４×４ブロック内の全ての画素を対象に算出された評価値ではなく、処理負荷が大きくなるに連れて予測に用いる隣接画素から空間的に近い画素を評価値算出対象の画素から除外するよう評価値対象画素開始点を変更することで、符号化性能の劣化を抑えつつ、処理量削減することにある。
【課題を解決するための手段】
【００１０】
本発明の第１の観点によれば、負荷を検出し負荷情報を出力する処理負荷検出部と、上記負荷情報に基づき負荷レベルを判断し、当該負荷レベルに応じてブロック内の画素よりモード選択のための評価値を計算する対象画素の開始点を定め、当該開始点に基づいて前記評価値を計算し、当該評価値に基づいて符号化コストを計算し、当該符号化コストが最小のモードを選択するビデオエンコーダと、を具備することを特徴とする動画像符号化装置が提供される。
【００１１】
本発明の第２の観点によれば、動画像信号と予測画像信号との差分である残差信号を生成する残差信号算出部と、上記残差信号に対してＤＣＴ及び量子化を行うＤＣＴ・量子化部と、上記量子化された変換係数信号に対して逆ＤＣＴ及び逆量子化を行い、復号信号を生成する逆ＤＣＴ・逆量子化部と、上記予測画像信号と上記復号信号を加算し復号画像信号を生成するデコード部と、上記復号画像信号をフィルタリングするデブロックフィルタと、上記デブロック後の復号画像信号を蓄積するフレームバッファと、負荷情報に基づき負荷レベルを判断し、当該負荷レベルに応じてブロック内の画素よりＳＡＤを計算する対象画素の開始点を定めるＳＡＤ対象画素開始判定部と、上記フレームバッファの参照画像信号を読み出し、上記開始点の情報に基づいてイントラ予測を行い、予測画像信号とモード選択のための評価値を生成するイントラ予測部と、を具備することを特徴とする動画像符号化装置が提供される。
【発明の効果】
【００１２】
本発明によれば、符号化コスト算出に、符号化対象である４×４ブロック内の全ての画素を対象に算出された評価値ではなく、処理負荷が大きくなるに連れて予測に用いる隣接画素から空間的に近い画素を評価値算出対象の画素から除外するよう対象画素開始点を変更することで、符号化性能の劣化を抑えつつ、処理量削減する動画像符号化装置を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、添付図面を参照して、本発明の実施の形態について説明する。
【００１４】
図１には本発明の一実施の形態に係る動画像符号化装置の構成を示し説明する。
【００１５】
この図１に示されるように、動画像符号化装置は、処理負荷検出部１とビデオエンコーダ２を有している。このような構成において、動画像符号化装置では、処理負荷検出部１が、レンダリング処理負荷、オーディオ処理負荷、ビデオエンコード処理負荷の情報を受けて、負荷情報を生成し、ビデオエンコーダ２に出力する。ビデオエンコーダ２では、この負荷情報を受けると、イントラ予測モード判定で用いるための評価値（例えば、動画像信号と予測画像信号とから求まる差分の絶対値和であるＳＡＤ（Sum of Absolute Difference））の画素数を、処理負荷に応じて変更する。そして、処理負荷が大きくなるにつれて、予測に用いる隣接画素から空間的に近い画素を評価値算出対象の画素から除外するよう、評価値を求めるための対象画素開始点を変更する。これにより、処理量を削減する。
【００１６】
次に、図２には本発明の一実施の形態に係る動画像符号化装置のビデオエンコーダ２の構成を更に詳細に示し説明する。
【００１７】
この図２に示されるように、動画像符号化装置は、原画像を符号化して符号化データが多重化されたストリームを出力するものであり、その構成要素としては、符号化制御部１１、残差信号算出部１２、離散コサイン変換（ＤＣＴ）・量子化部１３、逆離散コサイン変換（ＩＤＣＴ）・逆量子化部１４、デコード部１５、デブロックフィルタ１６、フレームバッファ１７、イントラ予測部１８、動き補償部１９、動きベクトル検出部２０、選択部２１、エントロピー符号化部２２、対象画素開始判定部２３を備えている。
【００１８】
この実施の形態では、Ｈ．２６４／ＡＶＣへの適用を想定しているので、４×４画素のブロック単位のイントラ予測、及び１６×１６画素のマクロブロック（ＭＢ）単位のイントラ予測が可能である。なお、予測に用いる画素が符号化対象画素と同一のフレームに属する場合をフレーム内予測（イントラ予測）、異なるフレームに属する場合をフレーム間予測（インター予測）という。
【００１９】
このような構成において、フレーム単位で原画像の動画像信号が入力されると、残差信号算出部１２にて、予測画像信号との差分である残差信号が生成される。この予測画像信号については、イントラ予測部１８によるイントラ予測、動き補償部１９によるインター予測の結果得られた予測画像信号より選択部２１が選択し、出力する。
【００２０】
この残差信号に対してＤＣＴ・量子化部１３にてＤＣＴ及び量子化が実施される。この量子化された変換係数信号は、逆ＤＣＴ・逆量子化部１４に入力される。この逆ＤＣＴ・逆量子化部１４では、変換係数信号に対してＤＣＴ及び量子化の逆の処理であるＩＤＣＴ及び逆量子化が施され、復号信号が生成される。この復号信号は、デコード部１５に入力される。このデコード部１５では、予測画像信号と復号信号を加算し復号画像信号を生成し、復号画像信号がデブロックフィルタ１６を介してフィルタリングされた後、デブロック後の復号画像信号がフレームバッファ１７に蓄積される。このようにして、符号化対象画像である動画像信号の前後の複数フレームの参照画像信号が順次記憶される。
【００２１】
このデブロッキングフィルタ１６によるフィルタリングは、画像の符号化時に生じるブロック歪みを減少させるためのフィルタである。その適用は、Ｈ．２６４／ＡＶＣに特有のものであるが、フレームバッファ１７に復号画像を格納するのに先立って、適応的にブロッキングフィルタ１６によって、ブロック歪の除去を行うのである。
【００２２】
イントラ予測部１８は、フレームバッファ１７の参照画像信号を読み出し、イントラ予測を実施し、予測画像信号、モード選択のための評価値を生成する。このとき、対象画素開始判定部２３が、負荷情報に基づいて、予測に用いる隣接画素から空間的に近い画素を評価値算出対象の画素から除外するよう、評価値を求めるための対象画素開始点を変更する。
【００２３】
動きベクトル検出部２０は、フレームバッファ１７の参照画像信号を読み出し、マクロブロック単位に前のフレームのどの部分（座標）が良好かを検出する。つまり、動きベクトルを検出する。一般に、動きベクトルは、周囲ブロックの動きベクトルと強い相関があることから、周囲ブロックから予測を行う。Ｈ．２６４／ＡＶＣにおいては、周囲ブロックの動きベクトルから中央値を用いて動きベクトルを予測することになる。但し、可変ブロック・サイズ動き補償や複数参照画像からの動き補償が用いられるために、より細かな処理も必要となることは勿論である。動き補償部１９は、上記動きベクトル検出部２０で検出された動きベクトルを受けて、参照画像信号と動画像信号との間の当該動きベクトルによる動き補償予測、即ちインター予測を行い、予測画像信号、評価値を生成する。
【００２４】
評価は、動画像信号と予測画像信号の類似度を表すもので、上記ＳＡＤ以外には、参照画像信号と動画像信号の二乗誤差和（ＳＳＤ）が一般に用いられる。そして、このような評価値を算出する際に、処理負荷検出部１から送信された負荷情報に基づいて、対象画素開始判定部２３が、イントラ予測モード判定で用いる評価値を求めるための画素数を、処理負荷に応じて変更する。即ち、処理負荷が大きくなるにつれて、予測に用いる隣接画素から空間的に近い画素を評価値算出対象の画素から除外するよう、評価値を求めるための対象画素開始点を変更する。これにより、処理量を削減する。その詳細については、後述する。この予測画像信号、評価値は選択部２１に入力される。
【００２５】
符号化制御部１１は、画像のフレーム（画面）単位、あるいは更に小さな単位で符号化の方法（符号化モード）を選び、或いはそのパラメータを選ぶことによって、発生情報量を目的の値に近づける処理を司る。さらに、エントロピー符号化部２２は、頻度の高い情報は短い符号で、そうでない情報は長い符号で表現することで、全体として伝送ビット数を減らす処理を行い、符号化データが多重化されたストリームを出力する。
【００２６】
以下、図２のフローチャートを参照して、本発明の一実施の形態に係る動画像符号化装置のイントラ予測モード判定処理について処理手順を詳細に説明する。
【００２７】
なお、以下では、図３乃至図８を適宜参照しつつ、説明を進める。
【００２８】
さて、このイントラ予測モード判定処理を開始すると、サブルーチン「評価値を求めるための対象画素開始点判定処理」を実行し、対象画素の開始点を判定する（ステップＳ１）。
【００２９】
即ち、図４に示されるように、サブルーチン「評価値を求めるための対象画素開始点判定処理」に入ると、先ず処理負荷検出部１が負荷量を検出し（ステップＳ１１）、ビデオエンコーダ２側で負荷レベルを判断し（ステップＳ１２）、負荷レベル０，１，２…Ｌに応じて評価値を求めるための対象画素の開始点sad_start（0～S）を定め（ステップＳ１３乃至Ｓ１６）、リターンする。
【００３０】
なお、図５乃至図８は、４×４ブロックの画素位置と評価値を求めるための対象画素開始点の関係を示している。なお、ここでは、評価値として上記ＳＡＤを利用した場合について説明し、以下では、評価値をＳＡＤと表現する。
【００３１】
図５はパターン１（Ｓ＝１５）、図６はパターン２（Ｓ＝６）、図７はパターン３（Ｓ＝３）、図８はパターン４（Ｓ＝３）での関係をそれぞれ示している。なお、ＳＡＤ対象画素開始点とは、ＳＡＤを計算する対象画素群である場合もある。
【００３２】
こうして図３に戻り、このＳＡＤ対象画素の開始点に基づいてＳＡＤを計算する（ステップＳ２）。ここでは、開始点からＳまでの画素についてＳＡＤを計算する。
【００３３】
そして、このＳＡＤに基づいて符号化コストを計算する（ステップＳ３）。具体的には、ＳＡＤに用いる画素数をｎとすると、４×４ブロック内の対象画素に対するSAD_nと、符号化モード情報（垂直予測，水平予測等）の符号量に対するコスト(n/16)×P×λ(Qp)との加算からイントラ４×４予測のコストCost_nを次式により計算する。
【００３４】
Cost_n = SAD_n + (n/16)×P×λ(Qp)
ここでλはラグランジェ未定乗数で量子化パラメータQpにより決定される定数であり、Pは隣接ブロックから得られる予測モードと一致する場合は0、それ以外の場合は1となる値である。
【００３５】
こうして、コスト最小のモードを選択し（ステップＳ４）、一連の処理を終了する。
【００３６】
以上説明したように、本発明の一実施の形態に係る動画像符号化装置によれば、イントラ４×４予測において、符号化コストを算出するにあたり、符号化対象である４×４ブロック内の全ての画素のＳＡＤを算出するのではなく、処理負荷を検出し、当該処理負荷が大きくなるにつれて予測に用いる隣接画素から空間的に近い画素をＳＡＤ算出対象の画素から除外するようＳＡＤ対象画素開始点を変更し、それによりＳＡＤ算出の対象画素を絞り込むことで、符号化性能の劣化を抑えつつ、処理量削減することができる。
【００３７】
以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなくその趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。例えば、イントラ４×４予測に適用範囲は限定されず、イントラ８×８予測、イントラ１６×１６予測にも適用可能であることは勿論である。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施の形態に係る動画像符号化装置の構成図である。
【図２】本発明の一実施の形態に係る動画像符号化装置のビデオエンコーダ２の構成を更に詳細に示す構成図である。
【図３】本発明の一実施の形態に係る動画像符号化装置のイントラ予測モード判定処理について処理手順を詳細に説明するフローチャートである。
【図４】図３のステップＳ１で実行されるサブルーチン「評価値を求めるための対象画素開始点判定処理」の処理手順を詳細に示すフローチャートである。
【図５】４×４ブロックの画素位置とＳＡＤ対象画素開始点の関係（パターン１、Ｓ＝１５）を示す概念図である。
【図６】４×４ブロックの画素位置とＳＡＤ対象画素開始点の関係（パターン２、Ｓ＝６）を示す概念図である。
【図７】４×４ブロックの画素位置とＳＡＤ対象画素開始点の関係（パターン３、Ｓ＝３）を示す概念図である。
【図８】４×４ブロックの画素位置とＳＡＤ対象画素開始点の関係（パターン４、Ｓ＝３）を示す概念図である。
【符号の説明】
【００３９】
１…処理負荷検出部、２…ビデオエンコーダ、１１…符号化制御部、１２…加算器、１３…変換・スケーリング部、１４…スケーリング・逆変換部、１５…加算器、１６…デブロッキングフィルタ、１７…フレームバッファ、１８…イントラ予測部、１９…動き補償部、２０…動き検出部、２１…スイッチ、２２…エントロピー符号化部。

【出願人】	【識別番号】０００００３０７８【氏名又は名称】株式会社東芝
【出願日】	平成１８年８月１１日（２００６．８．１１）
【代理人】	【識別番号】１０００５８４７９【弁理士】【氏名又は名称】鈴江武彦【識別番号】１０００９１３５１【弁理士】【氏名又は名称】河野哲【識別番号】１０００８８６８３【弁理士】【氏名又は名称】中村誠【識別番号】１００１０８８５５【弁理士】【氏名又は名称】蔵田昌俊【識別番号】１０００７５６７２【弁理士】【氏名又は名称】峰隆司【識別番号】１００１０９８３０【弁理士】【氏名又は名称】福原淑弘【識別番号】１０００８４６１８【弁理士】【氏名又は名称】村松貞男【識別番号】１０００９２１９６【弁理士】【氏名又は名称】橋本良郎
【公開番号】	特開２００８－４８０６５（Ｐ２００８－４８０６５Ａ）
【公開日】	平成２０年２月２８日（２００８．２．２８）
【出願番号】	特願２００６－２２０３７１（Ｐ２００６－２２０３７１）