| 【発明の名称】 |
画像符号化装置および画像復号化装置 |
| 【発明者】 |
【氏名】山口 昇
【氏名】井田 孝
【氏名】菊池 義浩
【氏名】渡邊 敏明
|
| 【要約】 |
【課題】オブジェクトの形状情報を効率よく符号化する装置を提供すること。
【構成】時系列データとして得られる複数フレームの動画像信号を任意形状のオブジェクト(Ob)毎に符号化する動画像符号化装置におけるObの形状を表すアルファマップの符号化回路であって、Obを含む方形領域をＭ×Ｎ画素で構成されるブロック(BL)毎に分割する手段と、BLを前記方形領域内において一定規則により順次符号化する手段 220とを有し、BLの全てあるいは一部に対して相対アドレス符号化を適用する２値画像符号化装置おいて、BL近傍の再生値を蓄える手段と、すでに符号化されたフレーム(FM)の再生信号を蓄える再生信号保持手段FMと、該保持手段内の再生信号を用い動き補償予測値を生成する予測手段 250と、BL近傍の再生値も含めて変化画素を検出する手段とを有する構成とし、相対アドレス符号化の参照変化画素をBL内の画素値でなく動き補償予測信号から求める。 |
【特許請求の範囲】
【請求項１】
時系列データとして得られる複数フレームの動画像信号を任意形状のオブジェクト単位で符号化する動画像符号化装置において、
前記オブジェクトを含む方形領域をＭ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数）で構成されるブロック毎に分割する手段と、
前記オブジェクトの形状を表す２値画像であるアルファマップ信号について前記各ブロックを水平・垂直方向共に１／２Ｎ（Ｎ＝１，２，３，…）に縮小する縮小処理手段と、
前記ブロックの近傍再生値を保持するメモリと、
前記メモリに保持された再生値を１／２Ｎに縮小することで参照画素値を求める手段と、
水平・垂直方向共に２倍に拡大する処理をＮ回繰り返すことで元のサイズに拡大する拡大処理手段と、
を備えて構成し、
上記拡大処理手段においては、常に１／２N に縮小された参照画素値を用いるように
縮小処理されたブロックを拡大処理する拡大回路とを有し、符号化にあたってはレート制御のために上記縮小処理されたブロックと拡大処理されたブロックとを選択的に利用するようにした画像符号化装置において、
上記拡大回路は、
上記ブロックの近傍再生値を保持するメモリと、
該ブロックの縮小率に応じて上記メモリに保持された再生値を１／２N に縮小することで参照画素値を求める手段と、
水平・垂直方向共に２倍に拡大する処理をＮ回繰り返すことで元のサイズに拡大する拡大処理手段と、
を備えて構成し、
上記拡大処理手段においては、常に１／２N に縮小された参照画素値を用いるようにすることを特徴とする画像符号化装置。
【請求項２】
水平・垂直共に１／２N （Ｎ＝１，２，３，…）に縮小された２値画像のブロックを拡大する拡大回路であって、
該ブロック近傍再生値を保持するメモリと、
該ブロックの縮小率に応じて上記メモリに保持された再生値を１／２N に縮小することで参照画素値を求める手段と、
水平・垂直共に２倍に拡大する処理をＮ回繰り返すことで元のサイズに拡大すると共に、この拡大処理においては、常に１／２N に縮小された参照画素値を用いる拡大処理手段と、
を具備することを特徴とする画像符号化装置。
【請求項３】
時系列データとして得られる複数フレームの動画像信号を任意形状のオブジェクト毎に符号化する動画像符号化装置であって、オブジェクトを含む方形領域をＭ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数）で構成されるブロック毎に分割すると共に、この分割されて得られた上記ブロック毎に、前記方形領域内を一定規則により順次、符号化する画像符号化装置であって、
上記フレーム内において、オブジェクトを含むブロックサイズの倍数で表される領域を設定する設定手段と、この設定手段により設定された領域内をブロックに分割する分割手段と、分割された上記ブロック内を動き補償予測するために必要な動きベクトルを予測符号化する手段とを有する画像符号化装置において、
参照フレーム内の領域のフレーム内における位置を表す第１の位置ベクトルを保持するメモリと、
該参照フレーム内領域のフレーム内での位置を表す第２の位置ベクトルを符号化する符号化手段と、
符号化対象ブロック近傍の再生済みのブロックの動きベクトルを保持する
動きベクトル
動きベクトルメモリと、
上記動きベクトルメモリに蓄えられている動きベクトルを用いて、符号化対象ブロックの動きベクトルを予測する手段とを備えてなり、
上記予測手段において使用する動きベクトルが、前記動きベクトルメモリに存在しない場合にはデフォルトの動きベクトルを予測値とし、このデフォルトの動きベクトルは第１の位置ベクトルと第２の位置ベクトルとの差分ベクトルと、ゼロベクトルを切り換えて用いるようにすることを特徴とする画像符号化装置。
【請求項４】
時系列データとして得られる複数フレームの動画像信号を任意形状のオブジェクト毎に復号化する動画像復号化装置であって、オブジェクトを含むＭ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数）で構成されるブロック毎に、その方形領域内を一定規則により順次、復号化する画像復号化装置であって、該フレーム内において、オブジェクトを含むブロックサイズの倍数で表される領域をブロック毎に再生する画像復号化装置において、
上記ブロック内を動き補償予測するために必要な、予測符号化された動きベクトルを復号する手段と、
参照フレーム内を動き補償予測するために必要な、予測符号化された動きベクトルを復号する手段と、
参照フレーム内の領域のフレーム内での位置を表す第１の位置ベクトルを保持するメモリと、
該フレーム内の領域のフレーム内での位置を表す第２の位置ベクトルを復号化する手段と、
復号化対象ブロック近傍の補正済みのブロックの動きベクトルを保持する動きベクトルメモリと、
上記動きベクトルメモリに保持された動きベクトルを用いて、復号化対象ブロックの動きベクトルを予測する予測手段とを有し、
上記予測手段で使用するための動きベクトルが、上記動きベクトルメモリに存在しない場合にはデフォルトの動きベクトルを予測値とし、このデフォルトの動きベクトルは第１の位置ベクトルと第２の位置ベクトルとの差分ベクトルと、ゼロベクトルのいずれかとすることを特徴とする画像復号化装置。
|
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、画像信号を高能率に符号化し、伝送・蓄積すると共に、復号するための画像符号化装置および画像復号化装置に関する。
【背景技術】
【０００２】
画像信号は膨大な情報量を持つため、伝送や蓄積に供する場合には圧縮符号化するのが一般的である。そして、画像信号を高能率に符号化するには、フレーム単位の画像を、所要画素数単位（例えば、Ｍ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数））でブロックに分割し、その分割した各ブロック毎に直交変換して画像の持つ空間周波数を各周波数成分に分離し、変換係数として取得してこれを符号化する。
【０００３】
ところで、画像符号化の一つとして、『J.Y.A.Wang et.al.“Applying Mid-level Vision Techniques for Video Data Compression and Manipulation”,M.I.T.Media Lab.Tech.Report No.263,Feb.1994,』において、ミッドレベル符号化と呼ばれる範疇に属する画像符号化法が提案されている。
【０００４】
この方式では、例えば、図１６（ａ）のような背景と被写体（以後、被写体をオブジェクトと呼ぶ）からなる画像があったとして、この背景とオブジェクトを図１６の（ｂ），（ｃ）のように分けて符号化している。
【０００５】
このように、背景（図１６（ｃ））やオブジェクト（図１６（ｂ））を別々に符号化するためには、オブジェクトの形状や画面内の位置を表す例えば２値の副画像情報であるアルファマップ信号（図１６（ｄ）参照、図中、白画素がオブジェクトの画素を示す）が必要となる。なお、背景のアルファマップ信号（図１６（ｅ））は、オブジェクトのアルファマップ信号から一意に求められる。
【０００６】
ところで、このアルファマップ信号を効率的に符号化する方法として、２値画像の符号化法（例えば、ＭＭＲ(Modified Modified READ)符号化等）や、線図形の符号化法（チェイン符号化等）が用いられている。
【０００７】
また、更にアルファマップの符号量を低減するために、形状の輪郭線をポリゴン近似してスプライン曲線でスムーシングする方法(J.Ostermann,“Object-based analysis-synthesis coding based on the souece model of moving rigid 3D objects”,Signal Process.:Image Comm.Vol.6 No.2 pp.143-161,1994)や、アルファマップを縮小して符号化し、拡大する際に曲線近似する方法（特願平５−２９７１３３号参照）などがある。
【０００８】
ここで、アルファマップを縮小して符号化し、拡大する際に曲線近似する方法の例を説明する。
【０００９】
＜ＭＭＲ符号化回路の具体例＞
（ブロックベース符号化の具体例）
図１８（ａ）は、ブロック単位（例えば、Ｍ×Ｎ画素構成のブロック単位（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数））で符号化する場合の変化画素の関係を表す図である。また、図１８（ｂ）は、参照変化画素ｂ１を検出するための参照領域を表す図である。
ブロックベース符号化においては、以下のように変化画素の符号化を単純化して符号化しても良い。なお、以下の処理は、スキャンの順序を切り換えても良いし、縮小されたブロックに適用しても良い。
【００１０】
単純化した変化画素の符号化は、次のようにして行う。
今、変化画素ａｉ (i=0 〜1)、参照変化画素ｂ１それぞれについての、画面左上からラスタ順に求めた際のアドレス（または画素順序）を各々、abs_ａi (i=0 〜1)、abs_ｂ1 と表記し、変化画素ａ0 の属するラインをａ0_lineと表記すると、ａ0_lineおよびｒ_ ａi (i=0 〜1)、ｒ_ ｂ1 の値は、以下の式で求められる。
【００１１】
ａ0_line ＝ (int)((abs_ ａ0 ＋WIDTH)／WIDTH)−1
ｒ_ ａ0 ＝ abs_ａ0 − ａ0_line＊WIDTH
ｒ_ ａ1 ＝ abs_ａ1 − ａ0_line＊WIDTH
ｒ_ ｂ1 ＝ abs_ｂ1 − (ａ0_line−1)＊WIDTH
上記式において、＊は乗算を、(int)(Ｘ) はＸの小数点以下切り捨てを意味しており、WIDTH はブロックの水平方向の画素数を示している。
【００１２】
そして、変化画素の相対アドレス“ｒ＿ａ１−ｒ＿ｂ１”あるいは、“ｒ＿ａ１−ｒ＿ａ０”の値を符号化することで、再生値が得られる。これが、上述の “単純化した変化画素の符号化”である。
【００１３】
図１９は、２値画像の符号化法であるＭＭＲ符号化を、ブロックベースで実施する場合の処理の流れを示すフローチャートである。以後、フローチャートに従って符号化処理を説明する。ここでの処理は、まず、起点変化画素の位置を初期化し（Ｓ５０１）、初期位置（ブロックの左上画素）での画素値を１ビットで符号化する（Ｓ５０２）、次に初期位置において参照変化画素ｂ１を検出する（Ｓ５０３）。
【００１４】
ここで、参照変化画素ｂ１が検出されなかった場合には、参照領域に変化画素が存在しないことから垂直モードが使えないため、垂直パスモードの状態を“ＴＲＵＥ”（真）とし、ｂ１が検出された場合は垂直モードが使えるため、垂直パスモードの状態を“ＦＡＬＳＥ”（偽）とする。
【００１５】
以上で初期状態のセッティングを終了し、符号化ループの処理に移る。
まず、変化画素ａ１を検出し（Ｓ５０５）、変化画素ａ１が検出されたか否かを判定し（Ｓ５０６）、変化画素ａ１が検出されなかった場合には、以後、変化画素が無いため、符号化の終了を示す符号化処理終了符号（ＥＯＭＢ;End of MB）を符号化する（Ｓ５０７）。
【００１６】
また、Ｓ５０６での判定の結果、変化画素ａ１が検出された場合には、垂直パスモード（Vertical pass mode）の状態を判定する（Ｓ５０８）。ここで、垂直パスモードの状態が“ＴＲＵＥ”ならば、垂直パスモードの符号化処理（Ｓ５１６）を行い、垂直パスモードの状態が“ＦＡＬＳＥ”ならば、ｂ１を検出する （Ｓ５０９）。
【００１７】
次に、ｂ１が検出されたか否かを判定し（Ｓ５１０）、参照変化画素ｂ１が検出されなかった場合には、水平モードのステップ（Ｓ５１３）に進み、参照変化画素ｂ１が検出された場合には、”ｒ＿ａ１−ｒ＿ｂ１”の絶対値がしきい値 （ＶＴＨ）よりも大きいか否かを判定し（Ｓ５１１）、その結果、しきい値（ＶＴＨ）以下の場合には、垂直モードのステップ（Ｓ５１２）に進み、しきい値 （ＶＴＨ）よりも大きい場合には、水平モードのステップ（Ｓ５１３）に進む。
【００１８】
水平モードのステップ（Ｓ５１３）では、“ｒ＿ａ１−ｒ＿ａ０”の値が符号化される。ここで、“ｒ＿ａ１−ｒ＿ａ０”の値が“ＷＩＤＴＨ”よりも小さいか否かを判定し（Ｓ５１４）、その結果、“ＷＩＤＴＨ”以上の場合には、垂直パスモードの状態を“ＴＲＵＥ”（真）として（Ｓ５１５）、垂直パスモードのステップ（Ｓ５１６）に進み、垂直パスモードのステップ（Ｓ５１６）が終了したら、垂直パスモードの状態を“ＦＡＬＳＥ”（偽）とする。
【００１９】
以上、垂直モード、水平モード、垂直パスモードの何れかが終了した後（ａｌまでの符号化が終了した後）、ａ１の位置を新たなａ０の位置として（Ｓ５１８）、Ｓ５０５の処理に戻る。
【００２０】
図１７は、ＶＬＣテーブル（可変長符号テーブル）の例である。
ここで、垂直パスモードの状態が“ＴＲＵＥ”の場合には、符号の種類はＶ０（モードＶ０）、Ｈ（水平モード）、ＥＯＭＢ（符号化処理終了符号）の３種類しか生起しないため、垂直パスモードの状態に応じて、ＶＬＣを切り換えることができる。なお、垂直パスモードの状態が“ＴＲＵＥ”の場合、ＥＯＭＢはａ０がブロックの左上の位置（初期位置）にある場合のみ生起する。従って、この場合には、図１７の“０”内の符号が用いられる。
【非特許文献１】J. Y. A. Wang et. al. “Applying Mid-level Vision Techniques for Video Data Compression and Manipulation” ,M. I. T. Media Lab. Tech. Report No. 263, Feb. 1994
【非特許文献２】J. Ostermann, “Object-based analysis-synthesis coding based on the souece model of moving rigid 3D objects”, Signal Process. :Image Comm. Vol. 6 No. 2 pp. 143-161,1994
【発明の開示】
【発明が解決しようとする課題】
【００２１】
画像を符号化する場合に、画面内を背景とオブジェクトに分割して符号化する方式があるが、この場合、背景とオブジェクトを分けるために、オブジェクトの形状や画面内の位置を表すアルファマップ信号が必要となる。そして、画像の符号化情報と共に、このアルファマップの情報も符号化してビットストリーム化し、伝送や蓄積に供する。
【００２２】
しかし、画面内を背景とオブジェクトに分割して符号化する方式の場合、従来の符号化法のように画面内を一括して符号化するのに比べ、アルファマップがある分、符号量増加が問題となり、このアルファマップの符号量増加による符号化効率の低下が問題となる。
【００２３】
そこでこの発明の目的とするところは、オブジェクトの形状や画面内の位置などを表す副画像情報であるアルファマップの情報を効率良く符号化できるとともに、その復号を行うことができるようにした画像符号化装置および画像復号化装置を提供することにある。
【課題を解決するための手段】
【００２４】
上記目的を達成するため、本発明は次のように構成する。
【００２５】
第１には、画像をその画像のオブジェクト領域と背景領域に区別するための情報であるアルファマップと共に符号化し、前記アルファマップは相対アドレス符号化を用いて符号化する画像符号化装置において、
既に符号化した変化画素を参照変化画素とし、この参照変化画素と、次に符号化する変化画素の相対的な位置を表すシンボルを可変長符号化テーブルを用いて符号化する手段と、前記可変長符号化テーブルを２つ以上保持し、既に符号化した前記アルファマップのパターンによって、前記可変長符号化テーブルを切り替える手段とを備えることを特徴とする。
【００２６】
第２には、この符号化装置により符号化されて得られた符号化ビットストリームを復号する復号化装置であって、
前記シンボルを可変長符号化テーブルを用いて復号する手段と、前記可変長符号化テーブルを２つ以上保持し、既に復号した前記アルファマップのパターンによって、前記可変長符号化テーブルを切り替える手段とを備えることを特徴とする。
【００２７】
さらには、前記可変長符号化テーブルを切り替える手段は、参照変化画素の近くのパターンによって切り替えることを特徴とする。
【００２８】
このような構成の本装置は、変化画素の位置を特定するシンボルを可変長符号化テーブルを用いて符号化することにより符号量を少なくするようにした符号化／復号化において、複数種の可変長符号化テーブルを用意しておき、既に符号化した前記アルファマップのパターンによって、その可変長符号化テーブルを切り替えることを特徴とするものであり、このような本発明によれば、アルファマップの符号量をいっそう低減できる効果が得られる。
【００２９】
また、第２には本発明は、時系列データとして得られる複数フレーム（画像フレーム）の動画像信号を任意形状のオブジェクト毎に符号化する動画像符号化装置における、オブジェクトの形状を表すアルファマップを符号化する符号化回路であって、オブジェクトを含む方形領域をＭ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数）で構成されるブロック毎に分割する手段と、この分割されて得られた上記ブロックを、前記方形領域内において一定規則により順次、符号化する手段とを有し、ブロックの全てあるいは一部に対して相対アドレス符号化を適用する２値画像符号化装置において、
ブロック近傍の再生値を蓄える再生値蓄積手段と、すでに符号化されたフレーム（画像フレーム）の再生信号を蓄える画像保持手段（フレームメモリ）と、画像保持手段（フレームメモリ）内の再生信号を用いて、動き補償予測値を生成する動き補償予測回路と、前記再生値蓄積手段を参照し、ブロック近傍の再生値も含めて変化画素を検出する手段とを有し、相対アドレス符号化の参照変化画素を、上記ブロック内の画素値からでなく、動き補償予測信号から求めるようにしたものである。
【００３０】
また、アルファマップ復号化回路において、Ｍ×Ｎ画素で構成されるブロック毎に、オブジェクトを含む方形領域内を一定規則で順次復号化する手段と、ブロック近傍の再生値を蓄える手段と、すでに符号化されたフレーム（画像フレーム）の再生信号を蓄える画像保持手段（フレームメモリ）と、画像保持手段（フレームメモリ）内の再生信号を用いて、動き補償予測値を生成する動き補償予測回路と、ブロック近傍の再生値も含めて変化画素を検出する手段とを有し、相対アドレス符号化の参照変化画素を、上記ブロック内の画素値からでなく、動き補償予測信号から求めるようにしたものである。
【００３１】
これにより、オブジェクトの形状や画面内の位置などを表す副画像情報であるアルファマップの情報を効率良く符号化できるとともに、その復号を行うことができるようになる。
【００３２】
また、ブロック近傍の再生値を蓄える手段と、すでに符号化されたフレーム （画像フレーム）の再生信号を蓄える画像保持手段（フレームメモリ）と、画像保持手段（フレームメモリ）内の再生信号を用いて、動き補償予測値を生成する動き補償予測回路と、ブロック近傍の再生値も含めて変化画素を検出する手段と、上記ブロック内の再生画素値から求められた、相対アドレス符号化の参照変化画素と、動き補償予測信号から求められた、相対アドレス符号化の参照変化画素を切り替える手段とを有し、相対アドレス符号化情報を、切り替え情報と共に符号化するものである。
【００３３】
また、アルファマップ復号化回路において、Ｍ×Ｎ画素で構成されるブロック毎に、オブジェクトを含む方形領域内を一定規則で順次復号化する手段と、ブロック近傍の再生値を蓄える手段と、すでに符号化されたフレーム（画像フレーム）の再生信号を蓄える画像保持手段（フレームメモリ）と、画像保持手段（フレームメモリ）内の再生信号を用いて、動き補償予測値を生成する動き補償予測回路と、ブロック近傍の再生値も含めて変化画素を検出する手段とを有し、上記ブロック内の再生画素値から求められた、相対アドレス符号化の参照変化画素と、動き補償予測信号から求められた、相対アドレス符号化の参照変化画素を切り替える手段を有し、切り替え情報にしたがって参照変化画素を求めるようにしたものである。
【００３４】
この場合、相対アドレス符号化にあたり、参照変化画素ｂ１を現在処理中の画像のブロックである“current block ”内より検出するか、前回処理した画像のブロックである“ compensated block”内より検出するかを、ブロック単位で切り替えて処理することができ、符号化側ではこの切り替え用の情報も併せて符号化し、復号化側ではこれを復号して、復号化処理の際に当該切り替え用の情報に基づいて、参照変化画素ｂ１を“current block ”内より検出するか、“ compensated block”内より検出するかを、ブロック単位で切り替えるようにすることができ、このようにすることによって、ブロック単位の画像内容に基づいて、最適処理が可能になり、一層、効率の良い符号化が可能になる。
【００３５】
また本発明は、時系列データとして得られる複数フレームの動画像信号を任意形状のオブジェクト毎に符号化する動画像符号化装置であって、オブジェクトを含む方形領域をＭ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数）で構成されるブロック毎に分割すると共に、この分割されて得られた上記ブロック毎に、前記方形領域内を一定規則により順次、符号化する画像符号化装置において、
オブジェクトの形状を表すアルファマップ信号について、ブロック近傍の再生信号を含む該フレームの再生信号と、符号化が終了したフレームの再生信号を蓄えるフレームメモリと、
ブロック内の画素値を２値の何れか一方の値で全て置き換える手段と、
フレームメモリ内のすでに符号化が終了したフレームの再生信号を用いて、動き補償予測値を生成する動き補償予測手段と、
ブロック毎に２値画像を縮小・拡大する手段と、
その縮小・拡大率をサイド情報として符号化する手段と、
ブロック毎に縮小された２値画像を符号化する２値画像符号化手段とからなるアルファマップ符号化手段を備えて構成した。
【００３６】
そして、前記アルファマップ符号化手段は前記ブロックの再生画像を、ブロック内を２値の何れか一方の値で全て置き換えた再生値と、動き補償予測値と、ブロック毎に縮小・拡大する事で得られた再生値とのうちの何れかから選択するようにした。従って、アルファマップ信号の符号化を、高品位で効率の良い形態で実施でき、高品位の画質を維持し、かつ、高圧縮率で符号化することができるようになる。
【００３７】
また、時系列データとして得られる複数フレームの動画像信号を任意形状のオブジェクト毎に復号化する動画像復号化装置であって、オブジェクトを含むＭ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数）で構成されるブロック毎に、その方形領域内を一定規則により順次、復号化する画像復号化装置において、
ブロック近傍の再生信号を含む該フレームの再生信号と、符号化済みフレームの再生信号を蓄えるフレームメモリと、
ブロック内の画素値を２値の何れか一方の値で全て置き換える手段と、
フレームメモリ内のすでに符号化が終了したフレームの再生信号を用いて、動き補償予測値を生成する動き補償予測手段と、
ブロック毎に２値画像を縮小・拡大する手段と、
ブロック毎に縮小された２値画像を復号化する２値画像復号化手段とからなるアルファマップ復号化手段を備えて構成した。
【００３８】
そして、前記アルファマップ復号化手段は、前記ブロックの再生画像を、ブロック内を２値の何れか一方の値で全て置き換えた再生値と、動き補償予測値と、ブロック毎に縮小・拡大することで得られた再生値のうちの何れかから選択するようにした。従って、高品位の画像を再生できるようになる。
【００３９】
また、アルファマップをブロック毎に符号化する際に、ブロック毎の属性を符号化する方式であって、オブジェクトを含む、ブロックサイズの倍数で表される符号化領域を設定する手段と、
この領域内をブロックに分割する手段と、
各ブロックに対して、各々の属性に固有のラベルを割り当てるラベル付け手段と、上記ラベルをフレーム毎に保持する記億手段と、
現フレームの符号化ブロックに対応する前フレームの参照ブロックを決定する決定手段と、
少なくとも上記記憶手段に保持された前フレームのラベルと上記参照ブロックによって予測値を決定する予測手段と、
上記符号化ブロックのラベル情報を、上記予測値を用いて符号化する符号化手段とを有して構成するようにした。
【００４０】
また、アルファマップのブロック毎の属性を再生する復号化装置として、
復号化したラベルをフレーム毎に保持する記憶手段と、
現フレームの復号ブロックに対応する前フレームの参照ブロックを決定する決定手段と、
少なくとも上記記億手段に保持された前フレームのラベルと上記参照ブロックによつて予測値を決定する予測手段と、
上記復号ブロックのラベル情報を、上記予測値を用いて復号化する復号化手段を備えて構成するようにした。
【００４１】
これらにより、アルファマップをマクロブロック（画像を例えば、１６×１６画素といった所定の複数画素構成に分割した場合のその分割した単位画像ブロック）毎に符号化する際に、各ブロックの属性に固有のラベルを付してこれを符号化するようにし、このラベルを再生して元のアルファマップのデータを再生することにより、効率の良い符号化できるようになる。
【００４２】
また、本発明は、画像を、その画像のオブジェクト領域と背景領域に区別するための情報であるアルファマップと共に符号化するに当たり、アルファマップをブロック毎に符号化する際に、ブロック毎の属性を符号化するようにした方式の画像符号化装置であって、
オブジェクトを含む、ブロックサイズの倍数で表される符号化領域を設定する手段と、この領域内をブロックに分割する手段と、各ブロックに対して、各々の属性に固有のラベルを割り当てるラベル付け手段と、上記ラベルあるいは上記アルファマップをフレーム毎に保持する記億手段と、現フレームの符号化ブロックに対応する前フレームの参照ブロックを決定する決定手段と、少なくとも上記記憶手段に保持された前フレームのラベルあるいはアルファマップと、上記参照ブロックによって予測値を決定する予測手段と、上記符号化ブロックのラベル情報を、上記予測値を用いて符号化する符号化手段とを有する構成とする。
【００４３】
さらには、フレーム単位での縮小・拡大率を保持する記憶手段を設けると共に、上記符号化手段は、フレーム単位でフレームの縮小・拡大率が可変であり、上記縮小・拡大縮率対応に符号化する手段を備え、また、上記決定手段は、現フレームの縮小・拡大率と、上記記億手段から得た前フレームの縮小・拡大率を用いて現フレームの符号化ブロックに対応する前フレームの参照ブロックを決定する手段を備えるようにする。
【００４４】
あるいは、フレーム単位での縮小・拡大率を保持する記憶手段を設けると共に、上記符号化手段は、フレーム単位でフレームの縮小・拡大率が可変であり、上記縮小・拡大縮率対応に符号化する手段を備え、また、上記決定手段は、現フレームの縮小・拡大率と、上記記億手段から得た前フレームの縮小・拡大率を用いて現フレームの符号化ブロックに対応する前フレームの参照ブロックを決定する手段を備え、また、上記予測手段は、参照ブロックが複数ある場合には、上記複数の参照ブロックのラベルのうち、数が多いラベルを予測値とする手段を備えるようにする。
【００４５】
あるいは、フレーム単位での縮小・拡大率を保持する記憶手段を設けると共に、 上記符号化手段は、フレーム単位でフレームの縮小・拡大率が可変であり、上記縮小・拡大縮率対応に符号化するものであって、前フレームあるいは現フレームあるいはその両方の縮小・拡大率に応じて、複数種のうちから選択した一つの可変長符号化テーブルを用いて符号化ブロックの符号化処理をする手段を備え、また、上記決定手段は、現フレームの縮小・拡大率と、上記記億手段から得た前フレームの縮小・拡大率を用いて現フレームの符号化ブロックに対応する前フレームの参照ブロックを決定する手段を備える。
【００４６】
また、アルファマップのブロック毎の属性を再生する復号化装置において、
復号化したラベルあるいはアルファマップをフレーム毎に保持する記憶手段と、現フレームの復号ブロックに対応する前フレームの参照ブロックを決定する決定手段と、少なくとも上記記億手段に保持された前フレームのラベルあるいはアルファマップと上記参照ブロックによつて予測値を決定する予測手段と、上記復号ブロックのラベル情報を、上記予測値を用いて復号化する復号化手段を有することを特徴とする。
【００４７】
そして、さらには、フレーム単位でフレームの縮小・拡大率が可変であり、上記縮小・拡大率情報を復号化する手段と、
上記縮小・拡大情報を保持する記憶手段とを有し、
上記決定手段は、現フレームの縮小・拡大率と、上記記億手段から読み出される、前フレームの縮小・拡大率を用いて現フレームの復号ブロックに対応する前フレームの参照ブロックを決定する機能を備えるものであることを特徴とする。
【００４８】
あるいは、フレーム単位でフレームの縮小・拡大率が可変であり、上記縮小・拡大率情報を復号化する手段と、
上記縮小・拡大情報を保持する記憶手段とを有し、
上記決定手段は、現フレームの縮小・拡大率と、上記記億手段から読み出される、前フレームの縮小・拡大率を用いて現フレームの復号ブロックに対応する前フレームの参照ブロックを決定する機能を備え、上記予測手段は、参照ブロックが複数ある場合には、複数の参照ブロックのラベルのうち、数が多いラベルを予測値とするものであることを特徴とする。
【００４９】
また、水平・垂直方向共に１／２N （Ｎ＝１，２，３，…）に縮小された２値画像のブロックを拡大する拡大回路として、
該ブロック近傍再生値を保持するメモリと、該ブロックの縮小率に応じて上記メモリに保持された再生値を１／２N に縮小することで参照画素値を求める手段と、水平・垂直共に２倍に拡大する処理をＮ回繰り返すことで元のサイズに拡大する手段とを備え、上記拡大手段においては、常に１／２N に縮小された参照画素値を用いることを特徴とする。
【００５０】
また、時系列データとして得られる複数フレームの動画像信号を任意形状のオブジェクト毎に符号化する動画像符号化装置であって、オブジェクトを含む方形領域をＭ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数）で構成されるブロック毎に分割すると共に、この分割されて得られた上記ブロック毎に、前記方形領域内を一定規則により順次、符号化する画像符号化装置であって、
上記フレーム内において、オブジェクトを含むブロックサイズの倍数で表される領域を設定する設定手段と、この設定手段により設定された領域内をブロックに分割する分割手段と、分割された上記ブロック内を動き補償予測するために必要な動きベクトルを予測符号化する手段とを有する画像符号化装置において、
参照フレーム内の領域のフレーム内における位置を表す第１の位置ベクトルを保持するメモリと、該参照フレーム内領域のフレーム内での位置を表す第２の位置ベクトルを符号化する符号化手段と、符号化対象ブロック近傍の再生済みのブロックの動きベクトルを保持する動きベクトルメモリと、上記動きベクトルメモリに蓄えられている動きベクトルを用いて、符号化対象ブロックの動きベクトルを予測する手段とを備えてなり、
上記予測手段において使用する動きベクトルが、前記動きベクトルメモリに存在しない場合にはデフォルトの動きベクトルを予測値とし、このデフォルトの動きベクトルは第１の位置ベクトルと第２の位置ベクトルとの差分ベクトルと、ゼロベクトルを切り換えて用いるようにすることを特徴とする。
【００５１】
また、時系列データとして得られる複数フレームの動画像信号を任意形状のオブジェクト毎に復号化する動画像復号化装置であって、オブジェクトを含むＭ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数）で構成されるブロック毎に、その方形領域内を一定規則により順次、復号化する画像復号化装置であって、該フレーム内において、オブジェクトを含むブロックサイズの倍数で表される領域をブロック毎に再生する画像復号化装置において、
上記ブロック内を動き補償予測するために必要な、予測符号化された動きベクトルを復号する手段と、参照フレーム内を動き補償予測するために必要な、予測符号化された動きベクトルを復号する手段と、参照フレーム内の領域のフレーム内での位置を表す第１の位置ベクトルを保持するメモリと、該フレーム内の領域のフレーム内での位置を表す第２の位置ベクトルを復号化する手段と、復号化対象ブロック近傍の補正済みのブロックの動きベクトルを保持する動きベクトルメモリと、上記動きベクトルメモリに保持された動きベクトルを用いて、復号化対象ブロックの動きベクトルを予測する予測手段とを有し、
上記予測手段で使用するための動きベクトルが、上記動きベクトルメモリに存在しない場合にはデフォルトの動きベクトルを予測値とし、このデフォルトの動きベクトルは第１の位置ベクトルと第２の位置ベクトルとの差分ベクトルと、ゼロベクトルのいずれかとすることを特徴とする。
【発明の効果】
【００５２】
本発明によれば、アルファマップの符号量を低減することができるため、フレーム単位で符号化する従来の符号化法と比べて、大幅な符号化効率の低下なしにオブジェクト毎に別々に符号化することができるようになる。
【発明を実施するための最良の形態】
【００５３】
以下、本発明の具体例について、図面を参照して説明する。初めに、本発明が適用される画像符号化および画像復号化装置について概略を説明しておく。
【００５４】
（本発明が適用される画像符号化および画像復号化装置）
図１は、画像を符号化する場合に、画面内を背景とオブジェクトに分割して符号化する方式であって本発明を適用した画像符号化装置のブロック図である。本発明における画像符号化装置は、図１に示すように、差分回路１００、動き補償予測回路（ＭＣ）１１０、直交変換回路１２０、量子化回路１３０、可変長符号化回路（ＶＬＣ）１４０、逆量子化回路（ＩＱ）１５０、逆直交変換回路１６０、加算回路１７０、多重化回路１８０、アルファマップ符号化回路２００とから構成される。
【００５５】
アルファマップ符号化回路２００は、入力されたアルファマップを符号化し、この符号化された信号をアルファマップ信号として多重化回路１８０に出力する機能と、このアルファマップ信号を復号して局部復号信号として出力する機能を有する。
【００５６】
特に、本アルファマップ符号化回路２００は、入力されたアルファマップを符号化するにあたり、与えられた縮小率（倍率）で解像度を縮小する処理を行い、この解像度縮小処理されたものを符号化すると共に、この符号化したものと縮小率の情報（倍率情報）とを多重化してこれをアルファマップ信号として多重化回路１８０に出力する機能を有する。そして、局部復号信号としては、解像度縮小処理されたものを元の解像度に戻す処理をして得たものを用いる構成である。
【００５７】
差分回路１００は、動き補償予測回路１１０より供給される動き補償予測信号と入力画像信号との差分信号を算出するものであり、直交変換回路１２０は、差分回路１００から供給された差分信号を、アルファマップの情報にしたがって、直交変換係数に変換して出力するものである。
【００５８】
量子化回路１３０はこの直交変換回路１２０により得られた直交変換係数を量子化する回路であり、可変長符号化回路１４０はこの量子化回路１３０の出力を符号化して出力するものである。多重化回路１８０はこの可変長符号化回路１４０により符号化されたものと、前記アルファマップ信号とを、動きベクトル情報等のサイド情報と共に多重化多重化してビットストリームとして出力するものである。
【００５９】
逆量子化回路１５０は量子化回路１３０の出力を逆量子化するものであり、逆直交変換回路１６０はこの逆量子化回路１５０の出力を前記アルファマップに基いて逆直交変換するものであり、加算回路１７０はこの逆直交変換回路１６０の出力と動き補償予測回路１１０から与えられる予測信号（動き補償予測信号）とを加算して差分回路１００に出力するものである。
【００６０】
動き補償予測回路１１０は、フレームメモリを有し、アルファマップ復号化回路２００から与えられる局部復号信号にもとづいて動作してオブジェクト領域の信号、背景領域の信号を蓄積する機能を有する。また、動き補償予測回路１１０は蓄積したオブジェクト領域の画像から動き補償値を予測して予測値として出力し、また、蓄積した背景領域の画像から動き補償値を予測して予測値として出力する機能を有する。
【００６１】
このような構成の本装置の作用を説明する。本装置には、画像信号とその画像信号のアルファマップが入力される。
【００６２】
そして、これらのうち、画像信号はフレーム毎にそれぞれ所定画素サイズ（例えば、Ｍ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数））のブロックに分割された後、ブロック位置順に信号線１０を介して差分回路１００に供給される。そして、差分回路１００では、この入力（画像信号）と、予測信号（オブジェクト予測回路１１０からの動き補償予測信号の出力）との差分信号が算出され、直交変換回路１２０に供給される。
【００６３】
直交変換回路１２０では、供給された差分信号を、信号線４０を介してアルファマップ符号化回路２００から供給されるアルファマップの情報にしたがって、直交変換係数に変換した後、量子化回路１３０に供給する。そして、ここで量子化される。量子化回路１３０にて量子化されて得られた変換係数は、可変長符号化回路１４０において符号化されると共に、逆量子化回路１５０に供給される。
【００６４】
逆量子化回路１５０に供給された変換係数は、ここで逆量子化された後、逆直交変換回路１６０において逆変換される。そして、加算回路１７０において動き補償予測回路１１０より供給される動き補償予測値と加算され、局部復号画像として出力されて、再び動き補償予測回路１１０に入力される。
【００６５】
そして、この加算回路１７０の出力である局部復号画像は、動き補償予測回路１１０内のフレームメモリに蓄えられる。
【００６６】
一方、この動き補償予測回路１１０は、アルファマップ復号化回路２００から与えられる局部復号信号に基づいてオブジェクトの領域のブロックの処理のタイミングでは“オブジェクトの動き補償予測値”を、また、それ以外のタイミングでは“背景部分の動き補償予測値”を出力して差分回路１００に与える。
【００６７】
すなわち、動き補償予測回路１１０ではアルファマップ信号の局部復号信号から現在、オブジェクトのブロック対応部分の画像信号が差分回路１００に入力されているのか、あるいは背景部分のブロック対応部分の画像信号が差分回路１００に入力されているのかを知り、オブジェクトのブロック対応部分の画像信号の入力期間中であれば、オブジェクトの動き補償予測信号を、そして、背景部分のブロック対応部分の画像信号入力期間中であれば、背景の動き補償予測信号を、差分回路１００に与える。
【００６８】
差分回路１００では、この入力された画像信号と、その画像の領域対応の予測信号との差を算出するので、その結果、入力画像がオブジェクト対応の領域のものであれば、そのオブジェクトの対応位置での予測値との差分信号が、また、入力画像が背景の領域のものであれば、その背景位置対応の予測値との差分信号が算出され、直交変換回路１２０に供給される。
【００６９】
直交変換回路１２０では、供給された差分信号を信号線４０を介して供給されるアルファマップの情報にしたがって、直交変換係数に変換した後、量子化回路１３０に供給する。そして、直交変換係数はこの量子化回路１３０にて量子化される。
【００７０】
量子化回路１３０にて量子化された変換係数は、可変長符号化回路１４０において符号化されると共に、逆量子化回路１５０に供給される。そして、逆量子化回路１５０に供給された変換係数はここで逆量子化された後、逆直交変換回路１６０において逆変換されて加算回路１７０に供給される。そして、予測値切り換え回路５００を介して加算回路１７０に供給される予測値と加算されることになる。
【００７１】
加算回路１７０の出力である局部復号画像の信号は、動き補償予測回路１１０に供給される。そして、この動き補償予測回路１１０ではアルファマップ信号の局部復号信号から現在、加算回路１７０からオブジェクトのブロック対応の信号が出力されているのか、あるいは背景部分のブロック対応の信号が出力されているのかを知り、その結果、オブジェクトのブロック対応の信号の出力中であれば、オブジェクト用のフレームメモリに、また、背景部分のブロック対応の信号の出力中であれば、背景用のメモリに与えるべく動作して対応のメモリに蓄える。
【００７２】
そして、これにより、オブジェクト用のフレームメモリにはオブジェクト画像のみが、また、背景用のメモリには背景画像のみの画像が得られることになる。これにより、動き補償予測回路１１０はオブジェクト画像を利用してオブジェクト画像の予測値を求めることができ、また、背景部分の画像を利用して背景画像の予測値を求めることができる。
【００７３】
上述したように、アルファマップ符号化回路２００では、入力されるアルファマップを符号化し、この符号化されたアルファマップ信号を信号線３０を介して多重化回路１８０に供給している。
【００７４】
また、多重化回路１８０には、可変長符号化回路１４０から出力された変換係数が線４０を介して供給されている。そして、多重化回路１８０は供給されているこれらアルファマップ信号および変換係数の符号化値とを、動きベクトル情報等のサイド情報と共に多重化した後、信号線５０を介して出力して本画像符号化装置の最終出力としての符号化ビットストリームとなる。
【００７５】
以上が符号化装置の構成と作用であり、画像の誤差信号を得るにあたって、オブジェクト用および背景用の画像により動き補償予測を行うべく、アルファマップにしたがって処理中の画像の現在ブロック位置がオブジェクト領域位置であるのか、背景領域位置であるのかを判別しながら、処理中の画像の現在ブロック位置がオブジェクト領域位置であればオブジェクト用の画像から求めた予測値を用い、背景領域位置であれば背景用の画像から求めた予測値を用いて差分を求めるようにした。
【００７６】
そして、オブジェクト用および背景用の予測には動き補償予測回路に、この差分から得た画像について、アルファマップにしたがってそれぞれ対応の領域部分の画像を保持させ、予測に供するようにした。これにより、オブジェクトおよび背景それぞれで最適な動き補償予測を行うことができるようになり、質の良い画像圧縮符号化と復号化を可能にする。
【００７７】
一方、図２は本発明が用いられる復号化装置のブロック図である。復号化装置は、図２に示すように、分離化回路３００、可変長復号化回路３１０、逆量子化回路３２０、逆直交変換回路３３０、加算回路３４０、動き補償予測回路３５０、アルファマップ復号化回路４００とより構成される。
【００７８】
分離化回路３００は入力される符号化ビットストリームを分離化処理してアルファマップ信号と画像の符号化信号等を得る回路であり、アルファマップ復号化回路４００はこの分離化回路３００にて分離されたアルファマップ信号を復号してアルファマップを再生する回路である。
【００７９】
可変長復号化回路３１０は、分離化回路３００にて分離された画像の符号化信号を復号するものであり、逆量子化回路３２０はこの復号されたものを逆量子化して元の係数に戻すものであり、逆直交変換回路３３０はこの係数をアルファマップにしたがって逆直交変換して予測誤差信号に戻すものであり、加算回路３４０は、この予測誤差信号に動き補償予測回路３５０からの動き補償予測値を加算して再生画像信号として出力するものである。この再生画像信号が復号化装置の最終出力となる。
【００８０】
動き補償予測回路３５０は、加算回路３４０から出力された再生画像信号をアルファマップにしたがってフレームメモリに蓄積することによりオブジェクト画像と背景画像とを得ると共に、この蓄積されて得られた画像からオブジェクトの動き補償予測信号、背景の動き補償予測を得るものである。
【００８１】
このような構成の復号化装置においては、符号化ビットストリームは、線７０を介して分離化回路３００に供給され、分離化回路３００において各々の情報毎に分離されることにより、アルファマップ信号に関する符号と、画像信号の可変長符号とに分けられる。
【００８２】
そして、アルファマップ信号に関する符号は、信号線８０を介してアルファマップ復号化回路４００に供給され、また、画像信号の可変長符号は可変長復号化回路３１０にそれぞれ供給される。
【００８３】
アルファマップ信号に関する符号はアルファマップ復号化回路４００においてアルファマップ信号に再生され、信号線９０を介して逆直交変換回路３３０と動き補償予測回路３５０に出力される。
【００８４】
一方、可変長復号化回路３１０では、分離化回路３００から供給される符号を復号し、逆量子化回路３２０に供給して、ここで逆量子化する。逆量子化された変換係数は、線９０を介して供給されるアルファマップにしたがって逆直交変換回路３３０により逆変換され、加算回路３４０に供給される。加算回路３４０では、逆直交変換回路３３０からの逆直交変換された信号と、動き補償予測回路３５０より供給される動き補償予測信号とを加算し、再生画像を得る。
【００８５】
以上が本発明を適用する画像符号化装置および画像復号化装置の概要である。 本発明は、図１に示す符号化装置の構成要素であるアルファマップ符号化回路２００および図２に示す復号化装置の構成要素であるアルファマップ復号化回路４００に関わるものであり、具体的な実施形態を示すものである。
【００８６】
本発明の要部詳細の説明に入る前に、先行技術としてのアルファマップ符号化回路２００に触れておく。図３は、先行技術（特願平８−２３７０５３号）におけるアルファマップ符号化回路２００の構成を示すブロック図である。図に示すように、先行技術におけるアルファマップ符号化回路２００は、解像度変換回路（縮小回路）２１０、（拡大回路）２３０、２値画像符号化回路（block-based MMR encoder ）２２０、多重化回路２４０とから構成されている。
【００８７】
これらのうち、解像度変換回路２１０は解像度縮小変換用の変換回路であり、与えられる拡大率に従った縮小率でアルファマップを符号化し、また、解像度変換回路２３０は解像度縮拡大変換用の変換回路であって、与えられる拡大率に従った拡大率でアルファマップを符号化する機能を有する。
【００８８】
解像度変換回路２３０は解像度変換回路２１０が解像度縮小変換したものを元のサイズに戻すために設けてあり、この解像度変換回路２３０により元のサイズに戻されたアルファマップが、信号線４０を介して直交変換回路１２０，逆直交変換回路１６０に与えられるアルファマップ局部復号信号となる。
【００８９】
２値画像符号化回路２２０は解像度変換回路２１０の出力する解像度縮小変換されたアルファマップ信号を２値画像符号化して出力するものであり、多重化回路２４０は２値画像符号化出力と前記信号線６０を介して与えられる拡大率の情報とを多重化して出力するものである。
【００９０】
このような構成のアルファマップ符号化回路２００においては、アルファマップ信号入力線２０を介して入力されるアルファマップを、解像度変換回路２１０により指定の拡大率で縮小符号化し、この符号化されたアルファマップ信号を信号線３０を介して出力し、また、縮小符号化されたアルファマップ信号を解像度変換回路２３０により元の解像度に復号して得た局部復号信号を信号線４０を介して直交変換回路１２０，逆直交変換回路１６０に出力する。
【００９１】
すなわち、信号線６０を介してアルファマップ符号化回路２００に所望とする縮小・拡大率の設定情報を供給することで、上記トレードオフを図ることが可能となる。
【００９２】
信号線６０を介して供給された縮小・拡大率の設定情報信号は、解像度変換回路２１０，２３０、２値画像符号化回路２２０に供給され、アルファマップ信号の発生符号量を制御することが可能となる。また、信号線６０を介して供給された縮小・拡大率の符号（設定情報信号）は、多重化回路２４０にて、符号化されたアルファマップ信号と多重化され、信号線３０を介して出力され、アルファマップの符号化信号として画像符号化装置の最終出力段である多重化回路１８０に与えられることになる。
【００９３】
次に先行技術としてのアルファマップ復号化回路４００に触れておく。図４は先行技術（特願平８−２３７０５３号）における具体的なアルファマップ復号化回路４００である。
【００９４】
図に示すように、アルファマップ復号化回路４００は、２値画像復号化回路４１０（block-based MMR decoder ）、解像度変換回路４２０、分離化回路４３０にて構成される。
【００９５】
分離化回路４３０は、図２に示す画像復号化装置内の分離化回路３００で分離されて当該アルファマップ復号化回路４００に入力されたアルファマップ信号からアルファマップ信号の符号と縮小・拡大率の符号（縮小・拡大率の設定情報信号）に分離する回路であり、２値画像復号化回路４１０はアルファマップ信号の符号を、分離化回路４３０から分離して与えられる縮小・拡大率の符号にしたがって２値画像に戻す回路であり、解像度変換回路４２０はこの２値画像を、分離化回路４３０から分離して与えられる縮小・拡大率の符号にしたがって解像度拡大変換して出力するものである。
【００９６】
図４において、信号線８０を介してアルファマップ復号化回路４００に供給された符号は、分離化回路４３０によりアルファマップ信号の符号と縮小・拡大率の符号に分離され、各々信号線８１および信号線８２を介して出力される。
【００９７】
２値画像復号化回路４１０では、信号線８１を介して供給されるアルファマップ信号の符号と信号線８２を介して供給される縮小・拡大率の符号から、縮小されたアルファマップ信号を再生し、信号線８３を介して解像度変換回路４２０に供給する。解像度変換回路４２０では、信号線８２を介して供給される縮小・拡大率の符号から、縮小されたアルファマップ信号を元のサイズに拡大してアルファマップ信号を再生した後、信号線９０を介して出力する。
【００９８】
以上が、本発明を適用する前提となる符号化回路および復号化回路の概要である。
【００９９】
次に、このような符号化回路および復号化回路に適用する本発明の詳細を説明する。はじめに、変化画素の位置を特定するシンボルを可変長符号化テーブルを用いて符号化するにあたり、出現頻度の多いシンボルには短い符号を割り当てるように可変長符号化テーブル（ＶＬＣテーブル）を作っておくことにより、総符号量を少なくする場合に、既に符号化／復号化されたアルファマップの画素パターンによって、可変長符号化テーブル（ＶＬＣテーブル）を適応的に切り替えることで、さらに符号量を削減するようにした具体例を説明する。
【０１００】
（第１の具体例）
第１の具体例に示す本発明は、変化画素の位置を特定するシンボルを可変長符号化テーブルを用いて符号化し、既に符号化した前記アルファマップのパターンによって、その可変長符号化テーブルを切り替えることを特徴とするものである。
【０１０１】
本発明の第１の具体例を説明する。
【０１０２】
図３の２値画像符号化回路２２０では、図１７で示した可変長符号化テーブル（ＶＬＣテーブル）を用いて、変化画素の位置を表すシンボル（Mode）が符号化される。例えば、垂直パスモードが“ＦＡＬＳＥ”で、“Ｖ０（垂直モードでｒ＿ａ１−ｒ＿ｂ１＝０）”であった時には符号として“１”を出力する。あるいは、“Ｖ１（垂直モードで｜ｒ＿ａ１−ｒ＿ｂ１｜＝１）”の時は“０１ｓ” （ｓ：ｒ＿ａ１−ｒ＿ｂ１の正負によって“０”あるいは“１”）を出力し、 “ＥＯＭＢ（符号化終了）”の時は“０００１”を出力する。
【０１０３】
一方、図４の２値画像復号化回路４１０では、符号化に利用したもの同じ図１７のＶＬＣテーブルを用いて、例えば、入力された符号が“１”である場合には“Ｖ０を再”生し、入力された符号が“０００１”である場合には“ＥＯＭＢ”を再生する。
【０１０４】
この場合に、出現頻度の多いシンボルには短い符号を割り当てるように可変長符号化テーブル（ＶＬＣテーブル）を作っておけば、総符号量を少なくできる。
【０１０５】
本発明は、既に符号化／復号化されたアルファマップの画素パターンによって、可変長符号化テーブル（ＶＬＣテーブル）を適応的に切り替えることで、さらに符号量を削減するものである。
【０１０６】
＜第１の具体例の符号化回路の構成＞
図５は、図１のアルファマップ符号化回路２００あるいは、図３の２値画像符号化回路２２０をより詳細に表した、本発明の一具体例を示すブロック図である。
【０１０７】
アルファマップ信号１は、ａ１検出回路２、及び符号化済みのアルファマップを保持するメモリ３に入力される。ａ１検出回路２では、図１８等を用いて説明した変化画素ａ１の位置４が検出され、モード決定回路５に送られる。同時にまた、メモリ３からは参照変化画素ｂ１の位置６がモード決定回路５に送られる。
【０１０８】
モード決定回路５では、図１９を用いて説明したアルゴリズムにより、モードが決定され、そのモードが、符号化されるシンボル７として符号化回路８に送られる。
【０１０９】
メモリ３からは、符号化済みの参照変化画素ｂ１の周囲のパターン９が、テーブル決定回路１−１０に送られる。テーブル決定回路１−１０では、複数の可変長符号化テーブルのうちの一つが選択されて出力される。
【０１１０】
ここで、例えば、図７に示すように、参照変化画素ｂ１の上方において、右上から左下向きのエッジがある場合は、参照変化画素ｂ１の下方にも同じエッジが直線的に延びる場合が多いので、画素ｘ１、ｘ２、ｘ３の中ではｘ１にａ１がある確率が高い。
【０１１１】
そこで、参照変化画素ｂ１の上方がこのようなパターンの時には、ＶＬ１（ｒ＿ａ１−ｒ＿ｂ１＝−１）に短い符号を割り当てたテーブルを用いる。
【０１１２】
＜テーブル決定方法のより詳細な具体例＞
テーブル決定方法のより詳細な具体例を図８と図９に示す。ここでは、図８に示した参照変化画素ｂ１の上２ラインのｃ０〜ｃ５に着目する。これらの画素が参照変化画素ｂ１と同じ値なら“１”、異なる値なら“０”として、図９に示したように、ｃ０〜ｃ５の順序で“０”と“１”を並べる。
この２進数を１０進数に変換したものをコンテキスト番号と呼ぶ。
【０１１３】
そして、各々のコンテキスト番号に対応させて、例えば、
［コンテキスト番号＝０の時］
Ｖ０ １
ＶＬ１ ０１０
ＶＲ１ ０１１
ＶＬ２ ００００１０
ＶＲ２ ００００１１
ＥＯＭＢ ０００１
Ｈ ００１
［コンテキスト番号＝１の時］
Ｖ０ ０１０
ＶＬ１ １
ＶＲ１ ００００１０
ＶＬ２ ０１１
ＶＲ２ ００００１１
ＥＯＭＢ ０００１
Ｈ ００１
［コンテキスト番号＝２の時］
以下省略
といったように可変長符号化テーブルを用意しておく。
【０１１４】
このテーブルで、
ＶＬ１は、ｒ＿ａ１−ｒ＿ｂ１＝−１を表し、
ＶＬ２は、ｒ＿ａ１−ｒ＿ｂ１＝−２、
ＶＲ１は、ｒ＿ａ１−ｒ＿ｂ１＝１、
ＶＲ２は、ｒ＿ａ１−ｒ＿ｂ１＝２を表す。
【０１１５】
図７はコンテキスト番号＝１となるので、上のＶＬ１が１ビットで符号化できるテーブルが選択される。
【０１１６】
再び図５に戻り、説明を続ける。符号化回路８ではテーブル決定回路１−１０から送られてくる選択されたテーブル１１を用いて符号１２が決定される。そして、その決定した符号１２を出力する。
【０１１７】
図６に、図２に示した復号化装置の構成要素としてのアルファマップ復号化回路４００あるいは、図４に示した復号化装置の構成要素としての２値画像復号化回路４１０を、より詳細に表したブロック構成図を示す。これは、図５の具体例で生成される符号１２を復号するものである。
【０１１８】
符号１２は復号化回路１３に入力される。
【０１１９】
メモリ１４にはそれまでに復号されたアルファマップが保持されており、参照変化画素ｂ１の周囲のパターン１５がテーブル決定回路１６に送られる。
【０１２０】
テーブル決定回路１６では、複数の可変長符号化テーブルのうちの一つが選択されたテーブル１７として、復号化回路１３に送られる。テーブル決定のアルゴリズムは図５のテーブル決定回路１−１０と同じである。
【０１２１】
テーブル１７によって、シンボル１８が復号され、ａ１再生回路１９に送られる。ａ１再生回路１９ではシンボル１８とメモリ１４から送られてくるｂ１の位置１−２０によってａ１の位置を求め、ａ１までのアルファマップ１−２１を再生する。
【０１２２】
再生されたアルファマップ１−２１は出力され、また、今後の復号のためにメモリ１４に保持される。
【０１２３】
以上、第１の具体例は、複数の所定の可変長符号化テーブルを切り替えるものであるが、図１０に、実際に生起したシンボルの頻度によって、テーブルをダイナミックに修正していく具体例を次に第２の具体例として示す。
【０１２４】
（第２の具体例）
＜第２の具体例の符号化装置の構成＞
以上の第１の具体例は、複数の所定の可変長符号化テーブルを切り替えるものであるが、図１０に、実際に生起したシンボルの頻度によって、テーブルをダイナミックに修正していく具体例を示す。これは第１の具体例の構成である図５の構成に、カウンタ２２とハフマンテーブル生成回路２３を加えた構成である。
【０１２５】
カウンタ２２にはモード決定回路５からのシンボル７と、テーブル決定回路１−１０からのコンテキスト番号２４が入力される。カウンタ２２では、各シンボルの発生回数をコンテキスト番号別に保持する。
【０１２６】
そして、一定の時間が経過した後にコンテキスト番号別に各シンボルの発生回数２５がハフマンテーブル生成回路２３に送られる。
【０１２７】
ハフマンテーブル生成回路２３では、ハフマン符号化（藤田「基礎情報理論」（昭晃堂）ｐｐ．５２−５３、１９８７年）によって符号化テーブル２６が
生成される。そのテーブル２６がテーブル決定回路１−１０に送られて、該当するコンテキスト番号のテーブルがテーブル２６で置き換えられる。このハフマンテーブルの生成と置き換えを全てのコンテキスト番号について行う。
【０１２８】
＜第２の具体例の復号化装置の構成＞
図１０の具体例で生成される符号を復号するための復号化装置を図１１に示す。図１１に示す第１の具体例としての復号化装置も、やはり、図６ににカウンタ２７とハフマンテーブル生成回路２８を加えた構成である。
【０１２９】
カウンタ２７とハフマンテーブル生成回路２８の動作は図１０と同じである。 以上述べたように、第１および第２の具体例は、変化画素の位置を特定するシンボルを可変長符号化テーブルを用いて符号化することにより符号量を少なくするようにした符号化／復号化において、複数種の可変長符号化テーブルを用意しておき、既に符号化した前記アルファマップのパターンによって、その可変長符号化テーブルを切り替えることを特徴とするものであり、このような本発明によれば、アルファマップの符号量をいっそう低減できる効果が得られる。
【０１３０】
次に、相対アドレス符号化の参照変化画素を、Ｍ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数）構成のブロック内の画素値からでなく、動き補償予測信号から求めるようにした具体例を第３の具体例として説明する。
【０１３１】
（第３の具体例）
第３の具体例は、相対アドレス符号化の参照変化画素を、上記ブロック内の画素値からだけでなく、動き補償予測信号からも求められることを特徴とするものである。
【０１３２】
図１２は、第３の具体例としてのアルファマップ符号化回路を説明するブロック図である。また、図１３は、第３の具体例としてのアルファマップ復号化回路を説明するブロック図である。
【０１３３】
図１２、図１３および図１４を用いて本発明のアルファマップ符号化回路２００およびアルファマップ復号化回路４００を説明する。
【０１３４】
第３の具体例においては、図３に示すアルファマップ符号化回路２００を、図１２の如く構成し、また、図４に示すアルファマップ復号化回路４００を、図１３の如く構成する。
【０１３５】
図１２に示すように、本具体例のアルファマップ符号化回路２００は、解像度変換回路（縮小処理用回路）２１０、解像度変換回路（拡大処理用回路）２３０、２値画像符号化回路（block-based MMR encoder ）２２０、多重化回路２４０、そして、さらに動き補償予測回路２５０および縮小回路２６０とから構成されている。
【０１３６】
これらのうち、解像度変換回路２１０は解像度縮小変換用の変換回路であり、与えられる縮小・拡大率の設定情報信号に従った縮小率でアルファマップを符号化し、また、解像度変換回路２３０は解像度縮拡大変換用の変換回路であって、与えられる拡大率に従った拡大率でアルファマップを符号化する機能を有する。
【０１３７】
解像度変換回路２３０は解像度変換回路２１０が解像度縮小変換したものを元のサイズに戻すために設けてあり、この解像度変換回路２３０により元のサイズに戻されたアルファマップが、信号線４０を介して直交変換回路１２０，逆直交変換回路１６０に与えられるアルファマップ局部復号信号となる。
【０１３８】
２値画像符号化回路２２０は、解像度変換回路２１０の出力する解像度縮小変換されたアルファマップ信号を２値画像符号化して出力するものであって、詳細は後述するが、縮小処理用の解像度変換回路２６０から信号線４２にて供給される解像度縮小変換されたアルファマップの動き補償予測信号を利用して符号化するものである。また、多重化回路２４０は２値画像符号化出力と前記与えられる拡大率の情報とを多重化して出力するものである。
【０１３９】
第３の具体例における符号化回路の構成は、動き補償予測回路２５０および縮小処理用の解像度変換回路２６０を備えている点が、上述した先行技術の構成（図３の回路）と異なるものであり、動き補償予測回路２５０には、先に符号化されたフレームの再生画像を蓄積するフレームメモリが具備されていて、拡大回路２３０より供給される再生信号が蓄えることができる構成であると共に、更に、動き補償予測回路２５０には、動きベクトル信号（図示せず）が供給され、この動きベクトル信号にしたがって動き補償予測信号を生成し、信号線４１を介して縮小処理用の解像度変換回路２６０に供給する構成としてある。
【０１４０】
縮小処理用の解像度変換回路２６０は、信号線４１を介して供給される動き補償予測回路２５０からの動き補償信号を、信号線６０を介して供給される縮小・拡大率の設定情報信号に応じて縮小した後、信号線４２を介して２値画像符号化回路２２０に出力する。
【０１４１】
なお、２値画像符号化回路２２０として構成する場合では、信号線２１を介して供給される解像度変換回路２１０からの解像度縮小変換されたアルファマップ信号を２値画像符号化して出力する。
【０１４２】
このような構成のアルファマップ符号化回路２００においては、信号線６０を介して供給される縮小・拡大率の設定情報信号は、解像度変換回路２１０，２３０，２６０、および２値画像符号化回路２２０に供給され、アルファマップ信号の発生符号量を制御することを可能とする。また、信号線６０を介して供給された縮小・拡大率の符号（設定情報信号）は、多重化回路２４０にて、符号化されたアルファマップ信号と多重化され、信号線３０を介して出力され、アルファマップの符号化信号として画像符号化装置の最終出力段である図１の多重化回路１８０に与えられることになる。
【０１４３】
本装置では、アルファマップ信号入力線２０を介して入力されるアルファマップを、信号線６０を介して与えられる所望の縮小・拡大率の設定情報に従って解像度変換回路２１０は縮小符号化し、２値画像符号化回路２２０に与える。
【０１４４】
２値画像符号化回路２２０は、解像度変換回路２１０から得られた解像度縮小変換済みアルファマップ信号を、縮小処理用の解像度変換回路２６０から信号線４２にて供給される解像度縮小変換されたアルファマップの動き補償予測信号を利用して符号化し、２値画像符号化出力として多重化回路２４０と解像度変換回路２３０とに与える。そして、多重化回路２４０はこの２値画像符号化出力である符号化されたアルファマップ信号と、前記信号線６０を介して与えられる拡大率の情報とを多重化して信号線３０に出力する。
【０１４５】
一方、解像度変換回路２３０では、この２値画像符号化回路２２０から与えられたこの縮小符号化されたアルファマップ信号（２値画像符号化出力）を、信号線６０を介して得た縮小・拡大率の設定情報信号に従って元の解像度に復号し、局部復号信号として得て、この得た局部復号信号を信号線４０を介して動き補償予測回路２５０および図１の直交変換回路１２０，逆直交変換回路１６０に出力する。
【０１４６】
一方、動き補償予測回路２５０には、先に符号化されたフレームの再生画像を蓄積するフレームメモリが具備されており、拡大処理用の解像度変換回路２３０より供給される再生信号が蓄えられる。そして、動き補償予測回路２５０は、別途供給される動きベクトル信号にしたがってアルファマップの動き補償予測信号を生成し、信号線４１を介して縮小処理用の解像度変換回路２６０に供給する。解像度変換回路２６０はこの供給された動き補償予測信号を、信号線６０を介して得た縮小・拡大率の設定情報信号に従って解像度縮小変換し、２値画像符号化回路２２０に与える。
【０１４７】
２値画像符号化回路２２０は、縮小処理用の解像度変換回路２６０から与えられた解像度縮小変換されたアルファマップの動き補償予測信号を利用し、解像度変換回路２１０から得られた解像度縮小変換済みアルファマップ信号を符号化する。
【０１４８】
以上が、第３の具体例のアルファマップ符号化回路の概要である。アルファマップ復号化回路は次のようになる。
【０１４９】
図１３に示すように、本具体例のアルファマップ復号化回路４００は、２値画像復号化回路４１０（block-based MMR decoder ）、解像度変換回路（拡大処理用回路）４２０、分離化回路４３０、そして、さらに動き補償予測回路４４０、および解像度変換回路（縮小処理用回路）４５０にて構成されている。
【０１５０】
これらのうち、分離化回路４３０は、図２に示す画像復号化装置内の分離化回路３００で分離され、当該アルファマップ復号化回路４００に入力されたアルファマップ信号からアルファマップ信号の符号と縮小・拡大率の符号に分離する回路であり、２値画像復号化回路４１０はアルファマップ信号の符号を、分離化回路４３０から分離して与えられる縮小・拡大率の符号（縮小・拡大率の設定情報信号）にしたがって２値画像に戻す回路であり、詳細は後述するが、縮小処理用の解像度変換回路４５０から信号線９２にて供給される解像度縮小変換されたアルファマップの動き補償予測信号を利用して復号化するものである。
【０１５１】
拡大処理用の解像度変換回路４２０はこの２値画像復号化回路４１０からのアルファマップ信号の符号である２値画像を、分離化回路４３０から分離して与えられる縮小・拡大率の符号（縮小・拡大率の設定情報信号）にしたがって解像度拡大変換して出力するものである。
【０１５２】
第３の具体例における復号化回路の構成は、動き補償予測回路４４０および縮小処理用の解像度変換回路４５０を備えている点が、上述した先行技術の構成 （図４の回路）と異なるものである。そして、動き補償予測回路４４０は、先に符号化されたフレームの再生画像を蓄積するフレームメモリを有しており、拡大処理用の解像度変換回路４２０より供給される再生信号を蓄えると共に、動きベクトル信号（図示せず）が供給され、この動きベクトル信号にしたがって動き補償予測信号を生成し、信号線９１を介して縮小処理用の解像度変換回路４５０に供給する構成となっている。
【０１５３】
解像度変換回路４５０はこの動き補償予測信号を、信号線８２を介して供給される縮小・拡大率の設定情報信号に応じて縮小した後、信号線９２を介して２値画像復号化回路４１０に出力する。
【０１５４】
このような構成のアルファマップ復号化回路４００においては、信号線８０を介してアルファマップ復号化回路４００に供給された符号は、分離化回路４３０によりアルファマップ信号の符号と縮小・拡大率の符号に分離され、各々信号線８１および信号線８２を介して出力される。
【０１５５】
２値画像復号化回路４１０では、詳細は後述するが、縮小処理用の解像度変換回路４５０から信号線９２にて供給される解像度縮小変換されたアルファマップの動き補償予測信号を利用し、信号線８１を介して供給されるアルファマップ信号の符号と信号線８２を介して供給される縮小・拡大率の符号（縮小・拡大率の設定情報信号）に従って２値画像に戻す復号化処理を施すことにより、縮小されているアルファマップ信号を再生し、信号線８３を介して解像度変換回路４２０に供給する。
【０１５６】
解像度変換回路４２０では、２値画像復号化回路４１０の再生した縮小されているアルファマップ信号を、信号線８２を介して供給される縮小・拡大率の符号に基づいて元のサイズに拡大してアルファマップ信号を再生した後、信号線９０を介して出力する。
【０１５７】
２値画像符号化回路２２０は、解像度変換回路２１０から得られた解像度縮小変換済みアルファマップ信号を、縮小処理用の解像度変換回路２６０から信号線４２にて供給される解像度縮小変換されたアルファマップの動き補償予測信号を利用して符号化し、２値画像符号化出力として多重化回路２４０と解像度変換回路２３０とに与える。そして、多重化回路２４０はこの２値画像符号化出力である符号化されたアルファマップ信号と、前記信号線６０を介して与えられる拡大率の情報とを多重化して信号線３０に出力する。
【０１５８】
一方、解像度変換回路４２０では、この２値画像復号化回路４１０から与えられたこの縮小符号化されたアルファマップ信号（２値画像符号化出力）を、信号線８２を介して得た縮小・拡大率の設定情報信号に従って元の解像度に復号し、局部復号信号として得て、この得た局部復号信号を動き補償予測回路４４０に出力する。
【０１５９】
一方、動き補償予測回路４４０には、先に符号化されたフレームの再生画像を蓄積するフレームメモリが具備されており、拡大処理用の解像度変換回路４２０より供給される再生信号が蓄えられる。そして、動き補償予測回路４２０は、別途供給される動きベクトル信号にしたがってアルファマップの動き補償予測信号を生成し、信号線９１を介して縮小処理用の解像度変換回路４５０に供給する。解像度変換回路４５０はこの供給された動き補償予測信号を、信号線８２を介して得た縮小・拡大率の設定情報信号に従って解像度縮小変換し、２値画像復号化回路４１０に与える。
【０１６０】
２値画像復号化回路４１０は、縮小処理用の解像度変換回路４５０から与えられた解像度縮小変換されたアルファマップの動き補償予測信号を利用し、分離化回路４３０からの縮小・拡大率の設定情報信号に従って、分離化回路４３０からのアルファマップ信号を復号化する。
【０１６１】
以上が、本発明を適用した復号化回路の概要である。
【０１６２】
既に説明しているように、本発明を適用した第３の具体例における符号化回路の構成は、動き補償予測回路２５０および縮小回路２６０を備えている点が先行技術の構成（図３の回路）と異なり、また、復号化回路の構成は、動き補償予測回路４４０および縮小回路４５０を備えている点が先行技術の構成（図４の回路）と異なる。
【０１６３】
動き補償予測回路２５０または４４０には、先に符号化されたフレームの再生画像を蓄積するフレームメモリが具備されており、拡大回路２３０または４２０より供給される再生信号が蓄えられる。更に、動き補償予測回路２５０または４４０には、ここには図示していない動きベクトル信号が供給され、この動きベクトル信号にしたがって動き補償予測信号を生成し、信号線４１および信号線９１を介して縮小回路２６０または４５０に供給する。
【０１６４】
ここで、動きベクトル信号は、図１および図２の装置に具備されている、動き補償予測回路１１０または３５０で用いられる動きベクトル信号を利用しても良いし、アルファマップ符号化回路２００において、アルファマップ用の動きベクトル検出回路を具備することにより、アルファマップ用の動きベクトル信号を求めても良い。
【０１６５】
すなわち、動き補償予測回路２５０または４４０に供給される動きベクトル信号の求め方は種々知られており、本発明に関わるものではないため、ここではこれ以上言及しない。
【０１６６】
縮小回路２６０または４５０においては、信号線４１および信号線９１を介して供給される動き補償信号を、信号線６０および信号線８２を介して供給される縮小・拡大率の設定情報信号に応じて縮小した後、信号線４２および信号線９２を介して出力する。
【０１６７】
なお、２値画像符号化回路２２０として構成する場合では、信号線２１を介して供給される解像度縮小変換されたアルファマップ信号を２値画像符号化して出力する。
【０１６８】
ここで、本具体例にかかる２値画像符号化回路２２０が上述した先行技術と根本的に異なる点は、信号線４２を介して供給される、解像度縮小変換されたアルファマップの動き補償予測信号を利用して符号化する機能を具備していることである。
このことについて、詳しく説明する。
【０１６９】
図１４は、動き補償予測信号を利用して符号化する方法を説明する図であり、フレーム画像単位の画像における分割されたＮ×Ｍ画素構成の画像ブロックのうちの一つを示している。
【０１７０】
図１４において、“current block ”は処理対象ブロックであり、入力された現在の処理画像のブロックである。また、“compensated block ”は補償ブロックであり、前回処理対象となった画像のブロックである。
【０１７１】
本発明の適用前提となる先行技術では、現在の処理対象画像のブロックに対応するアルファマップの該当ブロック上での参照変化画素ｂ１を変化画素ａ０、ａ１と同じ“current block ”内で検出していた。
【０１７２】
一方、本発明では、参照変化画素ｂ１を動き補償予測信号である“compensated block ”内から検出しており、この点が新しい概念である。すなわち、現在の処理対象画像のブロックに対応するアルファマップの該当ブロック上での参照変化画素ｂ１を、動き補償予測信号である“compensated block ”内から検出している。
【０１７３】
なお、本発明は、参照変化画素ｂ１の検出手段が異なるだけで、ａ0 、ａ１およびｂ１の相対アドレスを用いて符号化・復号化を行う点は、先行技術と同一である。
【０１７４】
図１４において、ａ0 は起点変化画素であり、すでに起点変化画素ａ0 までは符号化が済んでいる。また、ａ1 は、起点変化画素ａ0 の次の変化画素であり、ｂ0 は、“ compensated block”内において、ａ0 と同じ位置の画素（変化画素とは限らない）である。また、ａ0 （ｂ0 ）が属するラインを“ａ0 - line”と表記すると、参照変化画素ｂ１は次のように定義される。
【０１７５】
ここで、ａｂｓ＿Ｘをブロック左上の画素からブロック内をラスタ順にスキャンした際の、画素Ｘのアドレスとする。なお、ブロック左上の画素のアドレスは“０”とする。
【０１７６】
ａｂｓ＿ｂ0 ＜ａｂｓ＿ｂ1 であり、符号“×”を付して示す画素は変化画素であって、変化画素×が“ａ0 - line”上にある場合には、“ａ0 ”と反対色の最初の変加画素を参照変化画素ｂ１とし、変化画素が“ａ0 - line”上にない場合は、該ライン上の最初の変加画素を参照変化画素ｂ1 とする。
【０１７７】
図１４（ａ）は変化画素が“ａ0_line”上にない場合であり、この場合、次のラインの最初の変化画素を“ｂ1 ”としている。
【０１７８】
また、図１４（ｂ）は、変化画素が“ａ0 - line”上にある場合であるが、この変化画素×は、“ａ”と反対色ではないので“ｂ１”とはせずに、次のラインの最初の変化画素を“ｂ１”としている。
【０１７９】
なお、“ａ0 - line”および“ｒ＿ａi (i=0 〜1)”、“ｒ＿ｂ1 ”の値は、以下の式で求められる。
【０１８０】
ａ0 - line＝ (int)((abs- ａ0 ＋WIDTH)／WIDTH)−1
ｒ- ａ0 ＝ abs - ａ0 − ａ0 - line＊WIDTH
ｒ- ａ1 ＝ abs - ａ1 − ａ0 - line＊WIDTH
ｒ- ｂ1 ＝ abs - ｂ1 − ａ0 - line＊WIDTH
上記式において、＊は乗算を、また、(int)(Ｘ) はＸの小数点以下切り捨てを意味しており、WIDTH はブロックの水平方向の画素数を示している。
【０１８１】
本発明では、参照変化画素ｂ１の定義が先行技術とは変わったため、“ｒ_ ｂ1 ”の定義も、上式のように変更される。
【０１８２】
図１４を用いて説明した例は、“ compensated block”内から参照変化画素ｂ１を求める手段の一例であり、参照変化画素ｂ１の検出については種々変形が可能である。
【０１８３】
また、２値画像復号化回路においては、信号線９２を介して供給される解像度縮小変換されたアルファマップの動き補償予測信号（“ compensated block”）を利用して、２値画像符号化回路２２０と同一の手順で参照変化画素ｂ１を検出する。
【０１８４】
更に、参照変化画素ｂ１を“current block ”内より検出するか、“ compensated block”内より検出するかを、たとえばブロック単位で切り替えるようにすることもできる。この際、２値画像符号化回路２２０では切り替え用の情報も併せて符号化し、２値画像復号化回路４１０では当該切り替え用の情報も復号化して、復号化処理の際には当該切り替え用の情報に基づいて、参照変化画素ｂ１を“current block ”内より検出するか、“ compensated block”内より検出するかを、たとえばブロック単位で切り替えるようにする。
【０１８５】
このようにすると、ブロック単位の画像内容に基づいて、最適処理が可能になり、一層、効率の良い符号化が可能になる。
【０１８６】
また、先行技術と同様、スキャン順序を切り替える手段を具備して図１５（ａ）に示すように、スキャン順序を横方向スキャンに切り替えたり、図１５（ｂ）に示すように、縦方向スキャンに切り替えるようにすることで、変化画素の数が減り、更に符号量が削減されて、これも一層、効率の良い符号化につながる。
【０１８７】
以上、第３の具体例は、時系列データとして得られる複数フレームの動画像信号を任意形状のオブジェクト毎に符号化する動画像符号化装置における、オブジェクトの形状を表すアルファマップを符号化する符号化回路であって、オブジェクトを含む方形領域をＭ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数）で構成されるブロック毎に分割する手段と、この分割されて得られた上記ブロックを、前記方形領域内において一定規則により順次、符号化する手段とを有し、ブロックの全てあるいは一部に対して相対アドレス符号化を適用する２値画像符号化装置において、
ブロック近傍の再生値を蓄える手段と、すでに符号化されたフレームの再生信号を蓄えるフレームメモリと、フレームメモリ内の再生信号を用いて、動き補償予測値を生成する動き補償予測回路と、ブロック近傍の再生値も含めて変化画素を検出する手段とを有し、相対アドレス符号化の参照変化画素を、上記ブロック内の画素値からでなく、動き補償予測信号から求めるようにしたものである。
【０１８８】
また、アルファマップ復号化回路において、Ｍ×Ｎ画素で構成されるブロック毎に、オブジェクトを含む方形領域内を一定規則で順次復号化する手段と、ブロック近傍の再生値を蓄える手段と、すでに符号化されたフレームの再生信号を蓄えるフレームメモリと、フレームメモリ内の再生信号を用いて、動き補償予測値を生成する動き補償予測回路と、ブロック近傍の再生値も含めて変化画素を検出する手段とを有し、相対アドレス符号化の参照変化画素を、上記ブロック内の画素値からでなく、動き補償予測信号から求めるようにしたものである。
【０１８９】
これにより、オブジェクトの形状や画面内の位置などを表す副画像情報であるアルファマップの情報を効率良く符号化できるとともに、その復号を行うことができるようになる。
【０１９０】
また、ブロック近傍の再生値を蓄える再生値蓄積手段と、すでに符号化されたフレームの再生信号を蓄えるフレームメモリと、フレームメモリ内の再生信号を用いて、動き補償予測値を生成する動き補償予測回路と、前記再生値蓄積手段の蓄積再生値の情報を参照し、ブロック近傍の再生値も含めて変化画素を検出する手段と、上記ブロック内の再生画素値から求められた、相対アドレス符号化の参照変化画素と、動き補償予測信号から求められた、相対アドレス符号化の参照変化画素を切り替える手段とを有し、相対アドレス符号化情報を、切り替え情報と共に符号化するものである。
【０１９１】
また、アルファマップ復号化回路において、Ｍ×Ｎ画素で構成されるブロック毎に、オブジェクトを含む方形領域内を一定規則で順次復号化する手段と、ブロック近傍の再生値を蓄える再生値蓄積手段と、すでに符号化されたフレームの再生信号を蓄えるフレームメモリと、フレームメモリ内の再生信号を用いて、動き補償予測値を生成する動き補償予測回路と、ブロック近傍の再生値も含めて変化画素を検出する手段とを有し、上記ブロック内の再生画素値から求められた、相対アドレス符号化の参照変化画素と、動き補償予測信号から求められた、相対アドレス符号化の参照変化画素を切り替える手段を有し、切り替え情報にしたがって参照変化画素を求めるようにしたものである。
【０１９２】
この場合、相対アドレス符号化にあたり、参照変化画素ｂ１を“current block ”内より検出するか、“ compensated block”内より検出するかを、ブロック単位で切り替えて処理することができ、符号化側ではこの切り替え用の情報も併せて符号化し、復号化側ではこれを復号化して、符号化されたアルファマップの復号化処理の際に当該切り替え用の情報に基づいて、参照変化画素ｂ１を“current block ”内より検出するか、“ compensated block”内より検出するかを、ブロック単位で切り替えるようにすることができ、このようにすることによって、ブロック単位の画像内容に基づいて、最適処理が可能になり、一層、効率の良い符号化が可能になる。
【０１９３】
以上、本発明によれば、オブジェクトの形状や画面内の位置などを表す副画像情報であるアルファマップの情報を効率良く符号化できるとともに、その復号を行うことができるようにした画像符号化装置および画像復号化装置が得られる。
【０１９４】
以上の具体例は、アルファマップ符号化回路２００の構成において、ＭＭＲ(Modified Modified READ)符号化を用いた場合の例を説明したものであった。しかし、本発明はＭＭＲ符号化に限定されるものではなく、他の任意の２値画像符号化回路を用いても実現可能である。そこで、そのような例を以下説明する。
【０１９５】
（第４の具体例）
図２１、図２２および図２０を用いてアルファマップ符号化回路２００およびアルファマップ復号化回路４００の具体的な構成を説明する。
【０１９６】
図２０は、アルファマップの画面内を例えば、１６×１６画素といった所定の複数画素構成によるマクロブロック（ＭＢ）単位に分割した図であり、正方形の升目で示したものが分割の境界線であって、升目一つ一つがマクロブロック（ＭＢ）である。
【０１９７】
２値で表現されたアルファマップの場合（オブジェクトを合成する際の重み係数も含めて多値で表現される場合もある）、オブジェクトの形状情報は画素毎に白か黒かのいずれかで表される。従って、図２０に示されるように、アルファマップの画面における各マクロブロック（ＭＢ）の中身の状態は、“ａｌｌＷ”（全て白）、“ａｌｌＢ”（全て黒）、“Ｍｕｌｔｉ”（その他）の３種類のいずれかに分類される。
【０１９８】
人物像のアルファマップである図２０のような画面の場合、背景は“白”、人物部分は“黒”であるから、“Ｍｕｌｔｉ”に分類されるオブジェクトの境界部分が含まれるマクロブロック（ＭＢ）のみ、２値画像符号化すればよい。また、“Ｍｕｌｔｉ”に分類されるブロック（ＭＢ）の中でも、動き補償予測誤差値が設定値（しきい値）以下の場合には、該ブロック（ＭＢ）を動き補償予測値でコピーする。このように、コピーされるマクロブロック（ＭＢ）のモードを“ｃｏｐｙ”、２値面像符号化されるマクロブロック（ＭＢ）のモードを“ｃｏｄｅｄ”と表記すると、該マクロブロック（ＭＢ）の符号化モードは次の４通りとなる。
【０１９９】
（１）“ａｌｌＷ”
（２）“ａｌｌＢ”
（３）“ｃｏｐｙ”
（４）“ｃｏｄｅｄ”
それぞれのモードの符号化法あるいは復号化法については、アルファマップ符号化回路２００、アルファマップ復号化回路４００の中で説明する。
【０２００】
＜第４の具体例におけるアルファマップ符号化回路の構成例＞
図２１は、アルファマップ符号化回路２００の詳細な構成図である。図２１の構成においては、モード判定回路１１００、ＣＲ（縮小・拡大率）判定回路１１１０、セレクタ１２００、ブロック内画素値設定回路１４００，１５００、動き補償予測回路１６００、２値画像符号化回路１７００、縮小回路１７１０，１７３０，１７４０、拡大回路１７２０、フレームメモリ１３００、転置回路１７５０，１７６０、スキャンタイプ（ＳＴ）判定回路１７７０、動きベクトル検出回路（ＭＶＥ）１７８０、ＭＶ符号化回路１７９０、ＶＬＣ（可変長符号化）・多重化回路１８００からなる。
【０２０１】
これらのうち、ブロック内画素値設定回路１４００はマクロブロック内の画素値を全て白とする画素データを発生する回路であり、ブロック内画素値設定回路１５００はマクロブロック内の画素値を全て黒とする画素データを発生する回路である。
【０２０２】
ＣＲ（縮小・拡大率）判定回路１１１０は、アルファマップ信号入力線２０を介して供給されるアルファマップ信号を解析し、１フレーム分のアルファマップ画像をどの程度の縮小・拡大率で処理すべきかを判定すると共にその判定結果を縮小・拡大率情報ｂ２として出力するものである。また、縮小回路１７１０はアルファマップ信号入力線２０を介して供給されるアルファマップ信号をフレーム全体について、前記スキャンタイプ（ＳＴ）判定回路１７７０は２値画像符号化回路１７００からの出力符号化出力を基にスキャン方向を判定してスキャン方向情報ｂ４を出力するものである。
【０２０３】
また、転置回路１７５０はこのスキャンタイプ（ＳＴ）判定回路１７７０の出力するスキャン方向情報ｂ４を基に、前記縮小回路１７１０の縮小処理した１フレーム分のアルファマップ信号について各マクロブロックの位置を、転置処理する回路であり、転置回路１７６０はスキャンタイプ判定回路１７７０の出力するスキャン方向情報ｂ４を基に、前記縮小回路１７１０，１７２０，１７３０の出力を転置処理して出力する回路であり、２値画像符号化回路１７００はこれらの転置回路１７５０、１７６０を介して与えられた縮小アルファマップ信号を符号化処理して出力するものである。
【０２０４】
また、拡大回路１７２０は縮小回路１７１０を介して与えられるアルファマップ信号を前記ＣＲ判定回路１１１０の出力する縮小・拡大率で拡大処理する回路であり、動き補償予測回路１６００はフレームメモリ１３００に蓄積されている参照フレームの再生画像を用いて動き補償予測信号を生成し、モード判定回路１１００および縮小回路１７４０に出力するものであり、縮小回路１７４０は前記動き補償予測信号を前記ＣＲ判定回路１１１０の出力する縮小・拡大率で縮小処理する回路であり、縮小回路１７３０は前記フレームメモリ１３００に蓄積されている参照フレームの再生画像を前記ＣＲ判定回路１１１０の出力する縮小・拡大率で縮小処理する回路である。
【０２０５】
また、セレクタ１２００はモード判定回路１１００の出力する分類情報に従ってブロック内画素値設定回路１４００からの再生信号ｍ０，ブロック内画素値設定回路１５００からの再生信号ｍ１，動き補償予測回路１６００からの動き補償予測信号ｍ２，拡大回路１７２０からの再生信号ｍ３のうち、所要のものを選択して出力する回路であり、フレームメモリ１３００はこのセレクタ１２００の出力をフレーム単位で記憶するメモリである。
【０２０６】
また、モード判定回路１１００は、動き補償予測回路１６００からの動き補償予測信号と２値画像符号化回路１７００からの符号化信号ｂ４を参照して、アルファマップ信号入力線２０を介して供給されるアルファマップ信号を解析し、マクロブロック毎に“ａｌｌＷ”、“ａｌｌＢ”、“ｃｏｐｙ”、“ｃｏｄｅｄ”の何れに分類されるかを判定すると共に判定結果をモード情報ｂ０として出力するものである。
【０２０７】
動きベクトル検出回路（ＭＶＥ）１７８０は、アルファマップ信号入力線２０を介して供給されるアルファマップ信号から動きベクトルを検出するものであり、ＭＶ符号化回路１７９０は、動きベクトル検出回路（ＭＶＥ）１７８０で検出された動きベクトルを符号化し、その符号化結果を動きベクトル情報ｂ１として出力するものである。例えば、ＭＶ符号化回路１９７０に予測符号化を適用した場合にはその予測誤差信号が動きベクトル情報ｂ１として出力されることになる。
【０２０８】
ＶＬＣ（可変長符号化）・多重化回路１８００は、モード判定回路１１００からのモード情報ｂ０およびＭＶ符号化回路１７９０からの動きベクトル情報ｂ１およびＣＲ（縮小・拡大率）判定回路１１１０からの縮小・拡大率情報ｂ２およびスキャンタイプ（ＳＴ）判定回路１７７０からのスキャン方向情報ｂ３および２値画像符号化回路１７００からの２値符号化情報ｂ４を受けてこれらを可変長符号化し、多重化して信号線３０へと出力するものである。
【０２０９】
このような構成において、符号化対象であるアルファマップ信号は、アルファマップ信号入力線２０を介してアルファマップ符号化回路２００に供給される。そして、これを受けたアルファマップ符号化回路２００では、そのモード判定回路１１００においてアルファマップ信号を解析し、マクロブロック毎に“ａｌｌＷ”、“ａｌｌＢ”、“ｃｏｐｙ”、“ｃｏｄｅｄ”の何れに分類されるかを判定する。ここで、分類の評・価基準としては、例えば、ミスマッチ画素数を用いる。
【０２１０】
具体的には次の通りである。
モード判定回路１１００は、まず、入力されたマクロブロック内の信号を全て白に置き換えた場合のミスマッチ画素数を計算し、この数がしきい値以下となるマクロブロックを“ａｌｌＷ”に分類する。同様に、モード判定回路１１００は、マクロブロック内を全て黒に置き換えた場合“ａｌｌＷ”に分類する。同様に、マクロブロック内を全て黒に置き換えた場合のミスマッチ画素数がしきい値以下となるマクロブロックを“ａｌｌＢ”に分類する。
次に、モード判定回路１１００は、“ａｌｌＷ”にも“ａｌｌＢ”にも分類されないマクロブロックに対して、信号線１０１０を介して供給される動き補償予測値とのミスマッチ画素数を計算し、この数がしきい値以下となるブロックを“ｃｏｐｙ”に分類する。
ここで、“ａｌｌＷ”“ａｌｌＢ”あるいは“ｃｏｐｙ”にも分類されなかったマクロブロックは、“ｃｏｄｅｄ”に分類される。
【０２１１】
モード判定回路１１００によるこの分類情報ｂ０は、信号線１０２０を介してセレクタ１２００に供給され、セレクタ１２００では該ブロックのモードが“ａｌｌＷ”の場合は、ブロック内画素値設定回路１４００においてブロック内画素値が全て白にされた再生信号ｍ０を選択し、信号線４０を介してフレームメモリ１３００に供給し、該フレームの記憶領域に蓄えると共に、アルファマップ符号化回路２００の出力として出力する。
【０２１２】
同様に、該マクロブロックのモードが“ａｌｌＢ”の場合は、セレクタ１２００はマクロブロック内画素値設定回路１５００においてマクロブロック内画素値が全て黒にされた再生信号ｍ１を選択し、また、該マクロブロックのモードが“ｃｏｐｙ”の場合は、信号線１０１０を介して供給される動き補償予測回路１６００により生成された動き補償予測信号ｍ２を選択し、また、該マクロブロックのモードが“ｃｏｄｅｄ”の場合には、縮小回路１７１０、拡大回路１７２０を経て供給される再生信号ｍ３を選択して、これを信号線４０を介してフレームメモリ１３００に供給し、該フレームの記憶領域に蓄えると共に、アルファマップ符号化回路２００の出力信号として出力する。
【０２１３】
また、モード判定回路１１１０において“ｃｏｄｅｄ”に分類されたマクロブロックの画素値は、縮小回路１７１０において縮小された後、２値画像符号化回路１７００において符号化される。ここで、縮小回路１７１０で用いられる縮小・拡大率（ＣＲ（Conversion Ratio)）の設定情報は、ＣＲ判定回路１１１０において求められる。例えば、縮小率を“１（縮小しない）”、“１／２（水平・垂直共に１／２）”、“１／４（水平・垂直共に１／４）”の３通りに定めた場合、ＣＲ判定回路１１１０では、次のステップでＣＲ（縮小・拡大率）が求められる。
【０２１４】
（１） 該マクロブロックを“１／４”に縮小した際の再生信号と、該マクロブロックとのミスマッチ数を計算し、この数がしきい値以下の場合には、縮小率を“１／４”とする。
【０２１５】
（２） 上記（１）でミスマッチ数がしきい値よりも大きい場合には、該マクロブロックを“１／２”に縮小した際の再生信号と、該マクロブロックとのミスマッチ数を計算し、この数がしきい値以下の楊合には、縮小率を“１／２”とする。
【０２１６】
（３） 上記（２）でミスマッチ数がしきい値よりも大きい場合には、該マクロブロックの縮小率を“１”とする。
【０２１７】
このようにして求められたＣＲ（縮小・拡大率）の値は、信号線１０３０を介して縮小回路１７１０，１７３０，１７４０、拡大回路１７２０および２値画像符号化回路１７００に供給されると共に、ＶＬＣ（可変長符号化）・多重化回路１８００に供給され符号化された後、他の符号と多重化される。また、転置回路１７５０では、縮小回路１７１０より供給される、縮小された該ブロックの信号の位置が転置される（水平方向のアドレスと垂直方向のアドレスが入れ替えられる）。
【０２１８】
このことにより、符号化の順序を水平方向のスキャン順に行うか、垂直方向のスキャン順に行うかが切り換えられる。また、転置回路１７６０では、縮小回路１７３０により縮小された該マクロブロック近傍の再生画素値と、縮小回路１７４０により縮小された動き補償予測信号とで、それぞれの信号の位置が転置される。
【０２１９】
転置回路１７５０，１７６０において、転置処理するか否かの判定は、例えば、２値画像符号化回路１７００において水平スキャンと垂直スキャンとでそれぞれ符号化を行い、信号線１０４０を介して出力される符号化情報ｂ４をＳＴ（Scan Type）判定回路１７７０に供給することによって、このＳＴ判定回路１７７０が、符号量の少なくなるスキャン方向を選択することで決まる。
【０２２０】
２値画像符号化回路１７００では、転置回路１７５０より供給される該マクロブロックの信号を、転置回路１７６０より供給される参照信号を用いて符号化する。
【０２２１】
なお、具体的な２値画像符号化法の一例として、上述の第３の具体例で用いた手法が挙げられるが、これに限らず、第４の具体例でのこの２値画像符号化回路１７００では他の２値画像符号化を適用することができる。
【０２２２】
“ｃｏｄｅｄ”に分類されたブロックの中には、フレーム内の参照画素を用いる“ｉｎｔｒａ”符号化モードと、動き補償予測信号を参照する“ｉｎｔｅｒ”符号化モードとがある。ここで、ｉｎｔｒａ／ｉｎｔｅｒの切り替えは、例えば、線１０４０を介して供給される２値画像符号化回路１７００からの符号化情報をモード判定回路１１００に供給し、符号量の少なくなるモードを選択すればよい。ここで、選択された符号化モード（ｉｎｔｒａ／ｉｎｔｅｒ）の情報は、信号線１０５０を介して２値画像符号化回路１７００に供給される。
【０２２３】
以上の手段により選択された最適なモードにて符号化された、２値画像符号化回路１７００の符号化情報は、信号線１０４０を介してＶＬＣ・多重化回路１８００に供給され、他の符号と共に多重化される。また、モード判定回路１１００からは最適なモードの情報が信号線１０６０を介してＶＬＣ・多重化回路１８００に供給され、符号化された後、他の符号と共に多重化される。また、動きベクトル検出回路（ＭＶＥ）１７８０では、最適な動きベクトルが検出される。ここで、動きベクトルの検出方法については、種々存在しており、また、動きベクトルの検出法そのものは、本発明の要部ではないため、ここでは省略する。検出された動きベクトルは、信号線１０７０を介して動き補償予測回路１６００に供給されると共に、ＭＶ符号化回路１７９０にて符号化された後、ＶＬＣ・多重化回路１８００に供給され、符号化された後、他の符号と共に多重化される。
【０２２４】
多重化された符号は、信号線３０を介して出力される。動き補償予測回路１６００では、信号線１０７０を介して供給される動きベクトル信号に基づいてフレームメモリ１３００に蓄積されている参照フレームの再生画像を用いて動き補償予測信号を生成し、信号線１０１０を介してモード判定回路１１００および縮小回路１７４０に出力する。
【０２２５】
以上の処理の結果、画質の良い、しかも、高圧縮率での画像符号化をすることができる。
【０２２６】
次に復号化について説明する。
【０２２７】
＜アルファマップ復号化回路の構成例＞
図２２は、アルファマップ復号化回路４００の詳細な構成図である。
図に示すように、アルファマップ復号化回路４００は、ＶＬＣ（可変長符号化）・分離化回路２１００、モード再生回路２２００、セレクタ２３００、マクロブロック内画素値設定回路２４００，２５００、動き補償予測回路２６００、フレームメモリ２７００、２値画像復号化回路２８００、拡大回路２８１０、転置回路２８２０，２８５０、縮小回路２８３０，２８４０、２値画像復号化回路２８００、動きベクトル再生回路２９００より構成される。
【０２２８】
これらのうち、ＶＬＣ（可変長符号化）・分離化回路２１００は、多重化されて送られてきたアルファマップの符号化ビットストリームを復号し、モード情報ｂ０、動きベクトル情報ｂ１、縮小・拡大率情報ｂ２、スキャン方向情報ｂ３、２値画像符号化情報ｂ４に分離する回路であり、モード再生回路２２００はこの分離されたモード情報ｂ０を受けて、“ａｌｌＷ”，“ａｌｌＢ”，“ｃｏｐｙ”，“ｃｏｄｅｄ”の４種のモードのうちのいずれのモードであるかを再生する回路である。
【０２２９】
２値画像復号化回路２８００は前記ＶＬＣ（可変長符号化）・分離化回路２１００により分離された２値画像符号化情報ｂ４を、前記分離された縮小・拡大率情報ｂ２およびモード再生回路２２００からの再生されたモード情報および転置回路２８５０の情報とを用いて２値画像に復号化して出力する回路であり、拡大回路２８１０は前記分離された縮小・拡大率情報ｂ２の情報を用いて前記復号された２値画像を拡大処理する回路であり、転置回路２８２０はこの拡大処理された画像を、前記分離されたスキャン方向情報ｂ３に従って転置処理し、再生信号ｍ３として出力する回路である。
【０２３０】
また、マクロブロック内画素値設定回路２４００は，マクロブロック内画素値が全て白にされた再生信号ｍ０を発生する回路であり、マクロブロック内画素値設定回路２５００は，マクロブロック内画素値が全て黒にされた再生信号ｍ１を発生する回路である。
【０２３１】
動きベクトル再生回路２９００は、前記ＶＬＣ（可変長符号化）・分離化回路２１００により分離された動きベクトル情報ｂ１を用いてマクロブロックの動きベクトルを再生する回路であり、動き補償予測回路２６００はこの再生された動きベクトルを用いてフレームメモリ２７００の蓄積参照フレームを再生画像から動き補償予測値ｍ２を生成する回路であり、縮小回路２８４０は前記分離された縮小・拡大率情報ｂ２の情報を用いて前記動き補償予測値ｍ２を縮小処理するものであり、縮小回路２８３０は前記分離された縮小・拡大率情報ｂ２の情報を用いて前記フレームメモリ２７００の蓄積参照フレームの画像を縮小処理するものであり、転置回路２８５０は前記ＶＬＣ（可変長符号化）・分離化回路２１００により分離されたスキャン方向情報ｂ３を基に、縮小回路２８３０，２８４０の出力する縮小画像を転置処理して２値画像復号化回路２８００に出力する回路である。
【０２３２】
また、セレクタ２３００は、モード再生回路２２００の出力するモード情報に応じて、マクロブロック内画素値設定回路２４００，２５００の再生信号ｍ０，ｍ１、動き補償予測回路２６００の動き補償予測値ｍ２、転置回路２８２０の再生信号ｍ３のうち、いずれかを選択して出力するものであり、フレームメモリ２７００はこのセレクタ２３００の出力した画像信号をフレーム単位で保持するメモリである。
【０２３３】
このような構成のアルファマップ復号化回路４００は、信号線８０を介してアルファマップの符号化ビットストリームが供給される。そして、このビットストリームはＶＬＤ（可変長復号化）・分離化回路２１００に供給される。
【０２３４】
すると、ＶＬＤ（可変長復号化）・分離化回路２１００では、このビットストリームを復号し、かつ、モード情報ｂ０、動きベクトル情報ｂ１、縮小・拡大率情報ｂ２、スキャン方向情報ｂ３、２値画像符号化情報ｂ４に分離する。これら分離された情報はマクロブロック単位で管理される。
【０２３５】
そして、この分離された情報のうち、モード情報ｂ０は、モード再生回跨２２００に供給され、該マクロブロックが以下のモードの何れに属するかを分類する。
【０２３６】
（１）“ａｌｌＷ”
（２）“ａｌｌＢ”
（３）“ｃｏｐｙ”
（４）“ｃｏｄｅｄ”
ここで、“ｃｏｄｅｄ”には、図２１の符号化回路の具体例で述べたとおり“ｉｎｔｒａ”のモードと“ｉｎｔｅｒ”のモードとがある。すなわち、フレーム内の参照画素を用いるのが“ｉｎｔｒａ”符号化モードであり、動き補償予測信号を参照するのが“ｉｎｔｅｒ”符号化モードである。
【０２３７】
セレクタ２３００では、信号線２０１０を介して供給される上記の符号化モードに応じて、該マクロブロックのモードが“ａｌｌＷ”の場合は、ブロック内画素値設定回路２４００においてマクロブロック内画素値が全て白にされた再生信号ｍ０が選択され、信号線９０を介してフレームメモリ２７００に供給され、該フレームメモリ２７００の当該マクロブロックが属する画像フレームの記憶領域に蓄えられると共に、アルファマップ復号化回路４００から復号化されたアルファマップの画像として出力される。
【０２３８】
同様に、該マクロブロックのモードが“ａｌｌＢ”の場合は、マクロブロック内画素値設定回路２５００において、ブロック内画素値が全て黒にされた再生信号ｍ１が選択され、また、該ブロックのモードが“ｃｏｐｙ”の場合は、信号線２０２０を介して供給される動き補償予測回路２６００において生成された動き補償予測信号ｍ２が選択され、また、該ブロックのモードが゛“ｃｏｄｅｄ”の場合には、拡大回路２８１０、転置回路２８２０を経て供給される再生信号ｍ３が選択され、信号線９０を介してフレームメモリ２７００に供給され、該フレームメモリ２７００の当該マクロブロックが属する画像フレームの記憶領域に蓄えられると共に、アルファマップ復号化回路４００から復号化されたアルファマップの画像として出力される。
【０２３９】
一方、分離された動きベクトル情報ｂ１は、動きベクトル再生回路２９００に供給され、該マクロブロックの動きベクトルが再生される。ここで、再生された動きベクトルは、信号線２０３０を介して動き補償予測回路２６００に供給され、動き補償予測回路２６００ではこの動きベクトルに基づいて、フレームメモリ２７００に蓄積されている参照フレームの再生面像から動き補償予測値を生成する。そして、信号線２０２０を介して縮小回路２８４０とセレクタ２３００とに出力する。
【０２４０】
また、分離された縮小・拡大率情報ｂ２は、縮小回路２８３０および拡大回路２８１０に供給されると共に、２値画像復号化回路２８００に供給され、スキャン方向情報ｂ３は、転置回路２８２０，２８５０に供給される。
【０２４１】
そして、スキャン方向情報ｂ３を受けた転置回路２８２０では、拡大回路２８１０より供給される、元のサイズに戻された該マクロブロックの再生信号の位置が転置される（水平方向のアドレスと垂直方向のアドレスが入れ替えられる）。また、スキャン方向情報ｂ３を受けた転置回路２８５０では、縮小回路２８３０により縮小された該ブロック近傍の再生画素値と、縮小回路２８４０により縮小された動き補償予測信号とで、それぞれの信号の位置が転置される。
【０２４２】
縮小・拡大率情報ｂ２を受けた２値画像復号化回路２８００では、分離化回路２１００により分離された該マクロブロックの２値画像符号化情報ｂ４を、転置回路２８５０より供給される参照信号を用いて復号化する。
【０２４３】
ところで、先行技術として本発明者らが提案した特願平８−２３７０５３号の第４の具体例に記載したように、拡大回路１７２０，２８１０の出力には斜め方向の不連続性に起因する画質劣化が発生する場合があるが、この問題を解決するために拡大回路１７２０，２８１０には、斜め方向の不連続性を抑えるフィルタを備えるようにしても良い。
【０２４４】
なお、２値画像符号化回路１７００と同様に、用いる２値画像復号化回路２８００の構成は上述の第３の具体例に示した構成例に限らない。
【０２４５】
＜複数の２値画像符号化法を切り換える具体例＞
上記の具体例の中で、２値画像符号化回路１７００および２値画像復号化回路２８００の具体例は、上述の第３の具体例に限らないと記述した。そこで、これ以外の例を示しておく。
【０２４６】
別の２値画像符号化法として、例えば、マルコフモデル符号化法がある（参照：テレビジョン学会編、“画像情報圧縮”、pp．171 〜176 ）。図２３がマルコフモデル符号化法の一例を説明する図である。図中の画素ｘが符号化の対象となる着目画素であり、画素ａ〜ｆが画素ｘを符号化する際に参照される参照画素である。
ここで、画素ａ〜ｆは画素ｘを符号化する際に既に符号化が終了している画素とする。着目画素ｘは、参照画素ａ〜ｆの状態によって、ＶＬＣ（可変長符号化）を使用する場合には可変長符号テーブルが、そして、算術符号を使用する場合には確率テーブルが、適応的に切り換えられて符号化される。
【０２４７】
この具体例を本発明に適用する場合、“ｉｎｔｒａ”符号化は、現在処理しようとしているマクロブロック内で、着目画素より先に符号化された画素を参照画素とし、“ｉｎｔｅｒ”符号化は現在処理しようとしているマクロブロック内で、着目画素より先に符号化された画素だけでなく、動き補償予測誤差信号内の画素も参照画素として用いればよい。
【０２４８】
本具体例では、例えば、
［方式１］第３の具体例の方式（ＭＭＲに基づいた符号化方式）
と、
［方式２］マルコフモデル符号化を適応的に切り換えて符号化する方式
の両方式を備え、これらを適応的に選択して使用する形態を採用することを特徴としている。
【０２４９】
図２４（ａ）は、本具体例で用いられる、２値画像符号化回路１７００のブロック図である。図に示すように、２値画像符号化回路１７００は、一対のセレクタ４１１０，４１４０と、一対の２値画像符号化回路から構成されている。これらのうち、セレクタ４１０１は入力側の選択回路であり、セレクタ４１０２は出力側の選択回路である。２値画像符号化回路４１２０は上記［方式１］で符号化する第１の２値画像符号化回路であり、２値画像符号化回路４１３０は上記［方式２］で符号化する第２の２値画像符号化回路である。
【０２５０】
２値画像符号化回路１７００では、信号線４１０１を介して転置回路１７５０から供給される処理対象マクロブロックの信号を、信号線４１０３を介して供給される切り換え信号に応じて選択切換えするセレクタ４１１０，４１４０により、第１の２値画像符号化回路４１２０と第２の２値画像符号化回路４１３０に適応的に振り分け、この振り分けられたマクロブロックの信号を符号化する。
【０２５１】
符号化された情報は、信号線４１０２を介して出力される。なお、図２４（ａ）では２値画像符号化回路１７００に供給される信号の信号線１０３０，１０５０、転置回路１７６０からの信号線は、省略されている。
【０２５２】
ここで、信号線４１０３を介して供給される切り換え情報は、予め設定されたデフォルト値でも良いし、画像内容に基づいて適切な切り換え情報を求めて、サイド情報として別途符号化し、復号側に伝送するようにしてもよい。
【０２５３】
これにより、画像内容に基づいた最適処理が可能になり、また、アプリケーションに応じて複数の符号化方式の中から適切なものを選択して使用することも可能になる。
【０２５４】
同様に、図２４（ｂ）は、本具体例で用いられる２値画像復号化回路２８００のブロック図である。図に示すように、２値画像復号化回路２８００は一対のセレクタ４２１０，４２４０、一対の２値画像復号化回路４２２０，４２３０とから構成されている。これらのうち、セレクタ４２１０は入力側の選択回路であり、セレクタ４２４０は出力側の選択回路である。また、２値画像復号化回路４２２０は上記［方式１］で符号化した画像を復号化する第１の２値画像復号化回路であり、２値画像復号化回路４２３０は上記［方式２］符号化した画像を復号する第２の２値画像復号化回路である。
【０２５５】
このような構成の２値画像復号化回路２８００では、信号線４２０１を介して供絵される処理対象マクロブロックの２値画像符号化情報ｂ４を、信号線４２０３を介して供給される切り換え信号に応じてセレクタ４２１０，４２４０により、第１の２値画像復号化回路４２２０と第２の２値画像復号化回路４２３０に適応的に振り分けて復号化する。
【０２５６】
復号化された信号は、信号線４２０２を介して出力される。なお、図２４（ｂ）では２値画像復号化回路２８００に対する分離化回路２１００からの信号供給用の信号線，モード再生回路２２００からの信号線，転置回路２８５０からの信号線は省略されている。
【０２５７】
ここで、信号線４２０３を介して供給される切り換え情報は、デフォルト値でも良いし、符号化されて送られてきたビットストリームから当該切換情報を得るエンコーダから送られてきた情報でも良い。
【０２５８】
次に縮小・拡大を行うための回路例を具体的に示す。
【０２５９】
＜＜縮小・拡大回路に関わる具体例＞＞
［拡大処理の例］
本発明は、符号化領域単位あるいはブロック単位（マクロブロック単位）で縮小・拡大処理を施すことでレート制御を行っている。この縮小・拡大処理に利用する技術の例として、本願発明者等が特願平８−２３７０５３号に開示した“双一次内挿”がある。この技術について触れておく。当該双一次内挿は、参考文献“尾上編：画像処理ハンドブック，ｐ．６３０，昭晃堂”を基に説明すると図３５の如きである。
【０２６０】
図３５（ａ）において、Ｐexは変換後の画素位置であり、当該Ｐexは図３５（ａ）のように実数画素位置を指し示す。
【０２６１】
そこで、入力信号の整数画素位置Ａ，Ｂ，Ｃ，Ｄとの距離関係から、８つの領域に分けて図３５（ｂ）に示す論理式により、Ａ〜Ｄの画素値Ｉａ〜ＩｄからＰexの画素値Ｉｐを求める。
【０２６２】
このようなものが“双一次内挿”という処理であり、Ａ〜Ｄの画素値Ｉａ〜ＩｄからＰexの画素値Ｉｐを簡易に求めることができるものである。
【０２６３】
ところで、この双一次内挿処理は周囲の４画素のみを用いて処理を行っているため、広い範囲での変化が反映されず、特に斜め方向の不連続性が発生し易くなっている。この問題を解決するための一例として、拡大処理を行った後にスムーシングフィルタ処理（平滑化処理）を施す例を、先願の発明（特願平８−２３７０５３号）に提示している。
【０２６４】
具体的に説明する。図３６は、スムーシング処理（平滑化処理）を説明するための図である。ここで、図３６の（ａ）は元のサイズの２値画像、図３６の（ｂ）はこれを縮小して得た２値画像である。図３６においては、オブジェクト領域は黒丸印で、また、バックグラウンド（背景）領域は白丸印で示してある。
【０２６５】
この例では、サンプリング変換（拡大・縮小変換）がなされることにより発生する斜め方向の不連続性を滑らかにするために、バックグラウンド領域の画素（白丸）一つ一つについて、それを中心にして、その上下左右の画素、つまり、隣接画素を調べ、そのうち、２画素以上がオブジェクト領域の画素（黒丸）であったときは、そのバックグラウンド領域の画素を、オブジェクト領域に含める処理を行う。
【０２６６】
すなわち、今、バックグラウンド領域にある一つの画素である検査対象画素が図３６（ｂ）における二重丸印で示す位置の画素である場合のように、その隣接画素に、２画素以上、オブジェクト領域の画素（黒丸）があったときは、その二重丸印で示す位置の画素（つまり、検査対象画素）を黒丸印の画素にしてオブジェクト領域の画素にする。黒丸印の画素が例えば、“１”、白丸印が“０”であるとすると、二重丸印で示す位置の画素（画素値“０”）を、画素値“１”に置き換える処理をする。このような処理により、斜め方向の不連続性を解消できるようになる。
【０２６７】
図３７は、スムーシングフィルタ（平滑化処理フィルタ）の別の例である。図３７に示される、３×３画素のマスクの中心の画素をＣとして、Ｃに対して左上の画素をＴＬ、右上の画素をＴＲ、左下の画素をＢＬ、右下の画素をＢＲとすると、下記の式により、画素Ｃのフィルタリングされた値が求められる。ここで、オブジェクトの値を“１”、背景の値を“０”で表わしている。
【数１】
【０２６８】
すなわち、このフィルタ演算処理は、もし画素Ｃが“０”であれば、画素ＴＬ，ＴＲ，ＢＬ，ＢＲを加算した値が“２”より大きいか否かを調べ、大きい場合は画素Ｃの値を“１”とし、大きくない場合は画素Ｃを“０”とし、また、もし画素Ｃが“０”でなければ、画素ＴＬ，ＴＲ，ＢＬ，ＢＲを加算した値が“２”より小さいか否かを調べ、小さい場合は画素Ｃの値を“１”とし、大きくない場合は画素Ｃを“０”とするというものである。
【０２６９】
このフィルタによれば、対象となる画素Ｃに対して斜め方向に位置する画素値の変化を考慮して画素Ｃの値を修正するため、斜め方向の不連続性が解消される。なお、スムーシングフィルタの構成は上記例に限ったものではなく、メディアンフィルタ等の非線形フィルタを用いても良い。
【０２７０】
図５８（ａ）は、双一次内挿により水平・垂直共に２倍に拡大する処理を表す図である。図５８（ａ）において、縮小ブロックの画素は白丸印すなわち“Ｏ”印で表され、内挿される画素はバツ印すなわち、“×”印で表されており、それぞれの画素値は“０”あるいは“１”の何れかである。
【０２７１】
この場合、図３５（ｂ）の論理式で内挿される画素（再生画素）の値を求めると、
Ｉｐ１＝Ｉａ，Ｉｐ２＝Ｉｂ，Ｉｐ３＝Ｉｃ，Ｉｐ４＝Ｉｄ
となる。
従って、画素Ａの周りの４つの内挿画素の画素値は全てＩａとなるために、拡大画像は２×２画素が同じ値となり、滑らかさが失われる。そこで、双一次内挿の重み付けを以下の様に変更することで、上記の問題は解決される。
【０２７２】
Ｉp1：if（２＊Ｉa ＋Ｉb ＋Ｉc ＋Ｉd ＞２）then“１”else“０”
Ｉp2：if（Ｉa ＋２＊Ｉb ＋Ｉc ＋Ｉd ＞２）then“１”else“０”
Ｉp3：if（Ｉa ＋Ｉb ＋２＊Ｉｃ＋Ｉd ＞２）then“１”else“０”
Ｉp4：if（Ｉa ＋Ｉb ＋Ｉc ＋２＊Ｉd ＞２）then“１”else“０”
ここで、Ｐｉ（ｉ＝１，２，３，４）は、図５８（ａ）に示される“×”位置に対応した内挿される画素であり、Ｉｐｉ（ｉ＝ｌ，２，３，４）は画素Ｐｉ（ｉ＝１，２，３，４）の画素値（“１”または“０”）である。また、Ａ，Ｂ，Ｃ，Ｄは縮小ブロックの画素、Ｉa ，Ｉb ，Ｉc ，Ｉd はこれら画素Ａ，Ｂ，Ｃ，Ｄの画素値である。
【０２７３】
『Ｉp1：if（２＊Ｉa ＋Ｉb ＋Ｉc ＋Ｉd ＞２）then“１”else“０”』の意味は、画素ｐ１の画素値Ｉp1は、もし、Ｉa の２倍値と、Ｉｂと、Ｉc と、Ｉd との和が２より大きければ“１”とし、そうでなければ“０”とするということを示しており、
『Ｉp2：if（Ｉa ＋２＊Ｉb ＋Ｉc ＋Ｉd ＞２）then“１”else“０”』の意味は、
画素ｐ２の画素値Ｉp2は、もし、Ｉb の２倍値と、Ｉa と、Ｉc と、Ｉd との和が２より大きければ、“１”とし、そうでなければ“０”とすると云うことを示しており、
『Ｉp3：if（Ｉa ＋Ｉb ＋２＊Ｉｃ＋Ｉd ＞２）then“１”else“０”』の意味は、
画素ｐ３の画素値Ｉp3は、もし、Ｉc の２倍値と、Ｉa と、Ｉb と、Ｉd との和が２より大きければ、“１”とし、そうでなければ“０”とすると云うことを示しており、
『Ｉp4：if（Ｉa ＋Ｉb ＋Ｉc ＋２＊Ｉd ＞２）then“１”else“０”』の意味は、
画素ｐ４の画素値Ｉp4は、もし、Ｉd の２倍値と、Ｉa と、Ｉb と、Ｉc との和が２以上ならば、“１”とし、そうでなければ“０”とすると云うことを示している。
なお、水平・垂直共に４倍に拡大する場合は、上記の処理を２回繰り返せばよい。
【０２７４】
以上は、演算により拡大処理する例であるが、演算によらずとも拡大処理することはできる。その例を次に説明する。
【０２７５】
＜演算によらない拡大処理の例＞
ここでは、テーブルを用意してこれをメモリに保持させ、このテーブルに従って一義的に画素を置き換えるようにするものである。
【０２７６】
具体的に説明する。まず、例えばメモリのアドレスを４ビットとし、Ｉａ，Ｉｂ，Ｉｃ，Ｉｄを並べて得られるアドレスに、その、Ｉａ，Ｉｂ，Ｉｃ，Ｉｄのパターンによって得られるＩp1，Ｉp2，Ｉp3，Ｉp4を下表の様に予め記録しておく。
【表１】
【０２７７】
この例は、“Ｉａ，Ｉｂ，Ｉｃ，Ｉｄ”が“０，０，０，０”の時は、“Ｉp1，Ｉp2，Ｉp3，Ｉp4”が“０，０，０，０”であることを、“Ｉａ，Ｉｂ，Ｉｃ，Ｉｄ”が“０，０，０，１”の時は、“Ｉp1，Ｉp2，Ｉp3，Ｉp4”が“０，０，０，０”であることを、“Ｉａ，Ｉｂ，Ｉｃ，Ｉｄ”が“０，０，１，１”の時は、“Ｉp1，Ｉp2，Ｉp3，Ｉp4”が“０，０，１，１”であることを、“Ｉａ，Ｉｂ，Ｉｃ，Ｉｄ”が“０，１，０，１”の時は、“Ｉp1，Ｉp2，Ｉp3，Ｉp4”が“０，１，０，１”であることを、そして、“Ｉａ，Ｉｂ，Ｉｃ，Ｉｄ”が“０，１，１，０”の時は、“Ｉp1，Ｉp2，Ｉp3，Ｉp4”が“０，１，１，０”であることを、…と云う具合にＩａ，Ｉｂ，Ｉｃ，Ｉｄの内容の組み合わせが決まれば、Ｉp1，Ｉp2，Ｉp3，Ｉp4が一義的に定まるテーブルを表している。
【０２７８】
このようなテーブルをＩａ，Ｉｂ，Ｉｃ，Ｉｄの内容がアドレス、そのアドレスの格納データがＩp1，Ｉp2，Ｉp3，Ｉp4となるようにメモリに設定保持させ手おくと、内挿処理を行う時には、メモリにＩａ，Ｉｂ，Ｉｃ，Ｉｄのアドレスを入力して、それに対応するＩp1，Ｉp2，Ｉp3，Ｉp4を読み出すだけで、内挿値を求めることができる。ここで、Ｉp1，Ｉp2，Ｉp3，Ｉp4の並びは２進数であるが、これを１０進数に変換した数値をコンテキストと呼ぶこととすると、この手法は、Ｉp1，Ｉp2，Ｉp3，Ｉp4によって求まるコンテキストによって、内挿値Ｉp1，Ｉp2，Ｉp3，Ｉp4を決める実施例と言える。
【０２７９】
なお、コンテキストは
コンテキスト＝２＊２＊２＊Ｉａ＋２＊２＊Ｉｂ＋２＊Ｉｃ＋Ｉｄ
で求まる。
【０２８０】
コンテキストによって内挿値を求める手法は、上述の例の場合、参照する画素数を４つとしたが、これに限らず、以下で説明する１２個等、いくつの場合でも実現できる。
【０２８１】
また、参照画素と内挿画素の配置についても、例えば、図６４（ａ）のように内挿画素Ｐ１に対しては点線で囲んだ領域の９画素分を参照画素としてコンテキスト（＝０〜５１１）を求め、そのコンテキストによって、内挿画素Ｐ１を“０”か“１”かに決定する方法もある。
【０２８２】
内挿画素Ｐ２、Ｐ３、Ｐ４についても、それぞれの内挿位置とその位置を囲む直近の４個の参照画素の位置関係に応じて、図６４（ｂ），（ｃ），（ｄ）の点線で囲んだ画素を参照画素とする。
【０２８３】
この際、図のように参照画素Ａ〜Ｉの、内挿画素Ｐに対する相対的な位置が同じになるように配置（例えば、（ｂ）は（ａ）を時計回りに９０度回転した配置になっている）しておけば、同じ画素パターンを回転しただけのものは、同じコンデキストになるので、内挿画素Ｐ１〜Ｐ４で共通の内容のテーブルとしたメモリを用いることができる。
【０２８４】
次に、４×４画素のマクロブロックを１６×１６画素に拡大する場合の例を説明する。
４×４画素のマクロブロックを１６×１６画素に拡大するには、まず、４×４のサイズのマクロブロックＭＢを８×８のサイズに拡大し、次に８×８のサイズのマクロブロックＭＢから１６×１６のサイズのマクロブロックＭＢに拡大すると云う手順を踏むことになる。
【０２８５】
この４×４のサイズのマクロブロックＭＢから８×８のサイズに拡大する時の外部参照画素ＡＴとＡＬを図６５（ａ）に示し、８×８のサイズのマクロブロックＭＢから拡大する時の外部参照画素ＢＴとＢＬを図６５（ｂ）に示す。
【０２８６】
外部参照画素ＡＴは２行８列、外部参照画素ＡＬは４行２列、外部参照画素ＢＴは２行１２列、外部参照画素ＢＬは８行２列の配列である。
【０２８７】
これらの外部参照画素の値は図４２を用いて説明したように、既に再生したマクロブロックの所定の位置の画素の平均値として求める必要がある。しかし、２値画像符号化回路１７００と２値画像復号化回路２８００では、４×４画素のサイズで符号化する際には、外部参照画素ＡＴとＡＬを参照し、８×８画素のサイズで符号化する際には、外部参照画素ＢＴとＢＬを参照するため、これを転用すれば拡大処理のためだけにわざわざ外部参照画素を求めると云った無駄は回避できる。
【０２８８】
ここで、外部参照ＢＴとＢＬについては、平均値を求めずに、外部参照画素ＡＴとＡＬから、コンピュータプログラミング用の言語であるＣ言語で記述すれば、
【数２】
【０２８９】
という処理によって求めると、平均値を求める場合と多少結果は異なるが、平均値演算を省くことができる。
【０２９０】
上述の処理は、図６５の例えば、画素ｐ１を画素ｐ２と画素ｐ３にコピーし、画素ｐ４を画素ｐ５と画素ｐ６にコピーするというように、ＡＴやＡＬの値を繰り返して画素を追加処理していくことで、ＢＴやＢＬを生成するものである。なお、Ｃ言語プログラム中の“[ ][ ]”は配列を示し、[ ]中の数字は１０進数を示す。
【０２９１】
以上は、拡大処理の具体的手法を説明した。次に、縮小処理の具体的手法を説明する。
【０２９２】
［縮小処理］
図３８は、ブロック（マクロブロック）を縦横“１／２”のサイズに縮小する縮小処理の一例である。この例では、点線枠内領域一つ一つを単位縮小ブロック領域とすると、当該単位縮小ブロック領域内の２×２画素（各点線枠内における“Ｏ”で示した計４画素）毎の平均値（図３８の“×”）を、その単位縮小ブロック領域での画素値としている。つまり、マクロブロックを縦横“１／４”のサイズに縮小する場合には、単位縮小ブロック領域毎に、その領域内の４×４画素毎の平均値を求めて、当該単位縮小ブロック領域での画素値とすればよいわけである。
【０２９３】
また図３９のように、画素Ａ，Ｂ，Ｃ，Ｄからなる、ある単位縮小ブロック領域を考えた場合、当該単位縮小ブロック領域の画素Ｘの値を求めて当該単位縮小ブロック領域の値とするにあたり、画素Ａ〜Ｄの平均値を求めるのではなく、これよりも広い範囲の画素位置の画素Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍ，Ｎ，Ｏ，Ｐを含めて、これらＡ〜Ｐの平均値を求めるようにしてもよい。つまり、隣接の単位縮小ブロック領域の画素のうち、画素Ａ〜Ｄに隣接する画素を含めてこれらの平均値を採用する方式とするわけである。
【０２９４】
以上は、現存する画素の値の平均値を単位縮小ブロック領域の画素値とすることで、その単位縮小ブロック領域の画素数を減らすようにし、マクロブロックのサイズ縮小を図るようにした例であった。このような、計算を伴わずに、機械的な間引き処理でもマクロブロックを縮小処理することができる。
その例を次に説明する。はじめに、マクロブロック内で閉じた処理を説明する。
【０２９５】
図４０は、画素間引きによる縮小処理の例である。１６×１６画素構成のマクロブロックＭＢは画素間引きによる縮小処理を施した結果、８×８画素構成のブロックに縮小された様子を示している。すなわち、図中で点線の白丸印で示された画素が間引かれた画素であり、実線の白丸印で示された画素が単位縮小ブロック領域の画素値（図４０の“×”）となる。この場合、縮小率（ＣＲ）は間引かれる画素の割合を表すことになる。なお、画素間引きの方法は図４０で説明した方法に限らず、例えば、五の目格子状に画素を間引いても良い。また、この場合、拡大処理とは、間引かれた画素を内挿することに相当する。
【０２９６】
以上、種々の縮小処理の具体的手法を説明した。次に拡大処理について説明する。
【０２９７】
図４１は、拡大処理を表す図である。図において、実線方形枠はマクロブロックを示しており、点線枠表示された部分の升目一つ一つが単位縮小ブロック領域を示している。単位縮小ブロック領域内の白丸印は現存画素を表わしており、内挿により画素数を増やしてマクロブロックの拡大を図るようにする。内挿される画素は“×”で表されており、内挿後は“Ｏ”の画素は不要画素となる。
【０２９８】
マクロブロック境界部の画素を内挿する際に、マクロブロック外の画素値が必要になる。この場合、図の矢印で示されているように、マクロブロック内の最も近くの画素値を割り当てればよい。
すなわち、ある単位縮小ブロック領域の画素内挿をする場合、自己及び自己と隣接する各単位縮小ブロック領域である周囲８ブロックの画素値の計９画素分の画素値が、処理に必要である。しかし、マクロブロック内における当該ある単位縮小ブロック領域が、マクロブロック境界部に位置していると、前記の周囲８ブロックのいくつかは自己の所属外のマクロブロック所属のものとなることから、当該自己所属マクロブロック外の画素値を別途、もらってくる必要があるということになる。この場合は、図の矢印で示されているように、自己の所属マクロブロック内の最も近くの画素値をそれぞれ割り当てて便宜的にその処理に必要な近隣の単位縮小ブロック領域での画素値とし、利用すればよい。
【０２９９】
なお、マクロブロック毎の縮小・拡大処理は、そのマクロブロック内で閉じている必要はなく、図４２に示されるように、該ブロック近傍の再生値（左・上・左上・右上に隣接するブロック内の画素値）を用いるようにしても良い。
このことを具体的に説明する。
図４２において、実線方形枠はあるブロック（マクロブロック）を示し、“×”印は倍率１倍のときの画像（標準倍率画像）の各画素を示している。マクロブロックは通常、１６×１６画素構成であり、フレームを１／２に圧縮した場合にブロック内の画素は８×８画素構成になり、先の１６×１６画素構成はそれぞれ２×２画素分の画像が１画素で表現されることになるので、この場合の２×２画素分の画像を代表点の情報を１画素表現形式にして表したのが図４２における“Ｏ”印である。点線で示した枠内が、単位縮小ブロック領域であって、標準倍率画像での４画素構成（２×２）の領域を示しており、１／２縮小の場合はこの点線枠内領域毎に１画素で表現される。
【０３００】
１／２縮小画像を元の画像サイズに復元する場合（標準倍率画像に復元する場合）、１／２縮小画像の１画素の領域は４画素構成に戻すが、それをマクロブロック内で閉じずに内挿により行うには次のようにする。
例えば、図４２において、あるマクロブロックの、ある単位縮小ブロック領域（点線枠内領域）の画素１や画素２を内挿により再生する場合を考えてみる。この場合、その処理時点で現存するのは“Ｏ”印の画素情報である。従って、内挿しようとする画素１や画素２の周囲にある現存画素は画素３，４，５，６であるから、これら画素３，４，５，６を用いて双一次内挿を行う。ただし、“画素３”や“画素４”は隣接ブロック（隣接するマクロブロック）に所属する画素で、しかも、拡大前の画素（１／２縮小画像の画素）であり、当該隣接ブロックは時間的に前の時点で処理される位置にあるブロックであるので、このマクロブロックの拡大処理後には、不要となるデータであるから、メモリリソースの節約の観点から、既に廃棄してしまっていることがある。
【０３０１】
そのようなシステムの場合には、例えば、“画素３”で云えばそのマクロブロックでの内挿済みで現存する隣接画素である画素７，８，９，１０の平均値を求めて、前記廃棄してしまった“画素３”の値とするのも一つの方法であるが、その平均値を求める演算を少なくしたい場合には、画素７，８，９，１０の計４画素のうち、内挿しようとする画素１，２に近い、画素９，１０の平均値を、前記廃棄してしまった“画素３”の値として用いるようにしてもよい。
【０３０２】
また、画素１０をそのまま流用して“画素３”の値とするようにすると、さらに演算を省ける。“画素４”についても、同様に、その近くの画素値で代用する。また、同様なケースで、“画素１１”の内挿には、例えば、“画素１２”の代わりに画素１４と画素１５の平均値、“画素１３”の代わりに画素１６、画素１８の代わりに画素１７を用いる。
【０３０３】
フレーム画像Ｐｆは通常、オブジェクト部分を主体とした最小の矩形範囲、例えば、図５９（ａ）に示される符号化領域ＣＡ内をブロック（マクロブロック）に分割して符号化するため、符号化領域の境界部に位置するブロックでは、該ブロックの左・上・左上・右上に隣接するブロックが、符号化領域ＣＡの外部に位置することとなってしまう場合がある。
この場合、図４２のように、該ブロック近傍の再生画素値（再生した画素の値）を利用する場合でも、符号化領域ＣＡの外部に位置するマクロブロックである場合には再生両素値を参照せずに、図４１のように自己所属マクロブロック内の最も近くの画素値を便宜的に割り当てて用いればよい。
【０３０４】
更に、誤りの影響を受ける伝送路でデータの授受を行う場合には、誤りの影響を受け難くするために、前記の符号化領域ＣＡよりも小さい単位（これを“同期回復単位”呼ぶ）で符号化処理を閉じる場合がある。
【０３０５】
これにより、誤りの影響をこの“同期回復単位”で断ち切ることが可能となり、誤りの影響を受け難くなる。ここで、“同期回復単位”とは、図５９（ｂ）にＵｎなる符号を付して示した点線で囲まれる各領域を指す。“同期回復単位”は符号化領域ＣＡを小さく区切った領域であるが、複数のマクロブロックで構成されることは変わりない。
【０３０６】
この方式の場合、“同期回復単位”内で符号化処理を閉じるため、ある“同期回復単位”で使用するデータに伝送誤りがあるものが含まれていたとしても、その誤りのあるデータを参照して処理するのは当該ある“同期回復単位”内だけであり、隣接の“同期回復単位”は当該誤りのあるデータを参照して処理することはないから、伝送誤りが波及しにくい処理方式となる訳である。
【０３０７】
この場合でも、図４２のように、該ブロック近傍の再生画素値を利用する際に、該ブロックが含まれる“同期回復単位”以外の同期回復単位に属するマクロブロックの再生画素値を参照せずに、図４１の様にマクロブロック内の最も近くの画素値を割り当てる。
【０３０８】
上述したような、“マクロブロックや同期回復単位の外側を参照するか、しないか”は、符号に切り換えビットを用意し、これを用いて切り換えるようにすると伝送エラーの頻度や、許容される演算量、メモリ量などの様々な状況に対応することができる。
【０３０９】
ところで、先に述べたように双一次内挿では、周囲の４画素のみを用いて処理を行っている。そのため、再生された画素による画像には、特に斜め方向の不連続性が発生し、視覚的劣化が起き易い傾向が避けられない。これを回避するには例えば、図４１の内挿対象画素を内挿する例を取り上げてみると、その内挿の際に、双一次内挿の参照範囲よりも広い拡大参照範囲に含まれる画素を用いて内挿する。
【０３１０】
すなわち、双一次内挿の参照範囲よりも広い拡大参照範囲に含まれる画素を用いて内挿することで、より広い範囲の画素の傾向が反映されることになり、不連続性の問題が回避される。また、内挿に用いる画素の数が“４画素”のように偶数個であるよりも、“９画素”のように奇数個の方が、多数決効果が得られ、不連続性の回避効果がより一層顕著に得られる場合がある。
【０３１１】
図５８（ｂ）に、１２個の画素を用いて内挿を行う例を示す。先に図５８（ａ）を用いて説明した実施例の表記を用いると、あるマクロブロックの１／２縮小画像におけるマクロブロック内ある位置での再生画素をｐ１，ｐ２，ｐ３，ｐ４、そして、それらの値（画素値）をＩp1，Ｉp2，Ｉp3，Ｉp4とした場合に、これらＩp1，Ｉp2，Ｉp3，Ｉp4は、
Ｉp1：if（４＊Ｉa ＋２＊（Ｉb ＋Ｉc ＋Ｉd ）＋Ｉe ＋Ｉf ＋Ｉg ＋Ｉh ＋Ｉi ＋Ｉj ＋Ｉk ＋Ｉl ）＞８ then “１” else “０”
Ｉp2：if（４＊Ｉb ＋２＊（Ｉa ＋Ｉc ＋Ｉd ）＋Ｉe ＋Ｉf ＋Ｉg ＋Ｉh ＋Ｉi ＋Ｉj ＋Ｉk ＋Ｉl ）＞８ then “１” else “０”
Ｉp3：if（４＊Ｉc ＋２＊（Ｉb ＋Ｉa ＋Ｉd ）＋Ｉe ＋Ｉf ＋Ｉg ＋Ｉh ＋Ｉi ＋Ｉj ＋Ｉk ＋Ｉl ）＞８ then “１” else “０”
Ｉp4：if（４＊Ｉd ＋２＊（Ｉb ＋Ｉc ＋Ｉa ）＋Ｉe ＋Ｉf ＋Ｉg ＋Ｉh ＋Ｉi ＋Ｉj ＋Ｉk ＋Ｉl ）＞８ then “１” else “０”
で表せる。ただし、ａは画素Ａ、ｂは画素Ｂ、ｃは画素Ｃ、ｄは画素Ｄ、ｅは画素Ｅ、ｆは画素Ｆ、ｇは画素Ｇ、ｈは画素Ｈ、ｉは画素Ｉ、ｊは画素Ｊ、ｋは画素Ｋ、ｌは画素Ｌを示す。
【０３１２】
また、“１／４”サイズの縮小拡大処理は、“ｌ／２”サイズの縮小拡大処理を２回施すことで実現しても良い。
【０３１３】
次に、フレーム単位の拡大・縮小処理との組み合わせの例を、第５の具体例として説明する。
【０３１４】
（第５の具体例）
本発明者らが特願平８−２３７０５３号で示した先行技術には、フレーム単位（実際にはオブジェクトを含む方形領域）で縮小・拡大を施すことでレート制御する実施例と、ブロックのような小領域単位で縮小・拡大を施すことでレート制御する実施例とを提示している。また、上述の第１乃至第３の具体例には、さらに具体的な小領域単位で縮小・拡大を施すことにより、レート制御するようにした例を示した。
【０３１５】
ここに説明する本具体例においては、フレーム単位での縮小・拡大処理と、小領域単位での縮小・拡大処理を組み合わせて使用する例を示すものである。
【０３１６】
＜アルファマップ符号化装置＞
図２５は、本具体例のアルファマップ符号化装置を説明する図である。この装置は縮小回路５３００，５２１０，５２６０、２値画像符号化回路５２２０、拡大回路５２３０，５４００、動き補償予測回路５２５０、多重化回路５２４０，５５００とより構成される。
【０３１７】
このような構成において、アルファマップ信号入力線２０を介して供給される２値化されたアルファマップ画像は、縮小回路５３００において縮小・拡大率ＣＲに基づいてフレーム単位に縮小される。フレーム単位に縮小された信号は、信号線５０２０を介してアルファマップ符号化回路５２００に供給され、小領域に分割された後、符号化される。
【０３１８】
ここで、アルファマップ符号化回路５２００は、図１２のアルファマップ符号化回路２００と等価であり、アルファマップ符号化回路５２００の構成要素５２１０〜５２６０は、それぞれ図１２のアルファマップ符号化回路２００の構成要素２１０〜２６０と同じ機能を有するので、アルファマップ符号化回路５２００の説明はここでは省略する。また、図１２のアルファマップ符号化回路２００の構成は、図１のアルファマップ符号化回路２００の構成を簡略化して表現したものであるため、アルファマップ符号化回路５２００の構成は、図１のアルファマップ符号化回路２００と等価な構成でも良い。
【０３１９】
アルファマップ符号化回路５２００で符号化された符号化情報には、小領域毎の縮小・拡大率ＣＲｂが多重化されており、信号線５０３０を介して多重化回路５５００に供給され、フレーム単位の縮小・拡大率ＣＲの符号化情報と多重化され、信号線３０を介して出力される。
【０３２０】
また、アルファマップ符号化回路５２００の再生画像は信号線５０４０を介して拡大回路５４００に供給され、フレーム単位の縮小・拡大率ＣＲに基づいて拡大された後、信号線４０を介して出力される。
【０３２１】
＜アルファマップ復号化装置＞
図２６は、本具体例の復号化装置を説明する図である。このアルファマップ復号化装置は、分離化回路６５００，６４３０、２値画像復号化回路６４１０、縮小回路６４５０、動き補償予測回路６４４０、拡大回路６４２０，６６００とから構成されている。
【０３２２】
このような構成において、信号線８０を介して供給される符号化情報は、分離化回路６５００でフレーム単位の縮小・拡大率ＣＲと、小領域単位の符号化情報に分離される。そして、小領域単位の符号化情報は、信号線６０８０を介してアルファマップ復号化回路６４００に供給され、小領域単位の再生信号が信号線６０９０を介して拡大回路６６００に供給される。
【０３２３】
アルファマップ復号化回路６４００は、図１３のアルファマップ復号化回路４００と等価なため、ここでは説明を省略する。また、図１３のアルファマップ復号化回路４００の構成は、図２のアルファマップ復号化回路４００の構成を簡略化して表現したものであるため、アルファマップ復号化回路６４００の構成は、図２のアルファマップ復号化回路４００と等価な構成でも良い。
【０３２４】
拡大回路６６００では、フレーム単位の縮小率ＣＲの情報に基づいて、信号線６０９０を介して供給される再生信号を拡大処理して、信号線９０より出力させる。
【０３２５】
このように、ここではアルファマップ信号をフレーム単位で縮小・拡大処理し、かつ、小領域単位で縮小・拡大処理するようにした。このフレーム単位での縮小・拡大と、小領域単位での縮小・拡大とを組み合わせることで、縮小・拡大率情報のようなサイド情報が削減されるため、特に、低い符号化レートで符号化する場合に効果的となる。
【０３２６】
次にフレームメモリについて、触れておく。
図２５、図２６には明示していないが、符号化装置と復号化装置にはいずれも再生画像を蓄積するためのフレームメモリが必要である。図５２は、フレーム毎の解像度の例を表した図である。本発明では、動き補償予測を用いているため、例えば、時刻ｎのフレームを符号化する際には、時刻ｎ−１のフレームの解像度を時刻ｎのフレームでの解像度（この場合、縮小・拡大率）に一致させなければならない。ここで、フレームメモリに蓄積する再生画像が、アルファマップ符号化回路５２００によって図５２に示されるようにフレーム単位の解像度（この例の場合、時刻ｎのフレームならばＣＲ＝１／２（図５２の（ａ））、時刻ｎのフレームならばＣＲ＝１（図５２の（ｃ）））で蓄積される場合と、元の解像度（時刻に関わらず、常に縮小・拡大率ＣＲ＝１）で蓄積される場合の２通りが考えられる。
【０３２７】
前者においては、フレームメモリは信号線５０４０および信号線６０９０を介して供給されるフレーム単位の解像度の再生画像を蓄積することになり、後者におけるフレームメモリは、信号線４０および信号線９０を介して供給される元の解像度の再生画像を蓄積することになる。
【０３２８】
従って、図２５の符号化装置および図２６の復号化装置においてフレームメモリを明示すると、前者のフレームメモリ（これをＦＭ１（符号化装置用）、ＦＭ３（復号化装置用）と表すこととする）の場合は、図５３および図５４のようになり、後者のフレームメモリ（これをＦＭ２（符号化装置用）、ＦＭ４（復号化装置用）と表すこととする）の場合は、図５５および図５６のようになる。
【０３２９】
つまり、図５３の符号化装置は、縮小・拡大率ＣＲの情報と拡大回路５２３０の出力情報をＦＭ１なるフレームメモリに保持し、この保持情報をＭＣ（動き補償予測回路）５２５０に与えるように構成したものであり、図５４の復号化装置は、ＣＲの情報と拡大回路６４２０からの出力をＦＭ３なるフレームメモリに保存し、この保存出力を動き補償予測回路６４４０に与えるように構成したものである。
【０３３０】
また、図５５の符号化装置は、縮小・拡大率ＣＲの情報と拡大回路５４００の出力情報をＦＭ２なるフレームメモリに保持し、この保持情報をＭＣ（動き補償予測回路）５２５０に与えるように構成したものであり、図５６の復号化装置は、ＣＲの情報と拡大回路６６００からの出力を保存し、この保存出力を動き補償予測回路６４４０に与えるように構成したものである。
【０３３１】
フレームメモリＦＭ１，ＦＭ３の具体的な構成例は、図５７（ａ）に示した如きものとなり、フレームメモリＦＭ２，ＦＭ４の具体的な構成例は、図５７（ｂ）に示した如きのものとなる。
【０３３２】
フレームメモリＦＭ１，ＦＭ３は、図５７（ａ）に示すように、現フレームの画像を保存するフレームメモリｍ１１と、このフレームメモリｍ１１の保持画像を別途与えられる拡大・縮小率ＣＲの情報対応に縮小・拡大処理する縮小・拡大回路ｍ１２、この縮小・拡大回路ｍ１２で縮小・拡大処理された出力を保存するフレームメモリｍ１３とからなり、また、フレームメモリＦＭ２，ＦＭ４は、図５７（ｂ）に示すように、現フレームの画像を保存するフレームメモリｍ２１と、このフレームメモリｍ２１の保持画像を、別途与えられる拡大・縮小率ＣＲの情報対応に縮小処理する縮小回路ｍ２２、この縮小回路ｍ２２で縮小処理された出力を保存するフレームメモリｍ１２とからなる。
【０３３３】
このような構成のフレームメモリにおける動作を説明する。
まずフレームメモリＦＭ１，ＦＭ３の場合、これらには信号線５０４０および信号線６０９０を介してフレーム単位でそのフレームの対応する解像度の再生画像が供給され、現フレーム保存用のフレームメモリｍ１１に蓄積される。フレームメモリｍ１１は、現フレームの符号化（例えば、時刻ｎ）が終了した時点で現フレームの再生画像が全て蓄積されている。
【０３３４】
次に、縮小・拡大回路ｍ１２では、時刻ｎ＋１におけるフレームの符号化が開始される時点で、時刻ｎにおけるフレームの再生画像をフレームメモリｍ１１から読み込み、時刻ｎ＋１におけるフレームのフレーム単位での縮小・拡大率ＣＲと一致するように、縮小・拡大処理（解像度変換）を行う。
【０３３５】
図５２の例において、（ａ）に示すように時刻ｎにおけるフレームの縮小・拡大率ＣＲは“１／２”であり、また、（ｂ）に示すようにその次フレームである時刻ｎ＋１におけるフレームの縮小・拡大率ＣＲは“１”であるので、この場合、縮小・拡大回路ｍ１２では縮小・拡大率ＣＲを“１／２”から“１”に変換する処理を行うことになる。
【０３３６】
縮小・拡大回路ｍ１２で解像度変換された時刻ｎにおける再生画像は、前フレームのフレームメモリｍ１３に蓄積され、時刻ｎ＋１におけるフレームの動き補償予測の参照画像となる。
【０３３７】
フレームメモリＦＭ２，ＦＭ４の場合、これらには信号線４０および信号線９０を介して元の解像度（ＣＲ＝１）の再生画像が供給され、現フレームのフレームメモリｍ２１に蓄積される。フレームメモリｍ２１には、現フレームの符号化（例えば、時刻ｎ）が終了した時点で現フレームの再生画像が全て蓄積されている。
【０３３８】
次に、縮小回路ｍ２２では、時刻ｎ＋１におけるフレームの符号化が開始される時点で、時刻ｎにおけるフレームの再生画像をフレームメモリｍ２１から銃み込み、時刻ｎ＋１におけるフレームのフレーム単位での縮小・拡大率ＣＲと一致するように、縮小処理（解像度変換）を行う。
【０３３９】
フレームメモリｍ２１に蓄積される再生画像は常に縮小・拡大率ＣＲ＝１であるので、図５２の例では、時刻ｎ＋１における縮小・拡大率ＣＲは“１”であるから、この場合、縮小回路ｍ２２では解像度変換処理を行わない。なお、図５２の例の場合、現フレームが時刻ｎ＋１の場合、時刻ｎ＋２におけるフレームの解像度は“１／２”であるから、縮小回路ｍ２２では縮小・拡大率ＣＲを“ｌ”から“１／２”にする解像度変換処理を行うことになる。
【０３４０】
縮小回路ｍ２２で解像度変換された時刻ｎにおけるフレームの再生画像は、前フレームのフレームメモリｍ３３に蓄積され、時刻ｎ＋１におけるフレームの動き捕償予測の参照画像となる。
【０３４１】
以上、フレームメモリＦＭ１，ＦＭ２，ＦＭ３，ＦＭ４の具体的な構成と作用を述べたが、フレームメモリＦＭ１，ＦＭ３は、信号線５０４０および信号線６０９０を介して供給されるフレーム単位の解像度の再生画像が蓄積されることが特徴であり、また、フレームメモリＦＭ２，ＦＭ４は、信号線４０および信号線９０を介して供給されるフレーム単位での解像度の再生画像が蓄積されることが特徴であるため、それぞれ、他に種々の構成が考えられる。
【０３４２】
（第６の具体例）
次に、マクロブロックの属性情報を符号化する方式の例を第６の具体例として説明する。まず、先行技術である特願平８−２３７０５３号にて、提案した方式の説明をする。
【０３４３】
図２９は、時刻ｎと時刻ｎ−１におけるあるマクロブロックの属性情報の一例を表している。但し、ここで云う属性情報とは、“ａｌｌＷ”（そのマクロブロックの構成画素全てが白）、“ａｌｌＢ”（そのマクロブロックの構成画素全てが黒）、“Ｍｕｌｔｉ”（そのマクロブロックの構成画素は白黒混在）といったマクロブロックの中味の状態を示した情報である。
そして、例えば、“ａｌｌＷ”を符号“０”で、“ａｌｌＢ”を符号“３”で、そして、“Ｍｕｌｔｉ”を符号“１”でラベル付けして示した例である。
【０３４４】
フレームにおけるオブジェクト部分 | |