トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 αチャンネル映像のための符号化ブロックパターン生成装置及び方法とそれを利用したαチャンネル映像符号化/復号化装置及び方法
【発明者】 【氏名】金 祐 ▼堤▲

【氏名】金 鉉 文

【氏名】趙 大 星

【氏名】朴 鎭 瑩

【要約】 【課題】αチャンネル映像のためのCBP生成装置及び方法とそれを利用したαチャンネル映像符号化/復号化装置及び方法を提供する。

【解決手段】αチャンネル映像で符号化単位に相当する第1ブロックを、複数の第2ブロックに分割するブロック分割部110と、複数の第2ブロックに対してそれぞれ符号化ブロックパターンを割当て、第2ブロックに対する符号化ブロックパターンを組み合わせて、第1ブロックに対する符号化ブロックパターンを生成する符号化ブロックパターン割当部130とを含むαチャンネル映像のための符号化ブロックパターン生成装置。そして、これを利用したαチャンネル映像符号化/復号化装置及び方法を提供する。
【特許請求の範囲】
【請求項1】
αチャンネル映像で符号化単位に相当する第1ブロックを、複数の第2ブロックに分割するブロック分割部と、
前記複数の第2ブロックに対してそれぞれ符号化ブロックパターンを割当て、第2ブロックに対する符号化ブロックパターンを組み合わせて、前記第1ブロックに対する符号化ブロックパターンを生成する符号化ブロックパターン割当部と、
を含むことを特徴とするαチャンネル映像のための符号化ブロックパターン生成装置。
【請求項2】
前記符号化ブロックパターン割当部は、
前記第2ブロックの画素値がいずれも透明である場合、いずれも不透明である場合、または透明と不透明とが混在する場合に分けて前記第2ブロックの符号化ブロックパターンを割当てること、
を特徴とする請求項1に記載のαチャンネル映像のための符号化ブロックパターン生成装置。
【請求項3】
前記符号化ブロックパターン割当部は、
前記第1ブロックを構成する複数の第2ブロックの構成形態を分類し、分類された構成形態によって前記第2ブロックの符号化ブロックパターンを割当てること、
を特徴とする請求項1に記載のαチャンネル映像のための符号化ブロックパターン生成装置。
【請求項4】
前記符号化ブロックパターン割当部は、
前記αチャンネル映像が時空間予測符号化された場合、前記第2ブロックの画素値がいずれも0である場合とそうではない場合とに分けて前記第2ブロックの符号化ブロックパターンを割当てること、
を特徴とする請求項1に記載のαチャンネル映像のための符号化ブロックパターン生成装置。
【請求項5】
αチャンネル映像で符号化単位に相当する第1ブロックを、複数の第2ブロックに分割する段階と、
前記複数の第2ブロックに対して、それぞれ符号化ブロックパターンを割当て、第2ブロックに対する符号化ブロックパターンを組み合わせて前記第1ブロックに対する符号化ブロックパターンを生成する段階と、
を含むことを特徴とするαチャンネル映像のための符号化ブロックパターン生成方法。
【請求項6】
前記符号化ブロックパターン割当段階は、
前記第2ブロックの画素値を調べる段階と、
前記第2ブロックの画素値がいずれも透明である場合、いずれも不透明である場合、または透明と不透明とが混在する場合に分けて前記第2ブロックの符号化ブロックパターンを割当てる段階と、
前記複数の第2ブロックの符号化ブロックパターンを組み合わせて前記第1ブロックの符号化ブロックパターンを生成する段階と、
を含むことを特徴とする請求項5に記載のαチャンネル映像のための符号化ブロックパターン生成方法。
【請求項7】
前記符号化ブロックパターン割当段階は、
前記複数の第2ブロックの画素値によって前記第1ブロックの構成形態を分類する段階と、
前記第1ブロックの構成形態によって前記第2ブロックの画素値がいずれも透明である場合、いずれも不透明である場合、または透明と不透明とが混在する場合に分けて前記第2ブロックの符号化ブロックパターンを割当てる段階と、
前記第1ブロックの構成形態と前記複数の第2ブロックの符号化ブロックパターンとを組み合わせて前記第1ブロックの符号化ブロックパターンを生成する段階と、
を含むことを特徴とする請求項5に記載のαチャンネル映像のための符号化ブロックパターン生成方法。
【請求項8】
前記符号化ブロックパターン割当段階は、
時空間予測符号化されたαチャンネル映像の前記第2ブロックの画素値を調べる段階と、
前記第2ブロックの画素値がいずれも0である場合とそうではない場合とに分けて前記第2ブロックの符号化ブロックパターンを割当てる段階と、
前記複数の第2ブロックの符号化ブロックパターンを組み合わせて前記第1ブロックの符号化ブロックパターンを生成する段階と、
を含むことを特徴とする請求項5に記載のαチャンネル映像のための符号化ブロックパターン生成方法。
【請求項9】
αチャンネル映像で符号化単位に相当する第1ブロックを、複数の第2ブロックに分割する段階と、
前記複数の第2ブロックに対して、それぞれ符号化ブロックパターンを割当て、第2ブロックに対する符号化ブロックパターンを組み合わせて前記第1ブロックに対する符号化ブロックパターンを生成する段階と、
を含むαチャンネル映像のための符号化ブロックパターン生成方法を実行させるプログラムを記録したコンピュータ可読記録媒体。
【請求項10】
αチャンネル映像の符号化単位に相当する第1ブロックを構成する複数の第2ブロックに対して、それぞれ符号化ブロックパターンを割当てて前記第1ブロックの符号化ブロックパターンを生成する符号化ブロックパターン生成部と、
前記第2ブロックの符号化ブロックパターンによって前記符号化ブロックパターン、または、前記符号化ブロックパターン及び前記第2ブロックの画素値を符号化してビット列を生成するビット列生成部と、
を含むことを特徴とするαチャンネル映像符号化装置。
【請求項11】
前記符号化ブロックパターン生成部は、
前記第2ブロックの画素値がいずれも透明である場合、いずれも不透明である場合、または透明と不透明とが混在する場合に分けて前記第2ブロックの符号化ブロックパターンを割当てること、
を特徴とする請求項10に記載のαチャンネル映像符号化装置。
【請求項12】
前記符号化ブロックパターン生成部は、
前記第1ブロックを構成する複数の第2ブロックの構成形態を分類し、分類された構成形態によって前記第2ブロックの符号化ブロックパターンを割当てること、
を特徴とする請求項10に記載のαチャンネル映像符号化装置。
【請求項13】
前記符号化ブロックパターン生成部は、
前記αチャンネル映像が時空間予測符号化された場合、前記第2ブロックの画素値がいずれも0である場合とそうではない場合とに分けて前記第2ブロックの符号化ブロックパターンを割当てること、
を特徴とする請求項10に記載のαチャンネル映像符号化装置。
【請求項14】
前記αチャンネル映像符号化装置は、
前記αチャンネル映像で‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して、復元された以前αチャンネル映像または復元された現在αチャンネル映像を参照して時空間予測符号化した第2ブロックを前記ビット列生成部に提供する時空間予測部と、
前記時空間予測符号化された第2ブロックに対して時空間予測補償を行って前記復元された現在αチャンネル映像を生成する時空間予測補償部と、
をさらに含むことを特徴とする請求項11に記載のαチャンネル映像符号化装置。
【請求項15】
前記αチャンネル映像符号化装置は、
前記αチャンネル映像で‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して、復元された以前映像または復元された現在映像を参照して時空間予測符号化する時空間予測部と、
前記時空間予測符号化された第2ブロックに対して変換及び量子化を行って前記ビット列生成部に提供する変換/量子化部と、
前記変換及び量子化された第2ブロックに対して逆量子化及び逆変換を行う逆変換/逆量子化部と、
前記逆量子化及び逆変換された第2ブロックに対して時空間予測補償を行って前記復元された現在映像を生成する時空間予測補償部と、
をさらに含むことを特徴とする請求項11に記載のαチャンネル映像符号化装置。
【請求項16】
前記αチャンネル映像符号化装置は、
前記αチャンネル映像で‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して、復元された以前αチャンネル映像または復元された現在αチャンネル映像を参照して時空間予測符号化した第2ブロックを前記ビット列生成部に提供する時空間予測部と、
前記時空間予測符号化された第2ブロックに対して時空間予測補償を行って、前記復元された現在αチャンネル映像を生成する時空間予測補償部と、
をさらに含むことを特徴とする請求項12に記載のαチャンネル映像符号化装置。
【請求項17】
前記αチャンネル映像符号化装置は
前記αチャンネル映像で‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して、復元された以前映像または復元された現在映像を参照して時空間予測符号化する時空間予測部と、
前記時空間予測符号化された第2ブロックに対して変換及び量子化を行って前記ビット列生成部に提供する変換/量子化部と、
前記変換及び量子化された第2ブロックに対して逆量子化及び逆変換を行う逆変換/逆量子化部と、
前記逆量子化及び逆変換された第2ブロックに対して時空間予測補償を行って、前記復元された現在映像を生成する時空間予測補償部と、
をさらに含むことを特徴とする請求項12に記載のαチャンネル映像符号化装置。
【請求項18】
前記αチャンネル映像符号化装置は、
前記αチャンネル映像に対して復元された以前映像または復元された現在映像を参照して時空間予測符号化を行って、前記時空間予測符号化されたαチャンネル映像を前記符号化ブロックパターン生成部に提供する時空間予測部と、
前記時空間予測符号化されたαチャンネル映像に対して時空間予測補償を行って、前記復元された現在映像を生成する時空間予測補償部と、
をさらに含むことを特徴とする請求項13に記載のαチャンネル映像符号化装置。
【請求項19】
前記αチャンネル映像符号化装置は、
前記αチャンネル映像に対して復元された以前映像または復元された現在映像を参照して時空間予測符号化を行って、前記時空間予測符号化されたαチャンネル映像を生成する時空間予測部と、
前記時空間予測符号化されたαチャンネル映像に対して変換及び量子化を行って変換及び量子化されたαチャンネル映像を前記符号化ブロックパターン生成部に提供する変換/量子化部と、
前記変換及び量子化されたαチャンネル映像に対して逆量子化及び逆変換を行う逆量子化/逆変換部と、
前記逆量子化及び逆変換されたαチャンネル映像に対して時空間予測補償を行って前記復元された現在映像を生成する時空間予測補償部と、
をさらに含むことを特徴とする請求項13に記載のαチャンネル映像符号化装置。
【請求項20】
前記時空間予測部は、
前記αチャンネル映像で前記第2ブロックの画素値と前記第2ブロックの当該画素値に対して復元された以前映像または復元された現在映像とを参照して、予測された画素値間の排他的論理和演算を行って時空間予測符号化された第2ブロックを生成すること、
を特徴とする請求項14ないし請求項19のいずれか1項に記載のαチャンネル映像符号化装置。
【請求項21】
αチャンネル映像の符号化単位に相当する第1ブロックを構成する複数の第2ブロックに対してそれぞれ符号化ブロックパターンを割当てて、前記第1ブロックに対する符号化ブロックパターンを生成する段階と、
前記第2ブロックの符号化ブロックパターンによって前記符号化ブロックパターン、または、前記符号化ブロックパターン及び前記第2ブロックの画素値を符号化してビット列を生成する段階と、
を含むことを特徴とするαチャンネル映像符号化方法。
【請求項22】
前記αチャンネル映像符号化方法は、
前記第2ブロックの画素値が透明である場合、いずれも不透明である場合、または、透明と不透明とが混在する混合の場合に分けて前記第2ブロックの符号化ブロックパターンを割当てる場合、
前記αチャンネル映像で‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して、復元された以前αチャンネル映像または復元された現在αチャンネル映像を参照して時空間予測符号化する段階と、
前記時空間予測符号化された第2ブロックに対して時空間予測補償を行って前記復元された現在映像を生成する段階と、
をさらに含むことを特徴とする請求項21に記載のαチャンネル映像符号化方法。
【請求項23】
前記αチャンネル映像符号化方法は、
前記第2ブロックの画素値がいずれも透明である場合、いずれも不透明である場合、または透明と不透明とが混在する場合に分けて前記第2ブロックの符号化ブロックパターンを割当てる場合、
前記αチャンネル映像で‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して、復元された以前映像または復元された現在映像を参照して時空間予測符号化する段階と、
前記時空間予測符号化された第2ブロックに対して変換及び量子化を行って前記ビット列を生成する段階に提供する段階と、
前記変換及び量子化された第2ブロックに対して逆量子化及び逆変換を行う段階と、
前記逆量子化及び逆変換された第2ブロックに対して時空間予測補償を行って前記復元された現在映像を生成する段階と、
をさらに含むことを特徴とする請求項21に記載のαチャンネル映像符号化方法。
【請求項24】
前記αチャンネル映像符号化方法は、
前記第1ブロックを構成する複数の第2ブロックの構成形態を分類し、分類された構成形態によって前記第2ブロックの符号化ブロックパターンを割当てる場合、
前記αチャンネル映像で‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して、復元された以前αチャンネル映像または復元された現在αチャンネル映像を参照して時空間予測符号化する段階と、
前記時空間予測符号化された第2ブロックに対して時空間予測補償を行って前記復元された現在映像を生成する段階と、
をさらに含むことを特徴とする請求項21に記載のαチャンネル映像符号化方法。
【請求項25】
前記αチャンネル映像符号化方法は、
前記第1ブロックを構成する複数の第2ブロックの構成形態を分類し、分類された構成形態によって前記第2ブロックの符号化ブロックパターンを割当てる場合、
前記αチャンネル映像で‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して、復元された以前映像または復元された現在映像を参照して時空間予測符号化する段階と、
前記時空間予測符号化された第2ブロックに対して変換及び量子化を行って前記ビット列を生成する段階に提供する段階と、
前記変換及び量子化された第2ブロックに対して逆量子化及び逆変換を行う段階と、
前記逆量子化及び逆変換された第2ブロックに対して時空間予測補償を行って前記復元された現在映像を生成する段階と、
をさらに含むことを特徴とする請求項21に記載のαチャンネル映像符号化方法。
【請求項26】
前記αチャンネル映像符号化方法は、
時空間予測符号化されたαチャンネル映像で前記第2ブロックの画素値がいずれも0である場合とそうではない場合とに分けて前記第2ブロックの符号化ブロックパターンを割当てる場合、
前記αチャンネル映像に対して復元された以前映像または復元された現在映像を参照して時空間予測符号化を行って前記時空間予測符号化されたαチャンネル映像を提供する段階と、
前記時空間予測符号化されたαチャンネル映像に対して時空間予測補償を行って前記復元された現在映像を生成する段階と、
をさらに含むことを特徴とする請求項21に記載のαチャンネル映像符号化方法。
【請求項27】
前記αチャンネル映像符号化方法は、
時空間予測符号化されたαチャンネル映像で前記第2ブロックの画素値がいずれも0である場合とそうではない場合とに分けて前記第2ブロックの符号化ブロックパターンを割当てる場合、
前記αチャンネル映像に対して復元された以前映像または復元された現在映像を参照して時空間予測符号化を行って時空間予測符号化されたαチャンネル映像を生成する段階と、
前記時空間予測符号化されたαチャンネル映像に対して変換及び量子化を行って変換及び量子化されたαチャンネル映像を提供する段階と、
前記変換及び量子化されたαチャンネル映像に対して逆量子化及び逆変換を行う段階と、
前記逆量子化及び逆変換されたαチャンネル映像に対して時空間予測補償を行って前記復元された現在映像を生成する段階と、
をさらに含むことを特徴とする請求項21に記載のαチャンネル映像符号化方法。
【請求項28】
前記時空間予測段階は、
前記αチャンネル映像で前記第2ブロックの画素値と前記第2ブロックの当該画素値に対して復元された以前映像または復元された現在映像を参照して予測された画素値間の排他論理和演算を行って時空間予測符号化された第2ブロックを生成すること、
を特徴とする請求項22ないし請求項27のいずれか1項に記載のαチャンネル映像符号化方法。
【請求項29】
αチャンネル映像の符号化単位に相当する第1ブロックを構成する複数の第2ブロックに対してそれぞれ符号化ブロックパターンを割当てて、前記第1ブロックに対する符号化ブロックパターンを生成する段階と、
前記第2ブロックの符号化ブロックパターンによって前記符号化ブロックパターン、または、前記符号化ブロックパターン及び前記第2ブロックの画素値を符号化してビット列を生成する段階と、
を含むαチャンネル映像符号化方法を実行させるプログラムを記録したコンピュータ可読記録媒体。
【請求項30】
αチャンネル映像を符号化したビット列を解析して、符号化単位である第1ブロック別に復号化するビット列解析部と、
前記復号化されたデータから前記第1ブロックに含まれる第2ブロック別に符号化ブロックパターンを抽出して解析する符号化ブロックパターン解析部と、
前記第2ブロックの符号化ブロックパターンによって、前記解析された符号化ブロックパターンと復号化された画素値とを利用して、現在αチャンネル映像を復元する映像復元部と、
を含むことを特徴とするαチャンネル映像復号化装置。
【請求項31】
前記映像復元部は、
前記第2ブロックの画素値が透明である場合、いずれも不透明である場合、または、透明と不透明とが混在する混合の場合に分けて前記第2ブロックの符号化ブロックパターンが割当れられる場合、
前記復号化された画素値が‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して時空間予測補償を行って現在αチャンネル映像を復元すること、
を特徴とする請求項30に記載のαチャンネル映像復号化装置。
【請求項32】
前記映像復元部は、
前記第2ブロックの画素値が透明である場合、いずれも不透明である場合、または、透明と不透明とが混在する混合の場合に分けて前記第2ブロックの符号化ブロックパターンを割当てる場合、
前記エントロピー復号化された画素値が‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して時空間予測補償と逆量子化及び逆変換とを行って現在αチャンネル映像を復元すること、
を特徴とする請求項30に記載のαチャンネル映像復号化装置。
【請求項33】
前記映像復元部は、
前記第1ブロックを構成する複数の第2ブロックの構成形態を分類し、分類された構成形態によって前記第2ブロックの符号化ブロックパターンが割当てられる場合、
前記復号化された画素値が‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して時空間予測補償を行って現在αチャンネル映像を復元すること、
を特徴とする請求項30に記載のαチャンネル映像復号化装置。
【請求項34】
前記映像復元部は、
前記第1ブロックを構成する複数の第2ブロックの構成形態を分類し、分類された構成形態によって前記第2ブロックの符号化ブロックパターンが割当てられる場合、
前記復号化された画素値が‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して時空間予測補償と逆量子化及び逆変換とを行って現在αチャンネル映像を復元すること、
を特徴とする請求項30に記載のαチャンネル映像復号化装置。
【請求項35】
前記映像復元部は、
時空間予測符号化されたαチャンネル映像で、前記第2ブロックの画素値がいずれも0である場合とそうではない場合とに分けて前記第2ブロックの符号化ブロックパターンを割当てる場合、
前記復号化された第2ブロックの符号化ブロックパターンに関係なく、すべての第2ブロックに対して時空間予測補償を行って現在αチャンネル映像を復元すること、
を特徴とする請求項30に記載のαチャンネル映像復号化装置。
【請求項36】
前記映像復元部は、
時空間予測符号化されたαチャンネル映像で前記第2ブロックの画素値がいずれも0である場合とそうではない場合とに分けて前記第2ブロックの符号化ブロックパターンを割当てる場合、
前記復号化された第2ブロックの符号化ブロックパターンに関係なく、すべての第2ブロックに対して時空間予測補償と逆量子化及び逆変換とを行って現在αチャンネル映像を復元すること、
を特徴とする請求項30に記載のαチャンネル映像復号化装置。
【請求項37】
前記映像復元部は、
前記復号化された第2ブロックの画素値と、前記第2ブロックの画素値に対して復元された以前映像または復元された現在映像を参照して、予測された画素値間の排他論理和演算を行って時空間予測補償された第2ブロックを生成すること、
を特徴とする請求項31ないし請求項36のいずれか1項に記載のαチャンネル映像復号化装置。
【請求項38】
αチャンネル映像を符号化したビット列を解析して、符号化単位の第1ブロック別に復号化する段階と、
前記復号化されたデータから前記第1ブロックに含まれる第2ブロック別に符号化ブロックパターンを抽出して解析する段階と、
前記第2ブロックの符号化ブロックパターンによって、前記解析された符号化ブロックパターンと復号化された画素値とを利用して現在αチャンネル映像を復元する段階と、
を含むことを特徴とするαチャンネル映像復号化方法。
【請求項39】
前記映像復元段階は、
前記第2ブロックの画素値がいずれも透明である場合、いずれも不透明である場合、または透明と不透明とが混在する場合に分けて前記第2ブロックの符号化ブロックパターンが割当てられる場合、
前記復号化された画素値が‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して時空間予測補償を行って現在αチャンネル映像を復元すること、
を特徴とする請求項38に記載のαチャンネル映像復号化方法。
【請求項40】
前記映像復元段階は、
前記第2ブロックの画素値がいずれも透明である場合、いずれも不透明である場合、または透明と不透明とが混在する場合に分けて前記第2ブロックの符号化ブロックパターンを割当てる場合、
前記復号化された画素値が‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して時空間予測補償と逆量子化及び逆変換とを行って現在αチャンネル映像を復元すること、
を特徴とする請求項38に記載のαチャンネル映像復号化方法。
【請求項41】
前記映像復元段階は、
前記第1ブロックを構成する複数の第2ブロックの構成形態を分類し、分類された構成形態によって前記第2ブロックの符号化ブロックパターンが割当てられる場合、
前記復号化された画素値が‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して時空間予測補償を行って現在αチャンネル映像を復元すること、
を特徴とする請求項38に記載のαチャンネル映像復号化方法。
【請求項42】
前記映像復元段階は、
前記第1ブロックを構成する複数の第2ブロックの構成形態を分類し、分類された構成形態によって前記第2ブロックの符号化ブロックパターンが割当てられる場合、
前記復号化された画素値が‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して時空間予測補償と逆量子化及び逆変換とを行って現在αチャンネル映像を復元すること、
を特徴とする請求項38に記載のαチャンネル映像復号化方法。
【請求項43】
前記映像復元段階は、
時空間予測符号化されたαチャンネル映像で前記第2ブロックの画素値がいずれも0である場合とそうではない場合とに分けて前記第2ブロックの符号化ブロックパターンを割当てる場合、
前記復号化された第2ブロックの符号化ブロックパターンに関係なく、すべての第2ブロックに対して時空間予測補償を行って現在αチャンネル映像を復元すること、
を特徴とする請求項38に記載のαチャンネル映像復号化方法。
【請求項44】
前記映像復元段階は、
時空間予測符号化されたαチャンネル映像で前記第2ブロックの画素値がいずれも0である場合とそうではない場合とに分けて前記第2ブロックの符号化ブロックパターンを割当てる場合、
前記復号化された第2ブロックの符号化ブロックパターンに関係なく、すべての第2ブロックに対して時空間予測補償と逆量子化及び逆変換とを行って現在αチャンネル映像を復元すること、
を特徴とする請求項38に記載のαチャンネル映像復号化方法。
【請求項45】
前記復号化された第2ブロックの画素値と、前記第2ブロックの画素値に対して復元された以前映像または復元された現在映像を参照して予測された画素値との間の排他論理和演算を行って時空間予測補償された第2ブロックを生成すること、
を特徴とする請求項39ないし請求項44のいずれか1項に記載のαチャンネル映像復号化方法。
【請求項46】
αチャンネル映像を符号化したビット列を解析して符号化単位の第1ブロック別に復号化する段階と、
前記復号化されたデータから前記第1ブロックに含まれる第2ブロック別に符号化ブロックパターンを抽出して解析する段階と、
前記第2ブロックの符号化ブロックパターンによって、前記解析された符号化ブロックパターンと復号化された画素値とを利用して現在αチャンネル映像を復元する段階と、
を含むαチャンネル映像復号化方法を実行させるプログラムを記録したコンピュータ可読記録媒体。
【請求項47】
前記ビット列生成部では、前記ブロックの画素値を符号化するために使用するスキャニング順序が、隣接ブロックの画素値を使用して計算した垂直方向に対する勾配及び水平方向に対する勾配によって変わること、
を特徴とする請求項10に記載のαチャンネル映像符号化装置。
【請求項48】
前記ビット列生成部では、前記ブロックの画素値を符号化するために使用するスキャニング順序が、隣接ブロックの画素値を使用して計算した垂直方向に対する勾配及び水平方向に対する勾配によって変わること、
を特徴とする請求項14ないし請求項19のいずれか1項に記載のαチャンネル映像符号化装置。
【請求項49】
前記ビット列生成部では、前記ブロックの画素値を符号化するために使用するスキャニング順序が、予測モードによって変わること、
を特徴とする請求項14ないし請求項19のいずれか1項に記載のαチャンネル映像符号化装置。
【請求項50】
前記ビット列解析部では、前記ブロックの画素値を復号化するために使用するスキャニング順序が、隣接ブロックの画素値を使用して計算した垂直方向に対する勾配及び水平方向に対する勾配によって変わること、
を特徴とする請求項30に記載のαチャンネル映像復号化装置。
【請求項51】
前記ビット列解析部では、前記ブロックの画素値を復号化するために使用するスキャニング順序が、隣接ブロックの画素値を使用して計算した垂直方向に対する勾配及び水平方向に対する勾配によって変わること、
を特徴とする請求項31ないし請求項36のいずれか1項に記載のαチャンネル映像復号化装置。
【請求項52】
前記ビット列解析部では、前記ブロックの画素値を復号化するために使用するスキャニング順序が、予測モードによって変わること、
を特徴とする請求項31ないし請求項36のいずれか1項に記載のαチャンネル映像復号化装置。
【発明の詳細な説明】【技術分野】
【0001】
本発明は映像符号化及び復号化に係り、特にαチャンネル映像のための符号化ブロックパターン(Coded Block Pattern:CBP)を生成する装置及び方法とそれを利用してαチャンネル映像を符号化または復号化するための装置及び方法に関する。
【背景技術】
【0002】
αチャンネル映像は、一般映像で特定領域を選択するマスクの役割を行う。ISO/IEC MPEG−4ビデオ符号化国際標準では、映像内のオブジェクト単位で符号化できる方法を提供するが、このとき、オブジェクト単位で区分するために形状情報を別途に符号化する。この形状情報は、αチャンネル映像と同一に使用することができる。しかし、MPEG−4では、一般映像を符号化する方法とは異なる方法で形状情報を符号化するため、αチャンネル映像の符号化装置を具現することが容易ではなく、その計算量が多くなるためリアルタイムでの処理が難しい。
【0003】
最近、標準化が進められているISO/IEC MPEG及びITU−T VCEGのJVT(Joint Video Team)のH.264/MPEG−4 pt.10 AVC標準化技術(非特許文献1)では、多様な方法で空間及び時間予測符号化を行って、一般的な映像の符号化効率を大きく向上させた。また、整数変換符号化という改善された機能を使用し、エントロピー符号化もCABAC(Context Adaptive Binary Arithmetic Coding)を使用して符号化効率を向上させた。
しかしながら、αチャンネル映像を処理する方法については提供していない。
【非特許文献1】“Text of ISO/IEC FDIS 14496−10:Information Technology−Coding of audio−visual objects−Part10:Advanced Video Coding”、ISO/IEC JTC1/SC29/WG11,N5555,March,2003
【発明の開示】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする技術的課題は、αチャンネル映像のためのCBPを生成するための装置及び方法を提供することである。
また、本発明が解決しようとする他の技術的課題は、αチャンネル映像を符号化または復号化するための装置及び方法を提供することである。
【課題を解決するための手段】
【0005】
前記した課題を達成するためになされた本発明によるαチャンネルのための符号化ブロックパターン生成装置は、αチャンネル映像で符号化単位に当る第1ブロックを複数の第2ブロックに分割するブロック分割部と、前記複数の第2ブロックに対してそれぞれ符号化ブロックパターンを割当て、第2ブロックに対する符号化ブロックパターンを組み合わせて前記第1ブロックに対する符号化ブロックパターンを生成する符号化ブロックパターン割当部と、を含む。
【0006】
前記した課題を達成するためになされた本発明によるαチャンネルのための符号化ブロックパターン生成方法は、αチャンネル映像で符号化単位に当る第1ブロックを複数の第2ブロックに分割する段階と、前記複数の第2ブロックに対してそれぞれ符号化ブロックパターンを割当て、第2ブロックに対する符号化ブロックパターンを組み合わせて前記第1ブロックに対する符号化ブロックパターンを生成する段階と、を含む。
【0007】
前記した他の課題を達成するためになされた本発明によるαチャンネル映像符号化装置は、αチャンネル映像で符号化単位に当る第1ブロックを構成する複数の第2ブロックに対してそれぞれ符号化ブロックパターンを割当てて前記第1ブロックに対する符号化ブロックパターンを生成する符号化ブロックパターン生成部と、前記第2ブロックの符号化ブロックパターンによって前記符号化ブロックパターン、または、前記符号化ブロックパターン及び前記第2ブロックの画素値を符号化するエントロピー符号化部と、を含む。
【0008】
前記した他の課題を達成するためになされた本発明によるαチャンネル映像符号化方法は、αチャンネル映像で符号化単位に当る第1ブロックを構成する複数の第2ブロックに対してそれぞれ符号化ブロックパターンを割当てて前記第1ブロックに対する符号化ブロックパターンを生成する段階と、前記第2ブロックの符号化ブロックパターンによって前記符号化ブロックパターン、または、前記符号化ブロックパターン及び前記第2ブロックの画素値を符号化する段階と、を含む。
【0009】
前記した他の課題を達成するためになされた本発明によるαチャンネル映像復号化装置は、αチャンネル映像を符号化したビット列を解析して符号化単位である第1ブロック別に復号化するビット列解析部と、前記復号化されたデータから前記第1ブロックに含まれる第2ブロック別に符号化ブロックパターンを抽出して解析する符号化ブロックパターン解析部と、前記第2ブロックの符号化ブロックパターンによって、前記解析された符号化ブロックパターンと復号化された画素値とを利用して現在αチャンネル映像を復元する映像復元部と、を含む。
【0010】
前記した他の課題を達成するためになされた本発明によるαチャンネル映像復号化方法は、αチャンネル映像を符号化したビット列を解析して符号化単位の第1ブロック別に復号化する段階と、前記復号化されたデータから前記第1ブロックに含まれる第2ブロック別に符号化ブロックパターンを抽出して解析する段階と、前記第2ブロックの符号化ブロックパターンによって、前記解析された符号化ブロックパターンと復号化された画素値とを利用して現在αチャンネル映像を復元する段階と、を含む。
【0011】
また、本発明では前記αチャンネル映像のための符号化ブロックパターン生成方法と前記αチャンネル映像符号化/復号化方法とをコンピュータに実行させるプログラムを記録したコンピュータ可読記録媒体を提供する。
【発明の効果】
【0012】
本発明によるαチャンネル映像符号化/復号化装置及び方法は、一般映像信号とは独立してαチャンネル映像の符号化及び復号化が可能であるだけでなく、その構成が、一般的な映像符号化/復号化装置及び方法、例えば、H.264標準技術の構造と互換性があるため、共に具現して使用することが容易であり、少ない計算量で高い圧縮率を実現できる。
【0013】
また、各ブロック別符号化ブロックパターンを組み合わせて、符号化単位で符号化ブロックパターンを生成することによって符号化ブロックパターンの符号化効率を向上させ、時空間予測符号化時に排他論理和演算を使用することによって画素値の符号化効率を向上させることができる。
【発明を実施するための最良の形態】
【0014】
以下、添付した図面を参照して、本発明の実施の形態によるαチャンネル映像符号化/復号化装置及び方法について詳細に説明する。
【0015】
図1は、本実施の形態によるαチャンネル映像のための符号化ブロックパターン(以下、CBPと省略する)生成装置の構成を示すブロック図である。CBP生成装置は、ブロック分割部110及びCBP割当部130より構成される。
ブロック分割部110では、0または1の画素値を有するαチャンネル映像を、符号化単位に当る第1ブロックに分割した後、第1ブロックを所定サイズの第2ブロックに分割する。符号化単位が、例えば16×16マクロブロックである場合、αチャンネル映像をマクロブロックに分割し、各マクロブロックを、例えば、4個の8×8ブロックに分割する。
【0016】
CBP割当部130では、ブロック分割部110で分割された第1ブロックに含まれる各第2ブロックに対してCBPを割当て、かつ組み合わせて第1ブロックの最終的なCBPを生成する。
【0017】
図2は、図1に示したCBP割当部130による、元のαチャンネル映像に対してCBPを割当てる動作の例を説明するフローチャートである。
図2を参照すれば、第1ブロックを16×16画素ブロックとし、第1ブロックを4分割して4個の8×8画素ブロックとし、これを第2ブロックとしたときの、第2ブロックのCBP値を割当てる(210段階)。このとき、CBP値は{transparent,opaque,mixed}の値のうち一つを有する。一般的に、transparent(透明)は背景領域を、opaque(不透明)は選択された領域を意味するが、ここでは、第2ブロックの画素値全体がtransparentであるときに、このブロックのCBP値をtransparent(例えば、0)とし、第2ブロックの画素値全体がopaqueである時にこのブロックのCBP値をopaque(例えば、1)とし、第2ブロックの画素値が、一部はtransparent、残りはopaqueの値を有する場合、CBP値をmixed(例えば、2)とする。
【0018】
230段階では、第1ブロックに対するCBP値を決定する。このとき、4個の第2ブロックのCBP値を組み合わせて一つのCBP値を構成する。4個のブロックの有しうる値の数が3個であるので、第1ブロックのCBPの有しうる値の最大数は34=81個になる。このような第2ブロックのCBP値の81個の組み合わせから、第1ブロックのCBP値を決定する。81個の値が発生するので、固定長符号化をする場合、7ビットの符号が必要であるが、一般的に81個の組み合わせが発生する頻度が相異なるので、頻繁に発生する組み合わせの順序によって第1ブロックのCBP値を付与して可変長符号化することが効果的である。
【0019】
または、81個の組み合わせのうち、発生頻度の低い組み合わせを統合して組み合わせの数を減らして符号化効率を向上させることもできる。例えば、いずれも0の画素値を有する8×8ブロックでマクロブロックが構成されるか、いずれも1の画素値を有する8×8ブロックでマクロブロックが構成されるか、いずれも0の画素値を有する8×8ブロックといずれも1の画素値を有する8×8ブロックとよりなる場合、16×16マクロブロックの構成形態(the configuration form)を‘00’に設定する。いずれも0の画素値を有する8×8ブロック及び0の画素値と1の画素値とが混在した8×8ブロックよりマクロブロックが構成される場合、マクロブロックの構成形態を‘01’に設定する。いずれも1の画素値を有する8×8ブロック及び0の画素値と1の画素値とが混在した8×8ブロックよりマクロブロックが構成される場合、マクロブロックの構成形態を‘10’に設定する。いずれも0の画素値を有する8×8ブロック、いずれも1の画素値を有する8×8ブロック及び0の画素値と1の画素値とが混在した8×8ブロックよりマクロブロックが構成される場合、マクロブロックの構成形態を‘01’に設定する。
【0020】
次に、マクロブロックに含まれる4個の8×8ブロックのCBP情報をマクロブロックの構成形態によって4ビットに設定する。すなわち、各8×8ブロックのCBP情報は1ビットに設定されうる。例えば、マクロブロックの構成形態が‘10’に設定される場合、いずれも1の画素値を有する8×8ブロックのCBP情報は0、0の画素値と1の画素値とが混在した8×8ブロックのCBP情報は1に設定する。
【0021】
次に、マクロブロックの構成形態を表す2ビットとマクロブロックに含まれたブロックのCBP情報を表す4ビットとを組み合わせて一つのマクロブロックに対するCBPを生成する。このようにマクロブロックに対するCBPを生成すれば、一つのマクロブロックの有しうるCBPの種類は6ビットで表現できる48個になる。このとき、4個の8×8ブロックの構成によって一つのマクロブロックが有しうる場合の数は、34(=81)個存在するが、符号化実験を通じて81個の場合の数のうち確率的な統計によって確率の高い48個の場合の数を選択したものである。表現しない31個の場合の数は、実験結果、ほぼ0%に近い確率分布を示した。
前記した210段階を図表化すれば、次に示す表1のように表せる。
【表1】


【0022】
表1を参照すれば、いずれも0の画素値を有する2個の8×8ブロックと、0の画素値および1の画素値が混在した2個の8×8ブロックとから、マクロブロックが構成される場合には、マクロブロックの構成形態は‘01’に設定され、4個の8×8ブロックのCBP情報は‘0011’に設定される。すなわち、一つのマクロブロックに対するCBPは‘010011’(=19)になる。
【0023】
図3は、図1に示したCBP割当部130による、予測符号化されたαチャンネル映像に対してCBPを割当てる動作の例を説明するフローチャートである。
図3を参照すれば、310段階では、予測符号化されたαチャンネル映像のマクロブロックを構成する各8×8ブロックに含まれる画素値が調べられる。予測符号化されたαチャンネル映像は、現在のαチャンネル映像と、空間予測映像(a spatial prediction image)または時間予測映像(a temporal prediction image)との間の排他論理和演算を行うことによって得られる。このとき、現在のαチャンネル映像と空間予測映像または時間予測映像との2つの画素値が同じであれば0、異なれば1の値が算出される。予測符号化されたα映像で任意のブロックがいずれも0の画素値を有する場合にCBP情報を0、任意のブロックがいずれも1の画素値を有するか、または0の画素値と1の画素値とが混在した場合にCBP情報を1に割当てる。
【0024】
330段階では、4個の8×8ブロックに対する4個のCBP情報を組み合わせて一つの16×16マクロブロックに対するCBPを生成する。このようにマクロブロックのCBPを生成すれば、一つのマクロブロックの有することができるCBPの種類は、一つの8×8ブロックが{0,1}のうち一つの値を有することができるため、24=16個になる。
【0025】
図4は、本実施の形態によるαチャンネル映像符号化装置の基本的な構成を示すブロック図である。αチャンネル映像符号化装置は、CBP生成部410及びビット列生成部450を含んで構成される。ここで符号化部(図5ないし図8の430)は、オプションとして含まれる構成要素であり、CBP生成部410の前段側または後段側に配置することができる。
図4を参照すれば、CBP生成部410では、αチャンネル映像の各符号化単位に対してCBPを生成する。元のαチャンネル映像または予測符号化されたαチャンネル映像で各符号化単位別にCBPを生成する方法は、図2または図3に示した方法による。各符号化単位別にCBP情報が生成された元のαチャンネル映像または予測符号化されたαチャンネル映像は、ビット列生成部450に提供される。
【0026】
ビット列生成部450では、元のαチャンネル映像または予測符号化されたαチャンネル映像の各符号化単位に対してCBP生成部410で生成されたCBPによって符号化を行ってビット列を生成する。ここで、符号化単位に含まれる各ブロックの画素値が符号化されるか否かは、各ブロックに割当てられたCBPによって決定される。望ましくは、ビット列生成部450にエントロピー符号化を適用する。
【0027】
ビット列生成部450が元のαチャンネル映像を受信した場合は、一部のマクロブロックはCBPのみから、その他のマクロブロックはCBPと画素値とから構成されるビット列が出力される。
また、CBPを生成した後に、予測符号化したαチャンネル映像を受信した場合、ビット列生成部450で生成されるビット列は、一部のマクロブロックはCBPのみから、その他のマクロブロックはCBP、予測モード及び予測符号化された画素値から構成される。
また、CBPを生成した後に、予測符号化、変換及び量子化したαチャンネル映像を受信した場合、ビット列生成部450で生成されるビット列は、一部のマクロブロックはCBPのみ、その他のマクロブロックはCBP、予測モード及び量子化された変換係数値から構成される。
また、CBPを生成する前に、予測符号化されたαチャンネル映像を受信した場合、ビット列生成部450で生成されるビット列は、一部のマクロブロックは予測モードとCBPとから、その他のマクロブロックは予測モード、CBP及び予測符号化された画素値から構成される。
また、CBPを生成する前に、予測符号化、変換および量子化されたαチャンネル映像を受信した場合、ビット列生成部450で生成されるビット列は、一部のマクロブロックは予測モードとCBPとから、その他のマクロブロックは予測モード、CBP及び量子化された変換係数値から構成される。
【0028】
図2に示した方法によって、各符号化単位のCBPを48個のうちから生成する場合において、各符号化単位のCBPで先頭の2ビットが‘01’または‘10’に設定すると、最後の4ビットに設定されたCBPの1つのマクロブロックである8×8ブロックは、0の画素値と1の画素値とが混在するので、当該8×8ブロックのCBP及びブロック内部の画素値を符号化してビット列に含め、それ以外の場合は、0の画素値と1の画素値とが混在していない場合であるため、各8×8ブロックのCBPのみを符号化してビット列に含める。また、図2に示した方法によって、各符号化単位のCBPを81個のうちから生成する場合において、各符号化単位でCBP情報が0または1である8×8ブロックは、CBP情報のみをエントロピー符号化してビット列に含め、CBP情報が2である8×8ブロックは、CBP情報及びブロック内部の画素値を符号化してビット列に含める。
【0029】
一方、図3に示した方法によって、各符号化単位のCBPを16個のうちから生成する場合において、各符号化単位でCBP情報が0である8×8ブロック、すなわち、0の画素値のみからなるブロックの場合は、CBP情報のみをエントロピー符号化してビット列に含め、CBP情報が1である8×8ブロック、すなわち、1の画素値のみからなる、または0及び1の画素値が混在して構成される場合は、CBP情報及びブロック内部の画素値を符号化してビット列に含める。
【0030】
一方、通常のH.264では、CAVLC(Context-based Adaptive Variable Length Coding)及びCABACという2つのエントロピー符号化方法をサポートする。図2に示したCBP生成方法を使用する場合、H.264で使用するCAVLC及びCABAC用VLCテーブルを利用することができる。但し、αチャンネル映像の特性によってCBPの確率分布が一般映像のVLCテーブル上の確率分布と異なるので、αチャンネル映像のCBPの確率分布によってVLCテーブルを再構成する必要がある。また、CABACエントロピー符号化を使用する場合には、αチャンネル映像の特性上、イントラモードまたはインターモードに関係なく画素値が0である場合が多いので、CABACのための初期モデルをインターモードで使用するモデルとして適用して使用することによって、エントロピー符号化の効率を向上させることができる。
【0031】
一方、時空間予測符号化を行った後にCBPを設定する場合、一つのマクロブロックは、16個のうちから一つのCBPを有することができる。この場合、一つのマクロブロックのCBP値によって割当てられるエントロピー符号化値の例は、次に示す表2の通りであり、このテーブルはイントラモード及びインターモードに対して区分せずに同一に適用することができる。
【表2】


【0032】
表2を参照すれば、任意のマクロブロックのCBPが8である場合、4の値に符号化されることがわかる。
【0033】
図5は、図4に示したαチャンネル映像符号化装置の第1実施例による構成を示すブロック図であって、符号化部430は、CBP生成部410とビット列生成部450との間に位置し、時空間予測部510及び時空間予測補償部530を含んで構成される。これにより、エントロピー符号化以前に時空間予測符号化を行い、予測符号化されたデータに対してエントロピー符号化を行う。
図5を参照すれば、CBP生成部410は、図2に示した方法に基づいてマクロブロックに対するCBPを生成する。CBPの生成結果、現在αチャンネル映像FnでCBPが‘transparent’または‘opaque’である8×8ブロックは、ビット列生成部450に提供されると同時に、そのまま復元された現在αチャンネル映像F’nとなり、CBPがmixedである8×8ブロックは時空間予測部510に提供される。
【0034】
時空間予測部510では、イントラモードの場合、復元された現在αチャンネル映像F’nを参照する空間予測を行って空間予測映像を生成し、現在αチャンネル映像Fnと空間予測映像との間の排他論理和演算を行い、その結果値を時空間予測補償部530に提供すると同時に、ビット列生成部450に提供する。一方、時空間予測部510では、インターモードの場合、復元された以前αチャンネル映像F’n−1を参照する時間予測を行って時間予測映像を生成し、現在αチャンネル映像Fnと時間予測映像との間の排他論理和演算による符号化を行い、その結果値を時空間予測補償部530に提供すると同時に、ビット列生成部450に提供する。このように現在のαチャンネル映像と空間予測映像または時間予測映像との間の排他論理和演算による符号化を行えば、現在のαチャンネル映像と空間予測映像または時間予測映像との2つの画素値が同じであれば0、異なれば1の値が出る。すなわち、時空間予測によって{0,1}の2つの画素値のみ出るので、画素値の符号化効率を向上させることができる。復号化時にも同様に排他論理和演算を行って元のαチャンネル映像を復元することができる。
【0035】
時空間予測補償部530では、時空間予測部510から提供される時間予測符号化されたデータまたは空間予測符号化されたデータを補償して復元された現在αチャンネル映像F’nを生成する。一方、CBP生成部410での生成されたCBPのすべての画素値が‘opaque’である8×8ブロックを表す場合及びすべての画素値が‘transparent’である8×8ブロックを表す場合、各8×8ブロックはCBPに合せて現在αチャンネル映像Fnを復元する。
【0036】
図6は、図4に示したαチャンネル映像符号化装置の第2実施例による構成を示すブロック図であって、図5に示したαチャンネル映像符号化装置に、変換/量子化部630及び逆量子化/逆変換部650をさらに含んで構成される。これにより、エントロピー符号化以前に時空間予測符号化を行い、時空間予測符号化されたデータに対して変換及び量子化を行い、変換及び量子化されたデータをエントロピー符号化する。
図6に示す時空間予測部610には、現在αチャンネル映像Fnの0の画素値と1の画素値とが混在するブロックが入力される。時空間予測部610では、イントラモードの場合、復元された現在αチャンネル映像F’nを参照する空間予測を行って空間予測映像を生成し、現在のαチャンネル映像と空間予測映像間の排他論理和演算による符号化を行い、その結果値を変換/量子化部630に提供する。そして、時空間予測部610では、インターモードで復元された以前αチャンネル映像F’n−1を参照して時間予測符号化を行って時間予測映像を生成し、現在のαチャンネル映像と空間予測映像間の排他論理和演算による符号化を行い、その結果値を符号化して変換/量子化部630に提供する。
【0037】
変換/量子化部630では、時空間予測部610から提供される時空間予測符号化されたデータを、例えば、DCT変換のような変換及び量子化を行い、変換及び量子化されたデータをビット列生成部450に提供すると同時に、逆量子化/逆変換部650に提供する。
逆量子化/逆変換部650では、変換/量子化部630で変換及び量子化されたデータを逆量子化及び逆変換し、逆量子化及び逆変換されたデータを時空間予測補償部670に提供する。
【0038】
時空間予測補償部670では、逆量子化/逆変換部650で逆量子化及び逆変換されたデータを補償して、復元された現在αチャンネル映像F’nを生成する。一方、CBP生成部410での生成されたCBPのすべての画素値が‘opaque’である8×8ブロックを表す場合及びすべての画素値が‘transparent’である8×8ブロックを表す場合、各8×8ブロックはCBPに合せて現在αチャンネル映像F’nを復元する。
【0039】
図7は、図4に示したαチャンネル映像符号化装置の第3実施例による構成を示すブロック図であって、符号化部430はCBP生成部410の前段側に位置し、時空間予測部710及び時空間予測補償部730を含んで構成される。これにより、復元された以前αチャンネル映像または復元された現在αチャンネル映像を参照して現在αチャンネル映像に対して時空間予測符号化を行い、予測符号化されたデータに対してCBPを生成する。
【0040】
図7に示した時空間予測部710では、現在αチャンネル映像Fnを入力として、イントラモードの場合、復元された現在αチャンネル映像F’nを参照する空間予測を行って空間予測映像を生成し、現在αチャンネル映像Fnと空間予測映像間の排他論理和演算による符号化を行い、その結果値をCBP生成部410に提供する。一方、インターモードの場合、時空間予測部710では、復元された以前αチャンネル映像F’n−1を参照して時間予測を行って時間予測映像を生成し、現在αチャンネル映像Fnと時間予測映像間の排他論理和演算による符号化を行い、その結果値をCBP生成部410に提供する。
このように現在のαチャンネル映像と空間予測映像または時間予測映像との間の排他論理和演算を行えば、現在のαチャンネル映像と空間予測映像または時間予測映像との2つの画素値が同じであれば0、異なれば1の値が出る。すなわち、時空間予測によって{0,1}の2つの画素値のみ出るので、画素値の符号化効率を向上させることができる。復号化時にも同様に、排他論理和演算を行って元のαチャンネル映像を復元することができる。
【0041】
CBP生成部410は、図3に示した方法に基づいてマクロブロックに対するCBPを生成する。CBP生成部410では、時空間予測部710で時空間予測符号化されたデータに対してCBPを生成し、時空間予測符号化されたデータは、CBPと共にビット列生成部450及び時空間予測補償部730に提供される。時空間予測符号化されたデータは‘opaque’と‘transparent’に関係なく現在αチャンネル映像と時間予測映像または空間予測映像との2つの画素値が同じである場合は0、異なる場合は1の値を有するので、すべての画素値が0であるブロックのCBP情報は0を、それ以外のブロックのCBP情報は1に設定することができる。これにより、一つのマクロブロックに対するCBPの種類を24(=16)個に減らせるので、CBPの符号化効率を向上させることができる。
【0042】
ビット列生成部450では、CBP生成部410から提供される各ブロックのCBPを参照して、CBPが0であるブロックは、ブロック内部の画素値をエントロピー符号化せずにCBPのみをエントロピー符号化し、CBPが1であるブロックは、CBP及びブロック内部の画素値をエントロピー符号化してビット列を生成する。
時空間予測補償部730では、CBP生成部410から提供されるCBPに関係なく時空間予測符号化されたデータを補償して復元された現在αチャンネル映像F’nを生成する。
【0043】
図8は、図4に示したαチャンネル映像符号化装置の第4実施例による構成を示すブロック図であって、図7に示したαチャンネル映像符号化装置に、変換/量子化部830及び逆量子化/逆変換部850をさらに含んで構成される。これにより、復元された以前αチャンネル映像または復元された現在αチャンネル映像を参照して現在αチャンネル映像に対して時空間予測符号化を行い、予測符号化されたデータに対して変換及び量子化を行った後、各ブロックに対してCBPを生成する。
図8に示した時空間予測部810では、イントラモードの場合、復元された現在αチャンネル映像F’nを参照する空間予測を行って空間予測映像を生成し、現在αチャンネル映像Fnと空間予測映像間の排他論理和演算による符号化を行い、その結果値を変換/量子化部830に提供する。一方、時空間予測部810では、インターモードの場合、復元された以前αチャンネル映像F’n−1を参照する時間予測を行って時間予測映像を生成し、現在αチャンネル映像Fnと時間予測映像間の排他論理和演算による符号化を行い、その結果値を変換/量子化部830に提供する。
【0044】
変換/量子化部830では、時空間予測部810で時空間予測符号化されたデータに対して変換及び量子化し、変換及び量子化されたデータをCBP生成部410に提供する。時空間予測符号化されたデータで画素値がいずれも0であるブロックに対しては変換及び量子化を行わずにCBP生成部410に提供される。
CBP生成部410では、変換/量子化部830から提供されるデータに対してCBPを生成し、変換及び量子化されたデータは、CBPと共にビット列生成部450及び逆量子化/逆変換部850に提供され、変換及び量子化されていないデータは、CBPと共にビット列生成部450及び時空間予測補償部870に提供される。
【0045】
ビット列生成部450では、CBP生成部410から提供される各ブロックのCBP情報を参照して、CBP情報が0であるブロックは、ブロック内部の画素値をエントロピー符号化せずにCBP情報のみをエントロピー符号化し、CBP情報が1であるブロックは、CBP情報をエントロピー符号化した後、ブロック内部の画素値をエントロピー符号化してビット列を生成する。
【0046】
逆量子化/逆変換部850では、CBP生成部410から提供される変換及び量子化されたデータを逆量子化及び逆変換し、この逆量子化及び逆変換されたデータを時空間予測補償部870に提供する。
【0047】
時空間予測補償部870では、逆量子化/逆変換部850で逆量子化及び逆変換されたデータまたは時空間予測部810で予測符号化されたデータを補償して復元された現在αチャンネル映像F’nを生成する。一方、CBP生成部410で生成されたCBPのすべての画素値が0である8×8ブロックを表す場合、当該8×8ブロックは時空間予測補償された後に、復元された現在αチャンネル映像F’nを生成する。
【0048】
図9は、本実施の形態によるαチャンネル映像符号化方法を説明するフローチャートである。
図9を参照すれば、910段階では、αチャンネル映像の各符号化単位に対してCBPを生成する。このとき、αチャンネル映像の各ブロック別にCBPを生成する方法は、図2に示した方法による。
930段階では、αチャンネル映像の各ブロック別に生成されたCBPによってエントロピー符号化を行ってビット列を生成する。ここで、910段階以後に時空間予測符号化を行うか、または時空間予測符号化と変換及び量子化とを行うことができる。
【0049】
一方、910段階以前に時空間予測符号化を行うか、または時空間予測符号化と変換及び量子化とを行うこともできる。この場合、910段階でαチャンネル映像の時空間予測符号化されたデータに対して各ブロック別にCBPを生成する方法は、前記したように図3に示した方法による。これにより、930段階でエントロピー符号化を行う方法も前記したように変更することができる。
【0050】
図10は、本実施の形態によるαチャンネル映像復号化装置の基本的な構成を示すブロック図である。αチャンネル映像復号化装置は、ビット列解析部1010、CBP解析部1030及び映像復元部1050を含んで構成される。αチャンネル映像符号化装置で時空間予測符号化が行われたか否かによって映像復元部1050の構成が変更される。
図10に示したビット列解析部1010では、入力されるビット列を解析する。望ましくは、エントロピー復号化を適用する。
CBP解析部1030では、ビット列解析部1010で解析されたデータについて、CBP情報を各マクロブロック別に解析する。
【0051】
映像復元部1050は、CBP解析部1030で解析されたCBP情報を参照して任意のマクロブロックでいずれも‘opaque’または、いずれも‘transparent’である8×8ブロックの場合に、CBPに合せてαチャンネル映像を復元し、2つの場合が混在する8×8ブロックの場合に、当該ブロックのエントロピー復号化された画素値を利用してαチャンネル映像を復元する。
【0052】
図11は、図10に示したαチャンネル映像復号化装置の第1実施例による構成を示すブロック図である。αチャンネル映像復号化装置の映像復元部1050は、時空間予測補償部1110を含んで構成される。図11のαチャンネル映像復号化装置は、図5に示したαチャンネル映像符号化装置に対応する装置である。
図11に示した時空間予測補償部1110では、CBP解析部1030で解析されたCBP情報を参照し‘opaque’と‘transparent’とが混在する8×8ブロックの場合、当該ブロックの画素値をエントロピー復号化した後、時空間予測補償を行って現在αチャンネル映像F’nを復元する。このとき、イントラモードの場合、復元された現在αチャンネル映像F’nを参照する空間予測補償を行い、インターモードの場合、復元された以前αチャンネル映像F’n−1を参照する時間予測補償を行う。
一方、CBP解析部1030で解析されたCBP情報を参照していずれも‘opaque’であるブロックと、いずれも‘transparent’である8×8ブロックとは、CBPに合せて現在αチャンネル映像F’nを復元する。
【0053】
図12は、図10に示したαチャンネル映像復号化装置の第2実施例による構成を示すブロック図であって、映像復元部1050は、図11に示したαチャンネル映像復号化装置に対して、逆量子化/逆変換部1210をさらに含んで構成される。図12のαチャンネル映像復号化装置は、図6のαチャンネル映像符号化装置に対応する装置である。
図12に示した逆量子化/逆変換部1210では、CBP解析部1030で解析されたCBP情報を参照して‘opaque’と‘transparent’とが混在する8×8ブロックの場合、当該ブロックの画素値を逆量子化及び逆変換し、逆量子化及び逆変換されたデータを時空間予測補償部1230に提供する。
時空間予測補償部1230では、逆量子化及び逆変換されたデータに対して時空間予測補償を行って現在αチャンネル映像F’nを復元する。このとき、イントラモードの場合、復元された現在αチャンネル映像F’nを参照する空間予測補償を行い、インターモードの場合、復元された以前αチャンネル映像F’n−1を参照する時間予測補償を行う。
【0054】
一方、CBP解析部1030で解析されたCBP情報を参照して、いずれも‘opaque’であるブロックといずれも‘transparent’である8×8ブロックとは、CBPに合せて現在αチャンネル映像F’nを復元する。
【0055】
図13は、図10に示したαチャンネル映像復号化装置の第3実施例による構成を示すブロック図である。αチャンネル映像復号化装置は、時空間予測補償部1310を含んで構成される。図13のαチャンネル映像復号化装置は、図7のαチャンネル映像符号化装置に対応する装置である。
図13に示した、時空間予測補償部1310では、CBP解析部1030で解析されたCBP情報に関係なく、すべての8×8ブロックに対して時空間予測補償を行って現在αチャンネル映像F’nを復元する。このとき、イントラモードの場合、復元された現在αチャンネル映像F’nを参照する空間予測補償を行い、インターモードの場合、復元された以前αチャンネル映像F’n−1を参照する時間予測補償を行う。
【0056】
図14は、図10に示したαチャンネル映像復号化装置の第4実施例による構成を示すブロック図である。αチャンネル映像復号化装置は、逆量子化/逆変換部1410と時空間予測補償部1430とを含んで構成される。図14のαチャンネル映像復号化装置は、図8のαチャンネル映像符号化装置に対応する装置である。
図14に示した逆量子化/逆変換部1410では、CBP解析部1030で解析されたCBP情報を参照して、CBPが1である8×8ブロックに対して逆量子化及び逆変換を行い、逆量子化及び逆変換されたデータを時空間予測補償部1430に提供する。
【0057】
時空間予測補償部1430では、CBPが1である8×8ブロックの逆量子化及び逆変換されたデータ及びCBPが0である8×8ブロックのエントロピー復号化されたデータに対して時空間予測補償を行って現在αチャンネル映像F’nを復元する。この時、イントラモードの場合、復元された現在αチャンネル映像F’nを参照する空間予測補償を行い、インターモードの場合、復元された以前αチャンネル映像F’n−1を参照する時間予測補償を行う。
【0058】
図15は、本実施の形態によるαチャンネル映像復号化方法を説明するフローチャートである。図15を参照すれば、1510段階では、入力されるビット列をエントロピー復号化する。
1530段階では、エントロピー復号化されたデータから各マクロブロック別にCBP情報を抽出し、各マクロブロックに含まれるブロックのCBPを解析する。1550段階では、各ブロックの解析されたCBPを参照して、いずれも‘opaque’または、いずれも‘transparent’であるブロックの場合、これに合せて映像を復元し、2つの場合が混在したブロックの場合、当該ブロックの画素値を復号化してαチャンネル映像を復元する。
【0059】
図16Aないし図16Dは、本実施の形態によるαチャンネル映像を符号化する過程を説明する図面である。図16Aで、参照符号1610は元映像であり、参照符号1630は原映像でマスキングしようとする部分を示すαチャンネル映像である。αチャンネル映像で、黒い部分は‘transparent’部分であって0の画素値を有し、白い部分は‘opaque’部分であって1の画素値を有する。図16Bは、αチャンネル映像1630を一定サイズのブロック、例えば、8×8ブロック単位で分割した例を示す。図16Cは、8×8ブロックに含まれた画素値がいずれも‘transparent’であれば、CBP情報を‘0’に、いずれも‘opaque’であれば、CBP情報を‘1’に、2つが混在する‘mixed’であれば、CBP情報を‘2’に設定したものを表す。
【0060】
図16Cにおいて、CBP情報が0または1である場合には、8×8ブロックの画素値を符号化せずにCBP情報のみ符号化しても復号化時にCBP情報のみ復号化してαチャンネル映像を復元することができる。一方、CBP情報が2である場合には、CBP情報だけでなく、8×8ブロックの画素値を符号化しなければならない。各画素値を符号化する方法としては、各ブロックの画素値を一定の順序でスキャニングした後、エントロピー符号化、すなわち、ランレベル符号化を行い、このとき、一般的なMPEG−4及びH.264の方法を適用することができる。MPEG−4では、8×8ブロック単位で(Last,Run,Level)を符号化する3Dランレベル符号化方法を使用する。ここで、‘Last’は、現在ブロックの内部に0ではない符号化する値の有無を表す。H.264では、4×4ブロック単位でランとレベルとを符号化する方法を使用する。それぞれの場合において、各レベルの符号は別々に符号化されるが、αチャンネル映像を符号化する場合には、各レベルの符号を符号化する必要がない。
【0061】
また、ランレベル符号化以前に時空間予測符号化を行い、予測符号化された値をランレベル符号化することもできる。また、時空間予測符号化以後に変換及び量子化を行い、量子化された値をランレベル符号化することもできる。αチャンネル映像のような2値映像で予測符号化を行う場合には、予測された画素値と現在ブロックの画素値との間の減算演算の代わりに排他的論理和演算を行う。減算演算を行えば、予測された画素値と現在ブロックの画素値とが同じである場合に0、異なる場合に1または−1の値を有する。しかし、本実施の形態のように排他的論理和演算を行えば、予測された画素値と現在ブロックの画素値とが同じである場合に0、異なる場合に1の値を得られるので、ブロックの画素値を符号化する時に各レベルの符号ビットを符号化する必要がなくなる。
【0062】
図16Dは、予測符号化を行った結果によって各8×8ブロックにCBP情報を割当てた例を示す。予測符号化を行えない場合には、CBP情報は{0,1,2}の3つの値を有する。しかし、予測符号化を行った場合には、排他的論理和演算の結果によって‘tansparent’と‘opaque’との区分なしにいずれも0である場合とそうでない場合との2つに区分することができるので、CBP情報は{0,1}の2つの値を有する。このように予測符号化を行えば、いずれも0の画素値を有するブロックの数が増加するため、CBP情報の符号化効率は向上する一方、各ブロック別に予測方法によってイントラ方式の場合に予測モードを、インター方式の場合に動きベクトルを符号化しなければならないため、全体符号化効率は低下する恐れがある。
【0063】
図17Aないし図17Cは、ブロックの画素値を符号化するためのスキャニング順序の例を示す図面であって、H.264での方法のように、4×4ブロック単位で画素値を符号化することを仮定したものである。図17Aはジグザグスキャン、図17Bは水平スキャン、図17Cは垂直スキャンをそれぞれ表す。スキャニング順序は、前記の3つの方法のうち特定の方法を固定して使用することもでき、幾つかの方法を混合して使用することもできる。後者の場合、スキャニング順序を決定するために、各ブロック別に符号化されて伝送されスキャニングタイプを利用するか、またはスキャニングタイプの代わりに周辺の情報を使用して決定することができる。例えば、変換符号化を行えない場合、イントラ予測モードによって水平予測を行う場合には水平スキャンを、垂直予測を行う場合には垂直スキャンを使用することができる。また、隣接したブロックの画素値を利用して水平方向に対する勾配及び垂直方向に対する勾配を測定して2つの値が一定範囲内で類似する場合にはジグザグスキャンを使用し、そうでない場合には水平方向に対する勾配が垂直方向に対する勾配より大きければ垂直スキャンを、その逆の場合には水平スキャンを使用する。
【0064】
図18は、映像の時間予測のために映像を一定サイズのブロックに分割する方法の一例を示す図面である。この方法は、ISO/IEC14496−10及びITU−T Rec.H.264標準技術で使用する方法である。この方法では、基本的に縦/横16画素サイズのマクロブロックを16×16、16×8、8×16、8×8の多様なサイズに分割し、それぞれ動きベクトルを求めて時間映像値を予測する。特に、8×8サイズのブロックは、8×8、8×4、4×8、4×4サイズに分割して精細な動きも正確に感知可能にする。
【0065】
また、時間予測を使用する場合、マクロブロック(MB:MacroBlock)スキップという方法を適用することも可能である。これは予測された映像と現在映像との間の差映像で任意のマクロブロックに対する画素値の絶対値の和が所定の閾値以下である場合、当該マクロブロックの画素値を符号化せずに、省略するという表示のみを符号化するものである。これにより、CBP情報、動きベクトル、画素値などすべての情報に対する符号化が省略され、現在マクロブロックの画素値は対応する以前映像の画素値をそのまま使用する。例えば、以前映像で現在映像と同じ位置にあるマクロブロックの画素値をそのまま使用するか、または現在マクロブロックの周辺にあるマクロブロックの動きベクトルを利用して以前映像の特定位置を計算し、その位置にあるマクロブロックの画素値をそのまま使用する。
【0066】
また、時間予測を使用する場合、1/2画素または1/4画素動き予測方法を使用するために、以前映像を2倍または4倍に拡大した後に動き予測を行うこともできる。このような映像の拡大のために、MPEG−4では双線形補間を行い、H.264では6タップフィルターを使用した補間を行う。しかし、αチャンネル映像では計算量を簡単にするためにこのような動き予測過程を省略し、このような動き予測過程を適用するためには前記補間方法だけでなく、計算量を簡単にする別途の補間方法を使用することができる。
【0067】
図19Aは、空間予測のための隣接画素の位置と予測する現在ブロックの画素の位置とを示す図面である。図18に示した方法と同様に、この方法はISO/IEC14496−10及びITU−T Rec.H.264標準技術で使用する方法である。この方法では4×4サイズのブロックデータPa,Pb,..,Pqを予測するために以前に符号化されて復元された空間上の隣接したデータP0,P1,...,P12を利用する。
図19Bは、空間上隣接した画素から投影して現在ブロックを予測するための0から8までの9つの予測方向を示す。例えば、0の方向の場合は、隣接した画素値P1、P2、P3及びP4を垂直方向に投影してPa、Pe、Pi及びPmはP1の値、Pb、Pf、Pj及びPnはP2の値、Pc、Pg、Pk及びPoはP3の値、Pd、Ph、Pl及びPqはP4の値に予測する。他の方向の場合も同様に、投影を通じて予測する。
【0068】
図18及び図19に示した時空間予測方法は、既存の標準技術を一例として説明したものであって、他の方法を使用することも可能である。
【0069】
本発明は、コンピュータ可読記録媒体にコンピュータ可読コードとして具現することも可能である。このコンピュータ可読記録媒体には、コンピュータシステムによって読出されるデータが保存されるすべての種類の記録装置を含む。コンピュータ可読記録媒体の例としては、ROM(Read Only Memory)、RAM(Random Access Memory)、CD−ROM(Compact Disc-ROM)、磁気テープ、フロッピー(登録商標)ディスク、光データ保存装置などがあり、またキャリアウェーブ(例えば、インターネットを通じた伝送)の形で具現されるものも含む。また、コンピュータ可読記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードが保存されかつ実行することもできる。そして、本発明を具現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーであれば容易に推論することができる。
【0070】
本発明を、図面を参照しつつ実施の形態を参考として説明したが、これは例示的なものに過ぎず、当業者ならば、これから多様な変形及び均等な他の実施例を実施可能であると考えられる。したがって、本発明の真の技術的保護範囲は、特許請求の範囲に記載された技術的思想によって決定されなければならない。
【産業上の利用可能性】
【0071】
本発明によるαチャンネル映像符号化/複合化装置及び方法は、送信側では元のαチャンネル映像、予測符号化されたαチャンネル映像または予測符号化及び変換/量子化されたαチャンネル映像を符号化して伝送し、受信側では受信されたビット列からαチャンネル映像を復元可能にすることによって動映像コンテンツ製作及び編集に広く使用されるαチャンネル映像の処理/伝送及び保管を容易にする。
【図面の簡単な説明】
【0072】
【図1】αチャンネル映像のためのCBP生成装置の構成を示すブロック図である。
【図2】一実施例によるCBP割当部の動作を説明するフローチャートである。
【図3】他の実施例によるCBP割当部の動作を説明するフローチャートである。
【図4】αチャンネル映像符号化装置の基本的な構成を示すブロック図である。
【図5】図4に示したαチャンネル映像符号化装置の第1実施例による構成を示すブロック図である。
【図6】図4に示したαチャンネル映像符号化装置の第2実施例による構成を示すブロック図である。
【図7】図4に示したαチャンネル映像符号化装置の第3実施例による構成を示すブロック図である。
【図8】図4に示したαチャンネル映像符号化装置の第4実施例による構成を示すブロック図である。
【図9】αチャンネル映像符号化方法を説明するフローチャートである。
【図10】αチャンネル映像復号化装置の基本的な構成を示すブロック図である。
【図11】図10に示したαチャンネル映像復号化装置の第1実施例による構成を示すブロック図である。
【図12】図10に示したαチャンネル映像復号化装置の第2実施例による構成を示すブロック図である。
【図13】図10に示したαチャンネル映像復号化装置の第3実施例による構成を示すブロック図である。
【図14】図10に示したαチャンネル映像復号化装置の第4実施例による構成を示すブロック図である。
【図15】αチャンネル映像復号化方法を説明するフローチャートである。
【図16A】元映像およびαチャンネル映像を示す図面である。
【図16B】αチャンネル映像を一定サイズのブロックに分割したことを示す図面である。
【図16C】図16Bの一定サイズのブロックにCBP情報を割り当てたことを示す図面である。
【図16D】予測符号化により、図16Bの一定サイズのブロックにCBP情報を割当てたことを示す図面である。
【図17A】ブロックの画素値を符号化するためのジグザグスキャンの順序を示す図面である。
【図17B】ブロックの画素値を符号化するための水平スキャンの順序を示す図面である。
【図17C】ブロックの画素値を符号化するための垂直スキャンの順序を示す図面である。
【図18】映像の時間上、予測のために映像を一定サイズのブロックに分割する方法の一例を示す図面である。
【図19A】映像の空間予測のために隣接画素の位置を示す図面である。
【図19B】予測する現在ブロックの画素の位置及び予測方向を示す図面である。
【符号の説明】
【0073】
110 ブロック分割部
130 CBP割当部
410 CBP生成部
450 ビット列生成部
430 符号化部
510,610,710,810 時空間予測部
530,670,730,870,1110,1230,1310,1430 時空間予測補償部
630,830 変換/量子化部
650,850,1210,1410 逆量子化/逆変換部
1010 ビット列解析部
1030 CBP解析部
1050 映像復元部
【出願人】 【識別番号】390019839
【氏名又は名称】三星電子株式会社
【出願日】 平成16年11月22日(2004.11.22)
【代理人】 【識別番号】100064414
【弁理士】
【氏名又は名称】磯野 道造

【公開番号】 特開2005−160089(P2005−160089A)
【公開日】 平成17年6月16日(2005.6.16)
【出願番号】 特願2004−337845(P2004−337845)