| 【発明の名称】 |
画像処理装置および画像処理方法 |
| 【発明者】 |
【氏名】石塚 正則
【氏名】大塚 竜志
|
| 【要約】 |
【課題】デジタル動画像圧縮ストリームの復号画をフレームメモリに格納する際に、隣接する画素間の画素値の差分を用いずに、各画素の画素値を隣接する画素から独立して圧縮すること。その圧縮されたデータを隣接する画素から独立して伸長すること。
【構成】書き込み部21により、ブロックごとに、そのブロック内に含まれる画素の画素値の平均値を求める。情報圧縮部22により、その平均値と画素値の差分を求め、その差分値の下位複数ビットを切り出して、元の画素値よりも少ないビット数の圧縮データとし、それをフレームメモリ24a〜24dに格納する。情報伸長部25により、フレームメモリ24a〜24dから読み出された圧縮データに、その圧縮データを生成する際に用いた平均値を加算して、各画素の画素値を再生する。 |
【特許請求の範囲】
【請求項1】 デジタル動画像圧縮ストリームを復号化して各画素の画素値を得るとともに、処理単位ごとに、該処理単位内に含まれる画素の画素値の代表値を求める書き込み手段と、 処理単位ごとに、前記書き込み手段により得られた前記代表値を用いて該処理単位内の各画素の画素値のビット数を圧縮する情報圧縮手段と、 前記情報圧縮手段により圧縮された各画素の圧縮値を格納するフレームメモリと、 前記フレームメモリから読み出された各画素の圧縮値を、当該画素を含む処理単位の前記代表値を用いて伸長する情報伸長手段と、 前記情報伸長手段により伸長された伸長値を各画素の画素値として出力する読み出し手段と、 を備えることを特徴とする画像処理装置。 【請求項2】 前記情報圧縮手段は、各画素の画素値と前記代表値との差分を求め、該差分の下位複数ビットの値を、各画素の画素値を圧縮した値とすることを特徴とする請求項1に記載の画像処理装置。 【請求項3】 前記代表値は、処理単位内に含まれる画素の画素値の平均値であることを特徴とする請求項1または2に記載の画像処理装置。 【請求項4】 前記フレームメモリに格納可能な最大処理単位数分の前記代表値を格納する代表値メモリ、をさらに備えることを特徴とする請求項1〜3のいずれか一つに記載の画像処理装置。 【請求項5】 デジタル動画像圧縮ストリームを復号化して各画素の画素値を得るとともに、処理単位ごとに、該処理単位内に含まれる画素の画素値の代表値を求める代表値算出工程と、 処理単位ごとに、前記代表値算出工程で得られた前記代表値を用いて該処理単位内の各画素の画素値のビット数を圧縮する情報圧縮工程と、 前記情報圧縮工程で圧縮された各画素の圧縮値をフレームメモリに格納する圧縮値格納工程と、 前記フレームメモリから各画素の圧縮値を読み出し、該圧縮値を、当該画素を含む処理単位の前記代表値を用いて伸長する情報伸長工程と、 前記情報伸長工程で伸長された伸長値を各画素の画素値として出力する読み出し工程と、 を含むことを特徴とする画像処理方法。
|
【発明の詳細な説明】【技術分野】 【0001】 この発明は、画像処理装置および画像処理方法に関し、特に、MPEG(Moving Picture Experts Group)2等のデジタル動画像圧縮方式に従って動画像データの符号化や復号化を行う画像処理装置および画像処理方法に関する。 【背景技術】 【0002】 一般に、MPEG2等のデジタル動画像圧縮方式を採用した動画像符号化装置や動画像復号化装置等の画像処理装置には、フレームの情報を保持するためのフレームメモリが設けられている。近年、表示装置の画面サイズの拡大化に伴って、フレームメモリの容量や、単位時間当たりのフレームメモリの情報の流量(バンド幅)が増大化してきており、これらが開発におけるボトルネックとなっている。 【0003】 このボトルネックを解消するため、フレームメモリに格納される情報の量を圧縮する提案がなされている。例えば、隣接する画素間の画素値の差分をハフマン符号化することによって、情報量を圧縮する技術が公知である(例えば、特許文献1参照。)。また、隣接する画素間の画素値の差分を量子化係数により量子化することによって、情報量を圧縮する技術が公知である(例えば、特許文献2参照。)。 【0004】 図5は、上述した従来の情報量の圧縮および伸長を行う画像処理装置の構成を示すブロック図である。図5に示すように、従来の画像処理装置では、書き込み部1により、デジタル動画像圧縮ストリームが各画素の画素値に復号化される。そして、情報圧縮部2により、隣接する画素間の画素値の差分が求められ、上述したように、その差分値をハフマン符号化または量子化することによって、データが圧縮される。圧縮されたデータは、メモリバス3を介してメモリ4中の各フレームメモリ4a,4b,4c,4dに書き込まれる。 【0005】 一方、フレームメモリ4a,4b,4c,4dからは、圧縮されたデータが読み出される。その読み出されたデータは、情報伸長部5により、隣接する画素間の画素値の差分を用いて伸長することによって、各画素の画素値に再生される。その再生された画素値は、読み出し部6により、図示しない表示装置へ出力される。なお、図5において、第1〜第4の各フレームメモリ4a,4b,4c,4dの情報量(ハッチングを付した部分)が異なるのは、フレームメモリごとに絵柄の繁雑さが異なるからである。 【0006】 図6は、従来のデータ圧縮処理の概念を示す説明図である。図6に示すように、従来のデータ圧縮処理では、隣接する画素の画素値7a,7b,7c,7dの差分値8a,8b,8cを用いて、ラスタスキャン順、すなわちフレームイメージで左端の画素から水平に右端の画素まで走査すると、一段下の画素列に対して同様に左から右に向かって走査するようにして、順次、圧縮データ9a,9b,9cが生成される。 【0007】 図7は、従来のデータ伸長処理の概念を示す説明図である。図7に示すように、従来のデータ伸長処理では、ラスタスキャン順に、差分値8a,8b,8c,8dを用いて圧縮データ9a,9b,9c,9dを伸長することによって、各画素値7a,7b,7c,7dが再生される。 【0008】 【特許文献1】特開平11−136686号公報 【特許文献2】特開平10−243402号公報 【発明の開示】 【発明が解決しようとする課題】 【0009】 しかしながら、上述したように、従来の技術では、隣接する画素間の画素値の差分を用いてデータの圧縮を行うため、フレームイメージで水平方向の左から右に向かって1画素単位で順次、データ圧縮処理を行う必要がある。データ伸長処理についても、同様である。 【0010】 図8は、従来のデータ圧縮、伸長処理によって一部の領域を読み出す様子を示す説明図である。特に、隣接する画素間の画素値の差分をハフマン符号化すると、フレームメモリ中の任意の差分値を取り出すことができない。従って、図8に示すように、従来の技術では、フレームメモリ4c中の小さな矩形領域10の画素を読み出して拡大表示するような場合に、フレームイメージでその矩形領域10よりも左側の領域11の画素(表示の対象ではない)を含めて、フレームの先頭から順次、読み出しを行う必要があるため、読み出しの効率が悪いという問題点がある。 【0011】 この発明は、上述した従来技術による問題点を解消するため、隣接する画素間の画素値の差分を用いずに、各画素の画素値を隣接する画素から独立して圧縮し、また、その圧縮されたデータを隣接する画素から独立して伸長することができる画像処理装置および画像処理方法を提供することを目的とする。 【課題を解決するための手段】 【0012】 上述した課題を解決し、目的を達成するため、本発明にかかる画像処理装置および画像処理方法は、デジタル動画像圧縮ストリームを復号化して各画素の画素値を得るとともに、処理単位ごとに、その処理単位内に含まれる画素の画素値の代表値を求め、処理単位ごとに、代表値を用いて処理単位内の各画素の画素値のビット数を圧縮し、その圧縮された各画素の圧縮値をフレームメモリに格納することを特徴とする。そして、フレームメモリから読み出された各画素の圧縮値を、その画素を含む処理単位の代表値を用いて伸長し、その伸長された伸長値を各画素の画素値として出力することを特徴とする。 【0013】 この発明において、各画素の画素値と代表値との差分を求め、その差分の下位複数ビットの値を切り出すことにより、各画素の圧縮値を得るようにしてもよい。また、この発明において、代表値として、処理単位内に含まれる画素の画素値の平均値を用いてもよい。さらに、この発明において、各処理単位の代表値を代表値メモリに格納するようにしてもよい。この場合、代表値メモリは、フレームメモリに格納可能な最大処理単位数分の代表値を格納できる容量を有するとよい。 【0014】 この発明によれば、処理単位ごとに、各画素の画素値を、その画素を含む処理単位の代表値を用いて圧縮するので、隣接する画素間の画素値の差分を用いずに圧縮することができる。また、各画素の圧縮値を、その画素を含む処理単位の代表値を用いて伸長するので、隣接する画素間の画素値の差分を用いずに伸長することができる。 【発明の効果】 【0015】 本発明にかかる画像処理装置および画像処理方法によれば、隣接する画素間の画素値の差分を用いずに、各画素の画素値を隣接する画素から独立して圧縮し、また、その圧縮されたデータを隣接する画素から独立して伸長することができるという効果を奏する。 【発明を実施するための最良の形態】 【0016】 以下に添付図面を参照して、この発明にかかる画像処理装置および画像処理方法の好適な実施の形態を詳細に説明する。 【0017】 (画像処理装置の構成) 図1は、この発明の実施の形態にかかる画像処理装置の構成を示すブロック図である。図2は、図1に示す画像処理装置を構成するフレームメモリと代表値メモリの構成を示す説明図である。図1に示すように、画像処理装置は、書き込み部21、情報圧縮部22、メモリバス23、SDRAM(Synchronous DRAM)等のメモリ24、情報伸長部25、読み出し部26および代表値メモリ27を備えている。メモリ24には、複数のフレームメモリ24a,24b,24c,24dが設けられている。 【0018】 書き込み部21は、MPEG2等のデジタル動画像圧縮ストリームを復号して、各画素の画素値を得る。また、書き込み部21は、複数の処理単位からなる1フレームの各処理単位ごとに、その処理単位内に含まれるすべての画素の画素値の代表値を求める。各処理単位の代表値は、代表値メモリ27に格納される。例えば、代表値として、特に限定しないが、処理単位内に含まれるすべての画素の画素値の平均値を用いることができる。 【0019】 ここで、図2に示すように、MPEG2等のデジタル動画像圧縮方式では、1フレームは、複数のブロック31と呼ばれる小さい単位で構成されている。そこで、本実施の形態では、特に限定しないが、前記処理単位としてブロック31を用いることができる。各ブロック31に含まれる画素32の数は、例えば64個(=8画素×8画素)である。 【0020】 従って、ブロック31を処理単位とし、代表値として平均値を用いる場合には、書き込み部21は、各ブロック31に含まれる64画素の画素値の平均を算出し、その値をそのブロック31の代表値とする。従来より、ブロック単位でデジタル動画像圧縮ストリームの復号処理を行っているので、ブロック内の画素値の平均を容易に算出することができる。以下、処理単位としてブロック31を用い、主にブロック31の代表値として平均値を用いる場合について説明する。 【0021】 情報圧縮部22は、ブロックごとに、そのブロックの代表値を用いて、そのブロック内の各画素の画素値のビット数を圧縮、すなわちビット数を減らす。代表値として平均値を用いる場合には、次の(1)式のように、K(例えば、8)ビットの平均値とKビットの画素値の差分を算出する。 ブロック内の平均値(Kビット)−ブロック内の各々の画素値(Kビット) ・・・(1) 【0022】 このように、ブロック内の64個の画素値の平均値とそのブロック内の各画素値との平均値との差分をとるのは、各画素値と平均値との差がそれほど大きくないと考えられるからである。また、情報圧縮部22は、上記(1)式の演算により得られた[K+1]ビット(1ビットは、正負の符号を表す)の差分値から、下位M(1<M<K、例えば、Mは6)ビット分を切り出し、Mビットの圧縮データとして、メモリバス23を介して、フレームメモリ24a,24b,24c,24dに書き込む。 【0023】 情報伸長部25は、読み出し対象の画素に相当する圧縮データ(Mビット)を、メモリバス23を介して、フレームメモリ24a,24b,24c,24dから読み出す。また、情報伸長部25は、代表値メモリ27から、その読み出し対象の画素が属するブロックの代表値を読み出す。そして、情報伸長部25は、代表値を用いて圧縮データに対して、情報圧縮部22におけるデータ圧縮時の演算と逆の演算を行って、Kビットの画素値を再生し、それを読み出し部26へ転送する。 【0024】 情報圧縮部22において、前記(1)式の演算を行ってデータを圧縮した場合には、情報伸長部25では、Mビットの圧縮データとKビットの平均値を加算する。読み出し部26は、情報伸長部25から送られてきた画素値を図示しない表示装置へ転送する。代表値メモリ27は、フレーム中の各ブロックの平均値をすべて格納できる分の容量を有する。 【0025】 (画像処理手順) 次に、フレームメモリへの画像データの書き込みから読み出しまでの処理の流れについて説明する。図3は、この発明の実施の形態にかかる画像処理手順を示すフローチャートである。図3に示すように、まず、書き込み部21により、MPEG2等のデジタル動画像圧縮ストリームから各画素の画素値(Kビット)が復号される。また、書き込み部21により、各ブロックごとに画素値の代表値(Kビット)が求められる(ステップS1)。 【0026】 各ブロックの平均値は、代表値メモリ27に格納される。次いで、情報圧縮部22により、ブロックごとに前記(1)式の演算が行われ、その演算結果の下位Mビットが切り出されて圧縮データが得られる(ステップS2)。そして、その圧縮データは、フレームメモリ24a,24b,24c,24dに書き込まれる(ステップS3)。 【0027】 次いで、情報伸長部25により、フレームメモリ24a,24b,24c,24dから読み出し対象の画素に相当する圧縮データ(Mビット)が読み出される(ステップS4)。また、情報伸長部25により、代表値メモリ27から読み出し対象の画素が属するブロックの平均値(Kビット)が読み出され、その代表値を用いて圧縮データが伸長される(ステップS5)。それによって再生された画素値は、情報伸長部25から読み出し部26へ転送され、さらに図示しない表示装置へ転送される(ステップS6)。 【0028】 以上のようにデータを圧縮することにより、K(例えば、8)ビットの画素データをM(例えば、6)ビットに圧縮してフレームメモリ24a,24b,24c,24dに格納することができる。また、隣接する画素間の画素値の差分を使用しない方式で圧縮するので、フレームメモリ24a,24b,24c,24d中の任意の画素に直接、アクセスすることができる。従って、例えば、フレームメモリ24a,24b,24c,24d中の一部の矩形領域を拡大表示するような場合でも、フレームメモリ24a,24b,24c,24dから、表示対象の矩形領域の画素だけを効率的に読み出すことができる。 【0029】 なお、本発明は、輝度(Y)および色差(Cb/Cr)のそれぞれに適用できる。また、本発明は、処理単位として、ブロック以外にも、マクロブロックや、複数のマクロブロックが連なるスライスなどの単位にも適用できる。処理単位が大きくなれば、代表値メモリ27の容量が少なくて済む。さらに、ブロックの代表値として、平均値以外にも、ブロック内の各画素の画素値と近い値を用いることができる。 【0030】 また、情報圧縮部22におけるデータの圧縮率を、絵柄に応じて適応的に変えるようにしてもよい。この場合、予めユーザが、繁雑な絵柄を処理の対象とする場合に圧縮率を低く設定し、繁雑でない絵柄を処理の対象とする場合に圧縮率を高く設定するようにしてもよい。あるいは、書き込み部21または情報圧縮部22が、処理の対象の絵柄の繁雑さを検知し、繁雑さに応じて圧縮率を適宜、調整するようにしてもよい。 【0031】 さらに、KビットのデータとMビットのデータとの対応関係を予めテーブル化しておき、このテーブルを参照することによって、KビットのデータをMビットのデータに量子化するようにしてもよい。また、本発明は、MPEG2に限らず、MPEG4、DV(Digital Video)、ITU−Tによって策定されたH264、またはその他のデジタル動画像圧縮方式に適用できる。 【0032】 (MPEG2 HLデコーダに適用した例の構成) 次に、この発明をMPEG2 HLデコーダに適用した例について説明する。図4は、この発明を適用したMPEG2 HLデコーダの構成を示すブロック図である。図4には、外部から入力されるストリーム(PS/TS形式)を、映像信号として外部へ出力するまでの処理を行うシステムが示されている。 【0033】 図4に示すように、HLデコーダは、HLデコーダ部41、情報圧縮部42、メモリバス43、複数のフレームメモリ44a,44b,44c,44dを有するSDRAM等のメモリ44、情報伸長部45、表示部46、平均値メモリ47、システム分離部48および制御部49を備えている。HLデコーダ部41、表示部46および平均値メモリ47は、それぞれ図1に示す画像処理装置の書き込み部21、読み出し部26および代表値メモリ27に相当する。 【0034】 システム分離部48は、外部から入力されるストリーム(PS/TS形式)をVES/AES等のストリームに分離し、それをメモリバス43を介してメモリ44に格納する。HLデコーダ部41は、メモリ44に格納されているVESストリームを復号し、その復号画をメモリ44に書き込む。HLデコーダ部41は、復号中、動き補償を行うために、Iピクチャ復号画およびPピクチャ復号画より画素データを参照する。 【0035】 また、HLデコーダ部41は、Bピクチャ復号画の画素値(8ビット)を情報圧縮部42へ転送する。HLデコーダ部41は、Bピクチャを復号する過程において、ブロックごとに、画素値の平均値(8ビット)を算出し、それを情報圧縮部42と平均値メモリ47へ転送する。 【0036】 情報圧縮部42は、前記(1)式に従って、ブロックの平均値(8ビット)とBピクチャ復号画の画素値(8ビット)の差分を求め、その符号付き9ビットの値の例えば下位6ビットを切り出す。切り出された6ビットのBピクチャ圧縮データは、メモリバス43を介して、第3のフレームメモリ44cまたは第4のフレームメモリ44dに書き込まれる。 【0037】 平均値メモリ47には、第3のフレームメモリ44cと第4のフレームメモリ44dを構成する全ブロックの平均値をすべて格納できる分の容量を有する。情報伸長部45は、制御部49により指示されたBピクチャの圧縮データ(6ビット)を、メモリバス43を介して、第3のフレームメモリ44cまたは第4のフレームメモリ44dから読み出す。 【0038】 また、情報伸長部45は、制御部49により指示されたBピクチャの画素が属するブロックの平均値(8ビット)を、平均値メモリ47から読み出す。そして、情報伸長部45は、得られた圧縮データ(6ビット)と平均値(8ビット)を加算することにより、Bピクチャ復号画の画素値(8ビット)を算出し、それを表示部46へ転送する。 【0039】 表示部46は、制御部49により指示されたフレームのIピクチャ復号画およびPピクチャ復号画の各画素値(8ビット)を第1のフレームメモリ44aまたは第2のフレームメモリ44bから読み出す。そして、表示部46は、Iピクチャ復号画の画素値(8ビット)、Pピクチャ復号画の画素値(8ビット)およびBピクチャ復号画の画素値(8ビット)を映像信号に変換して、図示しない表示装置へ出力する。 【0040】 制御部49は、上述した各ブロックの動作を制御する。なお、Bピクチャと同様に、情報圧縮部42により、IピクチャまたはPピクチャの各画素値を圧縮をしてフレームメモリ44a,44bに書き込み、情報伸長部45によりIピクチャまたはPピクチャの圧縮データを伸長するようにしてもよい。 【0041】 (付記1)デジタル動画像圧縮ストリームを復号化して各画素の画素値を得るとともに、処理単位ごとに、該処理単位内に含まれる画素の画素値の代表値を求める書き込み手段と、処理単位ごとに、前記書き込み手段により得られた前記代表値を用いて該処理単位内の各画素の画素値のビット数を圧縮する情報圧縮手段と、前記情報圧縮手段により圧縮された各画素の圧縮値を格納するフレームメモリと、前記フレームメモリから読み出された各画素の圧縮値を、当該画素を含む処理単位の前記代表値を用いて伸長する情報伸長手段と、前記情報伸長手段により伸長された伸長値を各画素の画素値として出力する読み出し手段と、を備えることを特徴とする画像処理装置。 【0042】 (付記2)前記情報圧縮手段は、各画素の画素値と前記代表値との差分を求め、該差分の下位複数ビットの値を、各画素の画素値を圧縮した値とすることを特徴とする付記1に記載の画像処理装置。 【0043】 (付記3)前記代表値は、処理単位内に含まれる画素の画素値の平均値であることを特徴とする付記1または2に記載の画像処理装置。 【0044】 (付記4)前記フレームメモリに格納可能な最大処理単位数分の前記代表値を格納する代表値メモリ、をさらに備えることを特徴とする付記1〜3のいずれか一つに記載の画像処理装置。 【0045】 (付記5)デジタル動画像圧縮ストリームを復号化して各画素の画素値を得るとともに、処理単位ごとに、該処理単位内に含まれる画素の画素値の代表値を求める代表値算出工程と、処理単位ごとに、前記代表値算出工程で得られた前記代表値を用いて該処理単位内の各画素の画素値のビット数を圧縮する情報圧縮工程と、前記情報圧縮工程で圧縮された各画素の圧縮値をフレームメモリに格納する圧縮値格納工程と、前記フレームメモリから各画素の圧縮値を読み出し、該圧縮値を、当該画素を含む処理単位の前記代表値を用いて伸長する情報伸長工程と、前記情報伸長工程で伸長された伸長値を各画素の画素値として出力する読み出し工程と、を含むことを特徴とする画像処理方法。 【0046】 (付記6)前記情報圧縮工程では、各画素の画素値と前記代表値との差分を求め、該差分の下位複数ビットの値を、各画素の画素値を圧縮した値とすることを特徴とする付記5に記載の画像処理方法。 【0047】 (付記7)前記代表値は、処理単位内に含まれる画素の画素値の平均値であることを特徴とする付記5または6に記載の画像処理方法。 【産業上の利用可能性】 【0048】 以上のように、本発明にかかる画像処理装置および画像処理方法は、デジタル動画像圧縮方式に従って動画像データの符号化や復号化を行う装置や方法に有用であり、特に、MPEG2、MPEG4、DVまたはH264等のデジタル動画像圧縮方式に従って動画像データの符号化や復号化を行う装置や方法に適している。 【図面の簡単な説明】 【0049】 【図1】この発明の実施の形態にかかる画像処理装置の構成を示すブロック図である。 【図2】図1に示す画像処理装置を構成するフレームメモリと代表値メモリの構成を示す説明図である。 【図3】この発明の実施の形態にかかる画像処理手順を示すフローチャートである。 【図4】この発明を適用したMPEG2 HLデコーダの構成を示すブロック図である。 【図5】従来の画像処理装置の構成を示すブロック図である。 【図6】従来のデータ圧縮処理の概念を示す説明図である。 【図7】従来のデータ伸長処理の概念を示す説明図である。 【図8】従来のデータ圧縮、伸長処理によって一部の領域を読み出す様子を示す説明図である。 【符号の説明】 【0050】 21 書き込み部 22 情報圧縮部 24a,24b,24c,24d フレームメモリ 25 情報伸長部 26 読み出し部 27 代表値メモリ
|
| 【出願人】 |
【識別番号】000005223 【氏名又は名称】富士通株式会社
|
| 【出願日】 |
平成18年6月29日(2006.6.29) |
| 【代理人】 |
【識別番号】100104190 【弁理士】 【氏名又は名称】酒井 昭徳
|
| 【公開番号】 |
特開2008−11211(P2008−11211A) |
| 【公開日】 |
平成20年1月17日(2008.1.17) |
| 【出願番号】 |
特願2006−179925(P2006−179925) |
|