制御装置、制御方法、符号化装置、及びプログラム

トップ :: H 電気 :: H04 電気通信技術

【発明の名称】	制御装置、制御方法、符号化装置、及びプログラム
【発明者】	【氏名】藤原達雄
【要約】	【課題】復号画像の画質の劣化を防止する。【構成】予測部１は、原画像と予測画像との予測誤差を求め、変換部２は、予測誤差を周波数成分に変換し、量子化部４３は、周波数成分を量子化する。一方、ディザ情報取得部４１は、原画像にディザが施されているかどうかを表すディザ情報を取得し、ディザ用量子化ステップ制御部４２は、ディザ情報に基づいて、量子化部４３が周波数成分を量子化するときの量子化ステップを制御する。本発明は、例えば、画像を、H.264/AVC等に準拠した符号化方式で符号化する符号化装置に適用できる。

【特許請求の範囲】
【請求項１】
画像と、その画像を予測した予測画像との予測誤差を求める予測手段と、
前記予測誤差を周波数成分に変換する変換手段と、
前記周波数成分を量子化する量子化手段と
を含む画像符号化装置が、前記周波数成分を量子化するときの量子化ステップを制御する制御装置において、
前記画像に編集が施されているかどうかを表す編集情報を取得する編集情報取得手段と、
前記編集情報に基づいて、前記周波数成分を量子化するときの量子化ステップを制御する編集用量子化ステップ制御手段と
を備える制御装置。
【請求項２】
前記編集情報取得手段は、前記周波数成分に基づき、前記画像に編集が施されているかどうかを判定することにより、前記編集情報を取得する
請求項１に記載の制御装置。
【請求項３】
前記画像符号化装置は、前記周波数成分を量子化して得られる量子化係数を含む符号化ビットストリームのレートに基づいて、前記量子化ステップを制御するレート制御手段をさらに含み、
前記編集用量子化ステップ制御手段は、前記画像に編集が施されている場合、前記レート制御手段が前記量子化ステップを制御するための量子化ステップ制御情報に基づいて、前記量子化ステップを制御する
請求項１に記載の制御装置。
【請求項４】
前記変換手段は、前記画像の所定のブロックの予測誤差を周波数成分に変換し、
前記レート制御手段は、前記所定のブロックごとの前記量子化ステップを制御し、
前記編集用量子化ステップ制御手段は、前記所定のブロックの周波数成分ごとの前記量子化ステップを制御する
請求項３に記載の制御装置。
【請求項５】
前記編集情報は、ディザ、CG(Computer Graphics)に関する処理、又は画像合成に関する処理が施されているかどうかを表す情報である
請求項１に記載の制御装置。
【請求項６】
画像と、その画像を予測した予測画像との予測誤差を求める予測手段と、
前記予測誤差を周波数成分に変換する変換手段と、
前記周波数成分を量子化する量子化手段と
を含む画像符号化装置が、前記周波数成分を量子化するときの量子化ステップを制御する制御方法において、
前記画像に編集が施されているかどうかを表す編集情報を取得し、
前記編集情報に基づいて、前記周波数成分を量子化するときの量子化ステップを制御する
ステップを含む制御方法。
【請求項７】
画像と、その画像を予測した予測画像との予測誤差を求める予測手段と、
前記予測誤差を周波数成分に変換する変換手段と、
前記周波数成分を量子化する量子化手段と
を含む画像符号化装置が、前記周波数成分を量子化するときの量子化ステップを制御する制御処理を、コンピュータに実行させるプログラムにおいて、
前記画像に編集が施されているかどうかを表す編集情報を取得し、
前記編集情報に基づいて、前記周波数成分を量子化するときの量子化ステップを制御する
ステップを含む制御処理を、コンピュータに実行させるプログラム。
【請求項８】
画像を符号化する符号化装置において、
前記画像と、その画像を予測した予測画像との予測誤差を求める予測手段と、
前記予測誤差を周波数成分に変換する変換手段と、
前記周波数成分を量子化する量子化手段と、
前記画像に編集が施されているかどうかを表す編集情報を取得する編集情報取得手段と、
前記編集情報に基づいて、前記周波数成分を量子化するときの量子化ステップを制御する編集用量子化ステップ制御手段と
を備える符号化装置。

【発明の詳細な説明】【技術分野】
【０００１】
本発明は、制御装置、制御方法、符号化装置、及びプログラムに関し、特に、ディザ等の編集が施された画像を符号化して復号することにより得られる復号画像の画質の劣化を防止することができるようにする制御装置、制御方法、符号化装置、及びプログラムに関する。
【背景技術】
【０００２】
図１は、画像を符号化する従来の符号化装置の一例の構成を示している。
【０００３】
図１において、符号化装置は、予測部１、変換部２、量子化部３、生成部４、及びレート制御部５から構成されており、予測部１には、符号化の対象となる動画像である原画像が供給される。
【０００４】
予測部１は、そこに供給される原画像と、その原画像を予測した予測画像との予測誤差を求め、変換部２に供給する。
【０００５】
すなわち、予測部１は、そこに供給される原画像を、所定のブロックに分割し、原画像のブロックの予測画像を求める。そして、予測部１は、原画像のブロックから予測画像を減算することにより、原画像のブロックと予測画像との予測誤差を求め、ブロック単位で、変換部２に供給する。
【０００６】
変換部２は、予測部１からの予測誤差のブロックを、周波数領域の情報である周波数成分のブロックに変換し、量子化部３に供給する。
【０００７】
ここで、予測誤差を周波数成分に変換する変換方法としては、例えば、DCT(Discrete Cosine Transform)やアダマール変換等の直交変換等を採用することができる。
【０００８】
量子化部３には、変換部２から周波数成分のブロックが供給される他、レート制御部５から量子化制御情報が供給される。
【０００９】
量子化部３は、レート制御部５から供給される量子化制御情報に基づいて、周波数成分を量子化するときの量子化ステップを決定し、その量子化ステップで、変換部２からのブロック単位の周波数成分を量子化して、その量子化の結果である量子化係数を、ブロック単位で、生成部４に供給する。
【００１０】
生成部４には、量子化部３から量子化係数が供給される他、レート制御部５から、量子化部３で量子化ステップを決定するのに用いられた量子化制御情報が供給される。
【００１１】
生成部４は、量子化部３からのブロック単位の量子化係数と、レート制御部５からの量子化制御情報とを、少なくとも含む符号化ビットストリームを生成し、原画像の符号化結果として出力する。
【００１２】
一方、レート制御部５は、生成部４が出力する符号化ビットストリームをモニタし、その符号化ビットストリームのレートに基づいて、量子化部３の量子化ステップを制御する。
【００１３】
すなわち、レート制御部５は、生成部４が出力する符号化ビットストリームのレートが高い場合には、そのレートを低くするため、量子化部３で粗い量子化（粗い量子化粒度の量子化）を行う量子化ステップが決定される量子化制御情報を生成する。また、レート制御部５は、生成部４が出力する符号化ビットストリームのレートが低い場合には、そのレートを高くするため、量子化部３で細かい量子化（細かい量子化粒度の量子化）を行う量子化ステップが決定される量子化制御情報を生成する。
【００１４】
レート制御部５は、以上のように、生成部４が出力する符号化ビットストリームのレートに基づいて生成した量子化制御情報を、量子化部３に供給することにより、符号化ビットストリームのレートが、所定の値（所定の範囲内の値）となるように、量子化ステップを制御する。
【００１５】
なお、上述したように、レート制御部５が生成する量子化制御情報は、量子化部３の他、生成部４にも供給され、符号化ビットストリームに含められる。
【００１６】
ところで、画像において、中間階調を擬似的に表現する手法として、ディザ(dither)がある。
【００１７】
図２は、ディザを示している。
【００１８】
ディザとは、画素値が0以上の整数値をとる場合に、ある画素値vと、その画素値vと1だけ異なる画素値v+1（又は画素値v-1）とを、格子状（市松模様状）に配置し、画素値としては取り得ない、画素値vとv+1との中間値v+0.5（画素値vとv-1との中間値v-0.5）を擬似的に表現する手法であり、例えば、画像のある領域の画素値として、0と1とを格子状に配置することにより、その領域は、人には、画素値が0.5の領域として見える。
【００１９】
ディザは、CG(Computer Graphics)や、CGと実際に撮影された画像との合成画像に施されることが多いが、近年においては、実際に撮影された画像に対しても、グラデーション等での階調表現を向上させるために、前処理(PreProcess)として、意図的に、ディザが施されることがある（例えば、非特許文献１を参照）。
【００２０】
ここで、例えば、ディザは、画像の量子化の粗さを緩和するために施されることがあるが、緩やかに階調が変化するグラデーション領域では、量子化ビットの切り替わりの部分の段差が目立ち、縞模様となって表示されることがある。かかる段差を検出する方法が、例えば、特許文献１に記載されている。
【００２１】
なお、ディザが施された画像では、上述のように、原則として、ある画素値vと、その画素値vと1だけ異なる画素値v+1とが、格子状に配置される。
【００２２】
但し、ディザが施された画像がHD(High Definition)画像であり、そのHD画像の、例えば、水平方向に並ぶ1行の画素を、1行おきに間引くことにより、SD(Standard Definition)画像が生成された場合には、そのSD画像では、画素値vとv+1とが、格子状に配置されるのではなく、水平方向にのみ交互に配置され、垂直方向には、画素値v又はv+1だけが配置される。
【００２３】
ディザが施されたHD画像の、垂直方向に並ぶ1列の画素を、1列おきに間引くことにより、SD画像が生成された場合も同様に、そのSD画像では、画素値vとv+1とが、格子状に配置されるのではなく、垂直方向にのみ交互に配置され、水平方向には、画素値v又はv+1だけが配置される。
【００２４】
以上のSD画像のように、画素値vとv+1とが、水平方向又は垂直方向の一方向のみに交互に配置されたような画像も、ディザが施された画像に含まれる。
【００２５】
【特許文献１】特開2006-154452号公報
【００２６】
【非特許文献１】「マッハバンド除去システム～M.A.P.S(マップス)～サービス開始」、[online］、2005年8月17日、株式会社 IMAGICA、［平成18年8月22日検索］、インターネット〈URL：http://www.imagica.com/newsrelease/00069.html〉
【発明の開示】
【発明が解決しようとする課題】
【００２７】
図１の符号化装置のように、予測誤差を周波数成分に変換し、その周波数成分を量子化することにより符号化を行う符号化装置の符号化対象である原画像に、ディザが施されている場合には、符号化の結果得られる符号化ストリームを復号することにより得られる復号画像の画質が劣化することがある。
【００２８】
この復号画像の画質の劣化について、図３ないし図５を参照して説明する。
【００２９】
図３及び図４は、ディザが施された原画像を符号化して復号する過程で得られるデータを示している。
【００３０】
例えば、いま、図１の符号化装置において、原画像が、横×縦（水平×垂直）が16×16画素の256画素のブロックの単位で符号化されることとし、符号化しようとしている原画像のブロックである注目ブロックの予測画像としては、既に符号化され、いわゆるローカルデコードされた、例えば、注目ブロックの左隣のブロックの画像が用いられることとする。
【００３１】
図３において、ブロックP₁は、例えば、原画像の左端のブロックであり、ブロックP₃は、例えば、原画像のブロックP₁の右隣のブロックである。
【００３２】
原画像のブロックP₁及びP₃では、いずれも、例えば、22の画素値と、その画素値と1だけ異なる23の画素値とが、水平方向にのみ交互に配置され、垂直方向には、22又23の画素値だけが配置されており、したがって、ディザが施されている。
【００３３】
ここで、水平方向に、22と23の画素値が交互に配置され、垂直方向に、22又23の画素値だけが配置されている原画像のブロックP₁及びP₃では、22と23の画素値が同一の数だけ存在するので、その画素値の平均値であるDC(Direct Current)成分は、22.5である。
【００３４】
ブロックP₂は、原画像のブロックP₁を、図１の符号化装置で符号化してローカルデコードすることにより得られた復号画像のブロックである。図３において、復号画像のブロックP₂の画素値は、すべて22となっており、したがって、そのDC成分は、22である。
【００３５】
いま、図１の符号化装置が、原画像のブロックP₃を注目ブロックとして符号化をする場合には、予測部１は、原画像のブロックP₃の左隣のブロックP₁を符号化してローカルデコードした復号画像のブロックP₂を、そのまま、原画像のブロックP₃の予測画像P₄として、予測誤差P₅を求める。
【００３６】
原画像のブロックP₃では、上述したように、水平方向に、22と23の画素値が交互に配置され、垂直方向に、22又23の画素値だけが配置されており、予測画像P₄は、上述したように、すべての画素値が22の復号画像のブロックP₂であるので、そのような原画像のブロックP₃と予測画像P₄との予測誤差P₅は、水平方向に、0と1の画素値が交互に配置され、垂直方向に、0又は1の画素値だけが配置されたブロックとなる。
【００３７】
予測誤差P₅は、変換部２で周波数成分に変換される。いま、変換部２が、周波数成分への変換として、例えば、DCT（2次元DCT）を行うこととすると、予測誤差P₅は、大雑把には、ブロックP₆のようなDCT係数のブロックに変換される。
【００３８】
ここで、予測誤差P₅は、水平方向に、0と1の画素値が交互に配置され、垂直方向に、0又は1の画素値だけが配置されたブロックであり、したがって、予測誤差P₅では、0と1の画素値が同一の数だけ存在するので、DC成分は、0.5である。
【００３９】
また、予測誤差P₅では、0と1の画素値が交互に配置されているので、予測誤差P₅は、16×16画素のブロックが有しうる最大の周波数成分（空間周波数成分）を有し、その大きさ（値の絶対値）は、1である。
【００４０】
このため、DCT係数のブロックP₆においては、DC成分である左上のDCT係数が0.5に、最高の周波数成分である、例えば、右下のDCT係数が1に、他のDCT係数が0に、それぞれなっている。
【００４１】
量子化部３は、以上のようなDCT係数のブロックP₆を量子化し、量子化係数のブロックP₇を出力する。
【００４２】
ここで、量子化部３では、例えば、人の視覚が、低周波数成分よりも高周波数成分に対して鈍感であること等を利用して、低周波数成分のDCT係数については、細かい量子化が行われ、高周波数成分のDCT係数については、粗い量子化が行われる。
【００４３】
このため、量子化係数のブロックP₇では、DCT係数のブロックP₆の、DC成分である左上のDCT係数の0.5が、1に、最高の周波数成分である右下のDCT係数の1が、0に、他のDCT係数の0が、0に、それぞれ量子化されている。すなわち、量子化係数のブロックP₇は、DC成分の量子化係数が1で、他の周波数成分（AC(Alternating Current)成分）の量子化係数が0のブロックとなる。
【００４４】
図１の符号化装置では、以上のような量子化係数のブロックP₇を含む符号化ストリームが出力され、図示せぬ復号装置で復号される。
【００４５】
すなわち、復号装置では、量子化係数のブロックP₇を、逆量子化して逆DCTすることにより、予測誤差P₅に相当する、復号画像と予測画像との差分（以下、適宜、復号誤差という）が求められ、その復号誤差と予測画像とを加算することにより、復号画像が求められる。なお、ローカルデコードでも同様にして、復号画像が求められる。
【００４６】
上述したように、量子化係数のブロックP₇は、DC成分の量子化係数が1で、他の周波数成分の量子化係数が0のブロックであるため、そのような量子化係数のブロックP₇が逆量子化されて逆DCTされることにより、例えば、画素値の平均値が1となる、画素値がすべて1の復号誤差のブロックP₈が得られる。
【００４７】
また、量子化係数のブロックP₇に符号化された原画像のブロックP₃の予測画像P₄は、上述したように、すべての画素値が22のブロックである。
【００４８】
したがって、復号誤差のブロックP₈と予測画像P₄とを加算して得られる、原画像のブロックP₃の復号画像のブロックP₉は、画素値が、すべて23で、DC成分が23のブロックとなる。
【００４９】
図１の符号化装置は、原画像のブロックP₃の符号化後、その右隣のブロックを注目ブロックとして符号化を行うが、その符号化について、図４を参照して説明する。
【００５０】
図４において、原画像のブロックP₁₁は、原画像のブロックP₃（図３）の右隣のブロックであり、そのブロックP₁₁では、図３の原画像のブロックP₁及びP₃と同様に、22の画素値と、その画素値と1だけ異なる23の画素値とが、水平方向にのみ交互に配置され、垂直方向には、22又23の画素値だけが配置されている。
【００５１】
したがって、原画像のブロックP₁₁には、図３の原画像のブロックP₁及びP₃と同様に、ディザが施されており、そのDC成分は、22.5である。
【００５２】
図１の符号化装置が、原画像のブロックP₁₁を注目ブロックとして符号化をする場合には、予測部１は、原画像のブロックP₁₁の左隣のブロックP₃（図３）を符号化してローカルデコードした復号画像のブロックP₉を、そのまま、原画像のブロックP₁₁の予測画像P₁₂として、予測誤差P₁₃を求める。
【００５３】
原画像のブロックP₁₁では、上述したように、水平方向に、22と23の画素値が交互に配置され、垂直方向に、22又23の画素値だけが配置されており、予測画像P₁₂は、上述したように、すべての画素値が23の復号画像のブロックP₉であるので、そのような原画像のブロックP₁₁と予測画像P₁₂との予測誤差P₁₃は、水平方向に、-1と0の画素値が交互に配置され、垂直方向に、-1又は0の画素値だけが配置されたブロックとなる。
【００５４】
予測誤差P₁₃は、変換部２でDCTされ、その結果、大雑把には、ブロックP₁₄のようなDCT係数のブロックに変換される。
【００５５】
ここで、予測誤差P₁₃は、水平方向に、-1と0の画素値が交互に配置され、垂直方向に、-1又は0の画素値だけが配置されたブロックであり、したがって、予測誤差P₁₃では、-1と0の画素値が同一の数だけ存在するので、DC成分は、-0.5である。
【００５６】
また、予測誤差P₁₃では、-1と0の画素値が交互に配置されているので、予測誤差P₁₃は、16×16画素のブロックが有しうる最高の周波数成分（空間周波数成分）を有し、その大きさ（値の絶対値）は、1である。
【００５７】
このため、DCT係数のブロックP₁₄においては、DC成分である左上のDCT係数が-0.5に、最高の空間周波数成分である、例えば、右下のDCT係数が-1に、他のDCT係数が0に、それぞれなっている。
【００５８】
量子化部３は、以上のようなDCT係数のブロックP₁₄を量子化し、量子化係数のブロックP₁₅を出力する。
【００５９】
図３で説明したように、量子化部３では、低周波数成分のDCT係数については、細かい量子化が行われ、高周波数成分のDCT係数については、粗い量子化が行われる。
【００６０】
このため、量子化係数のブロックP₁₅では、DCT係数のブロックP₁₄の、DC成分である左上のDCT係数の-0.5が、-1に、最高の空間周波数成分である右下のDCT係数の-1が、0に、他のDCT係数の0が、0に、それぞれ量子化されている。すなわち、量子化係数のブロックP₁₅は、DC成分の量子化係数が-1で、他の周波数成分（AC成分）の量子化係数が0のブロックとなる。
【００６１】
図１の符号化装置では、以上のような量子化係数のブロックP₁₅を含む符号化ストリームが出力され、図示せぬ復号装置で復号される。
【００６２】
すなわち、復号装置では、量子化係数のブロックP₁₅を、逆量子化して逆DCTすることにより、予測誤差P₁₃に相当する復号誤差のブロックP₁₆が求められる。
【００６３】
具体的には、量子化係数のブロックP₁₅は、上述したように、DC成分の量子化係数が-1で、他の周波数成分の量子化係数が0のブロックであるため、そのような量子化係数のブロックP₁₅が逆量子化されて逆DCTされることにより、例えば、画素値の平均値が-1となる、画素値がすべて-1の復号誤差のブロックP₁₆が得られる。
【００６４】
また、量子化係数のブロックP₁₅に符号化された原画像のブロックP₁₁の予測画像P₁₂は、上述したように、すべての画素値が23のブロックである。
【００６５】
したがって、復号誤差のブロックP₁₆と予測画像P₁₂とを加算して得られる、原画像のブロックP₁₁の復号画像のブロックP₁₇は、画素値が、すべて22で、DC成分が22のブロックとなる。
【００６６】
なお、図３及び図４、並びに後述する図１１は、ディザが施された原画像を符号化して復号する過程で得られるデータが、大雑把にどのようになるかを分かりやすく説明するための図であり、図中の、予測誤差をDCTして得られるDCT係数の値や、DCT係数を逆DCTして得られる復号誤差の値は、正確な値ではない。
【００６７】
図３及び図４で説明したように、原画像にディザが施されている場合には、量子化に起因して、AC成分が0で、DC成分のみが1となる量子化係数のブロック（例えば、図３のブロックP₇）と、AC成分が0で、DC成分のみが-1となる量子化係数のブロック（例えば、図４のブロックP₁₅）とが交互に現れる。その結果、復号画像のブロックとしても、すべての画素がある値のブロックと、その値と1だけ異なる値のブロックとが交互に現れる。
【００６８】
すなわち、図５は、ディザが施された原画像と、その原画像を、図１の符号化装置で符号化し、復号装置で復号して得られる復号画像とを示している。
【００６９】
図５左側は、ディザが施された原画像を示しており、ある画素値vと、その画素値vより1だけ大きい画素値v+1とが格子状に配置され、これにより、中間階調の画素値v+0.5が擬似的に表現されている。
【００７０】
一方、図５右側は、図５左側の原画像を、図１の符号化装置で符号化し、復号装置で復号して得られる復号画像を示しており、すべての画素値が値vのブロックと、値v+1のブロックとが交互に現れている。
【００７１】
以上のように、符号化対象である原画像に、ディザが施されている場合には、符号化の結果得られる符号化ストリームを復号することにより得られる復号画像において、すべての画素値が値vのブロックと、値v+1のブロックとが交互に現れ、不自然な画像となること、すなわち、復号画像の画質が劣化することがあった。
【００７２】
本発明は、このような状況に鑑みてなされたものであり、ディザ等の編集が施された画像を符号化して復号することにより得られる復号画像の画質の劣化を防止することができるようにするものである。
【課題を解決するための手段】
【００７３】
本発明の第１の側面の制御装置は、画像と、その画像を予測した予測画像との予測誤差を求める予測手段と、前記予測誤差を周波数成分に変換する変換手段と、前記周波数成分を量子化する量子化手段とを含む画像符号化装置が、前記周波数成分を量子化するときの量子化ステップを制御する制御装置であり、前記画像に編集が施されているかどうかを表す編集情報を取得する編集情報取得手段と、前記編集情報に基づいて、前記周波数成分を量子化するときの量子化ステップを制御する編集用量子化ステップ制御手段とを備える。
【００７４】
本発明の第１の側面の制御方法、又はプログラムは、画像と、その画像を予測した予測画像との予測誤差を求める予測手段と、前記予測誤差を周波数成分に変換する変換手段と、前記周波数成分を量子化する量子化手段とを含む画像符号化装置が、前記周波数成分を量子化するときの量子化ステップを制御する制御方法、又は制御処理を、コンピュータに実行させるプログラムであり、前記画像に編集が施されているかどうかを表す編集情報を取得し、前記編集情報に基づいて、前記周波数成分を量子化するときの量子化ステップを制御するステップを含む。
【００７５】
本発明の第２の側面の符号化装置は、画像を符号化する符号化装置であり、前記画像と、その画像を予測した予測画像との予測誤差を求める予測手段と、前記予測誤差を周波数成分に変換する変換手段と、前記周波数成分を量子化する量子化手段と、前記画像に編集が施されているかどうかを表す編集情報を取得する編集情報取得手段と、前記編集情報に基づいて、前記周波数成分を量子化するときの量子化ステップを制御する編集用量子化ステップ制御手段とを備える。
【００７６】
本発明の第１及び第２の側面においては、前記画像に編集が施されているかどうかを表す編集情報が取得され、前記編集情報に基づいて、前記周波数成分を量子化するときの量子化ステップが制御される。
【００７７】
なお、プログラムは、伝送媒体を介して伝送することもできるし、記録媒体に記録することもできる。
【発明の効果】
【００７８】
本発明の第１及び第２の側面によれば、ディザ等の編集が施された画像を符号化して復号することにより得られる復号画像の画質を向上させることができる。
【発明を実施するための最良の形態】
【００７９】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００８０】
本発明の第１の側面の制御装置は、
画像と、その画像を予測した予測画像との予測誤差を求める予測手段（例えば、図７の予測部１）と、
前記予測誤差を周波数成分に変換する変換手段（例えば、図７の変換部２）と、
前記周波数成分を量子化する量子化手段（例えば、図７の量子化部４３）と
を含む画像符号化装置（例えば、図７の画像符号化部３１）が、前記周波数成分を量子化するときの量子化ステップを制御する制御装置（例えば、図７の量子化ステップ制御部３２）であり、
前記画像に編集が施されているかどうかを表す編集情報を取得する編集情報取得手段（例えば、図７のディザ情報取得部４１）と、
前記編集情報に基づいて、前記周波数成分を量子化するときの量子化ステップを制御する編集用量子化ステップ制御手段（例えば、図７のディザ用量子化ステップ制御部４２）と
を備える。
【００８１】
第１の側面の制御装置において、
前記画像符号化装置には、前記周波数成分を量子化して得られる量子化係数を含む符号化ビットストリームのレートに基づいて、前記量子化ステップを制御するレート制御手段（例えば、図７のレート制御部５）をさらに設けることができ、
前記編集用量子化ステップ制御手段には、前記画像に編集が施されている場合、前記レート制御手段が前記量子化ステップを制御するための量子化ステップ制御情報に基づいて、前記量子化ステップを制御させることができる。
【００８２】
本発明の第１の側面の制御方法、又はプログラムは、
画像と、その画像を予測した予測画像との予測誤差を求める予測手段（例えば、図７の予測部１）と、
前記予測誤差を周波数成分に変換する変換手段（例えば、図７の変換部２）と、
前記周波数成分を量子化する量子化手段（例えば、図７の量子化部４３）と
を含む画像符号化装置（例えば、図７の画像符号化部３１）が、前記周波数成分を量子化するときの量子化ステップを制御する制御方法、又は制御処理をコンピュータに実行させるプログラムであり、
前記画像に編集が施されているかどうかを表す編集情報を取得し（例えば、図９のステップＳ１１）、
前記編集情報に基づいて、前記周波数成分を量子化するときの量子化ステップを制御する（例えば、図９のステップＳ１２）
ステップを含む。
【００８３】
本発明の第２の側面の符号化装置は、
画像を符号化する符号化装置（例えば、図６の符号化装置２２）であり、
前記画像と、その画像を予測した予測画像との予測誤差を求める予測手段（例えば、図７の予測部１）と、
前記予測誤差を周波数成分に変換する変換手段（例えば、図７の変換部２）と、
前記周波数成分を量子化する量子化手段（例えば、図７の量子化部４３）と、
前記画像に編集が施されているかどうかを表す編集情報を取得する編集情報取得手段（例えば、図７のディザ情報取得部４１）と、
前記編集情報に基づいて、前記周波数成分を量子化するときの量子化ステップを制御する編集用量子化ステップ制御手段（例えば、図７のディザ用量子化ステップ制御部４２）と
を備える。
【００８４】
以下、図面を参照して、本発明の実施の形態について説明する。
【００８５】
図６は、本発明を適用したオーサリングシステム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは、問わない）の一実施の形態の構成例を示している。
【００８６】
図６において、オーサリングシステムは、オーサリング装置２１、符号化装置２２、記録制御装置２３から構成されている。
【００８７】
オーサリング装置２１には、編集の対象となる素材としての画像（動画）が供給される。オーサリング装置２１は、そこに供給される素材としての画像に対して、オーサリングシステムのオペレータの操作に応じた処理、すなわち、例えば、ディザや、特殊効果等の処理を施し、オーサリングの結果としての画像を、符号化装置２２に供給する。
【００８８】
符号化装置２２は、オーサリング装置２１からのオーサリングの結果としての画像を、符号化の対象である原画像として、その原画像を符号化し、符号化の結果得られる符号化ビットストリームを、記録制御装置２３に供給する。
【００８９】
すなわち、符号化装置２２は、図１の符号化装置のように、原画像の予測誤差を周波数成分に変換し、その周波数成分を量子化することにより、オーサリング装置２１からの原画像を符号化し、符号化ビットストリームを、記録制御装置２３に供給する。
【００９０】
記録制御装置２３は、符号化装置２２からの符号化ビットストリームを、例えば、ディスク（例えば、ブルーレイディスクやDVD(Digital Versatile Disc)など）や、半導体メモリなどの記録媒体２４に記録する。
【００９１】
図７は、図６の符号化装置２２の構成例を示している。
【００９２】
なお、図中、図１の符号化装置と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【００９３】
符号化装置２２は、画像符号化部３１と量子化ステップ制御部３２とから構成される。
【００９４】
画像符号化部３１は、予測部１、変換部２、レート制御部５、量子化部４３、及び生成部４４から構成され、図６のオーサリング装置２１から供給される、符号化の対象である原画像を符号化し、符号化ビットストリームを出力する。
【００９５】
すなわち、予測部１には、図６のオーサリング装置２１から、符号化の対象である原画像が供給される。予測部１は、図１で説明したように、そこに供給される原画像を、所定のブロックに分割し、原画像のブロックの予測画像を求める。さらに、予測部１は、原画像のブロックと予測画像との予測誤差を求め、ブロック単位で、変換部２に供給する。
【００９６】
変換部２は、図１で説明したように、予測部１からの予測誤差のブロックを、例えば、DCTやアダマール変換等の直交変換等の変換によって、周波数成分のブロックに変換し、量子化部４３に供給する。
【００９７】
レート制御部５は、図１で説明したように、生成部４４が出力する符号化ビットストリームをモニタし、その符号化ビットストリームのレートに基づいて、量子化部４３の量子化ステップを制御する。
【００９８】
すなわち、レート制御部５は、生成部４４が出力する符号化ビットストリームのレートが高い場合には、そのレートを低くするため、量子化部４３で粗い量子化を行う量子化ステップが決定される量子化制御情報を生成する。また、レート制御部５は、生成部４４が出力する符号化ビットストリームのレートが低い場合には、そのレートを高くするため、量子化部４３で細かい量子化を行う量子化ステップが決定される量子化制御情報を生成する。
【００９９】
そして、レート制御部５は、生成部４４が出力する符号化ビットストリームのレートに基づいて生成した量子化制御情報を、量子化部４３に供給することにより、符号化ビットストリームのレートが、所定の値（所定の範囲内の値）となるように、量子化ステップを制御する。
【０１００】
ここで、符号化装置２２では、量子化部４３の量子化ステップを制御する量子化制御情報は、レート制御部５で生成される他、後述するディザ用量子化ステップ制御部４２でも生成される。そこで、レート制御部５で生成される量子化制御情報と、ディザ用量子化ステップ制御部４２で生成される量子化制御情報とを区別するために、以下、適宜、レート制御部５で生成される量子化制御情報を、第１の量子化制御情報といい、ディザ用量子化ステップ制御部４２で生成される量子化制御情報を、第２の量子化制御情報という。
【０１０１】
なお、レート制御部５は、第１の量子化制御情報を、量子化部４３に供給する他、ディザ用量子化ステップ制御部４２と生成部４４にも供給する。
【０１０２】
量子化部４３には、変換部２から周波数成分のブロックが供給されるとともに、レート制御部５から第１の量子化制御情報が供給される他、ディザ用量子化ステップ制御部４２から第２の量子化制御情報が供給される。
【０１０３】
量子化部４３は、レート制御部５からの第１の量子化制御情報と、ディザ用量子化ステップ制御部４２からの第２の量子化制御情報とに基づいて、周波数成分を量子化するときの量子化ステップを決定し、その量子化ステップで、変換部２からのブロック単位の周波数成分を量子化して、その量子化の結果である量子化係数を、ブロック単位で、生成部４４に供給する。
【０１０４】
生成部４４には、量子化部４３から量子化係数が供給される他、レート制御部５から、量子化部４３で量子化ステップを決定するのに用いられた第１の量子化制御情報が供給されるとともに、ディザ用量子化ステップ制御部４２から、量子化部４３で量子化ステップを決定するのに用いられた第２の量子化制御情報が供給される。
【０１０５】
生成部４４は、量子化部４３からのブロック単位の量子化係数と、レート制御部５からの第１の量子化制御情報、及びディザ用量子化ステップ制御部４２からの第２の量子化制御情報とを、少なくとも含む符号化ビットストリームを生成し、原画像の符号化結果として出力する。
【０１０６】
量子化ステップ制御部３２は、ディザ情報取得部４１とディザ用量子化ステップ制御部４２とから構成され、画像符号化部３１（の量子化部４３）が、周波数成分を量子化するときの量子化ステップを制御する。
【０１０７】
すなわち、ディザ情報取得部４１は、画像符号化部３１での符号化の対象である原画像にディザが施されているかどうかを表すディザ情報を取得し、ディザ用量子化ステップ制御部４２に供給する。
【０１０８】
ディザ用量子化ステップ制御部４２は、ディザ情報取得部４１から供給されるディザ情報に基づいて、量子化部４３が周波数成分を量子化するときの量子化ステップを制御する。
【０１０９】
すなわち、ディザ用量子化ステップ制御部４２は、量子化部４３で周波数成分が量子化の対象となっているブロックである注目ブロックにディザが施されているかどうかを、ディザ情報に基づいて認識し、注目ブロックにディザが施されていない場合には、量子化部４３において、例えば、図１の符号化装置と同様の量子化ステップが決定される第２の量子化制御情報を生成する。
【０１１０】
また、ディザ用量子化ステップ制御部４２は、注目ブロックにディザが施されている場合には、量子化部４３において、高周波数成分について細かい量子化を行う量子化ステップが決定される第２の量子化制御情報を、レート制御部５から供給される第１の量子化情報に基づいて生成する。
【０１１１】
そして、ディザ用量子化ステップ制御部４２は、第２の量子化制御情報を、量子化部４３に供給することにより、その量子化部４３で行われる量子化で用いられる量子化ステップを制御する。
【０１１２】
なお、ディザ用量子化ステップ制御部４２は、第２の量子化制御情報を、量子化部４３を供給する他、生成部４４にも供給する。上述したように、生成部４４は、ディザ用量子化ステップ制御部４２からの第２の量子化制御情報を符号化ビットストリームに含める。
【０１１３】
次に、ディザ情報取得部４１は、上述したように、原画像にディザが施されているかどうかを表すディザ情報を取得するが、この取得の方法について説明する。
【０１１４】
ディザは、図６のオーサリング装置２１において、オペレータの操作に応じて、原画像に施される。そこで、オーサリング装置２１が、オペレータの操作に応じて施したディザに関する情報、すなわち、例えば、ディザが施された原画像の位置等を表す情報を出力する場合には、ディザ情報取得部４１では、オーサリング装置２１が出力する、ディザに関する情報を受信することにより、その情報を、ディザ情報として取得することができる。
【０１１５】
また、図７の画像符号化部３１は、図１の符号化装置のように、原画像の予測誤差を周波数成分に変換し、その周波数成分を量子化することにより、原画像を符号化するが、いま、原画像の予測誤差の周波数成分として、例えば、DCT係数を採用することとすると、変換部２が予測誤差をDCT係数に変換するブロックにディザが施されている場合には、変換部２で得られるDCT係数のブロックでは、例えば、図３のブロックP₆や、図４のブロックP₁₄に示したように、最高の周波数成分である、例えば、ブロックの右下のDCT係数が1又は-1になる。
【０１１６】
そこで、ディザ情報取得部４１では、変換部２で得られる予測誤差の周波数成分に基づき、原画像にディザが施されているかどうかを判定することにより、ディザ情報を取得することができる。
【０１１７】
すなわち、ディザ情報取得部４１では、変換部２で得られるDCT係数のブロックの右下のDCT係数が1又は-1であるかどうかを判定し、DCT係数のブロックの右下のDCT係数が1又は-1である場合に、そのブロックにディザが施されていると認識して、その旨のディザ情報を、ディザ用量子化ステップ制御部４２に供給することができる。
【０１１８】
ここで、図８は、横×縦が8×8のブロックをDCTする場合のDCTの基底を示している。
【０１１９】
いま、図８のブロックの上からi行目で、左からj列目のDCT係数を、(i,j)成分ということとすると、原画像にディザが施されている場合には、その原画像の予測誤差のブロックでは、図３や図４で説明したことから、0と1の画素値や、-1と0の画素値が格子状に配置される。
【０１２０】
そして、このように、0と1の画素値や、-1と0の画素値が格子状に配置されたブロックがDCTされると、そのDCTの結果得られるDCT係数のブロックでは、ブロックの右下のDCT係数である(8,8)成分が、1又は-1となる。
【０１２１】
したがって、ディザ情報取得部４１において、DCT係数のブロックの右下のDCT係数が1又は-1であるかどうかによって、そのブロックにディザが施されているかどうかを判定することができる。
【０１２２】
なお、ディザが施された画像がHD画像であり、そのHD画像の、水平方向に並ぶ1行の画素を、1行おきに間引くことにより、SD画像が生成された場合や、ディザが施されたHD画像の、垂直方向に並ぶ1列の画素を、1列おきに間引くことにより、SD画像が生成された場合において、そのSD画像を、符号化の対象である原画像とするときには、原画像の予測誤差のブロックでは、0と1の画素値や、-1と0の画素値が格子状ではなく、水平方向又は垂直方向のうちのいずれか一方向にのみ交互に配置される。
【０１２３】
このような予測誤差のブロックがDCTされると、そのDCTの結果得られるDCT係数のブロックでは、ブロックの右端のDCT係数である(1,8)成分か、下端のDCT係数である(8.1)成分が、1又は-1となる。
【０１２４】
そこで、ディザ情報取得部４１では、DCT係数のブロックが8×8のブロックである場合には、(8,8)成分が、1又は-1である場合の他、(1,8)成分か、(8.1)成分が、1又は-1である場合も、原画像のブロックにディザが施されていると認識して、その旨のディザ情報を、ディザ用量子化ステップ制御部４２に供給するようにすることができる。
【０１２５】
なお、ディザ情報取得部４１において、原画像にディザが施されているかどうかの認識は、予測誤差の周波数成分に基づいて行う方法に限定されるものではない。
【０１２６】
すなわち、ディザ情報取得部４１では、原画像の予測誤差ではなく、原画像そのものの画素値の周波数成分に基づき、周波数成分のブロックの右下の周波数成分が所定の値であるかどうかを判定することや、原画像そのものの画素値に基づき、原画像において、1だけ異なる２つの画素値が格子状に配置されているかどうかを判定すること等によって、原画像のブロックにディザが施されているかどうかを認識することができる。
【０１２７】
ここで、予測誤差の周波数成分は、画像符号化部３１の変換部２で求められるため、原画像のブロックにディザが施されているかどうかを認識するためだけに、別に求める必要はない。
【０１２８】
また、原画像のブロックにディザが施されているかどうかを、そのブロックの特定の周波数成分に基づいて認識（判断）する場合には、ブロックの特定の周波数成分だけを参照してもよいし、ブロック全体の周波数成分（の分布）を参照してもよい。
【０１２９】
次に、図７の符号化装置２２の処理について説明する。
【０１３０】
図７の符号化装置２２では、ディザ情報に基づいて、量子化部４３の量子化ステップを制御するディザ用量子化ステップ制御処理と、原画像の予測誤差を周波数成分に変換し、その周波数成分を量子化することにより、原画像を符号化する符号化処理とが行われる。
【０１３１】
図９は、図７の符号化装置２２が行うディザ用量子化ステップ制御処理を説明するフローチャートである。
【０１３２】
図９のディザ用量子化ステップ制御処理は、図７の符号化装置２２の量子化ステップ制御部３２が行う。
【０１３３】
すなわち、量子化ステップ制御部３２では、ステップＳ１１において、ディザ情報取得部４１が、画像符号化部３１の量子化部４３で量子化の対象となっている周波数成分のブロックである注目ブロックにディザが施されているかどうかを表すディザ情報を取得し、ディザ用量子化ステップ制御部４２に供給して、ステップＳ１２に進む。
【０１３４】
ステップＳ１２では、ディザ用量子化ステップ制御部４２は、ディザ情報取得部４１から供給されるディザ情報に基づいて、量子化部４３が周波数成分を量子化するときの量子化ステップを制御し、ディザ用量子化ステップ制御処理を終了する。
【０１３５】
すなわち、ディザ用量子化ステップ制御部４２は、ディザ情報取得部４１からのディザ情報に基づき、例えば、量子化部４３で図１の符号化装置と同様の量子化ステップが決定される第２の量子化制御情報、又は高周波数成分について細かい量子化を行う量子化ステップが決定される第２の量子化制御情報を生成し、量子化部４３に供給する。
【０１３６】
その後は、周波数成分の新たなブロックが、注目ブロックとして、変換部２から量子化部４３に供給されるのを待って、ステップＳ１１に戻り、ステップＳ１１及びＳ１２の処理が繰り返し行われる。
【０１３７】
なお、ディザ用量子化ステップ制御部４２は、ディザ情報取得部４１からのディザ情報が、注目ブロックにディザが施されていることを表している場合には、レート制御部５から供給される第１の量子化制御情報に基づいて、量子化部４３の量子化ステップを制御する第２の量子化制御情報を生成する。
【０１３８】
ここで、量子化部４３は、レート制御部５からの第１の量子化制御情報と、ディザ用量子化ステップ制御部４２からの第２の量子化制御情報との両方に基づき、量子化ステップを決定する。
【０１３９】
例えば、第１の量子化制御情報をAと表すとともに、第２の量子化制御情報をBと表すこととし、第１の量子化制御情報Aと、第２の量子化制御情報Bとを引数とする関数を、f(A,B)と表すこととすると、量子化部４３は、関数f(A,B)の値を、量子化ステップに決定する。
【０１４０】
一方、注目ブロックにディザが施されていることを表している場合には、図３や図４で説明したように、注目ブロックの最高の周波数成分が-1又は1になるが、すなわち、例えば、注目ブロックが、8×8のブロックであれば、図８で説明したように、最高の周波数成分である(1,8)成分、(8,1)成分、又は(8,8)成分が、1又は-1となるが、この最高の周波数成分が0に量子化されることによって、復号画像の画質が劣化する。
【０１４１】
そこで、ディザ用量子化ステップ制御部４２は、ディザ情報取得部４１からのディザ情報が、注目ブロックにディザが施されていることを表している場合には、注目ブロックの最高の周波数成分の値である-1又は1が、逆量子化によって復元することができる量子化係数に量子化されるように、量子化部４３での量子化ステップを制御する第２の量子化制御情報を動的に生成する。
【０１４２】
すなわち、量子化部４３での量子化ステップは、上述したように、第１と第２の量子化制御情報の両方に基づいて決定されるので、ディザ用量子化ステップ制御部４２は、第１と第２の量子化制御情報に基づいて決定される量子化ステップで、注目ブロックの周波数成分が量子化された場合に、最高の周波数成分の値である-1又は1が、逆量子化によって復元することができる量子化係数に量子化されるように、第１の量子化制御情報に基づき、第２の量子化制御情報を生成する。
【０１４３】
次に、図１０は、図７の符号化装置２２が行う符号化処理を説明するフローチャートである。
【０１４４】
図１０の符号化処理は、図７の画像符号化部３１が行う。
【０１４５】
すなわち、画像符号化部３１において、予測部１には、図６のオーサリング装置２１から、符号化の対象である原画像が供給される。予測部１は、図１で説明したように、そこに供給される原画像を、所定のブロックに分割し、符号化の対象とするブロックを、注目ブロックとして選択する。
【０１４６】
そして、予測部１は、ステップＳ３１において、注目ブロックの予測画像を求め、原画像の注目ブロックと予測画像との予測誤差を求める。さらに、予測部１は、注目ブロックについて求めた予測誤差を、変換部２に供給して、ステップＳ３２に進む。
【０１４７】
ステップＳ３２では、変換部２は、予測部１からの注目ブロックについての予測誤差を、周波数成分に変換し、注目ブロックについての周波数成分を、量子化部４３に供給して、ステップＳ３３に進む。
【０１４８】
ステップＳ３３では、量子化部４３は、レート制御部５から供給される第１の量子化制御情報と、ディザ用量子化ステップ制御部４２からの第２の量子化制御情報とに基づいて、注目ブロックの周波数成分を量子化するときの量子化ステップを決定し、その量子化ステップで、変換部２からの注目ブロックの各周波数成分を量子化して、その量子化の結果である量子化係数のブロックを、生成部４４に供給して、ステップＳ３４に進む。
【０１４９】
すなわち、レート制御部５は、生成部４４が出力する符号化ビットストリームをモニタしており、その符号化ビットストリームのレートに基づいて、量子化部４３の量子化ステップを制御する第１の量子化制御情報を生成して、ディザ用量子化ステップ制御部４２、量子化部４３、及び生成部４４に供給する。
【０１５０】
また、ディザ用量子化ステップ制御部４２は、図９で説明したように、変換部２から量子化部４３に周波数成分が供給された注目ブロックのディザ情報、さらには、必要に応じて、レート制御部５からの第１の量子化制御情報に基づいて、量子化部４３の量子化ステップを制御する第２の量子化制御情報を生成して、量子化部４３、及び生成部４４に供給する。
【０１５１】
量子化部４３は、ステップＳ３３において、以上のようにしてレート制御部５から供給される第１の量子化制御情報と、ディザ用量子化ステップ制御部４２から供給される第２の量子化制御情報とに基づいて、注目ブロックの周波数成分を量子化するときの量子化ステップを決定する。そして、量子化部４３は、その量子化ステップで、変換部２からの注目ブロックの各周波数成分を量子化し、その量子化の結果である量子化係数のブロックを、生成部４４に供給して、ステップＳ３３からステップＳ３４に進む。
【０１５２】
ステップＳ３４では、生成部４４は、量子化部４３からのブロック単位の量子化係数と、レート制御部５からの第１の量子化制御情報、及びディザ用量子化ステップ制御部４２からの第２の量子化制御情報とを、少なくとも含む符号化ビットストリームを生成し、原画像の符号化結果として出力する。
【０１５３】
その後は、予測部１が、原画像の新たなブロックを、注目ブロックとして選択するのを待って、ステップＳ３１に戻り、ステップＳ３１ないしＳ３４の処理が繰り返し行われる。
【０１５４】
以上のように、符号化装置２２では、原画像の予測誤差を周波数成分に変換し、その周波数成分を量子化することにより、原画像を符号化する場合において、ディザ情報に基づいて、量子化ステップを制御するので、すなわち、原画像のブロックの最高の周波数成分が-1又は1であり、したがって、原画像のブロックにディザが施されているときには、そのブロックの最高の周波数成分の値である-1又は1が、逆量子化によって復元することができる量子化係数に量子化されるように、量子化ステップを制御するので、最高の周波数成分が0に量子化されることによって、特に、ディザが施された原画像の復号画像の画質が劣化することを防止することができる。
【０１５５】
このように、符号化装置２２によって、ディザが施されている原画像の復号画像の画質の劣化を防止することができることについて、図１１を参照して、さらに説明する。
【０１５６】
図１１は、符号化装置２２において、ディザが施された原画像を符号化して復号（ローカルデコード）する過程で得られるデータを示している。
【０１５７】
例えば、いま、前述の図３で説明した場合と同様に、符号化装置２２において、原画像が、横×縦が16×16画素の256画素のブロックの単位で符号化されることとし、符号化しようとしている原画像のブロックである注目ブロックの予測画像としては、既に符号化され、ローカルデコードされた、注目ブロックの左隣のブロックの画像が用いられることとする。
【０１５８】
図１１において、ブロックP₁₀₁は、例えば、原画像の左端のブロックであり、ブロックP₁₀₃は、例えば、原画像のブロックP₁₀₁の右隣のブロックである。
【０１５９】
原画像のブロックP₁₀₁及びP₁₀₃では、いずれも、例えば、22の画素値と、その画素値に1を加算した23の画素値とが、水平方向にのみ交互に配置され、垂直方向には、22又23の画素値だけが配置されており、したがって、ディザが施されている。
【０１６０】
ここで、原画像のブロックP₁₀₁及びP₁₀₃では、22と23の画素値が同一の数だけ存在するので、その画素値の平均値であるDC成分は、22.5である。
【０１６１】
ブロックP₁₀₂は、原画像のブロックP₁₀₁を、図７の符号化装置２２（の画像符号化部３１）で符号化してローカルデコードすることにより得られた復号画像のブロックである。図１１において、復号画像のブロックP₁₀₂の画素値は、すべて22となっており、したがって、そのDC成分は、22である。
【０１６２】
いま、符号化装置２２が、原画像のブロックP₁₀₃を注目ブロックとして符号化をする場合には、予測部１は、原画像のブロックP₁₀₃の左隣のブロックP₁₀₁を符号化してローカルデコードした復号画像のブロックP₁₀₂を、そのまま、原画像のブロックP₁₀₃の予測画像P₁₀₄として、予測誤差P₁₀₅を求める。
【０１６３】
原画像のブロックP₁₀₃では、上述したように、水平方向に、22と23の画素値が交互に配置され、垂直方向に、22又23の画素値だけが配置されており、予測画像P₁₀₄は、上述したように、すべての画素値が22の復号画像のブロックP₁₀₂であるので、そのような原画像のブロックP₁₀₃と予測画像P₁₀₄との予測誤差P₁₀₅は、水平方向に、0と1の画素値が交互に配置され、垂直方向に、0又は1の画素値だけが配置されたブロックとなる。
【０１６４】
予測誤差P₁₀₅は、変換部２で周波数成分に変換される。いま、変換部２が、周波数成分への変換として、例えば、DCTを行うこととすると、予測誤差P₁₀₅は、大雑把には、ブロックP₁₀₆のようなDCT係数のブロックに変換される。
【０１６５】
ここで、予測誤差P₁₀₅は、水平方向に、0と1の画素値が交互に配置され、垂直方向に、0又は1の画素値だけが配置されたブロックであり、したがって、予測誤差P₁₀₅では、0と1の画素値が同一の数だけ存在するので、DC成分は、0.5である。
【０１６６】
また、予測誤差P₁₀₅では、0と1の画素値が交互に配置されているので、予測誤差P105は、16×16画素のブロックが有しうる最大の周波数成分を有し、その大きさは、1である。
【０１６７】
このため、DCT係数のブロックP₁₀₆においては、DC成分である左上のDCT係数が0.5に、最高の周波数成分である、例えば、右下のDCT係数が1に、他のDCT係数が0に、それぞれなっている。
【０１６８】
量子化部４３は、以上のようなDCT係数のブロックP₁₀₆を量子化し、量子化係数のブロックP₁₀₇を出力する。
【０１６９】
ここで、前述したように、図１の符号化装置では、例えば、人の視覚が、低周波数成分よりも高周波数成分に対して鈍感であること等を利用して、低周波数成分のDCT係数については、細かい量子化が行われ、高周波数成分のDCT係数については、粗い量子化が行われるが、図７の符号化装置２２でも、原則としては、図１の符号化装置と同様の量子化が行われる。
【０１７０】
但し、符号化装置２２では、原画像のブロックにディザが施されているときには、ディザ用量子化ステップ制御部４２において、ディザが施されているブロックの最高の周波数成分の値である-1又は1が、逆量子化によって復元することができる量子化係数に量子化されるように、量子化部４３の量子化ステップが制御される。
【０１７１】
このため、量子化係数のブロックP₁₀₇では、DCT係数のブロックP₁₀₆の、DC成分である左上のDCT係数の0.5が、1に、最高の周波数成分である右下のDCT係数の1が、1に、他のDCT係数の0が、0に、それぞれ量子化されている。
【０１７２】
符号化装置２２では、以上のような量子化係数のブロックP₁₀₇を含む符号化ストリームが出力され、図示せぬ復号装置で復号される。
【０１７３】
すなわち、復号装置では、量子化係数のブロックP₁₀₇を、逆量子化して逆DCTすることにより、予測誤差P₁₀₅に相当する、復号画像と予測画像との差分である復号誤差が求められ、その復号誤差と予測画像とを加算することにより、復号画像が求められる。
【０１７４】
上述したように、量子化係数のブロックP₁₀₇は、DC成分、及び最高の周波数成分の量子化係数が1で、他の周波数成分の量子化係数が0のブロックであるため、そのような量子化係数のブロックP₁₀₇が逆量子化されて逆DCTされることにより、例えば、予測誤差P₁₀₅と同様に、水平方向に、0と1の画素値が交互に配置され、垂直方向に、0又は1の画素値だけが配置された復号誤差のブロックP₁₀₈が得られる。
【０１７５】
また、量子化係数のブロックP₁₀₇に符号化された原画像のブロックP₁₀₃の予測画像P₁₀₄は、上述したように、すべての画素値が22のブロックである。
【０１７６】
したがって、復号誤差のブロックP₁₀₈と予測画像P₁₀₄とを加算して得られる、原画像のブロックP₁₀₃の復号画像のブロックP₁₀₉は、元の原画像のブロックP₁₀₃と同様に、22の画素値と、その画素値と1だけ異なる23の画素値とが、水平方向にのみ交互に配置され、垂直方向には、22又23の画素値だけが配置されたブロック、つまり、元の原画像のブロックP₁₀₃に施されているディザを維持したブロックとなる。
【０１７７】
次に、図７の符号化装置２２は、原画像の予測誤差を周波数成分に変換し、その周波数成分を量子化することにより、原画像を符号化する符号化方式に適用することができる。
【０１７８】
このような符号化方式としては、例えば、MPEG(Moving Picture Experts Group)2や、MPEG4ビジュアル、H.264/AVC(Advanced Video Coding)などがある。
【０１７９】
図１２は、符号化方式として、H.264/AVCを採用した場合の符号化装置２２の構成例を示している。
【０１８０】
なお、図中、図７の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１８１】
オーサリング装置２１（図６）からの原画像は、表示順に、並べ替え部６１に供給される。
【０１８２】
並べ替え部６１は、オーサリング装置２１からの表示順の原画像を符号化（復号）順に並べ替え、順に、演算部６２及びインター予測部７１に供給する。
【０１８３】
演算部６２は、並べ替え部６１からの原画像を、所定のブロックに分割し、符号化の対象とする注目ブロックを選択する。さらに、演算部６２は、注目ブロックと、後述するモード判定部７２から供給される注目ブロックの予測画像との予測誤差を、必要に応じて求め、直交変換部６３に供給する。直交変換部６３は、演算部６２からの注目ブロックの予測誤差に対して、DCT、さらには、必要に応じて、アダマール変換等の直交変換処理を施し、その結果得られる注目ブロックの直交変換係数を、量子化部６４に供給する。
【０１８４】
量子化部６４には、直交変換部６３から注目ブロックの直交変換係数が供給される他、後述するレート用量子化ステップ制御部７５から、第１の量子化制御情報としての量子化パラメータQpが供給されるとともに、ディザ用量子化ステップ制御部４２から、第２の量子化制御情報としてのスケーリングリストが供給される。
【０１８５】
量子化部６４は、レート用量子化ステップ制御部７５からの量子化パラメータQpと、ディザ用量子化ステップ制御部４２からのスケーリングリストとに基づいて、量子化ステップを決定し、その量子化ステップで、直交変換部６３からの注目ブロックの直交変換係数を量子化して、その結果得られる注目ブロックの量子化係数を、エントロピー符号化部７３に供給する。
【０１８６】
エントロピー符号化部７３は、量子化部６４から供給される量子化係数、レート用量子化ステップ制御部７５から供給される量子化パラメータQp、及びディザ用量子化ステップ制御部４２から供給されるスケーリングリスト、その他のデータに対して、CAVLC（Context-Adaptive Variable Length Coding）などの可変長符号化、又は、CABAC（Context-Adaptive Binary Arithmetic Coding）などの算術符号化等の処理を施すことにより、符号化ビットストリームを生成し、バッファ７４に供給する。
【０１８７】
バッファ７４は、エントロピー符号化部７３からの符号化ビットストリームを一時記憶し、適宜読み出して、記録制御装置２３（図６）に供給する。
【０１８８】
また、バッファ７４は、符号化ビットストリームの記憶量を、適宜、レート用量子化ステップ制御部７５に供給する。
【０１８９】
レート用量子化ステップ制御部７５は、バッファ７４からの符号化ビットストリームの記憶量に基づいて、量子化部６４の量子化ステップを制御する。
【０１９０】
すなわち、レート用量子化ステップ制御部７５は、符号化ビットストリームの記憶量が大である場合には、その記憶量を小にするため、量子化部６４で粗い量子化を行う量子化ステップが決定される第１の量子化制御情報としての量子化パラメータQpを決定する。また、レート用量子化ステップ制御部７５は、符号化ビットストリームの記憶量が小である場合には、その記憶量を大にするため、量子化部６４で細かい量子化を行う量子化ステップが決定される第１の量子化制御情報としての量子化パラメータQpを決定する。
【０１９１】
レート用量子化ステップ制御部７５は、以上のように、符号化ビットストリームの記憶量に基づいて生成した第１の量子化制御情報としての量子化パラメータQpを、量子化部６４に供給することにより、符号化ビットストリームのレートが、所定の値（所定の範囲内の値）となるように、量子化ステップを制御する。
【０１９２】
ここで、H.264/AVCでは、量子化パラメータQpが大であるほど、量子化ステップ（量子化の粒度）も大になる。したがって、符号化ビットストリームの記憶量が大である場合には、量子化パラメータQpは大きな値に決定され、量子化ステップも大きな値に決定される。その結果、粗い量子化が行われ、符号化ビットストリームのレート（データ量）は小になる。一方、符号化ビットストリームの記憶量が小である場合には、量子化パラメータQpは小さな値に決定され、量子化ステップも小さな値に決定される。その結果、細かい量子化が行われ、符号化ビットストリームのレートは大になる。
【０１９３】
H.264/AVCに準拠した符号化を行う従来の符号化装置では、上述のように、符号化ビットストリームの記憶量が大である場合に、量子化パラメータQpが大きな値に決定され、量子化ステップも大きな値に決定されることで、前述の図３及び図４で説明したように、ブロックにおいて、最高の周波数成分である右下の直交変換係数（DCT係数等）の1や-1が、0に量子化される。
【０１９４】
なお、H.264/AVCでは、量子化パラメータQpは、いわゆるマクロブロックごとに決定される。
【０１９５】
レート用量子化ステップ制御部７５は、第１の量子化制御情報としての量子化パラメータQpを、量子化部６４に供給する他、ディザ用量子化ステップ制御部４２とエントロピー符号化部７３にも供給する。
【０１９６】
一方、ディザ情報取得部４１は、量子化部６４で量子化の対象となっている注目ブロックにディザが施されているかどうかを表すディザ情報を取得し、ディザ用量子化ステップ制御部４２に供給する。
【０１９７】
ディザ用量子化ステップ制御部４２は、ディザ情報取得部４１からのディザ情報に基づいて、量子化部６４が周波数成分を量子化するときの量子化ステップを制御する。
【０１９８】
すなわち、ディザ用量子化ステップ制御部４２は、ディザ情報取得部４１からのディザ情報が、注目ブロックにディザが施されていることを表していない場合には、第２の量子化制御情報としてのスケーリングリストである、スケーリングマトリクス(Scaling Matrix)の集合の、各スケーリングマトリクスのスケーリング(Scaling)値を、標準値（デフォルト）に設定する。
【０１９９】
ここで、H.264/AVCでは、DCT等の直交変換の対象となるブロック(DCT Matrix)の直交変換係数ごとに、量子化の粒度を変えることができるように、スケーリングマトリクスが用意されている。
【０２００】
直交変換の対象となるブロックが、例えば、4×4のブロックである場合、スケーリングマトリクスは、4×4のコンポーネントを有するマトリクスで、各コンポーネントは、スケーリング値と呼ばれる。H.264/AVCでは、量子化ステップは、上述の量子化パラメータQpとスケーリング値との両方に基づいて決定され、その量子化ステップで、直交変換係数の量子化が行われるが、この量子化においては、スケーリング値で、直交変換係数を除算することが行われる。
【０２０１】
したがって、スケーリング値が小であれば、量子化ステップは小となって、細かい量子化が行われる。一方、スケーリング値が大であれば、量子化ステップは大となって、粗い量子化が行われる。
【０２０２】
H.264/AVCにおいて、スケーリング値は、1ないし255の範囲の整数値に設定することができ、標準値は、16になっている。
【０２０３】
このため、ディザ用量子化ステップ制御部４２は、ディザ情報取得部４１からのディザ情報が、注目ブロックにディザが施されていることを表していない場合には、スケーリングマトリクスのスケーリング値を、標準値である16に設定する。
【０２０４】
なお、H.264/AVCでは、直交変換の対象となるブロックとして、輝度信号のブロック、色信号Cbのブロック、及び色信号Crのブロックがあり、さらに、輝度信号のブロックには、4×4のブロックと、8×8のブロックとの２種類がある。
【０２０５】
また、H.264/AVCでは、イントラ符号化（フレーム内予測）されるブロックと、インター符号化（フレーム間予測）されるブロックとのそれぞれに、スケーリングマトリクスを指定することができる。
【０２０６】
したがって、スケーリングマトリクスは、輝度信号の4×4のブロック、輝度信号の8×8のブロック、色信号Cbのブロック、及び色信号Crのブロックのそれぞれについて、イントラ符号化用とインター符号化用とが存在する。つまり、スケーリングマトリクスは、8個存在する。この８個のスケーリングマトリクスの集合が、スケーリングリスト(Scaling List)と呼ばれる。
【０２０７】
ディザ用量子化ステップ制御部４２は、ディザ情報取得部４１からのディザ情報が、注目ブロックにディザが施されていることを表していない場合には、標準値のスケーリング値をコンポーネントとするスケーリングマトリクスの集合であるスケーリングリストを、第２の量子化制御情報として、量子化部６４とエントロピー符号化部７３に供給する。
【０２０８】
また、ディザ用量子化ステップ制御部４２は、ディザ情報取得部４１からのディザ情報が、注目ブロックにディザが施されていることを表している場合には、レート用量子化ステップ制御部７５から供給される第１の量子化制御情報としての量子化パラメータQpに基づいて、量子化部６４の量子化ステップを制御する第２の量子化制御情報としてのスケーリングリストを生成する。
【０２０９】
すなわち、ディザ用量子化ステップ制御部４２は、ディザ情報取得部４１からのディザ情報が、注目ブロックにディザが施されていることを表している場合には、注目ブロックの最高の周波数成分の直交変換係数の値である-1又は1が、逆量子化によって復元することができる量子化係数に量子化されるように、量子化部６４での量子化ステップを制御する第２の量子化制御情報としてのスケーリングリストを生成する。
【０２１０】
なお、H.264/AVCでは、量子化ステップは、量子化パラメータQpとスケーリング値との両方に基づいて決定されるので、その量子化ステップで量子化が行われた場合に、最高の周波数成分の直交変換係数の値である-1又は1が、逆量子化によって復元することができる量子化係数に量子化されるように、量子化パラメータQpに基づき、スケーリング値が設定される。
【０２１１】
ここで、上述したように、量子化ステップは、量子化パラメータQpが大であるほど大になり、スケーリング値が小であるほど小になる。
【０２１２】
このため、ディザ用量子化ステップ制御部４２では、量子化パラメータQpが大である場合には、スケーリング値として、小さな値が設定され、量子化パラメータQpが小である場合には、スケーリング値として、大きな値が設定される。これにより、注目ブロックの最高の周波数成分の直交変換係数の値である-1又は1が、逆量子化によって復元することができる量子化係数に量子化されるように、量子化部６４での量子化ステップを制御するスケーリング値が設定される。
【０２１３】
すなわち、図１３は、原画像にディザが施されている場合に、ディザ用量子化ステップ制御部４２が量子化パラメータQpに基づいて設定されるスケーリング値を示している。
【０２１４】
上述したように、ディザ用量子化ステップ制御部４２は、量子化パラメータQpが大である場合には、小さな値のスケーリング値を設定し、量子化パラメータQpが小である場合には、大きな値のスケーリング値を設定する。
【０２１５】
図１２に戻り、ディザ用量子化ステップ制御部４２は、スケーリング値を設定すると、そのスケーリング値をコンポーネントとするスケーリングマトリクスの集合であるスケーリングリストを、第２の量子化制御情報として、量子化部６４とエントロピー符号化部７３に供給する。
【０２１６】
ここで、エントロピー符号化部７３は、ディザ用量子化ステップ制御部４２から供給されるスケーリングリストを符号化ビットストリームに含めるが、H.264/AVCでは、スケーリングリストは、符号化ビットストリーム（のシンタクス(Syntax)）中のSPS(Sequence Parameter Set)又はPPS(Picture Parameter Set)に含められる。この符号化ビットストリームは、H.264/AVCに準拠したものであり、したがって、H.264/AVCに準拠した従来の復号装置で復号することができる。
【０２１７】
なお、H.264/AVCのスケーリングリストは、MPEG2やMPEG4ビジュアルの量子化マトリクス(Quantiser Matrix)に相当する。
【０２１８】
上述したように、量子化部６４で得られた注目ブロックの量子化係数は、エントロピー符号化部７３に供給され、符号化ビットストリームに含められるが、さらに、逆量子化部６５にも供給される。
【０２１９】
逆量子化部６５は、量子化部６４からの注目ブロックの量子化係数を逆量子化し、その結果得られる注目ブロックの直交変換係数を、逆直交変換部６６に供給する。
【０２２０】
逆直交変換部６６は、逆量子化部６５から供給された変換係数に対して逆直交変換処理を施し、これにより、注目ブロックの予測誤差に相当する復号誤差を求め、演算部６７に供給する。
【０２２１】
演算部６７は、モード判定部７２から供給される、注目ブロックの予測誤差を求めるのに用いられた予測画像と、逆直交変換部６６からの復号誤差とを、必要に応じて加算することにより、注目ブロックの復号画像をローカルデコードする。演算部６７で得られた復号画像は、フィルタ６８に供給される。
【０２２２】
フィルタ６８は、必要に応じて、注目ブロックの復号画像に対して、ブロック歪みを除去するデブロッキング処理を施し、フレームメモリ６９に供給する。
【０２２３】
フレームメモリ６９は、フィルタ６８からの復号画像を、予測画像の生成に用いる参照画像として記憶する。この参照画像は、イントラ予測部７０及びインター予測部７１において予測画像を生成するときに参照される。
【０２２４】
すなわち、イントラ予測部７０は、注目ブロックのピクチャのうちの、既に符号化され、ローカルデコードされて、フレームメモリ６９に記憶されている復号画像である参照画像から、演算部６２で予測誤差を求めようとしている注目ブロックに隣接するブロックの画像を抽出することにより、イントラ予測画像を生成し、モード判定部７２に供給する。
【０２２５】
また、インター予測部７１は、注目ブロックのピクチャ（フレーム又はフィールド）とは異なるピクチャのうちの、既に符号化され、ローカルデコードされて、フレームメモリ６９に記憶されている復号画像である参照画像と、注目ブロックとの間の動きを表す動きベクトルを検出し、その動きベクトルに基づいて、参照画像に動き補償を施こすことにより(MotionEstimation/Compensation)、インター予測画像を生成して、モード判定部７２に供給する。
【０２２６】
モード判定部７２は、注目ブロックに適用する予測モードを選択し(ModeDecision)、その予測モードに応じて、イントラ予測部７０からのイントラ予測画像、又はインター予測部７１からのインター予測画像のうちの一方を、注目ブロックの予測画像として、演算部６２及び６７に供給する。
【０２２７】
上述したように、演算部６２では、モード判定部７２からの予測画像を用いて、予測誤差が求められ、演算部６７では、モード判定部７２からの予測画像を用いて、復号画像が求められる。
【０２２８】
以上のように、原画像にディザが施されている場合には、そのディザによって生じている周波数成分である最高の周波数成分が、逆量子化によって復元することができる量子化係数に量子化されるように、符号化ビットストリームに基づく量子化ステップの制御とは別に、量子化ステップを制御するので、復号画像の画質の劣化を防止することができる。
【０２２９】
さらに、原画像にディザが施されている場合の量子化ステップの制御は、周波数成分ごとに設定が可能なスケーリング値を用いて行われ、ディザによって生じている周波数成分のみが、逆量子化によって復元することができる量子化係数に量子化されるように、スケーリング値が設定されるので、符号化ビットストリームのデータ量の増加を抑制することができる。
【０２３０】
ここで、以上のような、原画像にディザが施されているかどうかによって、量子化ステップを制御することは、インター予測画像を用いて予測誤差が求められる場合と、イントラ予測画像を用いて予測誤差が求められる場合とのいずれにも適用可能であるが、特に、イントラ予測画像を用いて予測誤差が求められる場合に有用である。
【０２３１】
なお、図１２において、並べ替え部６１、演算部６２、逆量子化部６５、逆直交変換部６６、演算部６７、フィルタ６８、フレームメモリ６９、イントラ予測部７０、インター予測部７１、及びモード判定部７２が、図７の予測部１に相当し、直交変換部６３が、図７の変換部２に相当する。また、量子化部６４が、図７の量子化部４３に相当し、エントロピー符号化部７３が、図７の生成部４４に相当する。さらに、バッファ７４及びレート用量子化ステップ制御部７５が、図７のレート制御部５に相当する。
【０２３２】
次に、図１４は、本発明を適用したオーサリングシステムの他の一実施の形態の構成例を示している。
【０２３３】
なお、図中、図６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２３４】
すなわち、図１４のオーサリングシステムは、オーサリング装置２１、符号化装置２２、及び記録制御装置２３を有する点で、図６のオーサリングシステムと一致し、符号化装置９１、復号装置９２、表示装置９３、及び操作装置９４が新たに設けられている点で、図６のオーサリングシステムと異なっている。
【０２３５】
オーサリング装置２１では、図６で説明したように、そこに供給される素材としての画像に対して、オーサリングシステムのオペレータの操作に応じた処理を施し、オーサリングの結果としての画像を、符号化装置２２及び９１に供給する。
【０２３６】
符号化装置９１は、オーサリング装置２１からの画像を、符号化の対象である原画像として、符号化装置２２と同一の符号化方式で符号化し、すなわち、符号化装置２２が原画像を、例えば、H.264/AVCに準拠した符号化方式で符号化する場合には、符号化装置９１も、原画像を、H.264/AVCに準拠した符号化方式で符号化し、その結果得られる符号化ビットストリームを、復号装置９２に供給する。
【０２３７】
ここで、符号化装置２２が原画像を、例えば、H.264/AVCに準拠した符号化方式で符号化する場合には、符号化装置９１としては、H.264/AVCに準拠した符号化方式で符号化を行う従来の符号化装置を用いることができる。
【０２３８】
また、符号化装置９１は、符号化装置２２と同一構成とすることができる。但し、符号化装置９１を符号化装置２２と同一構成とする場合には、符号化装置９１において、原画像にディザが施されているかどうかによって、量子化ステップを制御しないようにする必要がある。
【０２３９】
復号装置９２は、符号化装置９１からの符号化ビットストリームを復号し、その結果得られる復号画像を、表示装置９３に供給して表示させる。
【０２４０】
オーサリングシステムのオペレータは、表示装置９３に表示された復号画像を見て、図３ないし図５で説明したように、復号画像において、すべての画素値が値vのブロックと、値v+1のブロックとが交互に現れている部分、つまり、原画像にディザが施されていることにより不自然になっている部分を指定するように、操作装置９４を操作する。
【０２４１】
操作装置９４は、オペレータの操作に応じた操作信号を、符号化装置２２のディザ情報取得部４１（図７）に供給する。符号化装置２２では、ディザ情報取得部４１が、操作装置９４からの操作信号に応じて、原画像にディザが施されているかどうかを認識することにより、ディザ情報を取得し、ディザ用量子化ステップ制御部４２に供給する。
【０２４２】
以下、符号化装置２２及び記録制御装置２３では、図６の場合と同様の処理が行われ、これにより、原画像を符号化した符号化ビットストリームが記録媒体２４に記録される。
【０２４３】
次に、符号化装置２２（図７）の画像符号化部３１や、量子化ステップ制御部３２が行う一連の処理は、専用のハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２４４】
そこで、図１５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２４５】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０２４６】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２４７】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０２４８】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２４９】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２５０】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２５１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【０２５２】
すなわち、上述した本実施の形態では、原画像にディザが施されているかどうかを表すディザ情報を取得し、そのディザ情報に基づいて、周波数成分を量子化するときの量子化ステップを制御するようにしたが、その他、例えば、原画像に、CG(Computer Graphics)に関する処理、又は画像合成に関する処理等のディザ以外の編集が施されているかどうかを表す編集情報を取得し、その編集情報に基づいて、周波数成分を量子化するときの量子化ステップを制御することができる。
【図面の簡単な説明】
【０２５３】
【図１】従来の符号化装置の一例の構成を示すブロック図である。
【図２】ディザを説明する図である。
【図３】ディザが施された原画像を符号化して復号する過程で得られるデータを示す図である。
【図４】ディザが施された原画像を符号化して復号する過程で得られるデータを示す図である。
【図５】ディザが施された原画像と、その原画像を符号化し、復号して得られる復号画像とを示す図である。
【図６】本発明を適用したオーサリングシステムの一実施の形態の構成例を示すブロック図である。
【図７】符号化装置２２の構成例を示すブロック図である。
【図８】DCTの基底を示す図である。
【図９】ディザ用量子化ステップ制御処理を説明するフローチャートである。
【図１０】符号化処理を説明するフローチャートである。
【図１１】ディザが施された原画像を符号化して復号する過程で得られるデータを示す図である。
【図１２】H.264/AVCに準拠した符号化を行う符号化装置２２の構成例を示すブロック図である。
【図１３】量子化パラメータQpに基づいて設定されるスケーリング値を示す図である。
【図１４】本発明を適用したオーサリングシステムの他の一実施の形態の構成例を示すブロック図である。
【図１５】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２５４】
１予測部，２変換部，５レート制御部，２１オーサリング装置，２２符号化装置，２３記録制御装置，２４記録媒体，３１画像符号化部，３２量子化ステップ制御部，４１ディザ情報取得部，４２ディザ用量子化ステップ制御部，４３量子化部，４４生成部，６１並べ替え部，６２演算部，６３直交変換部，６４量子化部，６５逆量子化部，６６逆直交変換部，６７演算部，６８フィルタ，６９フレームメモリ，７０イントラ予測部，７１インター予測部，７２モード判定部，７３エントロピー符号化部，７４バッファ，７５レート用量子化ステップ制御部，９１符号化装置，９２復号装置，９３表示装置，９４操作装置，１０１バス，１０２ CPU，１０３ ROM，１０４ RAM，１０５ハードディスク，１０６出力部，１０７入力部，１０８通信部，１０９ドライブ，１１０入出力インタフェース，１１１リムーバブル記録媒体

【出願人】	【識別番号】０００００２１８５【氏名又は名称】ソニー株式会社
【出願日】	平成１８年９月１日（２００６．９．１）
【代理人】	【識別番号】１０００８２１３１【弁理士】【氏名又は名称】稲本義雄
【公開番号】	特開２００８－６１１２２（Ｐ２００８－６１１２２Ａ）
【公開日】	平成２０年３月１３日（２００８．３．１３）
【出願番号】	特願２００６－２３８１０９（Ｐ２００６－２３８１０９）