| 【発明の名称】 |
再生装置 |
| 【発明者】 |
【氏名】白石 泰裕
|
| 【要約】 |
【課題】
【構成】 |
【特許請求の範囲】
【請求項1】 参照ピクチャを参照して、符号化データを復号化する復号化手段(12)と、 当該参照ピクチャを一時記憶するピクチャメモリ(16)と、 当該復号化手段の復号化に必要な参照ピクチャが当該ピクチャメモリに格納されているかどうかを判定する参照ピクチャ判定手段(18)と、 当該復号化手段により復号化されたピクチャのピクチャサイズを低減して、当該ピクチャメモリに書き込むリサイズ手段(22)と、 当該ピクチャメモリから表示用に読み出されるピクチャを元のピクチャサイズに戻すアップコンバータ(24) とを具備し、 当該復号化手段の復号化に必要な参照ピクチャが当該ピクチャメモリに格納される場合には、当該復号化手段により復号化された、参照ピクチャとなるべきピクチャが当該ピクチャメモリに書き込まれ、当該ピクチャメモリから表示用に読み出されたピクチャが外部に出力され、 当該復号化手段の復号化に必要な参照ピクチャが当該ピクチャメモリに格納されない場合には、所定ピクチャまで戻った上、当該復号化手段により復号化された、参照ピクチャとなるべきピクチャが、当該リサイズ手段を介して当該ピクチャメモリに書き込まれ、当該ピクチャメモリから表示用に読み出されたピクチャが当該アップコンバータを介して外部に出力される ことを特徴とする再生装置。 【請求項2】 参照ピクチャを参照して、符号化データを復号化する復号化手段(12)と、 当該参照ピクチャを一時記憶するピクチャメモリ(16)と、 当該復号化手段の復号化に必要な参照ピクチャが当該ピクチャメモリに格納されているかどうかを判定する参照ピクチャ判定手段(18)と、 当該復号化手段により復号化されたピクチャの一方のフィールドを選択し、当該ピクチャメモリに書き込むフィールド選択手段(26) とを具備し、 当該復号化手段の復号化に必要な参照ピクチャが当該ピクチャメモリに格納される場合には、当該復号化手段により復号化された、参照ピクチャとなるべきピクチャが当該ピクチャメモリに書き込まれ、 当該復号化手段の復号化に必要な参照ピクチャが当該ピクチャメモリに格納されない場合、所定ピクチャまで戻った上、当該復号化手段により復号化された、参照ピクチャとなるべきピクチャの当該一方のフィールドが、当該フィールド選択手段により当該ピクチャメモリに書き込まれる ことを特徴とする再生装置。 【請求項3】 当該参照ピクチャ判定手段が、復号化に必要な参照ピクチャが当該ピクチャメモリに存在しないことを検出した場合に、参照ピクチャなしに復号化できる所定ピクチャの符号化データを復号化するまで、この検出の直前に表示されたピクチャを表示し続けるよう出力表示をフリーズすることを特徴とする請求項1又は2に記載の再生装置。 【請求項4】 当該所定ピクチャが、H.264のIDR(Instantaneous Decoder Refresh)ピクチャであることを特徴とする請求項1乃至3の何れか1項に記載の再生装置。
|
【発明の詳細な説明】【技術分野】 【0001】 本発明は、画面内符号化及び画面間予測符号化を使って圧縮された圧縮映像データを復号化する映像復号化装置に関する。 【背景技術】 【0002】 近年、情報処理装置の処理速度の向上により音声又は映像等のデジタルデータを記録・再生する装置が多数開発されている。とりわけ最近では、外部記憶媒体に用いられるメモリカードやディスク媒体の大容量化・低価格化が進んでいることから、これらの記録媒体に動画や音声を記録・再生する機能を持つ機器が増えてきている。 【0003】 たとえば、デジタルビデオカメラにおいても、テープ媒体のみではなく、メモリカードやディスク媒体への動画の記録・再生機能を有するものが広く出回っており、テープ媒体を用いないビデオカメラも登場してきている。このような機器で映像又は音声を記録する場合、通常はデータを圧縮することでデータ量の削減をはかっている。よく用いられる動画の圧縮符号化方式の規格にはMPEG(Moving Picture Experts Group)で定めているMPEG1、2がある。MPEG−1は、動画面信号を1.5Mbpsまで圧縮し、MPEG−2では、動画像信号を2〜15Mbpsに圧縮する。 【0004】 また、現在は、さらなる高画質化の要求をみたすべく、ISO/IECとITUの共同で次世代画面符号化方式として、H.264/MPEG−4 Part10:AVC(以下、単にH.264と称す)を標準化した。一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによってデータ量を圧縮する。そこで時間的な冗長性の削減を目的とするピクチャ間予測符号化では、前方又は後方のピクチャを参照してブロック単位で動きの検出及び予測画像の作成を行い、得られた予測画像と現在のピクチャとの差分値を符号化する。 【0005】 図13及び図14を用いて、予測符号化における復号化時のピクチャの種類とその参照関係を説明する。図13は、H.264の場合の参照関係例を示し、図14は、MPEG2の場合の参照関係例を示す。 【0006】 ピクチャI0のように、参照ピクチャをもたず復号化できる画像(フレーム又はフィールド、若しくはこれらの一部)を、Iピクチャと呼ぶ。また、ピクチャP3のように、1枚のピクチャのみを参照して復号化するものを、Pピクチャと呼ぶ。また、同時に2枚のピクチャを参照して符号化するものを、Bピクチャとする。 【0007】 図14に示すMPEG2の例では、Pピクチャは、直前のIピクチャ又はPピクチャしか参照しない。Bピクチャは、直前直後のIピクチャ又はPピクチャしか参照しない。よって復号化に必要な参照用ピクチャは、復号化するピクチャのピクチャ・タイプ毎に判別可能な最大2枚となる。 【0008】 一方、H.264の場合、図13に示す例のように、各ピクチャは所定期間内のどのピクチャから参照しても良いことになっているので、簡単には判別不可能である。 【0009】 このように、H.264では、柔軟な画面間予測を採用することで、符号化効率が向上している。一方、これを実現するため、H.264では、MPEG2に比べ、復号化されたピクチャを一時保存するための参照ピクチャ用メモリに、より多くの参照ピクチャを格納しなければならず、さらにこれらを表示順に並べ替えるために、より多くのメモリ容量と演算が必要となっている。 【0010】 このような問題点に対して、参照関係を制御することで、参照ピクチャ用メモリに格納すべき画像を減らす構成が、特許文献1に記載されている。 【特許文献1】特開2005−260588号公報 【発明の開示】 【発明が解決しようとする課題】 【0011】 しかし、なるべくメモリ容量を削減したい機器、例えば民生用携帯型のビデオカメラでは、参照ピクチャ用メモリを増設することはコストアップや装置の肥大化に繋がるので、なるべく抑えたい。 【0012】 また、ビデオカメラの駆動源となるバッテリの消費の面からしても、なるべくメモリ容量を抑えて、そこに格納するデータ量も抑えた方がよい。さらに、特許文献1に記載の技術は、運動会のような動きの激しい被写体を撮影する用途に使われる民生用ビデオカメラには適していないと考えられる。 【0013】 そこで、なるべくメモリ容量を使用せずに必要な参照ピクチャを格納することができれば、ビデオカメラによって大変に有用である。 【0014】 一方、単純にメモリ容量を少なく設計しただけであるならば、自己録画のストリームなら、問題なく復号化できるが、例えば他機器で生成された複雑な参照関係を有するH.264のストリームが入力した場合、参照ピクチャ格納用メモリに必要な参照ピクチャが格納できる、復号化が破綻するという状況も起こりうる。すなわち、他の機器によって符号化された複雑又は長時間の参照関係を持ったH.264ストリームを復号化する状況を考えると、単純に格納可能な画像の枚数を減らした場合に、復号化が破綻する。 【0015】 そこで、本発明は、上記問題点に鑑みてなされたものであり、参照ピクチャ格納用メモリのメモリ容量が少なくても、復号化の破綻を起こしにくい映像復号化装置を提供することを目的とする。 【課題を解決するための手段】 【0016】 上記の目的を達成するために、本発明に係る再生装置は、参照ピクチャを参照して、符号化データを復号化する復号化手段と、当該参照ピクチャを一時記憶するピクチャメモリと、当該復号化手段の復号化に必要な参照ピクチャが当該ピクチャメモリに格納されているかどうかを判定する参照ピクチャ判定手段と、当該復号化手段により復号化されたピクチャのピクチャサイズを低減して、当該ピクチャメモリに書き込むリサイズ手段と、当該ピクチャメモリから表示用に読み出されるピクチャを元のピクチャサイズに戻すアップコンバータとを具備し、当該復号化手段の復号化に必要な参照ピクチャが当該ピクチャメモリに格納される場合には、当該復号化手段により復号化された、参照ピクチャとなるべきピクチャが当該ピクチャメモリに書き込まれ、当該ピクチャメモリから表示用に読み出されたピクチャが外部に出力され、当該復号化手段の復号化に必要な参照ピクチャが当該ピクチャメモリに格納されない場合には、所定ピクチャまで戻った上、当該復号化手段により復号化された、参照ピクチャとなるべきピクチャが、当該リサイズ手段を介して当該ピクチャメモリに書き込まれ、当該ピクチャメモリから表示用に読み出されたピクチャが当該アップコンバータを介して外部に出力されることを特徴とする。 【0017】 本発明に係る再生装置は、参照ピクチャを参照して、符号化データを復号化する復号化手段と、当該参照ピクチャを一時記憶するピクチャメモリと、当該復号化手段の復号化に必要な参照ピクチャが当該ピクチャメモリに格納されているかどうかを判定する参照ピクチャ判定手段と、当該復号化手段により復号化されたピクチャの一方のフィールドを選択し、当該ピクチャメモリに書き込むフィールド選択手段とを具備し、当該復号化手段の復号化に必要な参照ピクチャが当該ピクチャメモリに格納される場合には、当該復号化手段により復号化された、参照ピクチャとなるべきピクチャが当該ピクチャメモリに書き込まれ、当該復号化手段の復号化に必要な参照ピクチャが当該ピクチャメモリに格納されない場合、所定ピクチャまで戻った上、当該復号化手段により復号化された、参照ピクチャとなるべきピクチャの当該一方のフィールドが、当該フィールド選択手段により当該ピクチャメモリに書き込まれることを特徴とする。 【発明の効果】 【0018】 本発明によれば、参照ピクチャを格納する参照ピクチャ領域に保持できる参照ピクチャ数を増やすことができるので、参照メモリを保持できないことによる復号化の破綻を防止できる。 【発明を実施するための最良の形態】 【0019】 以下、図面を参照して、本発明の実施例を詳細に説明する。 【実施例1】 【0020】 図1は、本発明の一実施例の概略構成ブロック図である。再生装置10は、コーデック12、記録媒体14、ピクチャメモリ16、CPU18、表示装置20リサイズ装置22及びアップコンバータ24を具備する。コーデック12は、H.264の画像圧縮方式でデジタル画像信号を圧縮符号化し、圧縮画像データを生成するエンコーダ(符号化装置)と、圧縮画像データを復号して、元の画像データを復元するデコーダ(復号化装置)からなる。 【0021】 記録媒体14は、不揮発性半導体メモリ、HDD(Hard Disk Drive)等の磁気ディスク、又はDVD(Digital Versatile Disk)等に準拠する記録再生可能な光ディスクからなる。 【0022】 ピクチャメモリ16は、復号化された画像データ(ピクチャ)を一時的に記憶するメモリ、いわゆる復号化ピクチャバッファDPB(Decoded Picture Buffer)であり、図2に示すように、復号化で参照されるピクチャの画像データを格納する参照ピクチャ領域と、復号化で参照されないピクチャの画像データを格納する非参照ピクチャ領域とからなる。CPU18は、再生装置10の全体を制御する。表示装置20は例えばLCD(液晶表示パネル)からなる。 【0023】 リサイズ装置22は、ピクチャのサイズを小さくする、若しくは、データ又は画素を間引く装置であり、アップコンバータ24は、逆にサイズ、データ又は画素を補充して元のサイズ、データ数又は画素数に戻す装置である。詳細は後述するが、本実施例では、参照ピクチャの数がピクチャメモリ16の参照メモリ領域の容量を超える場合、各ピクチャのサイズを小さくする、即ち、画素を間引いてデータ量を半減する。これにより、実質的に、ピクチャメモリ16の容量が2倍になる。そのままでは、画素数が少なくて表示に支障を来すので、表示出力のために、アップコンバータ24が、ピクチャメモリ16から読み出した表示用ピクチャの画素を補間する。 【0024】 先ず、ピクチャメモリ16の基本的な管理方法を説明する。H.264では、非常に複雑な参照関係を許容しているので、復号化された複数のピクチャをDPBで管理する方法が規定されている。まず、復号化された画像データは、ピクチャ単位で、参照/非参照が指定される。ピクチャメモリ16自体又はその参照ピクチャ領域に格納可能な参照ピクチャ数は有限であるので、新たに参照ピクチャをピクチャメモリ16に格納するためには、既存の参照ピクチャをピクチャメモリ16から削除しなければならない。その方法として、ピクチャメモリ内の参照可能ピクチャがある一定の枚数に達していたら、もっとも古いピクチャを非参照ピクチャ領域に移動又は削除する移動窓(Sliding Window)メモリ管理法と、管理コマンドを用いてピクチャメモリ16の参照ピクチャ領域の任意のピクチャを非参照ピクチャ領域に移動又は削除する適応メモリ管理方法(MMCO)が知られている。 【0025】 図3は、移動窓メモリ管理法によるピクチャメモリ16の管理フローを示す。コーデック12が、あるピクチャを復号化する(S10)。ピクチャメモリ16の参照ピクチャ領域内に空き領域があるか否かを判別する(S11)。 【0026】 参照ピクチャ領域に空き領域がなければ(S11)、ピクチャメモリ16の非参照ピクチャ領域内に空き領域があるか否かを判別する(S12)。非参照ピクチャ領域にも空き領域がなければ(S12)、最も早く表示される非参照ピクチャを削除し(S13)、参照ピクチャ領域の最も古い参照ピクチャを非参照ピクチャ領域に移動する(S14)。非参照ピクチャ領域に空き領域があれば(S12)、参照ピクチャ領域の最も古い参照ピクチャを非参照ピクチャ領域に移動する(S14)。最も古い参照ピクチャを非参照ピクチャ領域に移動することにより参照ピクチャ領域に空きができるので、復号化したピクチャを参照ピクチャ領域に格納する(S15)。 【0027】 また、参照ピクチャ領域に当所から空きがあれば(S11)、復号化したピクチャを参照ピクチャ領域に格納する(S15)。 【0028】 図4は、適応メモリ管理法によるピクチャメモリ16の管理フローを示す。コーデック12が、あるピクチャを復号化する(S20)。空き領域がピクチャメモリ16の非参照ピクチャ領域内にあるか否かを判別する(S21)。 【0029】 非参照ピクチャ領域に空きがない場合(S21)、最も早く表示される非参照ピクチャを非参照ピクチャ領域から削除し(S22)、CPU20は、管理コマンドのIDを解析し、IDに従ってピクチャメモリ16の参照ピクチャ領域にある任意の参照ピクチャを解放し、復号化されたピクチャが参照ピクチャになる場合には、ピクチャメモリ16の参照ピクチャ領域に格納する(S23)。図15は、管理コマンドとその動作の対応表を示す。ステップS23では、管理コマンドのIDを解析し、IDに従って参照ピクチャの格納と解放を実行する。図15に示す表で、短時間参照ピクチャ及び長時間参照ピクチャとは、いずれもH.264において規定されている参照ピクチャの形態であって、短時間参照ピクチャはFIFO的に機能するピクチャメモリ16において所定の期間保持される通常的な参照ピクチャである。一方、前記短時間参照ピクチャをピクチャメモリ16内に保持しつづけるように設定変更したものが長時間参照ピクチャであり、解除されるまで参照ピクチャとして使用可能となる。 【0030】 非参照ピクチャ領域に空きがある場合(S21)、CPU20は、管理コマンドを解析し、ピクチャメモリ16の参照ピクチャ領域にある任意の参照ピクチャを解放し、復号化されたピクチャが参照ピクチャになる場合には、ピクチャメモリ16の参照ピクチャ領域に格納する(S23)。 【0031】 図3及び図4に示す方法によるピクチャメモリ16の管理は、参照ピクチャ数に対してピクチャメモリ16の参照ピクチャ領域の容量が十分に大きいことを前提としている。しかし、ピクチャメモリ16の参照ピクチャ領域の容量を超える参照ピクチャ数を必要とする映像を復号化する場合、復号化が破綻する。このような状況は、例えば、他の符号化装置で符号化された映像ストリームを復号化する場合に生じ得る。 【0032】 本実施例では、図3又は図4に示すピクチャメモリ16の管理によっても、復号化に必要な参照ピクチャをピクチャメモリ16に格納できない場合に、CPU18が、復号化対象の映像ストリームからIDR(Instantaneous Decoding Refresh)ピクチャに達するまで、復号化対象の映像ストリームを引き込み直し、復号化をIDRピクチャからやり直す。即ち、図5に示すように、CPU16は復号化に必要な参照ピクチャがピクチャメモリ16内にあるか否かを判別する(S50)。参照ピクチャがなければ(S50)、復号化対象の映像ストリームからIDRピクチャまでを引き直す(S51)。H.264の規格では、IDRピクチャを越えてより過去のピクチャを参照することは禁止されているので、IDRピクチャから復号化を開始すれば、圧縮画像を復号できることが保証されているからである。 【0033】 映像ストリームの引き直しの後、CPU18は、コーデック12からの復号化された画像データを、リサイズ装置22を介してピクチャメモリ16に供給する。即ち、図6及び図7に示すフローのステップS16,S24のように、復号化されたピクチャのサイズ又は画素数をリサイズ装置22で小さくする又は間引きして、ピクチャメモリ16に格納する。図6は、リサイズ装置22を利用する場合の、移動窓メモリ管理法によるピクチャメモリ16の管理フローを示し、図7は、リサイズ装置22を利用する場合の、適応メモリ管理法によるピクチャメモリ16の管理フローを示す。以後の処理は、それぞれ、図3及び図4と同じであるので、説明を省略する。 【0034】 また、ピクチャメモリ16から表示用に読み出される画像データは、アップコンバータ24により本来の画素数に戻されてから、表示装置20に供給される。図8は、表示動作のフローチャートを示す。ピクチャメモリ16から読み出された各ピクチャの画像データはアップコンバータ24に印加され、アップコンバータ24は、入力するピクチャのサイズを本来のサイズに戻す(S30)。アップコンバータ24の出力画像データは表示装置20に印加され、表示装置20は、アップコンバータ24からの画像データの示す画像を表示する(S31)。 【0035】 リサイズ装置22は、最初の引き直しに対しては、復号化画像データのサイズを1/2にし、アップコンバータ24は、逆に、ピクチャメモリ16からの各ピクチャのサイズを本来のサイズに戻す。リサイズ装置22がピクチャサイズを1/2にしても、ピクチャメモリ16で参照ピクチャ領域の容量が不足する場合、CPU18は、リサイズ装置22におけるリサイズ率を1/4にする。このときにも、アップコンバータ24がピクチャメモリ16からの各ピクチャのサイズを本来のサイズに戻すように、CPU16はアップコンバータ24の変換率を変更する。 【0036】 図9は、ピクチャメモリ16に格納可能なピクチャ数の変遷のイメージを示す。図9(a)は、最初にピクチャメモリ16に格納可能なピクチャ数を示す。図9(b)は、リサイズ装置22によるリサイズ率が1/2である場合の、ピクチャメモリ16に格納可能なピクチャ数を示す。図9(c)は、リサイズ装置22によるリサイズ率が1/4の場合の、ピクチャメモリ16に格納可能なピクチャ数を示す。 【実施例2】 【0037】 図10は、本発明の実施例2の概略構成ブロック図を示す。図1に示す実施例と同じ構成要素には同じ符号を付してある。この実施例では、参照ピクチャとして、インターレース信号の一方のフィールドのみを、参照ピクチャとしてピクチャメモリ16に格納する。これにより、ピクチャメモリ16の参照ピクチャ領域に、実質的に2倍の数のピクチャを格納できる。このために、再生装置10aには、ピクチャメモリ16に格納すべきフィールドを選択するフィールド選択装置26が追加される。 【0038】 CPU18aは、予め指定されるフィールドをフィールド選択装置26にセットする。フィールド選択装置26は、コーデック12により復号化された画像データを、ピクチャメモリ16の非参照ピクチャ領域に表示用に格納すると共に、復号化された画像データの内、参照に用いるフィールドのピクチャの画像データをピクチャメモリ16の参照ピクチャ領域に格納する。 【0039】 本実施例でも、図3又は図4により図3又は図4に示すピクチャメモリ16の管理によっても、復号化に必要な参照ピクチャをピクチャメモリ16に格納できない場合に、フィールド選択装置26を使い、特定のフィールドの画像データを参照ピクチャとしてピクチャメモリ16の参照ピクチャ領域に格納する。 【0040】 図11は、フィールド選択装置26を利用する場合の、移動窓メモリ管理法によるピクチャメモリ16の管理フローを示す。フィールド選択装置26が、コーデック12により復号化された画像データの内、参照に用いるフィールドのピクチャを選択し(S16a)、そのフィールドの画像データをピクチャメモリ16の参照ピクチャ領域に格納する(S15a)。その他の箇所の動作は、図6と同じであるので、説明を省略する。 【0041】 図12は、フィールド選択装置26を利用する場合の、適応メモリ管理法によるピクチャメモリ16の管理フローを示す。図7のステップS24に代えて、フィールド選択装置26が、コーデック12により復号化された画像データの内、参照に用いるフィールドのピクチャを選択する(S24a)。そして、図7のステップS23に代えて、CPU18aが管理コマンドの解析結果に基づき不要な参照ピクチャを参照ピクチャ領域から削除するか又は非参照ピクチャ領域に移動し、フィールド選択装置26が、そのフィールドの画像データをピクチャメモリ16の参照ピクチャ領域に格納する(S23a)。その他の箇所の動作は、図7と同じであるので、説明を省略する。 【0042】 実施例3では、参照ピクチャの片フィールドのみをピクチャメモリ16に格納するので、ピクチャメモリ16の参照ピクチャ領域に実質、2倍のピクチャ数を収容できる。 【図面の簡単な説明】 【0043】 【図1】本発明の実施例1の概略構成ブロック図である。 【図2】ピクチャメモリ16の参照ピクチャ領域と非参照ピクチャ領域の模式図である。 【図3】移動窓メモリ管理法によるピクチャメモリの管理フローチャートである。 【図4】適応メモリ管理法によるピクチャメモリの管理フローチャートである。 【図5】IDRピクチャ引き込み動作のフローチャートである。 【図6】IDRピクチャ引き込み後の、移動窓メモリ管理法によるピクチャメモリの管理フローチャートである。 【図7】IDRピクチャ引き込み後の、適応メモリ管理法によるピクチャメモリの管理フローチャートである。 【図8】アップコンバータによる表示用ピクチャの処理フローチャートである。 【図9】本実施例によるピクチャメモリの収容可能なピクチャ数の変遷を示す模式図である。 【図10】本発明の実施例2の概略構成ブロック図である。 【図11】実施例2の、IDRピクチャ引き込み後の、移動窓メモリ管理法によるピクチャメモリの管理フローチャートである。 【図12】実施例2の、IDRピクチャ引き込み後の、適応メモリ管理法によるピクチャメモリの管理フローチャートである。 【図13】H.264の参照関係を示す図である。 【図14】MPEG2の参照関係を示す図である。 【図15】ステップS23で参照する管理コマンドのIDと動作の対応表である。 【符号の説明】 【0044】 10,10a 再生装置 12 コーデック 14 記録媒体 16 ピクチャメモリ 18 CPU 20 表示装置 22 リサイズ装置 24 アップコンバータ 26 フィールド選択装置
|
| 【出願人】 |
【識別番号】000001007 【氏名又は名称】キヤノン株式会社
|
| 【出願日】 |
平成18年8月10日(2006.8.10) |
| 【代理人】 |
【識別番号】100090284 【弁理士】 【氏名又は名称】田中 常雄
|
| 【公開番号】 |
特開2008−47967(P2008−47967A) |
| 【公開日】 |
平成20年2月28日(2008.2.28) |
| 【出願番号】 |
特願2006−218821(P2006−218821) |
|