| 【発明の名称】 |
情報処理装置、情報処理方法及び半導体集積回路 |
| 【発明者】 |
【氏名】藤平達
【氏名】武者義則
|
| 【要約】 |
【課題】復号装置の処理能力を抑えつつ、滑らかに映像圧縮情報のフレームレートを下げることのできる情報処理装置および方法を提供する。
【構成】ストリームの復号時に、参照情報として、参照フレーム内で実際に参照される部分の情報を生成し、ストリーム中に挿入して記録する。記録したストリームのフレームレートを下げて復号する際に、ストリーム中の参照情報を抽出し、必要な部分だけを復号する。 |
【特許請求の範囲】
【請求項1】 デジタル信号の受信を行うチューナと、 前記受信部によって受信したデジタル信号から映像信号と音声信号を分離するデマルチプレクサと、 前記映像信号を格納するバッファと、 前記映像信号を復号し、参照フレームごとに参照フレーム中で参照される部分を表す参照情報を生成するビデオデコーダと、 前記参照情報を映像信号中に挿入する参照情報挿入部と、 前記参照情報挿入部により参照情報を挿入された映像信号を蓄積する蓄積部と、を備えることを特徴とする情報処理装置。 【請求項2】 請求項1に記載の情報処理装置であって、 前記ビデオデコーダにより復号された信号に対して、解像度の変換を行うビデオスケーラと、前記ビデオスケーラによって解像度変換された信号に対して符号化を行うビデオエンコーダと、を備えることを特徴とする情報処理装置。 【請求項3】 動き補償予測符号化を用いた映像コンテンツを含むストリームの受信を行う受信部と、 前記受信部によって受信したストリームから映像ストリームと音声ストリームを分離する分離部と、 前記映像ストリームを格納するバッファと、 前記映像ストリームを復号し、参照フレームごとに参照フレーム中で参照される部分を表す参照情報を生成するビデオデコーダと、 前記参照情報を映像ストリーム中に挿入する参照情報挿入部と、 前記音声ストリームを格納するバッファと、 前記音声ストリームを復号するオーディオデコーダと、 前記参照情報挿入部により参照情報を挿入された映像ストリームと前記音声ストリームを多重化してストリームを生成する多重部と、 前記多重部により生成されたストリームを格納するストリーム蓄積部と、 を備えることを特徴とする情報処理装置。 【請求項4】 請求項1に記載の情報処理装置であって、 前記ビデオデコーダの復号画像に対して、解像度の変換を行うビデオスケーラと、 前記ビデオスケーラによって解像度変換された画像に対して符号化を行うビデオエンコーダと、 前記オーディオデコーダの復号音声に対して、サンプルレートの変換を行うオーディオスケーラと、 前記オーディオスケーラによってサンプルレート変換された音声に対して符号化を行うオーディオエンコーダと、 をさらに備えることを特徴とする情報処理装置。 【請求項5】 請求項3に記載の情報処理装置であって、 前記参照情報挿入部がストリーム中のユーザデータとして参照情報を挿入することを特徴とする情報処理装置。 【請求項6】 請求項5に記載の情報処理装置であって、 前記参照情報挿入部が挿入する参照情報が、シーケンス層のユーザデータであることを特徴とする情報処理装置。 【請求項7】 請求項5に記載の情報処理装置であって、 前記参照情報挿入部が挿入する参照情報が、GOP層のユーザデータであることを特徴とする情報処理装置。 【請求項8】 請求項5に記載の情報処理装置であって、 前記参照情報挿入部が挿入する参照情報が、ピクチャ層のユーザデータであることを特徴とする情報処理装置。 【請求項9】 請求項1又は3に記載の情報処理装置であって、 前記参照情報は、参照フレーム中のスライス毎に、参照されるか否かを示す情報であることを特徴とする情報処理装置。 【請求項10】 請求項1又は3に記載の情報処理装置であって、 前記参照情報は、参照フレーム中のマクロブロック毎に、参照されるか否かを示す情報であることを特徴とする情報処理装置。 【請求項11】 動き補償予測符号化を用いた映像コンテンツのストリームの受信を行い、 受信したストリームから映像ストリームと音声ストリームを分離し、 前記映像ストリームおよび前記音声ストリームを各々バッファに格納し、 前記映像ストリームを復号するとともに、参照フレームごとに参照フレーム中で参照される部分を表す参照情報を生成し、 前記参照情報を映像ストリーム中に挿入し、 前記音声ストリームを復号し、 前記参照情報を挿入された映像ストリームと前記音声ストリームを多重化して生成したストリームを記録することを特徴とする情報処理方法。 【請求項12】 請求項11に記載の情報処理方法であって、 前記参照情報が、シーケンス層のユーザデータであることを特徴とする情報処理方法。 【請求項13】 請求項11に記載の情報処理方法であって、 前記参照情報が、GOP層のユーザデータであることを特徴とする情報処理方法。 【請求項14】 請求項11に記載の情報処理方法であって、 前記参照情報が、ピクチャ層のユーザデータであることを特徴とする情報処理方法。 【請求項15】 請求項11に記載の情報処理方法であって、 前記参照情報は、参照フレーム中のスライス毎に参照されるか否かを示す情報であることを特徴とする情報処理方法。 【請求項16】 請求項11に記載の情報処理方法であって、 前記参照情報は、参照フレーム中のマクロブロック毎に参照されるか否かを示す情報であることを特徴とする情報処理方法。 【請求項17】 動き補償予測符号化を用いた映像コンテンツのストリームの受信を行う受信部と、 前記受信部によって受信したストリームから映像ストリームと音声ストリームを分離する分離部と、 前記映像ストリームを格納するバッファと、 前記映像ストリームを復号し、参照フレームごとに参照フレーム中で参照される部分を表す参照情報を生成するビデオデコーダと、 前記参照情報を映像ストリーム中に挿入する参照情報挿入部と、 前記音声ストリームを格納するバッファと、 前記音声ストリームを復号するオーディオデコーダと、 前記参照情報挿入部により参照情報を挿入された映像ストリームと前記音声ストリームを多重化する多重部と、を備えることを特徴とする半導体集積回路。 【請求項18】 請求項17に記載の半導体集積回路であって、 前記ビデオデコーダの復号画像に対して、解像度の変換を行うビデオスケーラと、 前記ビデオスケーラによって解像度変換された画像に対して符号化を行うビデオエンコーダと、 前記オーディオデコーダの復号音声に対して、サンプルレートの変換を行うオーディオスケーラと、 前記オーディオスケーラによってサンプルレート変換された音声に対して符号化を行うオーディオエンコーダと、をさらに備えることを特徴とする半導体集積回路。
|
【発明の詳細な説明】【技術分野】 【0001】 本発明は、映像データを圧縮符号化したストリーム・データを受信し、変換・再生に関する情報処理装置、情報処理方法及び半導体集積回路に関する。 【背景技術】 【0002】 MPEG等では、画像の性質に応じて、フレームそのものよりも隣接するフレーム間の差分を符号化する予測符号化、画面の動きを検知して動きの分を補償した上で予測符号化を行う動き補償予測符号化、過去と未来の近傍のフレームから予測符号化を行う双方向予測符号化、あるいはこれらの符号化方法を組み合わせて高い圧縮率を得ている。 【0003】 MPEG等で圧縮された画像情報に対してフレームレートを下げる復号処理を行う場合、例えば、特開2001−204027号公報によれば、Bピクチャの復号を行わず、Iピクチャと、Pピクチャの復号のみを行うことによって実現している。 【0004】 また、別の例では、特開2000−32395号公報に示すように、早送り再生時に、出力時間間隔が一定となるように、出力フレームを選択し、必要なフレームのみを復号する方法も考案されている。 【0005】 【特許文献1】特開2001−204027号公報 【特許文献2】特開2000−32395号公報 【発明の開示】 【発明が解決しようとする課題】 【0006】 しかしながら、上述の特開2001−204027号公報に記載された方式によれば、Bピクチャの復号を行わず、Iピクチャと、Pピクチャの復号のみを行うことにより、比較的、単純な制御で実現できるが、符号化ストリームのピクチャ構成によっては、動きが不自然になる恐れがある。 【0007】 すなわち、IピクチャまたはPピクチャの間隔が一定でない場合に、変換後のフレームの時間間隔にばらつきが発生する。また、Bピクチャの含まれないストリームの場合には、そもそもフレームレートを下げることができない問題がある。 【0008】 また、上述の特開2000−32395号公報に記載された方式によれば、ビットストリーム中のピクチャ構成によらず、表示の自然さを損なわない滑らかな早送り再生が可能となるが、復号装置に十分な処理能力がない場合には、出力時間間隔を完全に一定に保てないため、滑らかさが損なわれてしまう問題がある。 【0009】 例えば、家庭内の録画機器において、MPEGフォーマットで記録した映像情報を、外出先の携帯機器で視聴するために元のMPEGフォーマットを復号して、解像度とフレームレートを下げたMPEGフォーマットへの再符号化を行う場合においては、上記問題は深刻な問題となる。 【0010】 そこで、本発明は、これらの問題に鑑み、復号装置の処理能力を抑えつつ、滑らかに映像圧縮情報のフレームレートを下げることのできる情報処理装置、情報処理方法及び半導体集積回路を提供することを目的とする。 【課題を解決するための手段】 【0011】 上記の課題を解決する為、本発明の概要としては、例えば、ストリームの復号時に、参照情報として、参照フレーム内で実際に参照される部分の情報を生成し、ストリーム中に挿入して記録する。記録したストリームのフレームレートを下げて復号する際に、ストリーム中の参照情報を抽出し、必要な部分だけを復号するように構成する。 【発明の効果】 【0012】 本発明によれば、復号装置の処理能力を抑え、滑らかに映像圧縮情報のフレームレートを下げることができる。 【発明を実施するための最良の形態】 【0013】 以下、本発明の実施の形態を、図面を用いて説明する。以下の説明における情報処理装置は、一例としてデジタル放送記録装置を対象としているが、これに限るものではない。すなわち、MPEGなどの映像ストリームを記録し、復号を行う情報処理装置に適用可能である。 【実施例1】 【0014】 図1は、本発明の1実施例である情報処理装置の構成図である。本実施形態は、デジタル放送を受信・記録し、再生する情報処理装置である。本実施例は、TS受信部101、TS分離部102、ビデオデコーダ103、ビデオストリームバッファ104、参照情報挿入部105、TS多重部106、オーディオデコーダ107、オーディオストリームバッファ108、ストリーム蓄積部109、映像出力部110、音声出力部111から構成されている。 【0015】 本実施例の情報処理装置の映像受信時の動作について順に説明する。TS受信部101は、デジタルテレビジョン放送電波を受信し、復調後、誤り訂正処理を行って、MPEG伝送ストリームをTS 分離部102に出力する。 【0016】 ここで、MPEG伝送ストリームとは、デジタルテレビジョン放送においてはMPEG2システム規格(ISO/IEC13818-1)に規定されるトランスポート・ストリームである。MPEG伝送ストリームは、映像の基本ストリームと音声の基本ストリームを多重化したシステム・ストリームであり、伝送に適するように、パケット形式で構成されている。 【0017】 TS 分離部102は、TS受信部101で得られたMPEG伝送ストリームから映像及び音声の基本ストリームを分離する。ここで、例えば地上デジタルテレビジョン放送の場合、映像の基本ストリームとしては、MPEG-2規格(ITU-T H.262|ISO/IEC13818-2)、H.264規格(ITU-T H.264|ISO/IEC14496-10)が用いられる。音声の基本ストリームとしては、MPEG-2AAC規格(ISO/IEC13818-7) が用いられる。 【0018】 なお、本実施例においては、映像及び音声の基本ストリームのフォーマットは上記の規格に限定されるものではなく、他の規格が用いられる場合でもなんら問題は無い。その場合、ビデオデコーダ103及びオーディオデコーダ107は、当該規格に対応するデコーダを用いればよい。 【0019】 TS 分離部102で分離された映像の基本ストリームは、ビデオデコーダ103に送られる。ビデオデコーダ103は、映像基本ストリームの復号を行い、復号映像フレームを映像出力部110に出力する。映像出力部110は、ビデオデコーダ103で出力されたフレームを、表示時刻情報にしたがって出力する。 【0020】 また、TS 分離部102で分離された音声の基本ストリームは、オーディオデコーダ107に送られる。オーディオデコーダ107は、音声基本ストリームの復号を行い、復号フレームを音声出力部111に出力する。音声出力部111は、オーディオデコーダ107から出力されたフレームを表示時刻情報にしたがって出力する。 【0021】 以上の動作により、視聴者は、デジタルテレビジョン放送を受信し、番組を視聴することができる。 【0022】 次に、本実施例の情報処理装置の映像記録時の動作について順に説明する。TS受信部101、TS 分離部102の動作については、映像受信時と同様である。映像記録時においては、TS 分離部102で分離された映像の基本ストリームは、ビデオデコーダ103とともに、ビデオストリームバッファ104にも送られる。ビデオデコーダ103は、映像基本ストリーム中の解析を行い、ストリーム中の参照ピクチャ、すなわちIピクチャとPピクチャについて、参照情報を生成し、参照情報挿入部105に送る。 【0023】 ここで、参照情報とは、フレーム内で、他のピクチャから動き補償予測により参照される部分の位置を表す情報である。ビデオストリームバッファ104は、ビデオデコーダ103で参照情報を生成している間、生成対象ピクチャを含む映像基本ストリームを保存し、ビデオデコーダ103からの参照情報出力にあわせて、映像基本ストリームを参照情報挿入部105に送る。参照情報挿入部105は、ビデオストリームバッファ104からの映像基本ストリームにビデオデコーダ103からの参照情報を挿入する。 【0024】 このとき、例えば、MPEG-2のストリームであれば、ユーザデータ領域に挿入することができる。 【0025】 参照情報挿入部105は、参照情報を挿入した映像基本ストリームをTS多重部106に送る。TS 分離部102で分離された音声の基本ストリームは、オーディオストリームバッファ108に送られる。オーディオストリームバッファ108は、音声の基本ストリームを保存し、参照情報挿入部105からTS多重部106への映像基本ストリームの出力に同期させて、音声の基本ストリームをTS多重部106に出力する。 【0026】 TS多重部106は、参照情報挿入部105からの映像基本ストリームと、オーディオストリームバッファ108からの音声基本ストリームの多重化を行い、MPEG伝送ストリームを生成し、ストリーム蓄積部109に出力する。 【0027】 ストリーム蓄積部109は、TS 多重部106からのMPEG伝送ストリームを格納する。以上により、視聴者は、受信映像を記録することができる。 【0028】 なお、受信映像の視聴と記録とは、同時に行うことが可能である。その場合、上述した映像受信時の動作と、映像記録時の動作が並行に行われる。 【0029】 次に、本実施例の情報処理装置の記録映像再生時の動作について順に説明する。ストリーム蓄積部109は、格納したMPEG伝送ストリームを順次読み出し、TS分離部102に出力する。 【0030】 TS 分離部102は、ストリーム蓄積部109より出力されたMPEG伝送ストリームから映像及び音声の基本ストリームを分離する。TS 分離部102で分離された映像の基本ストリームは、ビデオデコーダ103に送られる。ビデオデコーダ103は、映像基本ストリームの復号を行い、復号映像フレームを映像出力部110に出力する。映像出力部110は、ビデオデコーダ103で出力されたフレームを表示時刻情報にしたがって出力する。 【0031】 TS 分離部102で分離された音声の基本ストリームは、オーディオデコーダ107に送られる。オーディオデコーダ107は、音声基本ストリームの復号を行い、復号フレームを音声出力部111に出力する。 【0032】 音声出力部111は、オーディオデコーダ107から出力されたフレームを、表示時刻情報にしたがって出力する。 【0033】 以上により、視聴者は、記録映像を視聴することができるが、本実施例の情報処理装置においては、記録映像の早送り再生も可能である。この場合、ビデオデコーダ103は、映像基本ストリームの復号を行う際に、映像基本ストリーム中に挿入された参照情報を抽出し、早送り再生に必要な部分のストリームのみを復号する。映像出力部110は、ビデオデコーダ103で出力されたフレームを、早送り用の表示時刻情報にしたがって出力する。 【0034】 次に、映像記録時に、参照情報を生成する際の動作の詳細について、説明する。図3は、映像基本ストリーム内のピクチャの並び順の例を表している。符号化対象フレーム0〜11を各々BBIBBPBBPBBPのピクチャタイプで符号化した場合、Bピクチャについては、再生順で前後2つのIまたはPピクチャの参照が必要である.そのため、本例では、図3のストリーム図の如く、各フレームに対応するストリーム内のピクチャ順序は、2、0、1、5、3、4、8、6、7、11の順となる。 【0035】 このとき、例えば、3Bのピクチャは、2Iと5Pのピクチャを参照する。なお、符号化する際のピクチャタイプのパターンは、決まっておらず、この例に限らず、様々なパターンが有り得る。 【0036】 図4は、図3のストリームに対して、参照情報を生成する際、ビデオストリームバッファ104に保存されるストリームを表している。ストリームは、2Iピクチャから順に保存されていく。Iピクチャ、Pピクチャについては、参照情報を挿入する必要があるため、全ての参照情報が確定するまで保存しておく。例えば、2Iピクチャは、0B、1B、5P、3B、4Bの各ピクチャから参照される為、ビデオデコーダ103において4Bのピクチャの復号化が終わった段階で、参照情報が確定する。 【0037】 0B、1Bピクチャについては、どのピクチャからも参照されないので、4Bピクチャの復号化が終わったとき、2I、0B、1Bの各ピクチャを出力する。参照情報挿入部105に出力する。同様に、7Bピクチャの復号化が終わったとき、5P、3B、4Bの各ピクチャを出力する。 【0038】 次に、ビデオデコーダ103において生成する参照情報について説明する。図5は、参照フレーム中の参照部分の例である。各フレームは、通常、スライスと呼ばれる部分ごとに符号化される。スライスは、ストリームを分割して復号化が可能となる最小単位である。 【0039】 図5の参照フレームは、0〜14までの15のスライスから成っている。参照フレーム中で、他のピクチャから実際に参照される部分は、フレームにより異なっている。 【0040】 一般には、フレーム間の相関が高ければ、かなりの部分が参照され、フレーム間の相関が低ければ、ほとんど参照されない。参照ピクチャが、早送り再生において表示されないフレームである場合には、参照ピクチャの参照部分を含まないスライスについては、復号する必要がない。 【0041】 図5においては、スライス1、2、4、6のみ復号すればよいので、これらの参照情報は、図6のようになる。 【0042】 以上のように、本実施例の情報処理装置においては、映像記録時に、参照情報を映像基本ストリーム中に挿入し、早送り再生する際に、ストリームの必要な部分のみを復号するので、復号処理負荷を抑えながら、なめらかに早送り再生をすることが可能である。 【0043】 なお、TS多重部106の多重化により生成するシステム・ストリームは、MPEG2システム規格に規定されるトランスポート・ストリームである必要はない。例えばプログラム・ストリームでもよく、装置の用途に応じて選択することができる。その場合、TS分離部102とTS多重部106は、選択したシステム・ストリームに対応したものであればよい。 【実施例2】 【0044】 次に、本発明の第2の実施例となる情報処理装置について説明する。本実施例は、第1の実施例にストリーム変換機能を付加したものである。すなわち、記録した映像の解像度・フレームレートを下げることにより、情報量を削減したストリームを新たに生成し、記録する機能を有している。 【0045】 図2は、本実施例の情報処理装置のブロック図である。図1と重複する部分については、同番号を付し、説明を省略する。本実施例においては、新たにビデオスケーラ200、ビデオエンコーダ201、オーディオスケーラ202、オーディオエンコーダ203を追加している。 【0046】 本実施例の情報処理装置の記録映像変換時の動作について順に説明する。ストリーム蓄積部109は、格納したMPEG伝送ストリームを順次読み出し、TS分離部102に出力する。TS 分離部102は、ストリーム蓄積部109より出力されたMPEG伝送ストリームから映像及び音声の基本ストリームを分離する。TS 分離部102で分離された映像の基本ストリームは、ビデオデコーダ103に送られる。ビデオデコーダ103は、映像基本ストリームの復号を行う際に、映像基本ストリーム中に挿入された参照情報を抽出し、フレームレート変換に必要な部分のストリームのみを復号する。ビデオデコーダ103からの復号フレームは、ビデオスケーラ200により、解像度変換が行われ、ビデオエンコーダ201により、再符号化される。 【0047】 TS 分離部102で分離された音声の基本ストリームは、オーディオデコーダ107に送られる。オーディオデコーダ107は、音声基本ストリームの復号を行う。オーディオデコーダ107からの復号フレームは、オーディオスケーラ202により、サンプルレート変換が行われ、オーディオエンコーダ203により、再符号化される。ビデオエンコーダ201からの映像基本ストリームおよびオーディオエンコーダ203からの音声基本ストリームは、TS多重部106によりMPEG伝送ストリームに多重化され、ストリーム蓄積部109に記録される。 【0048】 以上の構成により、本実施例の情報処理装置は、本発明の第1の実施例と同様の効果の他に、記録映像のフレームレートを下げる変換を行う際に、復号処理負荷を抑えながら、なめらかな映像への変換を行うことが可能である。 【0049】 なお、前記受信部と、前記分離部と、前記バッファと、前記参照情報挿入部と、前記多重部と、前記ストリーム蓄積部と、前記ビデオデコーダと、前記オーディオデコーダのうち、少なくとも2つは1チップのCPUやLSI等として構成されるようにしてもよい。 【0050】 また、実際の製品ベースで考えると、上述した受信部101は、例えば、チューナに対応し、上述したTS分離部102は、例えば、デマルチプレクサ(Demultiplexer)に対応する。 【0051】 また、上述した参照情報は、参照フレーム中のスライス毎に参照されるか否かを示す情報であってもよい。この場合、スライス毎の中で復号に必要でない部分をも余計に処理する可能性があるので、余分な復号時間がかかってしまうおそれがある。 【0052】 そのため、スライス毎単位で参照情報を取り扱うのではなく、スライス単位より小さな単位、例えば、マクロブロック毎に参照されるか否かを示す情報として扱うように構成する。そうすれば、参照情報の情報量がスライス単位で処理する場合より多くなるものの、必要なところと不必要箇所との区切り部分などがよりきめ細やかに復号することができ、さらに復号時間を減らすことができる。 【0053】 また、前記映像ストリームのフォーマットは限定するものではなく、複数のフォーマットにも対応可能であり、例えば、MPEG1、MPEG2、あるいは、MPEG4などの動き補償予測符号化を用いたフォーマットであればよい。 【0054】 また、上述した参照情報挿入部105は、ストリーム中のユーザデータとして参照情報を挿入するように構成してもよい。このユーザデータは、例えばシーケンス層のユーザデータであったり、GOP(Group of picture)層のユーザデータであったり、ピクチャ層のユーザデータであってもよい。 【図面の簡単な説明】 【0055】 【図1】本発明の第1の実施例となる情報処理装置のブロック図である。 【図2】本発明の第2の実施例となる情報処理装置のブロック図である。 【図3】映像基本ストリーム内のピクチャの並び順の例を示す図である。 【図4】ビデオストリームバッファの動作を示す図である。 【図5】参照フレーム中の参照部分の例を示す図である。 【図6】参照情報の例を示す図である。 【符号の説明】 【0056】 101 TS受信部 102 TS分離部 103 ビデオデコーダ 104 ビデオストリームバッファ 105 参照情報挿入部 106 TS多重部 107 オーディオデコーダ 108 オーディオストリームバッファ 109 ストリーム蓄積部 110 映像出力部 111 音声出力部 2 情報処理装置 200 ビデオスケーラ 201 ビデオエンコーダ 202 オーディオスケーラ 203 オーディオエンコーダ
|
| 【出願人】 |
【識別番号】000005108 【氏名又は名称】株式会社日立製作所
|
| 【出願日】 |
平成18年6月28日(2006.6.28) |
| 【代理人】 |
【識別番号】100100310 【弁理士】 【氏名又は名称】井上 学
|
| 【公開番号】 |
特開2008−10997(P2008−10997A) |
| 【公開日】 |
平成20年1月17日(2008.1.17) |
| 【出願番号】 |
特願2006−177465(P2006−177465) |
|