| 【発明の名称】 |
動画像復号装置 |
| 【発明者】 |
【氏名】米久保 裕
【氏名】鈴木 正和
【氏名】森 弘史
|
| 【要約】 |
【課題】再生時刻情報について補正が必要な際に補助時刻情報についても信頼性判定を行い、より適切に時刻情報の補正を行う。
【構成】映像情報および再生時刻情報がパケット単位で多重化されたストリームから映像情報および再生時刻情報を分離するとともに、パケット単位の伝送誤りを検出し伝送システム誤り検出信号を出力する分離部１１と、前記映像情報を復号し、復号映像と補助時刻情報を出力する動画像信号復号部２１と、前記伝送システム誤り検出情報に基づいて、前記補助時刻情報が格納されたパケットの信頼性を判定する補助時刻信頼性判定部２３と、この補助時刻信頼性判定部２３による判定結果と前記補助時刻情報とに基づいて映像の再生時刻情報を補正する再生時刻補正部２６と、この再生時刻補正部２６により補正された再生時刻情報に基づいて前記復号映像を表示する再生出力部２５とを具備する。 |
【特許請求の範囲】
【請求項１】
映像情報および再生時刻情報がパケット単位で多重化されたストリームから映像情報および再生時刻情報を分離するとともに、パケット単位の伝送誤りを検出し伝送システム誤り検出信号を出力する分離部と、
前記映像情報を復号し、復号映像と補助時刻情報を出力する動画像信号復号部と、
前記伝送システム誤り検出情報に基づいて、前記補助時刻情報が格納されたパケットの信頼性を判定する補助時刻信頼性判定部と、
この補助時刻信頼性判定部による判定結果と前記補助時刻情報とに基づいて映像の再生時刻情報を補正する再生時刻補正部と、
この再生時刻補正部により補正された再生時刻情報に基づいて前記復号映像を表示する再生出力部と
を具備することを特徴とする動画像復号装置。
【請求項２】
前記再生時刻補正部は、前記補助時刻信頼性判定部から受け取る信頼性判定結果に基づき、前記補助時刻情報が信頼できると判断した場合は、過去に取得した再生時刻情報と前記補助時刻情報から求まる時間間隔情報の加算に基づき当該復号画像の再生時刻情報を補正する一方、前記補助時刻情報が信頼できないと判断した場合は、過去に取得した最新の再生時刻情報と平均フレーム間隔情報との加算に基づき当該復号画像の再生時刻情報を補正することを特徴とする請求項１記載の動画像復号装置。
【請求項３】
前記伝送システム誤り検出情報に基づいて、前記再生時刻情報の信頼性を判定する再生時刻信頼性判定部を具備していることを特徴とする請求項１または２に記載の動画像復号装置。
|
【発明の詳細な説明】【技術分野】
【０００１】
この発明は映像情報および再生時刻情報がパケット単位で多重化されたストリームを受けて映像情報を復号化し、復号化した映像を再生時刻情報に基づき表示する動画像復号装置に関するものである。
【背景技術】
【０００２】
従来、復号映像の再生時刻情報（ＰＴＳ）について信頼性判定を行う際に、また、再生時刻情報（ＰＴＳ）について誤り時の補正を行う際に、過去に正しいと判定した最新の再生時刻情報とビットストリーム内の補助的な時刻情報を使用するシステムが特許文献１に示されている。
【特許文献１】特開２００２−１３５７７７号公報
【０００３】
例えば、ＭＰＥＧ−２などが採用しているITU-T によるH.264 勧告の符号化方式に対し、上記特許文献１に記載の従来手法を採用すると次の如くになる。図１に示す例は、１ＰＥＳ(Packetized Elementary Stream)＝ｎＡＵ(Access Unit) の、可変フレームレートにおける例を想定している（ｎは１以上の整数）。ここに、ＰＥＳはビデオ符号化データをパケット多重化したもので、ＡＵはＮＡＬ(H.264 におけるデータの区切り単位) をピクチャ単位でまとめたユニットである。
【０００４】
ＰＥＳのヘッダには、メディアの再生タイムスタンプであるＰＴＳ(Presentation Time Stamp)が格納される。ただし、無線通信等の所謂誤り環境下では、ＰＴＳの値が正常でない場合があり、係る場合には、過去に復号した最新のＰＴＳにビットストリーム内の補助的な時刻情報から求まるある時間間隔を加算し、間隔内に値が収まるかどうかを判断して当該ＰＴＳの信頼性を判定するものである。そして、信頼できないとの判定結果が生じた場合には、補助時刻情報を使用して補正する。補助時刻情報とは、動画像のタイムスタンプが取得できない場合や信頼性の低い場合に用いられる情報であり、当該判定（信頼できないとの判定）以前に正しく取得された再生時刻情報からのオフセットを与えることで時刻情報を補正することを目的としてセットされている。
【０００５】
ところで、H.264 では、補助時刻情報としてＳＥＩ(Supplemental Enhancement Information)と呼ばれるＮＡＬを用いる。ＳＥＩには、buffering period SEI、picture timing SEIがあり、buffering period SEIはＩＤＲピクチャを開始点とする画像のバッファリング期間を示す情報である。図１の例では、フレーム０（frame0）のＩＤＲピクチャでbuffering periodが開始されている。一方、picture timing SEIには、cpb_removal_delay なるシンタックスが含まれており、この値はbuffering periodからのオフセットとして使用できるものである。
【０００６】
ＰＴＳが正常に取得できればＰＴＳに従って画像を表示するが、ＰＴＳが誤った値になっていることが検出された場合には、ＩＤＲピクチャを起点とするオフセットを用いて表示時刻を算出する。実際には、cpb_removal_delay は、符号化ストリームのバッファＤＰＢ(Decoded Picture Buffer)からの引き抜き遅延を表すもので、表示時刻を表すにはＤＰＢからの引き去り時間も考慮する必要がある。ただし、表示順＝復号順の復号装置においては、一般にdpb_output_delay（ＤＰＢからの引き去り時間）＝０としてよく、この場合を前提に説明をする。
【０００７】
引用文献１に開示の手法を、ＳＥＩの信頼性判定について適用した場合、ある固定の時間間隔内に再生時刻が収まらなければ誤りとみなすことになるが、可変フレームレートではフレーム間隔は変動するため固定の間隔内に収まるとは限らない。図１の例では、フレームＮ（frame N ）の非ＩＤＲピクチャにおけるオフセット値とフレーム（Ｎ−１）（frame N-1 ）の非ＩＤＲピクチャにおけるオフセット値（cpb_removal_delay）を比べると、その値は２６→３２と、時間間隔の増分がそれまでの平均的な増分を大きく上回っているため誤りとみなしている。しかしながら、可変フレームレートでは時間間隔の上限を超えた時刻が正しい場合もある。また図１の例では、増分の度合いがそれほど急激でなく、間隔内に再生時刻があるフレーム１〜（Ｎ−１）（frame 1 、frame 2 、・・・、frame N-1 ）について正常とみなすことになるが、実際は誤っているケースもある。変動するフレームレートに対して、適切な補正用の固定時間間隔を定めるのは難しいのである。
【０００８】
上記特許文献１に示されている手法では、補助的な時刻管理情報を用いることにより、ＰＴＳ 誤り時における画像の再生時刻を本来の再生時刻に近い値で補正することができる利点をもつものの、補助的な時刻情報自体の信頼性についての判定は考慮されない。このため、この補助的な時刻情報が誤りを含む場合には、補正のみならずＰＴＳの信頼性判定も正しく行うことができない。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明が解決しようとする課題は、従来にあっては、補助的な時刻情報自体の信頼性は考慮されず、補助的な時刻情報が誤りを含む場合には、補正のみならずＰＴＳの信頼性判定も正しく行うことができないことであり、本発明は係る問題点を解決せんとしてなされたもので、その目的は、再生時刻情報について補正が必要な際に補助時刻情報についても信頼性判定を行い、より適切に時刻情報の補正を行い得る動画像復号装置を提供することである。
【課題を解決するための手段】
【００１０】
本発明に係る動画像復号装置は、映像情報および再生時刻情報がパケット単位で多重化されたストリームから映像情報および再生時刻情報を分離するとともに、パケット単位の伝送誤りを検出し伝送システム誤り検出信号を出力する分離部と、前記映像情報を復号し、復号映像と補助時刻情報を出力する動画像信号復号部と、前記伝送システム誤り検出情報に基づいて、前記補助時刻情報が格納されたパケットの信頼性を判定する補助時刻信頼性判定部と、この補助時刻信頼性判定部による判定結果と前記補助時刻情報とに基づいて映像の再生時刻情報を補正する再生時刻補正部と、この再生時刻補正部により補正された再生時刻情報に基づいて前記復号映像を表示する再生出力部とを具備することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、補助時刻信頼性判定部および再生時刻補正部を有し、伝送システム誤り検出情報に基づいて、補助時刻情報が格納されたパケットの信頼性を判定し、この判定結果と補助時刻情報とに基づいて映像の再生時刻情報を補正するので、再生時刻の誤り検出時における時刻補正の際に、補正に使用する補助時刻情報自体の信頼性判定を行うことが可能となり、誤り時の再生時刻補正の精度を高めることができる。
【発明を実施するための最良の形態】
【００１２】
以下添付図面を参照して、本発明に係る動画像復号装置の実施例を説明する。図２に、本発明に係る動画像復号装置の実施例を示す。本発明に係る動画像復号装置は、例えば、無線回線を介して取り込まれた多重ストリームを分離する分離部１０を備えている。多重ストリームは、音声ビットストリーム及び動画像ビットストリームをそれぞれ１フレーム毎、または複数フレーム毎にパケット化してＰＥＳパケットとし、さらに、ＰＥＳパケットを固定長のＴＳ（Transport Stream）パケットに変換したものである。ＰＥＳパケットのヘッダ中に再生出力用の再生時刻情報であるタイムスタンプ（ＰＴＳ）が付加される。さらに、このＴＳパケットのヘッダには、送信側と受信側の時刻同期を図るための基準時刻校正情報（一般的には番組時刻参照値ＰＣＲ：Program Clock Reference ）が付加される。
【００１３】
図３に、ＴＳパケットフォーマットを示す。ＴＳ(Transport Stream)パケットは、上記の通り、ＰＥＳパケットを更にパケット化して伝送するもので、ＭＰＥＧ−２システムにおいて使われている。ヘッダ部分には「transport_error_indicator 」フラグが設けられており、この「transport_error_indicator 」フラグがセット状態にあれば、当該パケットに誤りが存在することを示す。なお、ＮＡＬ(H.264 におけるデータの区切り単位)は複数のＴＳパケットに分割格納されるが、各パケットのエラーフラグの値を保持しておき、ＮＡＬ区切りごとに論理和を作成することにより、ＮＡＬ単位で誤りが含まれているかどうかを判断する。
【００１４】
分離部１０は、多重ストリームから映像情報、再生時刻情報、伝送システム誤り検出信号、音声情報及び番組時刻参照値ＰＣＲを抽出して出力する。映像情報は動画像信号復号部２１へ送られ、再生時刻情報は再生時刻信頼性判定部２２及び音声再生出力部３２へ送られ、伝送システム誤り検出信号は再生時刻信頼性判定部２２及び補助時刻信頼性判定部２３へ送られ、番組時刻参照値ＰＣＲは時間管理部２４へ送られ、音声情報は音声信号復号部３１へ送られる。
【００１５】
動画像信号復号部２１は、映像情報を復号映像信号へ復号化して再生出力部２５へ送出すると共に、ビットストリーム内の補助時刻情報ＳＥＩを抽出して補助時刻信頼性判定部２３及び再生時刻補正部２６へ送出するものである。再生時刻信頼性判定部２２は伝送システム誤り検出信号に基づき再生時刻情報の信頼性を判定し、その結果である再生時刻信頼性判定情報を補助時刻信頼性判定部２３へ送出するものであり、再生時刻情報の信頼性ありと判定した場合には再生時刻情報を再生出力部２５及び再生時刻補正部２６へ送出するものである。
【００１６】
補助時刻信頼性判定部２３は、再生時刻信頼性判定部２２から送られる再生時刻信頼性判定情報に応じて補助時刻情報の信頼性判定を行うものである。即ち、再生時刻信頼性判定部２２によって再生時刻情報に信頼性がないと判定された場合に、補助時刻信頼性判定部２３は、伝送システム誤り検出信号に基づき補助時刻情報の信頼性を判定し、判定結果である信頼性判定情報を再生時刻補正部２６へ送出するものである。
【００１７】
再生時刻補正部２６は、補助時刻信頼性判定部２３から送られる信頼性判定情報に応じて時刻補正を行って補正結果である補正時刻情報を再生出力部２５へ送出するものである。即ち、補助時刻信頼性判定部２３により補助時刻情報に信頼性があると判定された場合には、再生時刻補正部２６は、先の再生時刻情報と補助時刻情報ＳＥＩに基づき補正時刻を作成して出力する一方、補助時刻信頼性判定部２３により補助時刻情報に信頼性なしと判定された場合には、補助時刻情報は使用せず所定処理により得られた時間間隔を用いて再生時刻を補正して補正時刻情報として出力する。
【００１８】
時間管理部２４は、ＴＳパケットのヘッダ情報から抽出された番組時刻参照値（ＰＣＲ）に基づいて基準時間情報（ＳＴＣ）を校正する。この基準時間情報（ＳＴＣ）は音声再生出力部３２及び再生出力部２５へ送出され、同期再生の基準として用いられる。再生出力部２５は、時間管理部２４から送られる基準時間情報に基づき、再生時刻信頼性判定部２２にて再生時刻情報が信頼できると判定された場合は分離部１１により抽出された再生時刻情報の時刻に復号映像信号を表示装置２７へ送信し、再生時刻信頼性判定部２２にて再生時刻情報が信頼できないと判定さると再生時刻補正部２６から送られた補正時刻に従った時刻に復号映像信号を表示装置２７へ送信する。
【００１９】
音声再生出力部３２は、分離部１１により抽出され送られた再生時刻情報と時刻管理部２４から送られた基準時間情報（ＳＴＣ）が一致したときに復号音声信号を音声出力装置３３へ送出する。
【００２０】
以上の通りに構成された動画像復号装置において、各部は次の通りに動作する。分離部１１は多重化ビットストリームから映像情報と、再生時刻情報を分離する。分離された映像情報は、動画像信号復号部２１で復号化され、再生出力部２５へ送られる。また、分離部１１にて分離された再生時刻情報は、再生時刻信頼性判定部２２に送られ、分離部１１から送られる伝送システム誤り検出信号により信頼性判定が行われる。ここに、再生時刻信頼性判定部２２、補助時刻信頼性判定部２３、再生時刻補正部２６は、図４に示されるフローチャートに基づく処理を行うので、この図４に従って動作を説明する。
【００２１】
フレームＮ（Ｎは整数）の到来毎に再生取得がなされ、当該１フレームの時刻情報ＰＴＳが抽出できるかに応じて、再生時刻信頼性判定部２２または補助時刻信頼性判定部２３の処理がなされる。つまり、１ＰＥＳ＝１ＡＵあるいは、１ＰＥＳ＝ｎＡＵ（ｎは１以上の整数）における先頭ＡＵでは再生時刻情報ＰＴＳを抽出できるので、これを検出し（Ｓ１１）、再生時刻情報ＰＴＳの検出によりＹＥＳへ分岐して、伝送システムの誤り検出情報（「transport_error_indicator 」フラグ）を抽出して再生時刻情報ＰＴＳの信頼性判定を行う（Ｓ１２）。このステップＳ１２において再生時刻信頼性判定部２２は、再生時刻情報ＰＴＳをＮＡＬ形式でデコード処理（「transport_error_indicator 」フラグの論理和を作成）し、再生時刻情報ＰＴＳのエラーの判定を行って再生時刻信頼性判定情報を出力する。この処理によって、再生時刻情報ＰＴＳの信頼性判定に補助時刻情報ＳＥＩを使用する必要はなくなり、補助時刻情報ＳＥＩの誤りの有無に依らず再生時刻信頼性を独立に判定できる。
【００２２】
ステップＳ１２において、再生時刻情報が信頼できると判定した場合は、当該情報を再生時刻情報として設定し、再生出力部２５に送る（Ｓ１３）。一方、ステップＳ１２において再生時刻情報が信頼できないと判定した場合には、補助時刻信頼性判定部２３の処理（ステップＳ１４）へと移る。補助時刻信頼性判定部２３では、動画像信号復号部２１で抽出された補助時刻情報が信頼できる値であるかどうかを、分離部１１から送られる伝送システム誤り検出信号により判定する（Ｓ１４）。このステップＳ１４においては、具体的にはＳＥＩのＮＡＬに含まれるエラーを「transport_error_indicator 」フラグのセットリセットにより検出する。「transport_error_indicator 」フラグがセット状態になく、エラーなしが検出されると、先の再生時刻情報ＰＴＳについてＳＥＩオフセットの値（cpb_removal_delay）を加算して補正時刻情報を求めて再生出力部２５へ出力する（Ｓ１５）。この場合には、図５に示すように、フレーム０〜Ｎ（frame 0 、frame 1 、frame 2 、・・・、frame N-1 、frame N ）とフレームが到来し、フレーム（Ｎ−１）（frame N-1 ）とフレームＮ（frame N ）との間隔（cpb_removal_delay）においては、それまでの間隔（cpb_removal_delay）の増分に比べて大きくなっていても、その値を信頼してよい。
【００２３】
ステップＳ１４において、「transport_error_indicator 」フラグがセット状態であることが検出され、信頼性がないと判定されると、オフセット値（cpb_removal_delay）を用いることなく、平均的なフレーム間隔等の代表値によって当該画像の表示時刻を補正する（Ｓ１６）。ここで、平均的なフレーム間隔等の代表値は、信頼性がないと判定した直前の所定フレームについてフレーム間隔の平均を求めて、これを用いても良いし、当該多重ストリームの受信に入ってから連続して或いは適当なタイミングで、所定フレームについてフレーム間隔の平均を求めて蓄積しておき、これを用いるようにしても良い。
【００２４】
上記のような再生時刻信頼性判定部２２、補助時刻信頼性判定部２３、再生時刻補正部２６の処理により、再生出力部１５には、再生時刻信頼性判定部２２にて再生時刻情報が信頼できると判定された場合は分離部１１により抽出された再生時刻情報が送られてくることになり、再生時刻信頼性判定部２２にて再生時刻情報が信頼できないと判定された場合には再生時刻補正部２６から補正時刻情報が送られてくることになる。このため、再生出力部２５は、再生時刻情報或いは補正時刻情報の一方と、時間管理部２４から送られる基準時間情報とに従って復号映像信号を再生し表示装置２７に送信する。
【００２５】
なお、本実施例では、伝送システムとしてはＭＰＥＧ−２のＴＳパケットを例として説明したが、これに限るものではない。
【図面の簡単な説明】
【００２６】
【図１】H.264 勧告の符号化方式の可変フレームレートにて伝送するシステムにおいて、従来例の手法により再生時刻の信頼性を判定する手順を説明するための図。
【図２】本発明に係る動画像復号装置の実施例を示す構成図。
【図３】本発明に係る動画像復号装置において伝送するＴＳパケットフォーマットを示す図。
【図４】本発明に係る動画像復号装置における再生時刻、補助時刻の信頼性を判定する処理を示すフローチャート。
【図５】H.264 勧告の符号化方式の可変フレームレートにて伝送するシステムにおいて、本発明に係る実施例の手法により再生時刻の信頼性を判定する手順を説明するための図。
【符号の説明】
【００２７】
１０ 分離部
２１ 動画像信号復号部
２２ 再生時刻信頼性判定部
２３ 補助時刻信頼性判定部
２４ 時間管理部
２５ 再生出力部
２６ 再生時刻補正部
２７ 表示装置
|
| 【出願人】 |
【識別番号】０００００３０７８
【氏名又は名称】株式会社東芝
|
| 【出願日】 |
平成１８年７月２８日（２００６．７．２８） |
| 【代理人】 |
【識別番号】１０００７４１４７
【弁理士】
【氏名又は名称】本田 崇
|
| 【公開番号】 |
特開２００８−３５２１６（Ｐ２００８−３５２１６Ａ） |
| 【公開日】 |
平成２０年２月１４日（２００８．２．１４） |
| 【出願番号】 |
特願２００６−２０６４０９（Ｐ２００６−２０６４０９） |
|