適応ストリーム選択のための代替ストリーム信号の伝送方法

トップ :: H 電気 :: H04 電気通信技術

【発明の名称】	適応ストリーム選択のための代替ストリーム信号の伝送方法
【発明者】	【氏名】ピーター・ハンス・ウエスタリンク【氏名】チトラ・ヴェンカトラマーニ【氏名】オリヴィエ・ヴェルショイア
【要約】	【課題】適応ストリーム選択のための代替ストリーム信号伝送を提供する。【構成】同じ情報源からの異なるビットレートの代替信号ストリームを与えることによって、利用可能な通信帯域幅が小さくなるときでも信号ストリームが伝送される。

【特許請求の範囲】
【請求項１】
既知の制限された帯域幅を有する伝送路で信号ストリームを伝送する方法であって、
各々の代替信号ストリームが複数のフレームに符号化され、伝送のための異なる帯域幅を必要とし、かつ同じ内容を有する複数の前記代替信号ストリームをコード化するステップと、
前記複数の代替信号ストリームの各々に対する全ての可能なフレームのために個別の識別子（ＩＤ）をサーバーに予め通知するステップと、
個別のＩＤ、および伝送に現在使用できる帯域幅に基づき、複数のフレームの各々をサーバーでの伝送もしくはブロックのために選択するステップと、
前記サーバーに、伝送を選択されたフレームを受信器に伝送させるステップと
を含む方法。
【請求項２】
前記信号ストリームがＭＰＥＧビデオ・ストリームであり、かつ前記符号化するステップが、複数のフレームをＢフレーム、ＰフレームおよびＩフレームとして定義することを含む、請求項１に記載の方法。
【請求項３】
前記通知するステップが、全ての代替信号ストリームのフレームを形成する全ての可能なサブ・サンプリングのリストを前記サーバーに提供することを含む、請求項１に記載の方法。
【請求項４】
代替ストリームおよび適応ストリームの選択を信号で発する方法であって、
同一内容の信号ストリームを与えるステップと、
各ストリーム構成がフレーム・タイプのサブセットよりなり、前記代替信号ストリームを構成する或るフレーム・タイプのみからなるストリーム構成を定義するステップと、
可能な全ての異なるサブサンプリング構成をサブサンプラに予め通知するステップと、
現在使用中のストリーム構成に従って、到来するフレームをブロックするか、または通すステップと
を含む方法。
【請求項５】
前記信号ストリームがＭＰＥＧビデオ・ストリームであり、かつ前記フレーム・タイプをＢフレーム、ＰフレームおよびＩフレームである、請求項４に記載の方法。
【請求項６】
到来するフレームを通す際、通す信号ストリームをクライアント受信器に伝送するステップを更に含む、請求項４に記載の方法。
【請求項７】
信号ストリームを伝送する方法であって、
異なる個別のビットレートを有する代替コーディングを生じるように前記同じ信号源を用いて複数のストリームをコード化するステップであって、前記コード化が前記複数のストリームのうちの各ストリームのフレームを生じるようなステップと、
前記コード化するステップで生じたフレームごとに識別子を与えるステップと、
前記複数のストリーム中の異なるタイプのフレームに与えられる前記識別子をサーバーに予め通知するステップと、
前記識別子および既知の伝送帯域幅に基き前記複数のストリームの選択されたフレームを通すステップと、
前記通すステップで選択されなかった全てのフレームをブロックするステップと、
前記通すステップで選択された全てのフレームをサーバーからクライアントもしくは受信器に伝送するステップと
を含む方法。

【発明の詳細な説明】【技術分野】
【０００１】
本発明はサーバーからクライアントにオーディオ・ビデオ信号を送信することに関する。
【背景技術】
【０００２】
従来のマルチメディア・ストリーミング・システムは、単一のオーディオ・ストリームおよび単一の関連するビデオ・ストリームを、「サーバー」と通常は呼ばれる送信元（ソース）から、「クライアント」と通常は呼ばれる送信先に通常は流す。このオーディオとビデオの信号の流れすなわち信号ストリームの組み合わせ帯域幅はサーバーとクライアントとの間の必要な帯域幅を画成する。もしこのチャネル帯域幅が、例えば輻輳のせいで減少してしまうと、従来のサーバー・システムはこの帯域幅減少問題を適切に取り扱う手段が殆どもしくは全くなくなり、送信が止まってしまう。従って、今日のマルチメディア・サーバー・システムは、サーバーなどの送信元がサーバー・クライアント帯域幅の縮小に適応することができる種々の技法を採用する。
【０００３】
この問題を解決するための一つの既知のアプローチ（解決策）は、同じ内容（コンテンツ）のコード化（符号化、エンコード）であるが異なる帯域幅の複数の代替のオーディオ・ビデオ・ストリームがサーバーに利用できるようにすることである。これは信号をクライアントに送信するための最も適切なオーディオ／ビデオ信号ストリームを選択するオプションをサーバーに与えることができる。このアプローチの更なる改良では、一つおきの代替ストリームがまたサブサンプルをとられることができることであり、そこではサーバーが一つの代替オーディオ／ビデオ・ストリームの一部だけを選択的に送信し、これによってそのオーディオ／ビデオ・ストリームの帯域幅を実際のサーバー／クライアント・チャネルの能力に適用する際により多くの選択権を許容する。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
複数の代替ストリームの信号源は種々のクライアントに接続し、その帯域幅適用を実行するサーバー・システムと同じシステムの一部である必要は必ずしもない。複数の代替信号ストリームを与えるそのようなシステムの一例を図１に示す。そこではコード化システム１０がオーディオ信号およびビデオ信号の両方または一方をコード化するが、それらの信号は夫々種々の異なる帯域幅を有し、従ってそれらの信号も種々の異なるビットレートでコード化される。コード化システム１０は全ての代替ストリームをストリーム選択システム２０（サーバーとも名づけられている）に送信する。このストリーム選択システムは、おそらくはサブサンプルされた適宜コード化された信号を選択し、そしてそのストリーム選択システム２０に接続されまたは通信する各クライアント３０－１ないし３０－ｎに送信する。
【０００５】
図１に示すようなシステム構成では、ストリーム選択システム２０即ちサーバーがどのストリームをそれが受けるかそしてその選択オプションが何かを知るために、ある情報がコード化システム１０からストリーム選択システム２０に伝送される必要がある。
【課題を解決するための手段】
【０００６】
本発明の実施例が提供するのは、後でクライアントに伝送するような適切な代替ストリームおよびその可能なサブサンプリングを動的に選択できるようにするための全ての必要な情報をサーバー・システムが持てるように代替ストリームおよびそのサブサンプリングの信号を発するための方法である。
【０００７】
信号ストリームは、その同じ内容（コンテンツ）を有する代替信号ストリームを提供することによって、その帯域幅が小さくなるとしても伝送チャネル上を成功裡に伝送できる。代替信号ストリームは個別の異なるサンプリング・レートのフレームを形成するようにサブサンプリング（間引きサンプリング）される。各フレームにはフレームの種類を識別し、その伝送に必要な帯域幅に関係する識別子が与えられる。サーバーに任意の信号が実際に与えられる前に、そのサーバーには代替信号ストリームの全ての可能なフレームのための識別子のリストが与えられる。それから代替信号ストリームはサーバーに送信され、そこでその識別子およびその時点で存在する帯域幅に基いて通されるか、またはブロック（阻止）される。このようにして、チャネルの帯域幅が小さくなるなら、利用できる帯域幅を超えないこれらのフレームを選択することによってサーバーはなおもその信号ストリームを与えることができる。
【発明を実施するための最良の形態】
【０００８】
本発明の詳細は添付図面および以下の詳細な説明から理解されよう。
本発明の実施例の特徴を詳細に説明する前に、幾つかの用語の意味を明確にしておく。
【０００９】
ストリームは種々の異なるタイプのフレームのシーケンスよりなるコード化したもののことをいう。例えば、ＭＰＥＧコード化ビデオ・ストリームでは、知ってのとおり、ビデオ・データ・フレームの時制、過去および未来に関係するＩフレーム、Ｐフレーム、およびＢフレーム相互を区別できる。図２に示すように、ストリーム生成器（コード化器、符号化器）４０は全てのＭＰＥＧフレーム・タイプをサブサンプラ（サーバー）５０を含む完全なストリームを常時送信する。サーバー５０は或るフレーム・タイプをブロックし、また或るフレーム・タイプを受信器（クライアント）３０－１などに通す。
【００１０】
生成器すなわちコード化器（エンコーダ）４０はそのストリームを理解し、そして或るフレーム・タイプのみからなるストリーム構成（コンフィギュレーション、配列）を定義する。一つの構成がフレーム・タイプのサブセットよりなるので、それはその完全なストリームのサブサンプル・バージョン（版）とも見做すことができる。それは、生成器４０により決定されるように、現在使用中のストリーム構成による到来するフレームをブロックしまたは通すためのサブサンプラ５０の機能である。
【００１１】
例えば、ＭＰＥＧビデオの場合、生成器４０がＢフレームの数に依存する幾つかのストリーム構成「Ｓｉ」を定義することができる。
【表１】

【００１２】
この実施例では、もし生成器４０が１Ｂ－フレームのＭＰＥＧビデオ・ストリームをコード化するなら，生成器４０はサブサンプラ５０に、３個の異なるサブサンプリング構成が可能であることを教示する。表１に示すように、（１）サブサンプリングなし、即ち全てのフレームを通す、（２）全てのＢフレームを落とすことによるサブサンプリングする、そして（３）Ｉフレームだけを受信器に通すことによるサブサンプリングする、といった３つの可能性がある。
【００１３】
適用の際にもっと大きな可能性を与えるため、そして帯域幅制限問題を克服するため、生成器４０などのコード化器が同じ信号源からの単一のストリームだけでなく、複数のストリームをコード化することができる。これらの代替コード化ストリームは個別に異なるビットレートを有し、これによりサーバー５０にサーバー・クライアントの帯域幅を一致させるためのもっと多くの選択を与える。何故なら、それは代替コード化相互間でサブサンプリングの選択で以って各々を選択できるからである。
【００１４】
図３に示すシステムを用いる実施例として、もしコード化器即ち生成器７０が、同じ信号源を持つ２つの代替ＭＰＥＧビデオ・ストリーム、例えば１Ｂ－フレームを有する代替ストリーム１と、Ｂ－フレームを有しない代替ストリーム０とを生成するなら、サーバー８０は以下に示す５個の異なる構成の中から選択できる。
１．代替ストリーム１のサブサンプリングなし：フレームＩ０、Ｐ０およびＢ０を通す
２．代替ストリーム１のＢフレームをブロックする：フレームＩ０およびＰ０を通す
３．代替ストリーム１のＩフレームのみを通す：フレームＩ０を通す
４．代替ストリーム０のサブサンプリングなし：フレームＩ１およびＰ１を通す
５．代替ストリーム０のＩフレームのみを通す：フレームＩ１を通す
【００１５】
通知された選択をサーバー８０が行うためには、コード化システム即ち生成器７０がサーバー・システム即ちサブサンプラ８０に、どちらの代替ストリームをそのサブサンプラ８０が受け取ることになるかということを、実際にその代替ストリーム自体を送信する前に予め通知する必要がある。更には、代替ストリームがサーバー８０によってサブサンプリング（間引きサンプリング）されるので、各ストリーム中の各サンプル即ち各フレームは何らかの方法でマークされる必要がある。その結果、サーバー８０が各々特定のサンプルごとに進めるかあるいは落とすかという最善の選択をする必要がある。これはその例で５つの可能な選択肢に関連して既に説明したとおりである。
【００１６】
代替ストリームの信号を発しあるいは識別するためにはコード化システム７０がサーバー８０にその代替ストリームの識別ＩＤをいつも予め知らせておき、そして全てのサンプルがそれらの属する適切なストリームＩＤで以ってマークされる。斯して、サブサンプラ８０は、それが受け取るかもしれない全ての信号ストリームの特定のＩＤを前もって知っている。サブサンプリングの信号を発するには、しかしながら２つの異なる方法を用いることができる。
【００１７】
第１の実施例では、或る代替ストリームのサンプルが、そのサンプルの属するサブサンプリングされたストリームのＩＤのリストで以ってマークされる。生成器７０から予め信号を発することで、代替ストリームごとの全ての可能なサブサンプリングのためのＩＤをサーバー８０に通知する。
【００１８】
例えば、１Ｂフレームを有するＭＰＥＧビデオ・ストリームでは、生成器７０から信号を発することで、３つの異なるストリームを予め識別する：ストリームＩＤ０はＩフレームだけを含み、ストリームＩＤ１はＩフレームおよびＰフレームを含み、ストリームＩＤ２はＩフレーム、ＰフレームおよびＢフレームという３つのフレーム・タイプ全てを含む。Ｉフレームが全ての３つのストリームを含むので、Ｉフレームには０、１および２がマークされることになる。Ｐフレームは１および２がマークされ、Ｂフレームには２がマークされることになる。帯域幅の効率を上げるためにこれらのＩＤのリストが典型的にはそれ自体でコード化されていることに留意されたい。
【００１９】
第２の方法では、必ずしもＭＰＥＧビデオ・ストリームではないが、或る代替ストリームのサンプルにはサンプル・タイプがマークされる。そして予め与えられたその信号の発生がサーバーに、どのサンプル・タイプがその代替ストリームのどの可能なサブサンプリングに属するかを通知する。
【００２０】
例えば、１Ｂフレームを有するＭＰＥＧビデオ・ストリームでは、Ｉフレームが「０」で以ってマークされ、Ｐフレームが「１」で以ってマークされ、Ｂフレームが「２」で以ってマークされる。予め信号を発することは、サーバーに以下の３つのサブサンプリングされたストリームを通知する。即ち、Ｉフレームのみを有する一つのサブサンプリングされたストリーム、従ってストリーム０がフレーム・タイプ「０」を含むものと、ＩフレームおよびＰフレームを有する一つのサブサンプリングされたストリーム、従ってストリーム１がフレーム・タイプ「０」および「１」を含むものと、全てのフレーム・タイプを含む第３のサブサンプリングされたストリーム、従ってストリーム２がフレーム・タイプ「０」、「１」および「２」を含むものとである。
【００２１】
サーバーにストリーム情報を与えるのにどのように、そしてどこへという例として、マルチメディア・ストリーミングの標準的な方法がある。そこでは、リアルタイム・ストリーミング・プロトコル（ＲＴＳＰ）が制御のために使用され、セッション記述プロトコル（ＳＤＰ）が前もってのあるいは予めのセッション情報のために使用され、そしてリアルタイム・アプリケーションのためのトランスポート・プロトコル（ＲＴＰ）がデータ・トランスポート（データ輸送）のために使用される。これらのプロトコルを使用するときは、代替ストリームおよびサブサンプリング情報が、延長ライン(extension line)を加えることによってセッション記述プロトコル中に予め挿入されることができる。サブサンプル・ストリームＩＤかまたはフレーム・タイプのいずれかのサブサンプリング情報でのサンプル・マークアップはリアルタイム・アプリケーションのトランスポート・プロトコルのヘッダー、例えばＣＳＲＣフィールドに加えることができる。ＭＰＥＧ－４ビデオのような或るコード化標準がビデオ・ストリームそれ自体の中のフレーム・タイプ表示を既に有するが、全体としてこれは十分な信号とはいえない。もっともシステムがそれに対処するようにデザインされていればそれも使用可能である。ビデオ・データ・ストリームは暗号化することもできるが、その情報をアクセス不能にし、従って何らかの他のタイプの暗黙的にうまく働く信号(implicit signaling)が必要である。第２に、前述の例がＭＰＥＧのＩフレーム、ＰフレームおよびＢフレームのための例であるが、２つの異なるタイプのＩフレーム、即ち「全てＩフレーム」および「一つおきのＩフレーム」をコード化器４０が定義できるようにすることも可能である。
【００２２】
実施例の前述の説明は一例としてＭＰＥＧシステムおよびその従来の用語を用いて行ったが、本発明の原理は何らかの異なる擁護を用いる他のコード化システムにも適用される。例えば、ＡＶＣとして知られている近年のビデオ・コーディング技法はＭＰＥＧと似た特徴を有するが、フレームのタイプは、Ｉフレームと等価なＩＤＲピクチャなど、異なるものをいう。従って、前述の説明で、フレームという語はサンプルまたはピクチャを表し、またストリームは例えばそのフレーム・タイプに基いてサブサンプリングされてもよい。
【００２３】
本発明の実施例を添付図面に沿ってこの中で説明してきたが、本発明がこれらの実施例に限定されないこと、また本発明の趣旨あるいは範囲から逸脱せずに種々の変更や修正が当業者により行われることは理解されたい。そのような修正や変更は、特許請求の範囲で定義するように、全て本発明の範囲に含まれると理解されたい。
【図面の簡単な説明】
【００２４】
【図１】従来技術で知られたマルチメディア・ストリーミング・システムを表す図である。
【図２】本発明の実施例による信号ストリーム伝送システムを表す図である。
【図３】本発明の実施例による信号ストリーム伝送システムを表す図である。
【符号の説明】
【００２５】
１０コード化システム
２０システム選択システム（サーバー）
３０－１、３０－２クライアント（受信器）
４０生成器（コード化器）
５０サブサンプラ
７０生成器（コード化セット）
８０サブサンプラ

【出願人】	【識別番号】３９０００９５３１【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬＢＵＳＩＮＥＳＳＭＡＳＣＨＩＮＥＳＣＯＲＰＯＲＡＴＩＯＮ
【出願日】	平成１９年８月１０日（２００７．８．１０）
【代理人】	【識別番号】１００１０８５０１【弁理士】【氏名又は名称】上野剛史【識別番号】１００１１２６９０【弁理士】【氏名又は名称】太佐種一【識別番号】１０００９１５６８【弁理士】【氏名又は名称】市位嘉宏【識別番号】１０００８６２４３【弁理士】【氏名又は名称】坂口博
【公開番号】	特開２００８－４８４１０（Ｐ２００８－４８４１０Ａ）
【公開日】	平成２０年２月２８日（２００８．２．２８）
【出願番号】	特願２００７－２１０５１１（Ｐ２００７－２１０５１１）