| 【発明の名称】 |
データ送信装置、データ受信装置、およびデータ送信方法、並びにプログラム記憶媒体 |
| 【発明者】 |
【氏名】國頭 義之
|
| 【要約】 |
【課題】送受信するデータの利用状況に応じた効率的なデータ通信を提供する。
【解決手段】画像の送信を行なう側、あるいは画像受信側の様々な状況変化に基づいて送信データ、例えばＭＰＥＧ２圧縮画像の転送レートを変更する。例えば画像送信側において、マウス、キーボード等の入力手段からの入力がっあった場合に高ビットレート、すなわち高画質画像データの転送を行ない、マウス、キーボード等の入力手段からの入力が所定時間なかった場合には、低ビットレート、すなわち低画質でのデータ転送を行なうように構成したので、ネットワークトラフィックの上昇が抑えられ効率的な画像送受信が実現できる。 |
【特許請求の範囲】
【請求項１】情報信号を符号化して送信するデータ送信装置において、情報信号を入力して符号化処理を実行するデータ符号化手段と、前記データ符号化手段の生成する符号データのビットレートを設定するビットレート設定手段と、前記データ送信装置側の状況変化を検出し、状況変化検出に基づくビットレート変更制御信号を出力する制御手段とを有し、前記ビットレート設定手段は、前記制御手段からのビットレート変更制御信号を入力し、該入力に基づいて前記データ符号化手段の生成する符号データのビットレート設定を変更する処理を実行する構成を有することを特徴とするデータ送信装置。
【請求項２】前記制御手段は、マウスまたはキーボードいずれかの入力手段からの入力信号を検出する構成を有し、前記入力手段からの入力検出に基づいて高ビットレートに設定するビットレート変更制御信号を出力し、前記入力手段からの入力が予め定められた時間発生しないことの検出に基づいて、低ビットレートに設定するビットレート変更制御信号を出力する構成を有することを特徴とする請求項１に記載のデータ送信装置。
【請求項３】前記制御手段は、動きセンサからの入力信号を検出する構成を有し、前記動きセンサからの動き検出に基づいて高ビットレートに設定するビットレート変更制御信号を出力し、前記動きセンサからの動き検出信号が予め定められた時間発生しないことの検出に基づいて、低ビットレートに設定するビットレート変更制御信号を出力する構成を有することを特徴とする請求項１に記載のデータ送信装置。
【請求項４】前記制御手段は、音声検出装置からの入力信号を検出する構成を有し、前記音声検出装置からの音声検出に基づいて高ビットレートに設定するビットレート変更制御信号を出力し、前記音声検出装置からの音声検出信号が予め定められた時間発生しないことの検出に基づいて、低ビットレートに設定するビットレート変更制御信号を出力する構成を有することを特徴とする請求項１に記載のデータ送信装置。
【請求項５】前記データ符号化手段は、ＭＰＥＧフォーマットによる圧縮処理を実行する構成であることを特徴とする請求項１に記載のデータ送信装置。
【請求項６】前記データ符号化手段は、ＭＰＥＧフォーマットによる圧縮処理を実行する構成であり、前記データ送信装置は、ＭＰＥＧ圧縮データを格納したＲＴＰ（リアルタイム・トランスポート・プロトコル）パケットを生成して出力する構成を有することを特徴とする請求項１に記載のデータ送信装置。
【請求項７】前記データ符号化手段は、ＭＰＥＧフォーマットによる圧縮処理を実行する構成であり、前記データ送信装置は、ＭＰＥＧ圧縮データを格納したＩＰ（インターネット・プロトコル）パケットを生成して出力する構成を有することを特徴とする請求項１に記載のデータ送信装置。
【請求項８】情報信号を符号化して送信するデータ送信装置において、情報信号を入力して符号化処理を実行するデータ符号化手段と、前記データ符号化手段の生成する符号データのビットレートを設定するビットレート設定手段と、データ受信装置側の状況変化に基づいてデータ受信装置側から出力される状況変化検出に基づく画質変更要求信号を入力し、該画質変更要求信号に基づいてビットレート変更制御信号を出力する制御手段とを有し、前記ビットレート設定手段は、前記制御手段からのビットレート変更制御信号を入力し、該入力に基づいて前記データ符号化手段の生成する符号データのビットレート設定を変更する処理を実行する構成を有することを特徴とするデータ送信装置。
【請求項９】符号化信号を受信するデータ受信装置において、符号化信号を入力して復号処理を実行するデータ復号手段と、前記データ受信装置側の状況変化を検出し、状況変化検出に基づく画質変更要求信号を、前記符号化信号の送信装置に対して出力する制御手段と、を有することを特徴とするデータ受信装置。
【請求項１０】前記制御手段は、マウスまたはキーボードいずれかの入力手段からの入力信号を検出する構成を有し、該入力手段からの入力検出に基づいて高ビットレートに設定する高画質変更要求信号を前記符号化信号の送信装置に対して出力し、前記入力手段からの入力が予め定められた時間発生しないことの検出に基づいて、低ビットレートに設定する低画質変更要求信号を前記符号化信号の送信装置に対して出力する構成を有することを特徴とする請求項９に記載のデータ受信装置。
【請求項１１】前記制御手段は、動きセンサからの入力信号を検出する構成を有し、該動きセンサからの動き検出に基づいて高ビットレートに設定する高画質変更要求信号を前記符号化信号の送信装置に対して出力し、前記動きセンサからの動き検出が予め定められた時間発生しないことの検出に基づいて、低ビットレートに設定する低画質変更要求信号を前記符号化信号の送信装置に対して出力する構成を有することを特徴とする請求項９に記載のデータ受信装置。
【請求項１２】前記制御手段は、音声検出装置からの入力信号を検出する構成を有し、前記音声検出装置からの音声検出に基づいて高ビットレートに設定する高画質変更要求信号を前記符号化信号の送信装置に対して出力し、前記音声検出装置からの音声検出信号が予め定められた時間発生しないことの検出に基づいて、低ビットレートに設定する低画質変更要求信号を前記符号化信号の送信装置に対して出力する構成を有することを特徴とする請求項９に記載のデータ受信装置。
【請求項１３】情報信号を符号化して送信するデータ送信方法において、データ送信装置側の状況変化を検出し、状況変化検出に基づくビットレート変更制御信号を出力する制御信号出力ステップと、前記ビットレート変更制御信号出力ステップの出力するビットレート変更制御信号を入力し、該入力に基づいて符号データのビットレートを設定するビットレート設定ステップと、前記ビットレート設定ステップの設定に従って入力情報信号の符号化処理を実行するデータ符号化ステップと、符号化データを送信する送信ステップと、を有することを特徴とするデータ送信方法。
【請求項１４】前記制御信号出力ステップは、マウスまたはキーボードいずれかの入力手段からの入力信号を検出して、該検出に基づいて高ビットレートに設定するビットレート変更制御信号を出力するステップと、前記入力手段からの入力が予め定められた時間発生しないことの検出に基づいて、低ビットレートに設定するビットレート変更制御信号を出力するステップと、のいずれかを選択的に実行することを特徴とする請求項１３に記載のデータ送信方法。
【請求項１５】前記制御信号出力ステップは、動きセンサからの入力信号を検出して、該動き検出に基づいて高ビットレートに設定するビットレート変更制御信号を出力するステップと、前記動きセンサからの動き検出信号が予め定められた時間発生しないことの検出に基づいて、低ビットレートに設定するビットレート変更制御信号を出力するステップと、のいずれかを選択的に実行することを特徴とする請求項１３に記載のデータ送信方法。
【請求項１６】前記制御信号出力ステップは、音声検出装置からの入力信号を検出して、前記音声検出装置からの音声検出に基づいて高ビットレートに設定するビットレート変更制御信号を出力するステップと、前記音声検出装置からの音声検出信号が予め定められた時間発生しないことの検出に基づいて、低ビットレートに設定するビットレート変更制御信号を出力するステップと、のいずれかを選択的に実行することを特徴とする請求項１３に記載のデータ送信方法。
【請求項１７】前記データ符号化ステップは、ＭＰＥＧフォーマットによる圧縮処理を実行する構成であることを特徴とする請求項１３に記載のデータ送信方法。
【請求項１８】前記データ符号化ステップは、ＭＰＥＧフォーマットによる圧縮処理を実行するステップを含み、前記データ送信ステップは、ＭＰＥＧ圧縮データを格納したＲＴＰ（リアルタイム・トランスポート・プロトコル）パケットを生成して出力するステップを含むことを特徴とする請求項１３に記載のデータ送信方法。
【請求項１９】前記データ符号化ステップは、ＭＰＥＧフォーマットによる圧縮処理を実行するステップを含み、前記データ送信ステップは、ＭＰＥＧ圧縮データを格納したＩＰ（インターネット・プロトコル）パケットを生成して出力するステップを含むことを特徴とする請求項１３に記載のデータ送信方法。
【請求項２０】情報信号を符号化して送信するデータ送信処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを提供するプログラム記憶媒体であって、前記コンピュータ・プログラムは、データ送信装置側の状況変化を検出し、状況変化検出に基づくビットレート変更制御信号を出力する制御信号出力ステップと、前記ビットレート変更制御信号出力ステップの出力するビットレート変更制御信号を入力し、該入力に基づいて符号データのビットレートを設定するビットレート設定ステップと、前記ビットレート設定ステップの設定に従って入力情報信号の符号化処理を実行するデータ符号化ステップと、符号化データを送信する送信ステップと、を有することを特徴とするプログラム記憶媒体。
|
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、データ送信装置、データ受信装置、およびデータ送信方法、並びにプログラム記憶媒体に関する。さらに詳細には、ユーザの利用状況に応じて送受信するデータの転送レートを変更して効率的なデータ転送を実現するデータ送信装置、データ受信装置、およびデータ送信方法、並びにプログラム記憶媒体に関する。
【０００２】
【従来の技術】現在、インターネット通信など、様々な通信媒体を介して様々なデータ転送が行なわれている。昨今では、画像データ、特に動画像データのネットワークを介した転送が盛んに行なわれている。画像データ、特に動画データは通常、送信側で符号化（圧縮）処理によりデータ量を減少させ、受信側で復号（伸長）処理を実行して再生する処理が行なわれる。
【０００３】画像圧縮処理の最も知られた手法にＭＰＥＧ（Moving Pictures Experts Group ）圧縮技術がある。このＭＰＥＧストリームをＩＰ（Internet Protocol）に従って生成されるＩＰパケットを用いてインターネット上を転送させるビデオコミュニケーションは今後、急速に盛んになるであろうことが予測される。高品位で臨場感あるコミュニケーションは、旧来のＴＶ電話に見られる低画質、遅延によるストレスを感じさせない。これによって画像送受信を行なう遠隔の複数のオフィスなどでは、あたかも仮想的に場を共有しているようなコミュニケーションが可能になり、例えば在宅勤務などのアプリケーションでは在宅でありながら、１つのオフィスに複数のメンバーが集まっているようなコミュニケーションが可能になる。
【０００４】仮想的場の共有型コミュニケーションは、当事者として会話に参加しなくても他者同士の会話などによる人の気配、雰囲気を常時、共有することが必要であり、ネットワークの接続形態としては常時接続が理想的である。しかしながら、高速の帯域をインターネット上で常時占有することは、通信資源を多く使用することを意味し、インフラの負荷が過大になる。ネットワーク加入者全員が高品位な動画、音声データを転送し続けることを可能とするには莫大なインフラ投資が必要となりる。これは加入者が負担するネットワークの利用料金の上昇を招く危惧がある。
【０００５】実際の例えば、オフィス間での相互画像、音声通信によるコミュニケーション環境を考えてみたとき、コミュニケーション環境の仮想的場の共有には、２つの異なる状態がある。つまり、（１）雰囲気を共有することで足りる密度の低いコミュニケーション（２）会話に代表される密度の高いコミュニケーションの２つである。
【０００６】実際の会議のように、双方で意見交換を行なっている場合は、（２）の密度の高いコミュニケーションとなるが、意見交換を必要としていない場の共有という目的である場合には、（１）の密度の低いコミュニケーションとなる。
【０００７】（１）の低密度のコミュニケーションは、例えば、画像送信先からの画像を時々みる程度で、頻繁な意見交換を行なう必要のないコミュニケーションである。このような低密度コミュニケーションにおいては、高精度の画像や音声データは要求されない場合が多い。このような場合に、高品質な画像データを送りつづけることは、ネットワークの負荷を増大させ、送受信装置における処理負荷も増加させることになる。さらに、通信料金の増大も、もたらすことになる。
【０００８】
【発明が解決しようとする課題】本発明は、上述の点に鑑みてなされたものであり、画像データ、音声データなどのデータ転送をユーザの利用状況に応じてレートを変更して効率的なデータ転送を実現するデータ送信装置、データ受信装置、およびデータ送信方法、並びにプログラム記憶媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】本発明の第１の側面は、情報信号を符号化して送信するデータ送信装置において、情報信号を入力して符号化処理を実行するデータ符号化手段と、前記データ符号化手段の生成する符号データのビットレートを設定するビットレート設定手段と、前記データ送信装置側の状況変化を検出し、状況変化検出に基づくビットレート変更制御信号を出力する制御手段とを有し、前記ビットレート設定手段は、前記制御手段からのビットレート変更制御信号を入力し、該入力に基づいて前記データ符号化手段の生成する符号データのビットレート設定を変更する処理を実行する構成を有することを特徴とするデータ送信装置にある。
【００１０】さらに、本発明のデータ送信装置の一実施態様において、前記制御手段は、マウスまたはキーボードいずれかの入力手段からの入力信号を検出する構成を有し、前記入力手段からの入力検出に基づいて高ビットレートに設定するビットレート変更制御信号を出力し、前記入力手段からの入力が予め定められた時間発生しないことの検出に基づいて、低ビットレートに設定するビットレート変更制御信号を出力する構成を有することを特徴とする。
【００１１】さらに、本発明のデータ送信装置の一実施態様において、前記制御手段は、動きセンサからの入力信号を検出する構成を有し、前記動きセンサからの動き検出に基づいて高ビットレートに設定するビットレート変更制御信号を出力し、前記動きセンサからの動き検出信号が予め定められた時間発生しないことの検出に基づいて、低ビットレートに設定するビットレート変更制御信号を出力する構成を有することを特徴とする。
【００１２】さらに、本発明のデータ送信装置の一実施態様において、前記制御手段は、音声検出装置からの入力信号を検出する構成を有し、前記音声検出装置からの音声検出に基づいて高ビットレートに設定するビットレート変更制御信号を出力し、前記音声検出装置からの音声検出信号が予め定められた時間発生しないことの検出に基づいて、低ビットレートに設定するビットレート変更制御信号を出力する構成を有することを特徴とする。
【００１３】さらに、本発明のデータ送信装置の一実施態様において、前記データ符号化手段は、ＭＰＥＧフォーマットによる圧縮処理を実行する構成であることを特徴とする。
【００１４】さらに、本発明のデータ送信装置の一実施態様において、前記データ符号化手段は、ＭＰＥＧフォーマットによる圧縮処理を実行する構成であり、前記データ送信装置は、ＭＰＥＧ圧縮データを格納したＲＴＰ（リアルタイム・トランスポート・プロトコル）パケットを生成して出力する構成を有することを特徴とする。
【００１５】さらに、本発明のデータ送信装置の一実施態様において、前記データ符号化手段は、ＭＰＥＧフォーマットによる圧縮処理を実行する構成であり、前記データ送信装置は、ＭＰＥＧ圧縮データを格納したＩＰ（インターネット・プロトコル）パケットを生成して出力する構成を有することを特徴とする。
【００１６】さらに、本発明の第２の側面は、情報信号を符号化して送信するデータ送信装置において、情報信号を入力して符号化処理を実行するデータ符号化手段と、前記データ符号化手段の生成する符号データのビットレートを設定するビットレート設定手段と、データ受信装置側の状況変化に基づいてデータ受信装置側から出力される状況変化検出に基づく画質変更要求信号を入力し、該画質変更要求信号に基づいてビットレート変更制御信号を出力する制御手段とを有し、前記ビットレート設定手段は、前記制御手段からのビットレート変更制御信号を入力し、該入力に基づいて前記データ符号化手段の生成する符号データのビットレート設定を変更する処理を実行する構成を有することを特徴とするデータ送信装置にある。
【００１７】さらに、本発明の第３の側面は、符号化信号を受信するデータ受信装置において、符号化信号を入力して復号処理を実行するデータ復号手段と、前記データ受信装置側の状況変化を検出し、状況変化検出に基づく画質変更要求信号を、前記符号化信号の送信装置に対して出力する制御手段と、を有することを特徴とするデータ受信装置にある。
【００１８】さらに、本発明のデータ受信装置の一実施態様において、前記制御手段は、マウスまたはキーボードいずれかの入力手段からの入力信号を検出する構成を有し、該入力手段からの入力検出に基づいて高ビットレートに設定する高画質変更要求信号を前記符号化信号の送信装置に対して出力し、前記入力手段からの入力が予め定められた時間発生しないことの検出に基づいて、低ビットレートに設定する低画質変更要求信号を前記符号化信号の送信装置に対して出力する構成を有することを特徴とする。
【００１９】さらに、本発明のデータ受信装置の一実施態様において、前記制御手段は、動きセンサからの入力信号を検出する構成を有し、該動きセンサからの動き検出に基づいて高ビットレートに設定する高画質変更要求信号を前記符号化信号の送信装置に対して出力し、前記動きセンサからの動き検出が予め定められた時間発生しないことの検出に基づいて、低ビットレートに設定する低画質変更要求信号を前記符号化信号の送信装置に対して出力する構成を有することを特徴とする。
【００２０】さらに、本発明のデータ受信装置の一実施態様において、前記制御手段は、音声検出装置からの入力信号を検出する構成を有し、前記音声検出装置からの音声検出に基づいて高ビットレートに設定する高画質変更要求信号を前記符号化信号の送信装置に対して出力し、前記音声検出装置からの音声検出信号が予め定められた時間発生しないことの検出に基づいて、低ビットレートに設定する低画質変更要求信号を、前記符号化信号の送信装置に対して出力する構成を有することを特徴とする。
【００２１】さらに、本発明の第４の側面は、情報信号を符号化して送信するデータ送信方法において、データ送信装置側の状況変化を検出し、状況変化検出に基づくビットレート変更制御信号を出力する制御信号出力ステップと、前記ビットレート変更制御信号出力ステップの出力するビットレート変更制御信号を入力し、該入力に基づいて符号データのビットレートを設定するビットレート設定ステップと、前記ビットレート設定ステップの設定に従って入力情報信号の符号化処理を実行するデータ符号化ステップと、符号化データを送信する送信ステップと、を有することを特徴とするデータ送信方法にある。
【００２２】さらに、本発明のデータ送信方法の一実施態様において、前記制御信号出力ステップは、マウスまたはキーボードいずれかの入力手段からの入力信号を検出して、該検出に基づいて高ビットレートに設定するビットレート変更制御信号を出力するステップと、前記入力手段からの入力が予め定められた時間発生しないことの検出に基づいて、低ビットレートに設定するビットレート変更制御信号を出力するステップと、のいずれかを選択的に実行することを特徴とする。
【００２３】さらに、本発明のデータ送信方法の一実施態様において、前記制御信号出力ステップは、動きセンサからの入力信号を検出して、該動き検出に基づいて高ビットレートに設定するビットレート変更制御信号を出力するステップと、前記動きセンサからの動き検出信号が予め定められた時間発生しないことの検出に基づいて、低ビットレートに設定するビットレート変更制御信号を出力するステップと、のいずれかを選択的に実行することを特徴とする。
【００２４】さらに、本発明のデータ送信方法の一実施態様において、前記制御信号出力ステップは、音声検出装置からの入力信号を検出して、前記音声検出装置からの音声検出に基づいて高ビットレートに設定するビットレート変更制御信号を出力するステップと、前記音声検出装置からの音声検出信号が予め定められた時間発生しないことの検出に基づいて、低ビットレートに設定するビットレート変更制御信号を出力するステップと、のいずれかを選択的に実行することを特徴とする。
【００２５】さらに、本発明のデータ送信方法の一実施態様において、前記データ符号化ステップは、ＭＰＥＧフォーマットによる圧縮処理を実行する構成であることを特徴とする。
【００２６】さらに、本発明のデータ送信方法の一実施態様において、前記データ符号化ステップは、ＭＰＥＧフォーマットによる圧縮処理を実行するステップを含み、前記データ送信ステップは、ＭＰＥＧ圧縮データを格納したＲＴＰ（リアルタイム・トランスポート・プロトコル）パケットを生成して出力するステップを含むことを特徴とする。
【００２７】さらに、本発明のデータ送信方法の一実施態様において、前記データ符号化ステップは、ＭＰＥＧフォーマットによる圧縮処理を実行するステップを含み、前記データ送信ステップは、ＭＰＥＧ圧縮データを格納したＩＰ（インターネット・プロトコル）パケットを生成して出力するステップを含むことを特徴とする。
【００２８】さらに、本発明の第５の側面は、情報信号を符号化して送信するデータ送信処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを提供するプログラム記憶媒体であって、前記コンピュータ・プログラムは、データ送信装置側の状況変化を検出し、状況変化検出に基づくビットレート変更制御信号を出力する制御信号出力ステップと、前記ビットレート変更制御信号出力ステップの出力するビットレート変更制御信号を入力し、該入力に基づいて符号データのビットレートを設定するビットレート設定ステップと、前記ビットレート設定ステップの設定に従って入力情報信号の符号化処理を実行するデータ符号化ステップと、符号化データを送信する送信ステップと、を有することを特徴とするプログラム記憶媒体にある。
【００２９】なお、本発明の第５の側面に係るプログラム記憶媒体は、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・プログラムをコンピュータ可読な形式で提供する媒体である。
【００３０】このようなプログラム記憶媒体は、コンピュータ・システム上で所定のコンピュータ・プログラムの機能を実現するための、コンピュータ・プログラムと記憶媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、該記憶媒体を介してコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の他の側面と同様の作用効果を得ることができるのである。
【００３１】本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００３２】
【発明の実施の形態】図１に本発明のデータ送受信装置の実施例を説明するブロック図を示す。本実施例においては、送受信するデータとして汎用圧縮方式のフォーマットであるＭＰＥＧ（Moving Pictures Experts Group ）により圧縮したデータ特にＭＰＥＧ２を適用した例として説明するが、他の圧縮方式例えばＭＰＥＧ４などにおいても同様に適用可能である。
【００３３】ＭＰＥＧ２は、高品位な画像圧縮処理を実現する技術である。現在最も多く使用されているＭＰＥＧ２の圧縮方法は、画面内の相関を利用した圧縮である離散コサイン変換（Discrete Cosine Transform; DCT）、画面間の相関に基づく圧縮としての動き補償、符号列の相関に基づく圧縮としてのハフマン符号化を組み合わせた圧縮手法である。ＭＰＥＧ２では、動き補償を用いた予測符号化を行うために、Ｉピクチャ、Ｐピクチャ、Ｂピクチャと呼ぶ３つの要素によるＧＯＰ（Group Of Pictures）構造を採用している。Ｉピクチャ（Intra 符号化画像）は、フィールド内符号化により作られるもので、前画像からの予測符号化を行わないピクチャであり、Ｐピクチャ（Predictive符号化画像）は、１つ前の画像から予測符号化を行って作られるもので、Ｉピクチャに基づいて作られる。Ｂピクチャ（By-directionally predictive符号化画像）は、双方向予測符号化画像であり、前後の２枚のＰピクチャからの予測により生成される。
【００３４】本実施例では、ＭＰＥＧ２により圧縮されたデータをＩＰパケット（MPEG over IP）としてネットワーク上に送信する。そのため、データ送信側では、パケット生成（パケタイズ処理）を実行し、データ受信側ではパケット展開（デパケタイズ処理）を実行する。
【００３５】図１の本発明のデータ送受信装置１００は、ＭＰＥＧ圧縮伸長を実行するとともにパケット生成、展開処理を実行するＭＰＥＧ処理ＰＣＩボード１０１、通信ネットワークであるＬＡＮとのインタフェースとして機能するイーサネット（登録商標）カード１０２、マウス１５、キーボード１６等の入力機器との入出力インタフェース１０３、さらに、ＭＰＥＧ処理ＰＣＩボード１０１でのデータ処理、イーサネットカード１０２を介するデータ通信処理、入出力インタフェース１０３を介する入力データ等の処理を制御するホストＣＰＵ１０４、ホストＣＰＵ１０４により制御実行される各種プログラムの格納、データの格納、ホストＣＰＵ１０４のワークエリアとして機能するＲＡＭ、ＲＯＭからなるホストメモリ１０５を有する。ＭＰＥＧ処理ＰＣＩボード１０１、イーサネットカード１０２、およびホストＣＰＵ１０４は、それぞれＰＣＩバス１０６に接続され、相互のデータ送受信が可能な構成を持つ。
【００３６】ＭＰＥＧ処理ＰＣＩボード１０１は、図１に示すように、例えばビデオカメラ１１からの画像データ、マイク１２からの音声データを入力し、ＭＰＥＧ２圧縮処理、符号化多重化処理、パケット生成処理（パケタイズ）を実行し、最終的にＭＰＥＧトランスポートストリーム（ＴＳ）データを格納したＩＰパケット（MPEG over IP）を生成する。生成されたＩＰパケット（MPEG over IP）は、ＰＣＩバス１０６上に出力され、イーサネットカード１０２を介してＬＡＮに出力され、ＩＰパケットのヘッダに設定された宛先アドレスに配信される。
【００３７】また、ＬＡＮを介して入力するＩＰパケット化されたＭＰＥＧトランスポートストリーム（ＴＳ）データ（MPEG over IP）は、イーサネットカード１０２を介してＰＣＩバス１０６上に出力されて、ＭＰＥＧ処理ＰＣＩボード１０１に入力される。ＭＰＥＧ処理ＰＣＩボード１０１では入力データのパケット展開処理（デパケタイズ）を実行し、ＭＰＥＧ圧縮データを抽出後、復号処理を実行して、ディスプレイ１３、スピーカ１４において再生、出力する。
【００３８】ＭＰＥＧ処理ＰＣＩボード１０１の構成を図２にブロック図として示す。ビデオカメラ１１から入力される動画データは、ＭＰＥＧ２ビデオエンコーダ２０１に入力される。ＭＰＥＧ２ビデオエンコーダ２０１は、入力動画像データに基づいてＭＰＥＧビテオストリームを生成する。また、マイク１２から入力される音声データは、ＭＰＥＧ２オーディオエンコーダ２０２に入力される。ＭＰＥＧ２オーディオエンコーダ２０２は、入力音声データに基づいてＭＰＥＧオーディオストリームを生成する。
【００３９】ＭＰＥＧ２ビデオエンコーダ２０１には、ＣＰＵ１０４からビットレート変更制御信号が入力される。このビットレート変更制御信号に応じて、ＭＰＥＧ２ビデオエンコーダは、出力するＭＰＥＧビテオストリームの転送ビットレートを変更する。このビットレート変更処理については、後段で説明する。
【００４０】ＭＰＥＧ２ビデオエンコーダ２０１、ＭＰＥＧ２オーディオエンコーダ２０２これらの２つのストリームは、ＭＰＥＧマルチプレクサ２０３に入力されてＭＰＥＧ２トランスポートストリームとして多重化される。トランスポートストリーム（ＴＳ）は、各々が所定のデータ量に区切られたパケットストリームであり、ＬＡＮ等のネットワーク出力されるＩＰパケット中には複数のＭＰＥＧ−ＴＳパケット（図３参照）が含まれる。
【００４１】ＭＰＥＧマルチプレクサ２０３の生成したＭＰＥＧ２トランスポートストリームは、さらに、ＲＴＰパケット生成手段２０４において、ＭＰＥＧ２トランスポートストリームに対するＲＴＰヘッダが付加されてＲＴＰパケットが生成され、ＵＤＰパケット生成手段２０５において、ＲＴＰパケットに対するＵＤＰヘッダが付加されてＵＤＰパケットが生成され、ＩＰパケット生成手段２０６において、ＵＤＰパケットに対するＩＰヘッダが付加されてＩＰパケットが生成され、ＰＣＩインタフェース２０７を介してＰＣＩバス１０６に出力されて、図１に示すイーサネットカード１０２からネットワーク上に出力される。
【００４２】このようにネットワーク上に出力されたＩＰパケットは、イーサネットカード１０２、ＰＣＩバス１０６を介してＭＰＥＧ処理ＰＣＩカードに入力され、ＰＣＩインタフェース２０７からＩＰパケット展開手段２０８に入力されてＩＰパケットの展開、すなわちＩＰヘッダ情報に従ったパケット展開処理実行され、ＵＤＰパケット展開手段２０９において、ＵＤＰパケット展開処理が実行され、最後にＲＴＰパケット展開手段２１０においてＲＴＰヘッダに従った展開処理によってＭＰＥＧ２トランスポートストリームが取り出される。ＲＴＰパケットは、後述するようにタイムスタンプを持ち、タイムスタンプに基づいて、ネットワーク転送における遅延ゆらぎ、到着順序などが修正、吸収される。
【００４３】取り出されたＭＰＥＧ２トランスポートストリームは、ＭＰＥＧデマルチプレクサ２１１において、ＭＰＥＧビデオストリームと、ＭＰＥＧオーディオストリームに分離され、それぞれＭＰＥＧビデオデコーダ２１２、ＭＰＥＧオーディオデコーダ２１３において復号処理が実行されて、ディスプレイ１３、スピーカ１４において再生される。
【００４４】ＩＰネットワークによるビデオ会議、ビデオオンデマンド（ＶＯＤ）などのデータ転送では、データの途切れない供給が重視されるので、一般にＴＣＰなどの再送処理を実行するプロトコルは使用せず、再送処理を行なわないＵＤＰが使用される。
【００４５】ＵＤＰは、アプリケーションプロセスがリモートマシン上の他のアプリケーションのプロセスへデータを転送することを最小のオーバヘッドで行なえるように設計されている。そのため、ＵＤＰのヘッダに入る情報は、送信元ポート番号、宛先ポート番号、データ長、チェックサムのみであり、ＴＣＰなどのようにパケット順序を識別するデータフィールドがない。
【００４６】そこで、ＩＰネットワークにおけるリアルタイムの画像、音声データの送受信プロトコルとしてリアルタイム・トランスポート・プロトコル：ＲＴＰ（Real-time Transport Protocol）が使用される。ＲＴＰはトランスポート層に位置し、一般にＵＤＰ上で用いられる。
【００４７】図３にＭＰＥＧトランスポートストリームをＲＴＰ，ＵＤＰ，ＩＰによりパケット化したＩＰパケット（MPEG over IP）の構成を示す。ＲＴＰヘッダには、バージョン番号（ｖ）、パディング（Ｐ）、拡張ヘッダ（Ｘ）の有無、送信元数（ＣＲＳＣ：Contributing Source）、マーカ情報（Ｍ）、ペイロードタイプ、シーケンス番号、ＲＴＰタイムスタンプ、同期送信元識別子、および寄与送信元識別子の各フィールドが設けられている。ＲＴＰヘッダに付与されたタイムスタンプによりＲＴＰパケットの展開時に処理時間の制御が実行され、リアルタイム画像、または音声の再生制御が可能となる。なお、図３に示すように、圧縮データとしてのＭＰＥＧトランスポートストリームは、ＩＰパケット中に複数格納される。
【００４８】次に、ＭＰＥＧ２ビデオエンコーダ２０１のエンコード処理におけるビットレート変更処理について説明する。図２を用いて簡単に説明したように、ＭＰＥＧ２ビデオエンコーダ２０１は、ホストＣＰＵ１０４からビットレート変更制御信号を受信し、ビットレート変更制御信号に応じて出力するＭＰＥＧビデオストリームの転送ビットレートを変更する。
【００４９】ＭＰＥＧ２はＤＶＤなどデ実用されているように可変ビットレート（ＶＢＲ）デの運用が可能である。例えば１．５Ｍｂｐｓから１５Ｍｂｐｓの間で任意のビデオエンコーディングレートを決めることができる。
【００５０】図４にＭＰＥＧ２ビデオエンコーダ２０１におけるエンコード・ビットレートの変更処理を実行するための構成図を示す。ＭＰＥＧ２ビデオエンコーダ２０１は、ＣＰＵ１０４からのビットレート変更制御信号の入力を検出するビットレート変更制御信号検出手段４０２、ビットレート変更制御信号検出手段４０２からの出力を受領してＭＰＥＧ圧縮におけるビットレートの制御を実行するビットレート設定手段４０３、ビットレート設定手段４０３からの制御信号に基づいてビットレートを変更してＭＰＥＧ圧縮を実行する符号化器４０１を有する。
【００５１】ビットレート設定手段４０３は、符号化器の圧縮が低ビットレートで実行すべきか高ビットレートで実行すべきかを設定する設定レジスタを有し、ビットレート変更制御信号検出手段４０２からの出力を受領して設定レジスタの値を動的に変更する。
【００５２】符号化器４０１は、ビットレート設定手段４０３の設定レジスタの値に基づく制御信号に従って圧縮パラメータを変更することにより、低ビットレート、高ビットレートの２つの異なるビットレートでのＭＰＥＧ圧縮を切り替えて実行する。デコーダ側ではストリーム上の値に基づいて自動的に可変ビットレートに追従したデコードを実行する。
【００５３】ホストＣＰＵ１０４からのビットレート変更制御信号は、図４の構成例では、マウス１５、キーボード１６からの入力信号検出に基づいて実行される。具体的には、スクリーンセーバやパワーセーブにおいて適用されている状態遷移検出を用いる。すなわち、マウス１５、キーボード１６から入出力インタフェース１０３を介する入力が予め定めた一定時間なければ、ホストＣＰＵ１０４がビットレートを低ビットレート・モードにするビットレート変更制御信号をＰＣＩバス１０６に出力し、ＭＰＥＧ２ビデオエンコーダ２０１のビットレート変更制御信号検出手段４０２が信号を検出してビットレート設定手段４０３に制御信号を出力して、ビットレート設定手段４０３が、ビットレートを低ビットレートとする制御信号を符号化器４０１に出力する。符号化器４０１は、制御信号に基づいて符号化ビットレートを低ビットレートとしてビデオカメラ１１からの入力画像信号のＭＰＥＧ圧縮を実行する。
【００５４】また、マウス１５、キーボード１６から入出力インタフェース１０３を介する入力を検出すると、ホストＣＰＵ１０４がビットレートを高ビットレート・モードにするビットレート変更制御信号をＰＣＩバス１０６に出力し、ＭＰＥＧ２ビデオエンコーダ２０１のビットレート変更制御信号検出手段４０２が信号を検出してビットレート設定手段４０３に制御信号を出力して、ビットレート設定手段４０３が、ビットレートを高ビットレートとする制御信号を符号化器４０１に出力する。符号化器４０１は、制御信号に基づいて符号化ビットレートを高ビットレートとしてビデオカメラ１１からの入力画像信号のＭＰＥＧ圧縮を実行する。図１の点線で示すように、マウス１５、またはキーボード１６からの入力を入力インタフェース１０３を介してホストＣＰＵ１０４が検出し、検出に基づく制御信号がＭＰＥＧ処理ＰＣＩボード１０１に入力される。
【００５５】このように、本発明の構成では、ＭＰＥＧ２ビデオエンコーダ２０１の符号化ビットレートを動的に変更することが可能となる。例えば高ビットレートを５Ｍｂｐｓ、低ビットレートを１．５Ｍｂｐｓとして設定することでおおよその平均レートを設定することが可能となる。
【００５６】図５にマウス、キーボードからの入力検出に基づいてビットレートを動的に変更する処理を説明するフローを示す。
【００５７】まず、ステップＳ５０１において、ホストＣＰＵ１０４が、キーボード、マウスの使用、具体的には、マウス、キーボードからの入力信号が検出されたか否かを判定する。入力が検出された場合、ステップＳ５０２に進み、ホストＣＰＵ１０４が高ビットレートへの変更を示すビットレート変更制御信号を出力し、ＭＰＥＧ２ビデオエンコーダ２０１のビットレート設定手段４０３の設定レジスタを高ビットレートでの符号化処理設定とし、高ビットレートでの符号化処理を実行する設定とする。
【００５８】ステップＳ５０１において、マウス、キーボードからの入力信号が検出されていない場合は、ステップＳ５０３に進み、マウス、キーボードからの入力信号が検出されていない状態が予め定めた閾値時間Ｔを超えたか否かを判定し、超えた場合には、ステップＳ５０４に進み、ホストＣＰＵ１０４が低ビットレートへの変更を示すビットレート変更制御信号を出力し、ＭＰＥＧ２ビデオエンコーダ２０１のビットレート設定手段４０３の設定レジスタを低ビットレートでの符号化処理設定とし、低ビットレートでの符号化処理を実行する設定とする。
【００５９】上述した例は、マウス、キーボードからの入力信号に基づいてビットレートの変更を行なう構成であるが、他の状態変化を検出してビットレートの変更を実行する例について説明する。
【００６０】図６に、人またはその他対象物の動きを検出するセンサーとしての動きセンサーの１つの態様としての近接センサーを用いて、センサーの検出に応じてビットレートを変更する処理を説明するフローを示する。近接センサーはビデオカメラ、あるいは端末装置など、最適な場所にとりつけ、センサーにより例えば人の動きが検出されたことを条件としてホストＣＰＵがＭＰＥＧ２ビデオエンコーダに対してビットレート変更制御信号を出力する。
【００６１】図６のフローについて説明する。まず、ステップＳ６０１において、ホストＣＰＵ１０４が、近接センサーによる人、その他対象物の近接の有無が検出されたか否かを判定する。検出された場合、ステップＳ６０２に進み、ホストＣＰＵ１０４が高ビットレートへの変更を示すビットレート変更制御信号を出力し、ＭＰＥＧ２ビデオエンコーダ２０１のビットレート設定手段４０３の設定レジスタを高ビットレートでの符号化処理設定とし、高ビットレートでの符号化処理を実行する設定とする。
【００６２】ステップＳ６０１において、近接センサーによる人、その他対象物の近接の有無が検出されていない場合は、ステップＳ６０３に進み、近接センサーによる人、その他対象物の近接が検出されていない状態が予め定めた閾値時間Ｔを超えたか否かを判定し、超えた場合には、ステップＳ６０４に進み、ホストＣＰＵ１０４が低ビットレートへの変更を示すビットレート変更制御信号を出力し、ＭＰＥＧ２ビデオエンコーダ２０１のビットレート設定手段４０３の設定レジスタを低ビットレートでの符号化処理設定とし、低ビットレートでの符号化処理を実行する設定とする。
【００６３】さらに、音声を検出する音声検出装置を用いた手法を説明する。音声検出装置の一態様としての音声認識装置により、オペレータ他の人の声等を検出してビットレートを変更する処理を図７を用いて説明する。音声認識装置はビデオカメラ、あるいは端末装置など、最適な場所にとりつけ、音声認識装置より例えば人の声が検出されたことを条件としてホストＣＰＵがＭＰＥＧ２ビデオエンコーダに対してビットレート変更制御信号を出力する。
【００６４】図７のフローについて説明する。まず、ステップＳ７０１において、ホストＣＰＵ１０４が、音声認識装置より例えば人の声が検出されたか否かを判定する。検出された場合、ステップＳ７０２に進み、ホストＣＰＵ１０４が高ビットレートへの変更を示すビットレート変更制御信号を出力し、ＭＰＥＧ２ビデオエンコーダ２０１のビットレート設定手段４０３の設定レジスタを高ビットレートでの符号化処理設定とし、高ビットレートでの符号化処理を実行する設定とする。
【００６５】ステップＳ７０１において、音声認識装置による人の声が検出されていない場合は、ステップＳ７０３に進み、音声認識装置による人の声が検出されていない状態が予め定めた閾値時間Ｔを超えたか否かを判定し、超えた場合には、ステップＳ７０４に進み、ホストＣＰＵ１０４が低ビットレートへの変更を示すビットレート変更制御信号を出力し、ＭＰＥＧ２ビデオエンコーダ２０１のビットレート設定手段４０３の設定レジスタを低ビットレートでの符号化処理設定とし、低ビットレートでの符号化処理を実行する設定とする。
【００６６】なお、音声認識装置が、オペレータの「開始」あるいは「終了」、または「モード変更」などの音声を識別して、その指示に従ってモード変更を実行する構成としてもよい。
【００６７】このように、本発明のシステムでは、画像の送信を行なう側の様々な状況変化に基づいて送信画像の転送レートを変更するように構成したので、ネットワークトラフィックの上昇が抑えられ効率的な画像送受信が実現できる。また、ネットワーク使用の課金管理システムと連携する構成とし、例えば低ビットレートでのデータ転送を低額または無料とし、高ビットレートでのデータ転送を高額、または課金対象とするなど、使用率に従った課金システムを構築することができる。
【００６８】以上、説明した例は、画像を符号化して送信する側において状態の変化を検出してビットレートの変更処理を実行する構成であるが、次に、画像受信側からの入力に基づいて画像送信側での符号化のビットレートを変更する処理例について説明する。
【００６９】図８にデータ受信側（復号処理側）と、データ送信側（符号化処理側）との間でネットワークを介して実行されるデータ転送処理の例をシーケンス図として示す。
【００７０】すでにデータ送信側からＭＰＥＧデータが受信側に対して、高ビットレート、あるいは低ビットレートのいずれかのビットレートにおいてデータが配信されているものとする。
【００７１】データ受信側から、画質変更要求、例えば低ビットレートから高ビットレート（またはその逆）にする変更要求信号をネットワークを介してデータ送信側に送信する。データ送信側では、要求信号を受信し、要求信号に基づいて低ビットレートから高ビットレート（またはその逆）にするビットレート変更処理を実行してＭＰＥＧ圧縮を行なって変更したデータを送信する。この際、データ送信側は、確認応答（ＡＣＫ）をデータ受信側に送信してもよい。
【００７２】データ受信側からの画質変更要求は、受信画像を見ているオペレータ、あるいはビデオ会議の参加者等がキーボード等の入力手段から入力することも可能であるが、上述した、図５のフローで説明したキーボード、マウスの入力検出処理、図６のフローで説明した近接センサによる対象物の動き検出処理、図７のフローで説明した音声認識装置の音声検出処理をデータ受信側で実行し、これらの検出信号を画質変更要求信号として、データ受信側に送信する構成としてもよい。
【００７３】図９にデータ受信装置側の状況変化の検出態様として、図５のフローで説明したキーボード、マウスの入力検出処理を実行して、検出に基づく画質変更要求信号を、前記符号化信号の送信装置に対して出力する構成図を示す。図９の点線で示すように、マウス１５、またはキーボード１６からの入力を入力インタフェース１０３を介してホストＣＰＵ１０４が検出し、検出に基づいてイーサネットカードを介して画質変更要求としての高画質変更要求または低画質変更要求を画像送信装置に対して送信する。
【００７４】図５、図６、図７の各フローにおけるビットレートの高使用率または低使用率に設定するステップをそれぞれデータ送信装置に対する高画質変更要求処理、低画質変更要求処理に変更することで、データ受信装置における処理フローとなる。このような構成によれば、画像データを受信している側の状態変化に基づいて、受信画像の画質の変更が可能になる。
【００７５】なお、上述した実施例においては、ＭＰＥＧ２圧縮を適用した例として説明したが、他の圧縮方式例えばＭＰＥＧ４などにおいても、本発明のビットレート変更構成は同様に適用可能である。また、音声データについても、状況に応じて転送データ量を変更する構成としてもよい。
【００７６】以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００７７】
【発明の効果】以上説明してきたように、本発明のデータ送信装置、データ受信装置、およびデータ送信方法、並びにプログラム記憶媒体によれば、画像の送信を行なう側の様々な状況変化に基づいて送信画像の転送レートを変更するように構成したので、ネットワークトラフィックの上昇が抑えられ効率的な画像送受信が実現できる。
【００７８】さらに、本発明のデータ送信装置、データ受信装置、およびデータ送信方法、並びにプログラム記憶媒体によれば、画像の受信を行なう側からの要求、あるいは様々な状況変化に基づいてデータ送信側に送信画像の転送レートを変更を要求する構成としたので、画像受信側での必要な場合にのみ高画質画像受信が可能となり、高画質データ受信の不要な場合のネットワークトラフィックの上昇が抑えられ効率的な画像送受信が実現できる。
|
| 【出願人】 |
【識別番号】０００００２１８５
【氏名又は名称】ソニー株式会社
|
| 【出願日】 |
平成１２年１１月６日（２０００．１１．６） |
| 【代理人】 |
【識別番号】１００１０１８０１
【弁理士】
【氏名又は名称】山田 英治 （外２名）
|
| 【公開番号】 |
特開２００２−１４９３１６（Ｐ２００２−１４９３１６Ａ） |
| 【公開日】 |
平成１４年５月２４日（２００２．５．２４） |
| 【出願番号】 |
特願２０００−３３７３９４（Ｐ２０００−３３７３９４） |
|