トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 コンテンツ提供方法、コンテンツ提供方法のプログラム、コンテンツ提供方法のプログラムを記録した記録媒体及びコンテンツ提供装置
【発明者】 【氏名】黒木 義彦
【要約】 【課題】本発明は、例えばスポーツ番組等の映像コンテンツをユーザーに提供する場合に適用して、伝送するデータ量の増大を回避しつつ動画ボケ、ジャーキネスを防止して、引き気味の映像とズームアップした映像とを選択的にユーザーに提供することができるようにする。

【構成】本発明は、高解像度、ハイフレームレートの動画像データＤＶＨを部分的に切り出してズームアップの動画像データＤＶ２を作成すると共に、残りの部分の解像度、フレームを間引きして引き気味の動画像データＤＶ１を生成し、これらズームアップの動画像データＤＶ２、引き気味の動画像データＤＶ１を伝送する。
【特許請求の範囲】
【請求項１】
映像コンテンツの動画像データを出力する動画像データ出力ステップと、
前記映像コンテンツの動画像データから一部領域の動画像データを選択し、ズームアップの動画像データを出力する動画像データ選択ステップと、
少なくとも前記一部領域を除く前記映像コンテンツの動画像データのフレーム及び画素を間引きし、引き気味の動画像データを出力する間引きステップと、
前記ズームアップの動画像データと、前記引き気味の動画像データとを出力するデータ出力ステップとを有する
ことを特徴とするコンテンツ提供方法。
【請求項２】
前記一部領域に含まれる被写体の動きを追跡する動き追跡のステップと、
前記動き追跡のステップの追跡結果に基づいて、前記被写体の動きに追従させて、前記一部領域を移動させる一部領域の移動ステップとを有する
ことを特徴とする請求項１に記載のコンテンツ提供方法。
【請求項３】
前記データ出力ステップは、
ネットワークを介して、前記ネットワークに接続された表示装置に前記ズームアップの動画像データと、前記引き気味の動画像データとを出力し、
前記一部領域が、
前記表示装置で指示された領域である
ことを特徴とする請求項１に記載のコンテンツ提供方法。
【請求項４】
前記映像コンテンツの動画像データが、フレーム周波数１２０〔Ｈｚ〕以上のビデオ信号である
ことを特徴とする請求項１に記載のコンテンツ提供方法。
【請求項５】
映像コンテンツの動画像データを出力する動画像データ出力ステップと、
前記映像コンテンツの動画像データから一部領域の動画像データを選択し、ズームアップの動画像データを出力する動画像データ選択ステップと、
少なくとも前記一部領域を除く前記映像コンテンツの動画像データのフレーム及び画素を間引きし、引き気味の動画像データを出力する間引きステップと、
前記ズームアップの動画像データと、前記引き気味の動画像データとを出力するデータ出力ステップとを有する
ことを特徴とするコンテンツ提供方法のプログラム。
【請求項６】
映像コンテンツを提供するコンテンツ提供方法のプログラムを記録した記録媒体において、
前記コンテンツ提供方法のプログラムは、
映像コンテンツの動画像データを出力する動画像データ出力ステップと、
前記映像コンテンツの動画像データから一部領域の動画像データを選択し、ズームアップの動画像データを出力する動画像データ選択ステップと、
少なくとも前記一部領域を除く前記映像コンテンツの動画像データのフレーム及び画素を間引きし、引き気味の動画像データを出力する間引きステップと、
前記ズームアップの動画像データと、前記引き気味の動画像データとを出力するデータ出力ステップとを有する
ことを特徴とするコンテンツ提供方法のプログラムを記録した記録媒体。
【請求項７】
映像コンテンツの動画像データを出力する動画像データ出力部と、
前記映像コンテンツの動画像データから一部領域の動画像データを選択し、ズームアップの動画像データを出力する動画像データ選択部と、
少なくとも前記一部領域を除く前記映像コンテンツの動画像データのフレーム及び画素を間引きし、引き気味の動画像データを出力する間引き部と、
前記ズームアップの動画像データと、前記引き気味の動画像データを出力するデータ出力部とを備える
ことを特徴とするコンテンツ提供装置。
【請求項８】
ネットワークに接続されて、ホスト装置から出力される動画像データを表示するコンテンツ提供装置において、
前記ホスト装置は、
映像コンテンツの動画像データを出力する動画像データ出力部と、
前記映像コンテンツの動画像データから一部領域の動画像データを選択し、ズームアップの動画像データを出力する動画像データ選択部と、
少なくとも前記一部領域を除く前記映像コンテンツの動画像データのフレーム及び画素を間引きし、引き気味の動画像データを出力する間引き部と、
前記ズームアップの動画像データと、前記引き気味の動画像データを前記ネットワークに出力するデータ出力部とを備え、
前記コンテンツ提供装置は、
前記ズームアップの動画像データ、前記引き気味の動画像データを前記ネットワークから入力する入力部と、
前記入力部で入力した前記ズームアップの動画像データ、前記引き気味の動画像データを選択的に表示する表示部とを備える
ことを特徴とするコンテンツ提供装置。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、コンテンツ提供方法、コンテンツ提供方法のプログラム、コンテンツ提供方法のプログラムを記録した記録媒体及びコンテンツ提供装置に関し、例えばスポーツ番組等の映像コンテンツをユーザーに提供する場合に適用することができる。本発明は、高解像度、ハイフレームレートの動画像データを部分的に切り出してズームアップの動画像データを作成すると共に、残りの部分の解像度、フレームを間引きして引き気味の動画像データを生成し、これらズームアップの動画像データ、引き気味の動画像データを伝送することにより、伝送するデータ量の増大を回避しつつ動画ボケ、ジャーキネスを防止して、引き気味の映像とズームアップした映像とを選択的にユーザーに提供することができるようにする。
【背景技術】
【０００２】
従来、ＮＴＳＣ（National Television System Committee）、ＨＤＴＶ（High Definition Television）のビデオ信号による動画像データは、フィールド周波数が６０〔Ｈｚ〕又は５９．９４〔Ｈｚ〕に設定されており、ＰＡＬ（Phase Alternation by Line ）方式のビデオ信号による動画像データは、フィールド周波数が５０〔Ｈｚ〕に設定されている。また映画は、一般に、フレーム周波数が２４〔Ｈｚ〕に設定されている。
【０００３】
このようなフィールド周波数、フレーム周波数による動画像データの表示では、動画ボケ、ジャーキネス（jerkiness ）等の画質劣化が知られている。ここで動画ボケは、撮像系と表示系とで発生し、撮像系で発生する動画ボケは、移動する被写体を一定長の電荷蓄積時間で間欠的に撮影することで発生する。また表示系で発生する動画ボケは、いわゆるホールド型の表示ディバイスで発生する。なおここでホールド型の表示ディバイスは、例えば液晶表示パネルのように、各フレームの画像を１フレームの期間、表示し続けるディバイスである。表示系で発生する動画ボケは、フィルムの投影による映画、ＤＬＰ（Digital Light Processing）による映画でも発生する。表示系で発生する動画ボケは、表示された移動物体を追従視する場合に、網膜スリップ（Retinal slip、視覚情報処理ハンドブック、朝倉書店、p. 393）と呼ばれる網膜上での像のずれが生じることで知覚される。
【０００４】
従って撮像系で発生する動画ボケは、電荷蓄積時間を短くすることで防止することができ、また表示系で発生する動画ボケは、発光時間の短いインパルス応答側の表示ディバイスを使用することで防止することができる。
【０００５】
しかしながら従来のフィールド周波数、フレーム周波数で、単に、電荷蓄積時間を短くし、発光時間の短いインパルス応答側の表示ディバイスを使用したのでは、ジャーキネスが知覚される。ここでジャーキネスは、動く被写体を撮影した場合に、この被写体の動きが離散的に見て取られる現象である。従って動画ボケを防止し、さらにはジャーキネスを防止するためには、フレーム周波数を増大させることが必要になると考えられる。
【０００６】
このような動画像データの表示に関して、特開２００５−２１５３５１号公報には、一部を切り出してズームアップ表示する構成が開示されている。
【０００７】
ところでサッカー、アメリカンフットボール等のスポーツ中継では、複数台のテレビジョンカメラで撮影を分担し、これら複数台のテレビジョンカメラで得られる動画像データをキーイングして放送している。より具体的に、これらの中継では、例えば１台のテレビジョンカメラが、引き気味に、ピッチ、フィールドの全景、又はピッチ、フィールドの一部を撮影し、また他のテレビジョンカメラが、ズームアップしてボール、特定の選手等を追いかける。さらに試合開始直後、プレーが一時中断した直後、ズームアップした映像で被写体を追いかけることができなくなった場合等には、引き気味に撮影しているテレビジョンカメラの映像を放送する。
【０００８】
このような映像コンテンツに関して、このような引き気味の映像とズームアップした映像との双方をユーザーに提供すれば、ユーザー側でこれら２種類の映像を選択的に表示したり、またこれら２種類の映像の双方を同時に表示したりすることができ、映像コンテンツの楽しみ方を増大させることができると考えられる。
【０００９】
しかしながら単に、引き気味の映像とズームアップした映像との双方を伝送する場合、２系統の動画像データを伝送することになり、１系統の動画像データを伝送する場合に比して、２倍のデータ量を伝送しなければならなくなる問題がある。
【００１０】
この問題を解決する１つの方法として、例えば特開２００５−２１５３５１号公報の手法を適用して、引き気味の映像からズームアップした映像を切り出して提供する方法が考えられる。この方法によれば、伝送する動画像データは、１系統で済むことから、単に引き気味の映像とズームアップした映像との２系統の動画像データを伝送する場合に比して、伝送するデータ量を低減することができる。
【００１１】
しかしながらこのようにしても、上述した動画ボケ、ジャーキネスを防止する場合には、引き気味の映像を表示する１系統の動画像データを高フレームレートで伝送することが必要になり、伝送するデータ量が増大する問題がある。
【特許文献１】特開２００５−２１５３５１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明は以上の点を考慮してなされたもので、伝送するデータ量の増大を回避しつつ動画ボケ、ジャーキネスを防止して、引き気味の映像とズームアップした映像とを選択的にユーザーに提供することができるコンテンツ提供方法、コンテンツ提供方法のプログラム、コンテンツ提供方法のプログラムを記録した記録媒体及びコンテンツ提供装置を提案しようとするものである。
【課題を解決するための手段】
【００１３】
上記の課題を解決するため請求項１の発明は、コンテンツ提供方法に適用して、映像コンテンツの動画像データを出力する動画像データ出力ステップと、前記映像コンテンツの動画像データから一部領域の動画像データを選択し、ズームアップの動画像データを出力する動画像データ選択ステップと、少なくとも前記一部領域を除く前記映像コンテンツの動画像データのフレーム及び画素を間引きし、引き気味の動画像データを出力する間引きステップと、前記ズームアップの動画像データと、前記引き気味の動画像データとを出力するデータ出力ステップとを有するようにする。
【００１４】
また請求項５の発明は、コンテンツ提供方法のプログラムに適用して、映像コンテンツの動画像データを出力する動画像データ出力ステップと、前記映像コンテンツの動画像データから一部領域の動画像データを選択し、ズームアップの動画像データを出力する動画像データ選択ステップと、少なくとも前記一部領域を除く前記映像コンテンツの動画像データのフレーム及び画素を間引きし、引き気味の動画像データを出力する間引きステップと、前記ズームアップの動画像データと、前記引き気味の動画像データとを出力するデータ出力ステップとを有するようにする。
【００１５】
また請求項６の発明は、映像コンテンツを提供するコンテンツ提供方法のプログラムを記録した記録媒体に適用して、前記コンテンツ提供方法のプログラムは、映像コンテンツの動画像データを出力する動画像データ出力ステップと、前記映像コンテンツの動画像データから一部領域の動画像データを選択し、ズームアップの動画像データを出力する動画像データ選択ステップと、少なくとも前記一部領域を除く前記映像コンテンツの動画像データのフレーム及び画素を間引きし、引き気味の動画像データを出力する間引きステップと、前記ズームアップの動画像データと、前記引き気味の動画像データとを出力するデータ出力ステップとを有するようにする。
【００１６】
また請求項７の発明は、コンテンツ提供装置に適用して、映像コンテンツの動画像データを出力する動画像データ出力部と、前記映像コンテンツの動画像データから一部領域の動画像データを選択し、ズームアップの動画像データを出力する動画像データ選択部と、少なくとも前記一部領域を除く前記映像コンテンツの動画像データのフレーム及び画素を間引きし、引き気味の動画像データを出力する間引き部と、前記ズームアップの動画像データと、前記引き気味の動画像データを出力するデータ出力部とを備えるようにする。
【００１７】
また請求項８の発明は、ネットワークに接続されて、ホスト装置から出力される動画像データを表示するコンテンツ提供装置に適用して、前記ホスト装置は、映像コンテンツの動画像データを出力する動画像データ出力部と、前記映像コンテンツの動画像データから一部領域の動画像データを選択し、ズームアップの動画像データを出力する動画像データ選択部と、少なくとも前記一部領域を除く前記映像コンテンツの動画像データのフレーム及び画素を間引きし、引き気味の動画像データを前記ネットワークに出力する間引き部と、前記ズームアップの動画像データと、前記引き気味の動画像データを出力するデータ出力部とを備え、前記コンテンツ提供装置は、前記ズームアップの動画像データ、前記引き気味の動画像データを前記ネットワークから入力する入力部と、前記入力部で入力した前記ズームアップの動画像データ、前記引き気味の動画像データを選択的に表示する表示部とを備えるようにする。
【００１８】
請求項１、請求項５、請求項６、請求項７又は請求項８の構成により、ズームアップの動画像データと、引き気味の動画像データとを出力すれば、これらズームアップの動画像データと引き気味の動画像データとを用いて、ズームアップした映像と引き気味の映像とをユーザーに提供することができる。また映像コンテンツの動画像データから選択した一部領域の動画像データがズームアップの動画像データであり、また少なくともこの一部領域を除く映像コンテンツの動画像データから引き気味の動画像データを生成することから、引き気味の映像とズームアップした映像との２系統の動画像データを単に伝送する場合に比して伝送に供するデータ量を低減することができる。また引き気味の映像に係る引き気味の動画像データをフレーム及び画素を間引きして作成することにより、映像コンテンツの動画像データを直接伝送して受信側でズームアップした映像と引き気味の映像とを生成するようにして動きボケ、ジャーキネスを防止する場合に比して、伝送に供するデータ量を低減して動画ボケ、ジャーキネスを防止することができる。
【発明の効果】
【００１９】
本発明によれば、伝送するデータ量の増大を回避しつつ動画ボケ、ジャーキネスを防止して、引き気味の映像とズームアップした映像とを選択的にユーザーに提供することができる。
【発明を実施するための最良の形態】
【００２０】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００２１】
（１）実施例の構成
図１は、本発明の実施例１の映像コンテンツ提供システムを示すブロック図である。この映像コンテンツ提供システム１は、ホスト装置２とユーザー端末装置３とをホームネットワーク４で接続し、図２（Ａ）に示すように、引き気味の映像Ａ１と、この引き気味の映像Ｖ１の一部領域を切り出したズームアップした映像Ｖ２とを選択的に表示可能に、ホスト装置２からユーザー端末３に映像コンテンツを提供し、さらにはユーザー端末装置３からユーザーに映像コンテンツを提供する。この映像コンテンツ提供システム１は、引き気味の映像Ｖ１からズームアップした映像Ｖ２を作成する一部領域の指定をユーザー端末装置３でユーザーから受け付ける。
【００２２】
ここでホスト装置２において、記録再生装置１１は、例えば大容量のハードディスク装置、光ディスクプレイヤー等であり、演算処理部１６の制御に従って映像コンテンツの動画像データＳＶＨを出力する。ここでこの動画像データＳＶＨは、高解像度、ハイフレームレートのビデオ信号によるものである。動画像データＳＶＨは、一部領域を切り出してズームアップした映像Ｖ２をユーザー端末装置３で全画面表示した場合でも、動画ボケ、ジャーキネスを防止可能なハイフレームレートの動画像データである。動画像データは、フレーム周波数を５０〔フレーム／ｓｅｃ〕以上とすれば、動画ボケ、ジャーキネスを低減することができ、フレーム周波数を１２０〔フレーム／ｓｅｃ〕以上とすれば、動画ボケ、ジャーキネスを知覚困難とすることができる。この実施例において、記録再生装置１１は、フレーム周波数１２０〔フレーム／ｓｅｃ〕で動画像データＳＶＨを出力する。
【００２３】
また動画像データＳＶＨは、一部領域を切り出してズームアップの映像Ｖ２をユーザー端末装置３で全画面表示した場合でも、このズームアップの映像Ｖ２を十分な解像度で全画面表示可能な高解像度の動画像データである。動画像データＳＶＨは、好ましくはＶＧＡ（Video Graphics Array）以上の解像度であることが望まれ、さらにより好ましくは、ＨＤＴＶ（High Definition Television）以上の解像度とすることが望まれる。
【００２４】
間引き部１２は、この動画像データＳＶＨの画素、フレームを間引きして動画像データＳＶ１を出力する。ここでこの映像コンテンツ提供システム１では、動画像データＳＶＨから一部領域を切り出してズームアップの映像Ｖ２を作成することから、この一部領域をユーザー端末装置３で全画面表示する場合に比して、動画像データＳＶＨをユーザー端末装置３で全画面表示する場合（Ｖ１）、当然に被写体の動きが小さくなり、動画ボケ、ジャーキネスに対する余裕が大きくなる。また解像度の劣化についても、一部領域をユーザー端末装置３で全画面表示する場合に比して、動画像データＳＶＨをユーザー端末装置３で全画面表示する場合の方が余裕が大きくなる。間引き部１２は、この動画ボケ、ジャーキネスに対する余裕が大きい分、動画像データＳＶＨのフレームを間引きする。また解像度の劣化についての余裕が大きい分、動画像データＳＶＨの画素を間引きする。なおこの画素、フレームの間引きは、実用上十分な特性を確保することができる場合には、種々の間引き率に設定することができる。
【００２５】
エンコーダ１３は、間引き部１２から出力される動画像データＳＶ１をデータ圧縮して符号化データＤＶ１を生成する。なおこのデータ圧縮には、例えばＭＰＥＧ（Moving Picture Experts Group）−４の手法等を適用することができる。ホスト装置２は、この符号化データＤＶ１を引き気味の映像Ｖ１としてユーザー端末装置３に提供する。
【００２６】
インターフェース（Ｉ／Ｆ）１４は、エンコーダ１３から出力される符号化データＤＶ１を、エンコーダ１５から出力される符号化データＤＶ２と共にホームネットワーク４に送出する。またホームネットワーク４からユーザー端末装置３の各種リクエストＲＱを受信し、受信したリクエストＲＱを演算処理部１６等に通知する。ここでこの実施例では、このユーザー端末装置３からのリクエストＲＱが、引き気味の映像Ｖ１からズームアップの映像Ｖ２を切り出す領域の指定等である。
【００２７】
選択部１７は、演算処理部１６からの指示に従って動画像データＳＶＨから一定領域の動画像データを選択し、ズームアップの映像Ｖ２を表示するズームアップの動画像データＳＶ２を出力する。
【００２８】
エンコーダ１５は、エンコーダ１３と同様に、このズームアップの動画像データＳＶ２をデータ圧縮処理し、その処理結果である符号化データＤＶ２を出力する。
【００２９】
演算処理部１６は、図示しない記録手段に記録されたプログラムを実行してホスト装置２の動作を制御する演算処理手段である。なおこの実施例において、このプログラムは、このサーバー３に事前にインストールされて提供されるものの、これに代えて光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、またインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。また間引き部１２、エンコーダ１３、１５、選択部１７を、この演算処理部１６の機能ブロックとして構成してもよい。
【００３０】
すなわち演算処理部１６は、ユーザー端末装置３から再生可能な映像コンテンツの通知がリクエストされると、記録再生装置１１に記録された映像コンテンツのタイトルをユーザー端末装置３に通知する。またこの通知によりユーザー端末装置３から映像コンテンツの再生が指示されると、ユーザー端末装置３で指示された映像コンテンツを再生するように記録再生装置１１の動作を制御する。またこの記録再生装置１１から出力される映像コンテンツの動画像データＳＶＨを間引き部１２、エンコーダ１３で順次処理してユーザー端末装置３に提供する。これにより演算処理部１６は、引き気味の映像Ｖ１をユーザー端末装置３に提供する。
【００３１】
このようにして引き気味の映像Ｖ１をユーザー端末装置３に提供した状態で、ユーザー端末装置３からズームアップ映像Ｖ２のリクエストが得られると、演算処理部１６は、図３に示す処理手順を開始する。すなわち演算処理部１６は、この処理手順を開始すると、ステップＳＰ１からステップＳＰ２に移る。ここで演算処理部１６は、記録再生装置１１における映像コンテンツの再生を一時停止し、現在出力中のフレームの動画像データを繰り返し出力するように間引き部１２の動作を設定する。これにより演算処理部１６は、現在提供中の映像コンテンツを静止画に切り換える。なおこの静止画による映像コンテンツの出力は、記録再生部１１の制御により実行してもよい。
【００３２】
この状態で、演算処理部１６は、ズームアップの映像Ｖ２を作成する一部領域の設定をユーザー端末装置３から受け付ける。なおここでこの設定の受け付けは、例えば現在ユーザー端末装置３に提供している静止画において、この一部領域の中央の座標の入力を受け付けて実行される。なおこの一部領域の受け付けは、結局、ズームアップの映像Ｖ２で表示する被写体を特定するものである。従って、この一部領域の中央の座標に代えて、直接、このズームアップの映像Ｖ２で表示する被写体の座標により、一部領域の設定を受け付けるようにしてもよい。また例えば対角方向の端点の指定により、この一部領域の設定を受け付けるようにしてもよい。演算処理部１６は、間引き回路１２から出力される動画像データＳＶ１を解析し、この一部領域の中から追跡対象の被写体を検出する。
【００３３】
続いて演算処理部１６は、ステップＳＰ４に移り、記録再生装置１１に映像コンテンツの再生再開を指示し、動画による映像コンテンツの提供を再開する。また続くステップＳＰ５において、間引き回路１２から出力される動画像データＳＶ１を解析し、ステップＳＰ３で検出した被写体の追跡を開始する。なおここでこれらの被写体の検出、追跡は、例えばテンプレートマッチングを利用した被写体の検出、追跡、特徴点を利用した被写体の検出、追跡等、各種の手法を適用することができる。またさらに演算処理部１６は、選択部１７、エンコーダ１５に動作の開始を指示し、ズームアップ映像Ｖ２の出力開始を指示する。
【００３４】
続いて演算処理部１６は、ステップＳＰ６に移り、ここで被写体の追跡を次フレームで成功したか否か判定し、ここで肯定結果が得られると、ステップＳＰ６からステップＳＰ７に移る。ここで動画像データＳＶ１で検出される現フレームから次フレームまでの、ユーザーが指示した追跡対象の被写体の移動量から、間引き前の動画像データＳＶＨにおけるこの被写体の連続するフレーム間の移動量を計算する。なおこの実施例では、動画像データＳＶ１と動画像データＳＶＨとのフレーム周波数の比で、動画像データＳＶ１で検出される現フレームから次フレームまでの被写体の移動量を割り算して、この動画像データＳＶＨにおける移動量を計算する。
【００３５】
続いて演算処理部１６は、ステップＳＰ８に移り、ステップＳＰ８で計算した移動量に基づいて、動画像データＳＶ１の現フレームから次フレームまでの間の期間で、動画像データＳＶＨのフレーム毎に、追跡対象の被写体の動きに追従してこの一部領域が移動するように、動画像データＳＶＨから切り出す一部領域の座標を計算し、この計算した各フレームの座標を選択部１７に順次通知する。これによりホスト装置２は、図２（Ｂ）において符号Ｖ２−１〜Ｖ２−３で示すように、被写体の移動を追跡するようにズームアップの映像を作成する一部領域を可変して、ズームアップの映像Ｖ２による動画像データＳＶ２を生成する。
【００３６】
なお演算処理部１６は、このステップＳＰ８の処理において、一定の範囲でズームアップの映像Ｖ２を作成する一部領域の可動範囲を制限し、この一部領域が動画像データＳＶＨの画枠を飛び出さないようにする。
【００３７】
演算処理部１６は、ステップＳＰ８の処理を完了すると、ステップＳＰ９に移り、ユーザー端末装置３からズームアップ映像Ｖ２の提供終了が指示されたか否か判断し、ここで否定結果が得られると、ステップＳＰ９からステップＳＰ６に移る。これに対してステップＳＰ９で肯定結果が得られると、ステップＳＰ９からステップＳＰ１０に移り、この処理手順を終了する。
【００３８】
これに対してステップＳＰ６で否定結果が得られると、演算処理部１６は、ステップＳＰ６からステップＳＰ１１に移り、現在のフレームで設定している一部領域の中心位置を可変することなく、この一部領域を順次拡大させ、これによりズームアップの映像Ｖ２をズームダウンさせ、ステップＳＰ９に移る。なおこの場合、選択部１２は、補間演算処理によりこの一部領域を拡大させても、動画像データＳＶ２の解像が変化しないようにする。
【００３９】
図４は、ユーザー端末装置３の構成を詳細に示すブロック図である。ユーザー端末装置３において、インターフェース（Ｉ／Ｆ）２１は、ホームネットワーク４を介して入力される符号化データＤＶ１、ＤＶ２をデコーダ２２、２３に出力し、またコントローラ２４から出力される各種のリクエストＲＱをホスト装置２に通知する。
【００４０】
デコーダ２３、２４は、それぞれ符号化データＤＶ１、ＤＶ２をデコードして動画像データＳＶ１、ＳＶ２を出力する。
【００４１】
表示部２６は、例えば液晶表示装置により形成され、画像処理部２５から出力される動画像データによる映像を表示する。
【００４２】
画像処理部２５は、コントローラ２４の制御により動作を切り換え、動画像データＳＶ１、ＳＶ２を選択的に出力し、図５（Ａ）又は（Ｂ）に示すように、表示部２６に引き気味の映像Ｖ１又はズームアップした映像Ｖ２を全画面表示する。また図５（Ｃ）に示すように、引き気味の映像Ｖ１を全画面表示している場合には、ズームアップした映像Ｖ２を切り出す領域に枠Ｗ１を表示する。またコントローラ２４からピクチャーインピクチャーによる表示が指示されると、図５（Ｄ）に示すように、ズームアップした映像Ｖ２を全画面表示した状態で、引き気味の映像Ｖ１を子画面により表示する。またこのピクチャーインピクチャーによる表示では、前置補間の手法により、動画像データＳＶ１による引き気味の映像Ｖ１のフレーム周波数を増大させ、動画像データＳＶ２によるズームアップした映像Ｖ２のフレーム周波数と一致するように設定してこれら映像Ｖ１及びＶ２を表示する。
【００４３】
リモートコマンダ（リモコン）２７は、このユーザー端末装置３の遠隔制御装置であり、赤外線又は無線電波等による遠隔制御信号を出力する。
【００４４】
コントローラ２４は、図示しないメモリに記録されたプログラムの実行により、リモートコマンダ２７の操作に応動してこのユーザー端末装置３の動作を制御する制御手段である。なおこの実施例において、このプログラムは、このユーザー端末装置３に事前にインストールされて提供されるものの、これに代えて光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、またインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。またデコーダ２２、２３、画像処理部２５を、このコントローラ２７を構成する演算処理手段の機能ブロックとして構成してもよい。
【００４５】
図６は、このコントローラ２４の処理手順を示すフローチャートである。コントローラ２４は、リモートコマンダ２７の操作によりユーザーが映像コンテンツの再生を指示すると、ステップＳＰ１１からステップＳＰ１２に移り、ホスト装置２に提供可能な映像コンテンツの一覧をリクエストする。またこのリクエストによりホスト装置２から提供される映像コンテンツの一覧を表示部２６で表示し、ユーザーによる映像コンテンツの選択を受け付ける。
【００４６】
続いてコントローラ２４は、ステップＳＰ１３に移り、ユーザーの選択した映像コンテンツの再生をホスト装置２にリクエストし、ホスト装置３から出力される符号化データＤＶ１による映像コンテンツを表示部２６で表示する。これによりコントローラ２４は、映像コンテンツの提供を開始する。
【００４７】
続いてコントローラ２４は、ステップＳＰ１４に移り、リモートコマンダ２７をユーザーが操作してズームアップの映像表示をユーザーが指示したか否か判断する。ここで否定結果が得られると、コントローラ２４は、ステップＳＰ１４からステップＳＰ２１に移り、リモートコマンダ２７をユーザーが操作して映像コンテンツの再生終了をユーザーが指示したか否か判断する。ここで否定結果が得られると、コントローラ２４は、ステップＳＰ２１からステップＳＰ１４に戻るのに対し、肯定結果が得られると、ホスト装置２に映像コンテンツの再生終了を指示し、ステップＳＰ２１からステップＳＰ２２に移り、この処理手順を終了する。
【００４８】
これに対してステップＳＰ１４で肯定結果が得られると、コントローラ２４は、ステップＳＰ１４からステップＳＰ１５に移る。ここでコントローラ２４は、ホスト装置２に静止画の出力をリクエストし、ホスト装置２における動作の切り換えにより静止画を表示する。またこの静止画の上にカーソルを表示する。
【００４９】
また続くステップＳＰ１６において、リモートコマンダ２７の操作に応動してこの静止画上に表示したカーソルの位置を移動させ、ズームアップ映像を再生する一部領域の設定を受け付ける。コントローラ２４は、この設定の受け付けにより入力された座標値をホスト装置２に通知し、ズームアップ映像を再生する一部領域の座標をホスト装置２に通知する。
【００５０】
続いてコントローラ２４は、ステップＳＰ１７に移り、デコーダ２３に動作の立ち上げを指示し、これによりホスト装置２から伝送される符号化データＤＶ１及びＤＶ２をそれぞれデコーダ２２、２３でデコードするように設定する。また画像処理部２５にピクチャーインピクチャーの表示を指示し、この場合、図５（Ｄ）に示すように、ズームアップの映像Ｖ２を全画面表示し、その左下隅に、引き気味の映像Ｖ１を子画面表示する。
【００５１】
続いてコントローラ２４は、ステップＳＰ１８に移り、ユーザーがリモートコマンダ２７を操作して表示切り換えを指示したか否か判断し、ここで肯定結果が得られると、ステップＳＰ１８からステップＳＰ１９に移り、画像処理部２５の設定を切り換えて表示部２６の表示を切り換えた後、ステップＳＰ２０に移る。なおここでこの表示部２６の表示の切り換えは、例えば、図５（Ｂ）に示すズームアップ映像の全画面表示、図５（Ｃ）に示す引き気味の映像の全画面表示、図５（Ｄ）に示すピクチャーインピクチャー表示で、ユーザーの操作に応動して順次循環的に表示を切り換える等の処理である。
【００５２】
これに対してステップＳＰ１８で否定結果が得られると、コントローラ２４は、ステップＳＰ１８から直接ステップＳＰ２０に移る。このステップＳＰ２０において、コントローラ２４は、ズームアップ映像の表示終了をユーザーが指示したか否か判断し、ここで肯定結果が得られると、ホスト装置２にズームアップ映像の出力中止を指示した後、ステップＳＰ１４に戻る。これに対してステップＳＰ２０で否定結果が得られると、ステップＳＰ２０からステップＳＰ１８に戻る。
【００５３】
これらによりこの映像コントローラ提供システム１では、図７に示すように、ズームアップ映像を作成する一部領域を特定する情報をモニタ側であるユーザー端末装置３からホスト装置３に通知し、この一部領域については、動画像データＤＶＨの全画素、全フレームで動画像データＳＶ２を伝送し、他の部分については、画素間引き、フレーム間引きして動画像データＳＶ１を伝送する。なおこの実施例において、引き気味の映像を伝送する動画像データＳＶ１は、ズームアップ映像を作成する一部領域についても映像を伝送するように構成されているものの、例えばエンコーダ１３における制御コードの設定により、この一部領域については符号化データを伝送しないようにして、さらに一段と伝送するデータ量を低減するようにしてもよい。なおこの場合、画像処理部２５側で動画像データＳＶ２を用いてこの一部領域の画像データを補間することが必要になる。
【００５４】
これらにより動画像データＳＶＨによる映像の１／ｓの一部領域を切り出して動画像データＳＶ２により伝送する場合、それぞれ画素間引き率及びフレーム間引き率をｍ及びｎと置くと、動画像データＳＶＨを直接伝送する場合に比して、全体として伝送量を（１／Ｓ＋（（Ｓ−１）／Ｓ）×（１／ｎ）×（１／ｍ））に低減することができる。ここで具体的にｓ＝４、ｎ＝４、ｍ＝４の場合、この伝送量は１９／６４となり、伝送量を約１／３に低減することができる。
【００５５】
（２）実施例の動作
以上の構成において、この映像コンテンツ提供システム１では（図１及び図４）、ユーザー端末装置３からのリクエストにより、ホスト装置２の記録再生装置１１で映像コンテンツの動画像データＳＶＨ及びオーディオ信号が再生され、この動画像データＳＶＨ及びオーディオ信号がユーザー端末装置３に伝送され、これによりホスト装置２に蓄積した大量の映像コンテンツからユーザーの所望する映像コンテンツをユーザー端末装置３で視聴することが可能となる。
【００５６】
ここでこのようにしてユーザー端末装置３から提供する映像コンテンツは、例えばスポーツ中継番組を録画した映像コンテンツである場合もあり、この場合、ユーザーは、例えばお気に入りの選手を追いかけて、このお気に入りの選手をズームアップして見たい場合がある。またボールの動きを追いかけてズームアップして見たい場合もある。
【００５７】
そこでこの映像コンテンツ提供システム１では、ユーザー端末装置３において、ユーザーがリモートコマンダ２７を操作してズームアップ映像の表示を指示すると、動画による映像コンテンツが静止画で表示され、この静止画における領域の指定により、ズームアップする領域の設定が受け付けられる。またこのズームアップする領域がホスト装置２に通知され、ホスト装置２では、記録再生装置１１で再生される映像コンテンツの動画像データＳＶＨから、この指定された領域の動画像データＳＶ２が切り出され、この動画像データＳＶ２が、動画像データＳＶ１と共にユーザー端末装置３に伝送される。これによりこの映像コンテンツ提供システム１では、ユーザー端末装置３で表示に供する動画像データを切り換えて、所望する箇所のズームアップ映像を全画面で表示したり、全体の映像を全画面で表示したりすることができ、さらにはこれらをピクチャーインピクチャーで表示したりすることができ、従来に比して一段と使い勝手を向上することができる。
【００５８】
しかしながらこのようにして単に、記録再生装置１１で再生される映像コンテンツの動画像データＳＶＨから、指定された領域の動画像データＳＶ２を切り出して伝送したのでは、伝送するデータ量が膨大になる。特に、この切り出して生成する動画像データＳＶ２で動画ボケ、ジャーキネスが発生しないようにするためには、元の動画像データＳＶＨを極めて高解像度により生成し、さらにはハイフレームレートで生成することが必要になり、この元の動画像データＤＶＨまで伝送する場合には伝送するデータ量が膨大になる。
【００５９】
この問題を解決する１つの方法として、動画像データＳＶ２の切り出しをユーザー端末装置３側で実行することも考えられるが、この場合、この切り出した映像で動画ボケ、ジャーキネスが発生しないようにするためには、元の動画像データＳＶＨを極めて高解像度により生成し、さらにはハイフレームレートで生成することが必要になり、この場合も伝送するデータ量が膨大になる。
【００６０】
そこでこの実施例では、この切り出して生成する動画像データＳＶ２で動画ボケ、ジャーキネスが発生しないように、高解像度、ハイフレームレートの動画像データＳＶＨで映像コンテンツが記録される。またこのハイフレームレートの動画像データＳＶＨについては、画素間引き及びフレーム間引きして動画像データＳＶ１を生成し、この動画像データＳＶ１がユーザー端末装置３に伝送される。
【００６１】
これによりこの映像コンテンツ提供システム１では、伝送するデータ量の増大を回避しつつ動画ボケ、ジャーキネスを防止して、引き気味の映像とズームアップした映像とを選択的にユーザーに提供することができる
すなわちホスト装置３では、ユーザーが指定した一部領域に含まれる被写体が検出されて、ズームアップの映像の追跡対象が検出される。またこの追跡対象を追跡するように、ズームアップの映像を作成する一部領域を移動させ、これによりユーザーの所望する選手等のズームアップ映像をユーザー端末装置３で表示することができる。この実施例では、この追跡対象の検出、追跡が、解像度、フレームレートを低減したビデオ信号ＳＶ１を用いて実行され、これによりズームアップ映像、引き気味の映像をユーザーに提供する構成を有効に利用して、簡易な処理により所望する被写体を追跡してズームアップ映像を表示することができる。
【００６２】
また追跡することが困難となった場合には、ズームアップ映像を作成する一部領域の大きさが拡大され、この場合、所望する被写体を追跡するように、ズームアップ映像の画枠を移動させることは困難なものの、ズームアップ映像としては所望する被写体を概ね捕らえることができる。また所望する被写体を捕らえない場合でも、違和感の無い映像を表示することができる。すなわち例えば野球の打球をテレビジョンカメラで追跡する場合、アメリカンフットボールでボールをテレビジョンカメラで追跡する場合等にあっては、操作に慣れたカメラマンですら打球、ボールの動きを追跡できない場合がある。この場合、カメラマンは、打球、ボールを捕らえなくなると、一旦、ズームダウンして追跡対象を画枠に捕らえ直し、追跡対象にズームインする。従って追跡することが困難となった場合に、ズームアップ映像を作成する一部領域の大きさを拡大すれば、このようなカメラマンの操作を再現して違和感無くズームアップ映像を表示することができる。
【００６３】
（３）実施例の効果
以上の構成によれば、高解像度、ハイフレームレートの動画像データを部分的に切り出してズームアップの動画像データを作成すると共に、残りの部分の解像度、フレームを間引きして引き気味の動画像データを生成し、これらズームアップの動画像データ、引き気味の動画像データを伝送することにより、伝送するデータ量の増大を回避しつつ動画ボケ、ジャーキネスを防止して、引き気味の映像とズームアップした映像とを選択的にユーザーに提供することができる。
【００６４】
またズームアップの動画像データを作成する一部領域に含まれる被写体の動きを追跡し、この被写体の動きに追従させて、この一部領域を移動させることにより、所望する被写体を追跡するようにズームアップ映像を表示することができる。
【００６５】
また表示装置側であるユーザー端末装置３で引き気味の映像を表示し、この表示装置でズームアップ映像を作成する一部領域の設定を受け付けることにより、ユーザーの所望する被写体のズームアップ映像を表示することができる。
【００６６】
またより具体的に、ズームアップ映像の生成元である映像コンテンツの動画像データが、フレーム周波数１２０〔Ｈｚ〕以上のビデオ信号であることにより、確実に動画ボケ、ジャーキネスを防止することができる。
【実施例２】
【００６７】
図８は、本発明の実施例２の映像コンテンツ提供システムを示すブロック図である。この映像コンテンツ提供システム３１は、テレビジョンカメラ３３で高解像度、ハイフレームレートの動画像データＤＶＨを撮影し、この動画像データＤＶＨによる映像コンテンツを通信網３５を介してユーザー端末装置３６に提供する。なおここで放送網３５は、例えば受信側とインタラクティブにデータ通信可能な放送網、インターネット等のネットワークが適用される。
【００６８】
ここでホスト装置３２は、実施例１のホスト装置２と同様に、ユーザー端末装置３６からのリクエストにより、テレビジョンカメラ３３で撮影した動画像データＳＶＨからズームアップの動画像データを生成し、引き気味の動画像データと共に、ユーザー端末装置３６に送出する。ここでこの実施例では、リアルタイムで得られるテレビジョンカメラ３３の動画像データＳＶＨがズームアップの動画像データの生成元であることから、ホスト装置３２は、常時、引き気味の動画像データを解析し、この引き気味の動画像データによる各被写体について、それぞれ動きを追跡する。またこの動き追跡結果に基づいて、各被写体の位置情報を引き気味の動画像データのタイムコードと共に記録して保持する。
【００６９】
またユーザー端末装置３６は、この引き気味の動画像データによる映像を表示して、ユーザーがズームアップの映像表示を指示すると、それまで表示している引き気味の映像を静止画で表示し、この静止画上で、ズームアップの映像で追跡する対象の選択を受け付ける。ユーザー端末装置３６は、この静止画表示した映像のタイムコードと、追跡対象の被写体の座標値とをホスト装置３２に通知する。
【００７０】
ホスト装置３２は、この通知されたタイムコード、座標値で、記録して保持した各被写体の位置情報を検索し、この検索結果から現フレームにおける追跡対象の座標を検出する。またこの検出した座標からズームアップ映像を生成する一部領域を順次計算し、この計算結果に基づいて動画像データＤＶＨを選択してズームアップの動画像データを出力する。この映像コンテンツ提供システムは、このズームアップ映像を切り出す一部領域の設定方法が異なる点を除いて、実施例１の映像コンテンツ提供システム１と同一に構成される。
【００７１】
この実施例によれば、映像コンテンツがリアルタイムの動画像データによるものの場合でも、実施例１と同様の効果を得ることができる。
【実施例３】
【００７２】
なお上述の実施例においては、静止画を表示して、ズームアップ映像による追跡対象の設定を受け付ける場合について述べたが、本発明はこれに限らず、実用上十分に確実に追跡対象を入力することができる場合には、動画を表示した状態で、追跡対象の設定を受け付けるようにしてもよい。
【００７３】
また上述の実施例においては、ズームアップの映像を切り出す一部領域をも含めて、引き気味の動画像データを伝送するようにして、ズームアップの動画像データと引き気味の動画像データとをそれぞれ符号化処理して伝送する場合について述べたが、本発明はこれに限らず、ズームアップの映像を切り出す一部領域を除く領域のみについて引き気味の動画像データを伝送するようにして、これらズームアップの動画像データと引き気味の動画像データとをまとめて符号化処理するようにしてもよい。
【００７４】
また上述の実施例においては、一定の間引き率で画素、フレームを間引く場合について述べたが、本発明はこれに限らず、例えば伝送路の使用可能な帯域に応じて間引き率を動的に可変するようにしてもよい。またユーザー端末装置側で、ズームアップの映像、引き気味の映像の何れかを選択的に視聴している場合には、視聴していない側の映像については、動画像データの出力を中止するようにしてもよい。
【産業上の利用可能性】
【００７５】
本発明は、例えばスポーツ番組等の映像コンテンツをユーザーに提供する場合に適用することができる。
【図面の簡単な説明】
【００７６】
【図１】本発明の実施例１の映像コンテンツ提供システムを示すブロック図である。
【図２】図１の映像コンテンツ提供システムによるズームアップの映像の説明に供する平面図である。
【図３】図１の映像コンテンツ提供システムにおける演算処理部の処理手順を示すフローチャートである。
【図４】本発明の実施例１の映像コンテンツ提供システムにおけるユーザー端末装置を詳細に示すブロック図である。
【図５】図４のユーザー端末装置における表示画面を示す平面図である。
【図６】図４のユーザー端末装置におけるコントローラの処理手順を示すフローチャートである。
【図７】本発明の実施例１の映像コンテンツ提供システムにおける動画像データの処理手順を示すフローチャートである。
【図８】本発明の実施例２の映像コンテンツ提供システムを示すブロック図である。
【符号の説明】
【００７７】
１、３１……映像コンテンツ提供システム、２、３２……ホスト装置、３、３６……ユーザー端末装置、４……ホームネットワーク、１１……記録再生装置、１２……間引き部、１３、１５……エンコーダ、１６……演算処理部、１７……選択部、２２、２３……デコーダ、２４……コントローラ、２５……画像処理部、２６……表示部
【出願人】 【識別番号】０００００２１８５
【氏名又は名称】ソニー株式会社
【出願日】 平成１８年７月２７日（２００６．７．２７）
【代理人】 【識別番号】１００１０２１８５
【弁理士】
【氏名又は名称】多田 繁範
【公開番号】 特開２００８−３５００６（Ｐ２００８−３５００６Ａ）
【公開日】 平成２０年２月１４日（２００８．２．１４）
【出願番号】 特願２００６−２０４１２４（Ｐ２００６−２０４１２４）