トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 コンテンツ提供方法、コンテンツ提供方法のプログラム、コンテンツ提供方法のプログラムを記録した記録媒体及びコンテンツ提供装置
【発明者】 【氏名】村越 象
【要約】 【課題】本発明は、コンテンツ提供方法、コンテンツ提供方法のプログラム、コンテンツ提供方法のプログラムを記録した記録媒体及びコンテンツ提供装置に関し、例えばハードディスクレコーダーに適用して、従来に比して映像コンテンツの内容を正確に把握することができるようにする。

【構成】本発明は、字幕を解析して重要と思われる字幕を選択し、この選択した字幕を対応する画像に重畳させて順次出力する。
【特許請求の範囲】
【請求項１】
記録媒体に記録されたビデオデータ及びオーディオデータによる映像コンテンツを再生してユーザーに提供するコンテンツ提供方法において、
前記映像コンテンツの字幕を解析して、重要な字幕を選択する字幕選択ステップと、
前記字幕選択ステップで選択した前記重要な字幕を、対応する前記ビデオデータによる画像に重畳させて順次出力する画像出力ステップとを有する
ことを特徴とするコンテンツ提供方法。
【請求項２】
前記字幕選択ステップは、
前記映像コンテンツの字幕から、出現回数の高いキーワードを検出して重要キーワードに設定する重要キーワード検出ステップと、
前記映像コンテンツの字幕から、前記重要キーワード検出ステップで検出した前記重要キーワードの出現回数の高い字幕を検出して、前記重要な字幕に設定する重要な字幕設定ステップとを有する
ことを特徴とする請求項１に記載のコンテンツ提供方法。
【請求項３】
前記字幕選択ステップは、
前記映像コンテンツの字幕から、文字数の多い字幕を検出して、前記重要な字幕に設定する重要な字幕設定ステップを有する
ことを特徴とする請求項１に記載のコンテンツ提供方法。
【請求項４】
前記画像出力ステップが、
前記重要な字幕を重畳した画像を表示する画像表示ステップである
ことを特徴とする請求項１に記載のコンテンツ提供方法。
【請求項５】
前記対応する前記ビデオデータによる画像が、前記ビデオデータの静止画像であり、
前記画像出力ステップは、
前記重要な字幕を重畳した前記静止画像を順次表示する
ことを特徴とする請求項４に記載のコンテンツ提供方法。
【請求項６】
前記画像出力ステップは、
前記重要な字幕を重畳した前記静止画像を一定時間表示した後、続く前記重要な字幕を重畳した前記静止画像に表示を切り換え、
前記一定時間を、表示する字幕の文字数に応じて設定する
ことを特徴とする請求項５に記載のコンテンツ提供方法。
【請求項７】
前記画像表示ステップによる前記静止画像の表示が、前記映像コンテンツのコマ送りによる早送り再生又は早戻し再生である
ことを特徴とする請求項５に記載のコンテンツ提供方法。
【請求項８】
前記対応する前記ビデオデータによる画像が、前記ビデオデータの静止画像であり、
前記画像出力ステップは、
前記重要な字幕を重畳した静止画像を印刷する画像印刷ステップである
ことを特徴とする請求項１に記載のコンテンツ提供方法。
【請求項９】
前記画像印刷ステップは、
複数の前記重要な字幕を重畳した静止画像を、１つの印刷対象に印刷する
ことを特徴とする請求項８に記載のコンテンツ提供方法。
【請求項１０】
前記画像印刷ステップは、
前記１つの印刷対象に印刷する前記重要な字幕の重要度を検出する重要度検出ステップを有し、
前記１つの印刷対象に印刷する前記静止画像の大きさを、対応する前記重要な字幕の前記重要度に応じて可変する
ことを特徴とする請求項９に記載のコンテンツ提供方法。
【請求項１１】
前記対応する前記ビデオデータによる画像が、前記ビデオデータの静止画像であり、
前記画像出力ステップは、
前記重要な字幕を重畳した静止画像を表示可能に、画像表示装置に画像データを出力する画像データ出力ステップである
ことを特徴とする請求項１に記載のコンテンツ提供方法。
【請求項１２】
前記画像出力ステップは、
複数の前記重要な字幕を重畳した静止画像を、１つの画面で表示するように前記画像データを生成する画像データ生成ステップを有する
ことを特徴とする請求項１１に記載のコンテンツ提供方法。
【請求項１３】
前記画像データ生成ステップは、
前記１つの画面で表示する前記重要な字幕の重要度を検出する重要度検出ステップを有し、
前記１つの画面で表示する前記静止画像の大きさを、対応する前記重要な字幕の前記重要度に応じて可変して前記画像データを生成する
ことを特徴とする請求項１２に記載のコンテンツ提供方法。
【請求項１４】
前記画像表示装置が、
電子ブックの閲覧装置である
ことを特徴とする請求項１１に記載のコンテンツ提供方法。
【請求項１５】
記録媒体に記録されたビデオデータ及びオーディオデータによる映像コンテンツを再生してユーザーに提供するコンテンツ提供方法のプログラムにおいて、
前記映像コンテンツの字幕を解析して、重要な字幕を選択する字幕選択ステップと、
前記字幕選択ステップで選択した前記重要な字幕を、対応する前記ビデオデータによる画像に重畳させて順次出力する画像出力ステップとを有する
ことを特徴とするコンテンツ提供方法のプログラム。
【請求項１６】
記録媒体に記録されたビデオデータ及びオーディオデータによる映像コンテンツを再生してユーザーに提供するコンテンツ提供方法のプログラムを記録した記録媒体において、
前記コンテンツ提供方法は、
前記映像コンテンツの字幕を解析して、重要な字幕を選択する字幕選択ステップと、
前記字幕選択ステップで選択した前記重要な字幕を、対応する前記ビデオデータによる画像に重畳させて順次出力する画像出力ステップとを有する
ことを特徴とするコンテンツ提供方法のプログラムを記録した記録媒体。
【請求項１７】
記録媒体に記録されたビデオデータ及びオーディオデータによる映像コンテンツを再生してユーザーに提供するコンテンツ提供装置において、
前記映像コンテンツの字幕を解析して、重要な字幕を選択する字幕選択部と、
前記字幕選択部で選択した前記重要な字幕を、対応する前記ビデオデータによる画像に重畳させて順次出力する画像出力部とを有する
ことを特徴とするコンテンツ提供装置。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、コンテンツ提供方法、コンテンツ提供方法のプログラム、コンテンツ提供方法のプログラムを記録した記録媒体及びコンテンツ提供装置に関し、例えばハードディスクレコーダーに適用することができる。本発明は、字幕を解析して重要と思われる字幕を選択し、この選択した字幕を対応する画像に重畳させて順次出力することにより、従来に比して映像コンテンツの内容を正確に把握することができるようにする。
【背景技術】
【０００２】
従来、ハードディスクレコーダー等の記録再生装置は、例えばテレビジョン放送によって提供される映像コンテンツを記録し、この映像コンテンツを後日、改めて視聴する場合等に利用されている。このような記録再生装置は、早送り再生等の可変速再生機能を有し、この機能の利用により所望する箇所を迅速に頭出しすることができるように構成されている。
【０００３】
この種の記録再生装置では、早送りしても映像コンテンツの内容を把握可能とする工夫が種々に提案されている。具体的に、音声により早送りしても映像コンテンツの内容を把握可能とする方法として、再生した音声を出力するようにして１．５倍速程度の再生速度で映像コンテンツを早送り再生する方法、さらには順次再生される音声のピッチを変化させて聴取可能とする方法等が提案されている。これに対して表示の工夫により早送りしても映像コンテンツの内容を把握可能とする方法として、例えば特開２００５−６５１８５号公報等に、いわゆるダイジェスト再生の工夫が提案されている。
【０００４】
ところで音声により早送りしても映像コンテンツの内容を把握可能とする方法にあっては、再生速度を速くすると音声が聞き取り難くなり、結局、内容を正確に把握できなくなる問題がある。またそもそも難聴者にとっては、再生速度の如何に係わらず、内容を把握できない問題がある。これに対してダイジェスト再生等による場合には、ある程度、映像コンテンツの内容を知っていなければ、内容を正確に把握できない問題がある。
【特許文献１】特開２００５−６５１８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は以上の点を考慮してなされたもので、従来に比して映像コンテンツの内容を正確に把握することができるコンテンツ提供方法、コンテンツ提供方法のプログラム、コンテンツ提供方法のプログラムを記録した記録媒体及びコンテンツ提供装置を提案しようとするものである。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため請求項１の発明は、記録媒体に記録されたビデオデータ及びオーディオデータによる映像コンテンツを再生してユーザーに提供するコンテンツ提供方法に適用して、前記映像コンテンツの字幕を解析して、重要な字幕を選択する字幕選択ステップと、前記字幕選択ステップで選択した前記重要な字幕を、対応する前記ビデオデータによる画像に重畳させて順次出力する画像出力ステップとを有するようにする。
【０００７】
また請求項１５の発明は、記録媒体に記録されたビデオデータ及びオーディオデータによる映像コンテンツを再生してユーザーに提供するコンテンツ提供方法のプログラムに適用して、前記映像コンテンツの字幕を解析して、重要な字幕を選択する字幕選択ステップと、前記字幕選択ステップで選択した前記重要な字幕を、対応する前記ビデオデータによる画像に重畳させて順次出力する画像出力ステップとを有するようにする。
【０００８】
また請求項１６の発明は、記録媒体に記録されたビデオデータ及びオーディオデータによる映像コンテンツを再生してユーザーに提供するコンテンツ提供方法のプログラムを記録した記録媒体に適用して、前記コンテンツ提供方法は、前記映像コンテンツの字幕を解析して、重要な字幕を選択する字幕選択ステップと、前記字幕選択ステップで選択した前記重要な字幕を、対応する前記ビデオデータによる画像に重畳させて順次出力する画像出力ステップとを有するようにする。
【０００９】
また請求項１７の発明は、記録媒体に記録されたビデオデータ及びオーディオデータによる映像コンテンツを再生してユーザーに提供するコンテンツ提供装置に適用して、前記映像コンテンツの字幕を解析して、重要な字幕を選択する字幕選択部と、前記字幕選択部で選択した前記重要な字幕を、対応する前記ビデオデータによる画像に重畳させて順次出力する画像出力部とを有するようにする。
【００１０】
請求項１、請求項１５、請求項１６又は請求項１７の構成によれば、映像コンテンツの内容を表す字幕から重要な字幕が選択され、この重要な字幕が対応するビデオデータによる画像に重畳されて順次出力されることになる。従って音声による場合に比して、さらにはダイジェスト等による場合に比して、映像コンテンツの内容を正確に把握することができる。
【発明の効果】
【００１１】
本発明によれば、従来に比して映像コンテンツの内容を正確に把握することができる。
【発明を実施するための最良の形態】
【００１２】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１３】
（１）実施例１の構成
図２は、本発明の実施例１に係るハードディスクレコーダーの構成を示すブロック図であり、図３は、その要部の機能ブロック図である。このハードディスクレコーダー１は、テレビジョン放送によって提供される映像コンテンツ、インターネットによって提供される映像コンテンツを記録してユーザーに提供する。
【００１４】
すなわちこのハードディスクレコーダー１において、モデム２は、ＳＩＯ（Serial I/O）コントローラ３の制御によりインターネット４上に設けられたＷｅｂサーバ５から映像コンテンツのトランスポートストリームを取得してＳＩＯコントローラ３に出力する。ＳＩＯコントローラ３は、中央処理ユニット（ＣＰＵ：Central Processing Unit ）６の制御によりモデム２の動作を制御し、モデム２から出力されるトランスポートストリームをバスＢＵＳに出力する。これらモデム２、ＳＩＯコントローラ３の構成によりこのハードディスクレコーダー１は、インターネットによって提供される映像コンテンツを受信する。
【００１５】
放送受信部１０は、中央処理ユニット６の制御によりテレビジョン放送による映像コンテンツを受信してビデオデータ及びオーディオデータを出力する。
【００１６】
すなわちこの放送受信部１０において、チューナー１１は、アンテナ１２で受信される各種放送波からユーザーの所望する放送波を選局して受信し、その受信結果による中間周波信号を出力する。復調器１３は、チューナー１１から出力される中間周波信号を処理してトランスポートストリームを出力する。ＴＳデコーダ１４は、復調器６から出力されるトランスポートストリーム、又はバスＢＵＳを介してＳＩＯコントローラ３から出力されるトランスポートストリームを、ＲＡＭ（Random Access Memory）１５に一時格納して処理し、ビデオデータ、オーディオデータ、文字放送データを再生する。ＴＳデコーダ１４は、この再生したビデオデータ、オーディオデータをモニタ用にデコード部１６に出力する。またＴＳデコーダ１４は、再生したビデオデータ、オーディオデータ、文字放送データを映像コンテンツの記録用にバスＢＵＳに出力する。
【００１７】
これによりハードディスクレコーダー１では、放送受信部１０、ＳＩＯコントローラ３により、テレビジョン放送による映像コンテンツ、インターネットによる映像コンテンツを受信する放送受信部４０を構成する（図３）。
【００１８】
デコード部１６は、中央処理ユニット６の制御によりバスＢＵＳから出力されるビデオデータ及びオーディオデータ、又は放送受信部１０から出力されるビデオデータ及びオーディオデータをデータ伸長する。またデータ伸長したビデオデータ及びオーディオデータをモニタ用に出力部１７に出力する。
【００１９】
出力部１７は、中央処理ユニット６の制御により、このデコード部１６から出力されるモニタ用のビデオデータ及びオーディオデータに、ユーザーに提供する各種の情報に係るビデオデータ及びオーディオデータをミキシングして出力する。
【００２０】
すなわち出力部１７において、ミクサ（ＭＵＸ）２１は、デコード部１６から出力されるオーディオデータに、バスＢＵＳから出力されるオーディオデータをミキシングして出力し、これにより再生結果、モニタ用の映像コンテンツによる音声に、各種警告音等を重畳して出力する。表示コントローラ２２は、バスＢＵＳから出力される画像データからメニュー等に係るＯＳＤ（On Screen Display ）用のビデオデータを生成して出力する。画像処理部２３は、デコード部１６から出力されるビデオデータに、表示コントローラ２２から出力されるビデオデータをミキシングして出力し、これにより再生結果、モニタ用の映像コンテンツによる映像に、各種アイコン、字幕等を重畳する。
【００２１】
このハードディスクレコーダー１は、この出力部１７から出力されるビデオデータ及びオーディオデータをモニタ装置２５に出力し、このモニタ装置２５に設けられたスピーカ２６、表示装置２７よりこれらオーディオデータ及びビデオデータの音声及び映像をユーザーに提供する。
【００２２】
ハードディスクインターフェース（ＨＤＤＩ／Ｆ）３１は、中央処理ユニット６の制御により、バスＢＵＳに出力されるビデオデータ、オーディオデータ、文字放送データ等をハードディスク装置（ＨＤＤ）３２に出力し、これによりこれらのデータをハードディスク装置３２に記録する。また同様の中央処理ユニット６の制御により、ハードディスク装置３２に記録したデータを再生してバスＢＵＳに出力する。これによりハードディスク装置３２は、映像コンテンツを字幕と共に記録して保持する映像字幕蓄積部４２（図３）を構成する。
【００２３】
カードインターフェース（カードＩ／Ｆ）３３は、カードスロット３４に装着されるメモリカード３５と、バスＢＵＳとの間のインターフェースであり、バスＢＵＳに出力される各種のデータを中央処理ユニット６の制御によりメモリカード３５に記録し、またメモリカード３５に記録した各種のデータをバスＢＵＳに出力する。
【００２４】
Ｕ／Ｉ制御部３６は、リモートコマンダからの遠隔制御信号を受信して中央処理ユニット６に通知する。
【００２５】
中央処理ユニット６は、このハードディスクレコーダー１の動作を制御するコントローラであり、ＲＡＭ３７にワークエリアを確保してＲＯＭ（Read Only Memory）３８に記録されたプログラムを実行することにより、各部の動作を制御する。なおこの実施例において、このプログラムは、このハードディスクレコーダー１に事前にインストールされて提供されるものの、これに代えて、光ディスク、磁気ディスク、メモリカード等の各種記録媒体に記録して提供するようにしてもよく、またインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。
【００２６】
中央処理ユニット６は、このプログラムの実行により、ユーザーが映像コンテンツの録画を指示すると、ユーザーが指示したテレビジョン放送を放送受信部１０で受信してＴＳデコーダ１０から出力されるビデオデータ、オーディオデータ、文字放送データをハードディスク装置３２に記録する。またユーザーの指示にしたＷｅｂサーバー５をアクセスして映像コンテンツを取得し、この取得した映像コンテンツのビデオデータ、オーディオデータ、文字放送データをＴＳデコーダ１０で再生した後、ハードディスク装置３２に記録する。
【００２７】
またユーザーが映像コンテンツのモニタを指示すると、ＴＳデコーダ１０で再生したビデオデータ及びオーディオデータをデコード部１６で処理した後、出力部１７からモニタ装置２５に出力する。またこのときユーザーの指示により、ＴＳデコーダ１４から出力される文字放送データから字幕用の画像データを生成して表示コントローラ２２に出力し、モニタ画像に字幕を重畳して表示する。
【００２８】
これに対してユーザーがハードディスク装置３２に記録した映像コンテンツの再生を指示すると、ハードディスク装置３２から対応するビデオデータ及びオーディオデータを再生してデコード部１６でデコードした後、出力部１７からモニタ装置２５に出力する。またこの場合も、ユーザーの指示により字幕を重畳して表示する。またユーザーの指示により早送り再生、早戻り再生等の処理を実行するように、各部の動作を制御する。
【００２９】
このようにして映像コンテンツの記録再生の処理を実行するようにして、中央処理ユニット６は、映像コンテンツを記録した後の空き時間を利用して、映像コンテンツと共に記録した文字放送データを処理して字幕を取得し、この取得した字幕を解析して重要な字幕を選択する。また字幕付きのコマ送りによる早送り再生、早戻し再生をユーザーが指示すると、この重要な字幕を対応するビデオデータによる画像に重畳させて順次表示するように各部の動作を制御し、これにより字幕を付したコマ送りにより映像コンテンツを早送り再生、早戻し再生する。
【００３０】
図１は、この空き時間における中央処理ユニット６の処理手順を示すフローチャートである。なおこの空き時間の処理は、中央処理ユニット６が十分な処理能力を有する場合には、映像コンテンツの記録時に実行してもよく、さらには再生時に実行してもよい。
【００３１】
この処理手順を開始すると、中央処理ユニット６は、ステップＳＰ１からステップＳＰ２に移る。ここで中央処理ユニット６は、ハードディスク装置３２に記録した文字放送データを処理して字幕を抽出する。またこの抽出した字幕を、ビデオデータにおける表示開始位置と対応付けてハードディスク装置３２に一時記録する。なおここでこの字幕に抽出は、字幕を構成する文字列を処理可能に、文字放送データを例えばテキストデータの形式に変換して実行される。
【００３２】
これにより中央処理ユニット６は、文字放送データから字幕を抽出する字幕抽出部４１を構成し（図３）、またハードディスク装置３２は、この字幕抽出部４１で抽出した字幕を一時保持する字幕一時蓄積部４３を構成する。
【００３３】
続いて中央処理ユニット６は、ステップＳＰ３に移り、重要キーワード抽出処理を実行する。ここで重要キーワード抽出処理は、映像コンテンツの内容を示す重要キーワードを、当該映像コンテンツの字幕から抽出する処理である。中央処理ユニット６は、出現回数の高いキーワード程、得点が高くなるように、字幕を構成する各キーワードに得点を設定し、得点の高いキーワードを抽出して重要キーワードに設定する。
【００３４】
図４は、この重要キーワード抽出処理を示すフローチャートである。中央処理ユニット６は、この処理手順を開始すると、ステップＳＰ３２からステップＳＰ３３に移る。ここで中央処理ユニット６は、ハードディスク装置３２に一時蓄積した字幕を１区分の分、取得する。
【００３５】
ここで区分は、映像コンテンツにおいて、１つのまとまった内容を示す区間であり、映像コンテンツを特徴付ける各種のパラメータを判定して設定することができる。具体的に、例えばニュース番組では、図５に示すように、各ニュースの冒頭でアナウンサーがニュースの概要を紹介するシーンＳＡ、ＳＢが放送され、続いてそれぞれ具体的なニュース映像ＴＡ、ＴＢが放送される。従ってニュース番組では、このアナウンサーがニュースの概要を紹介した後、この概要を紹介したニュースの具体的な取材内容を１つの区分とすることができる。またこのようなニュース番組では、例えば１画面を複数領域に分割して各部で動きベクトルを検出し、この動きベクトルの分布の同一性を連続するフレームで判定することによりシーンＳＡ、ＳＢを検出することができ、このシーンＳＡ、ＳＢで区切って区分を設定することができる。またドラマ等では、シーンチェンジが頻繁に起こっている部分と、そうでない部分とで区分することができ、また音量が大きな部分と小さな部分とで区分することもできる。
【００３６】
なお区分は、種々に設定することができ、例えば１つの映像コンテンツ自体を１つの区分として処理するようにしてもよく、さらには電子番組表で検出される映像コンテンツの種類に応じて、区分の設定を切り換えるようにしてもよい。また機械的に、コマーシャルによって区切られる区間を１つの区分としてもよく、さらには映像コンテンツを一定の時間間隔で区切って区分を設定するようにしてもよい。また所定回数シーンチェンジが発生する毎に、さらには２回以上の所定回数、字幕の表示を切り換える毎に、区切りを設定して区分を設定するようにしてもよい。
【００３７】
続いて中央処理ユニット６は、ステップＳＰ３４に移り、この１区分の字幕からキーワードを切り出す。なおこのキーワードの切り出しには、形態素解析等の手法を適用することができる。
【００３８】
続いて中央処理ユニット６は、ステップＳＰ３５に移り、ステップＳＰ３４で切り出したキーワード毎に、キーワードの出現回数に応じた得点を設定する。ここで図６に示すように１つの区分の字幕が形成され、形態素解析によってこの字幕を解析することにより、それぞれ枠により囲って示すキーワードが検出されたものとする。この場合、図７に示すように、中央処理ユニット６は、この１つの区分中における各キーワードの出現回数を得点に設定する。なおここで図６は、複数の字幕による文章を１つにまとめて記載したものである。
【００３９】
続いて中央処理ユニット６は、ステップＳＰ３６に移り、得点の高い順にキーワードをソートし、続くステップＳＰ３７で得点の高い順に所定個数だけキーワードを選択して重要キーワードを設定する。従って中央処理ユニット６は、この図７の例では、例えば「瓶」、「人」、「事件」、「少年」のキーワードを重要キーワードとして検出する。
【００４０】
続いて中央処理ユニット６は、ステップＳＰ３８に移り、全ての区分を処理したか否か判断し、ここで否定結果が得られると、ステップＳＰ３３に移り、続く区分を処理する。これに対してステップＳＰ３８で肯定結果が得られると、ステップＳＰ３９に移って元の処理手順に戻る。
【００４１】
これにより中央処理ユニット６は、ハードディスク装置３２に記録された字幕を取得する字幕取得部４４を構成すると共に（図３）、この取得した字幕から重要キーワードを抽出する重要キーワード抽出部４５を構成する。
【００４２】
続いて中央処理ユニット６は、ステップＳＰ４に移り（図１）、重要字幕選択処理を実行する。ここで重要字幕選択処理は、ステップＳＰ３で検出した重要キーワードを用いて字幕毎に重要度を示す得点を計算し、この得点に基づいて重要な字幕を選択する処理である。中央処理ユニット６は、この処理により字幕付きコマ送り再生で表示する字幕を選択する。
【００４３】
図８は、この重要字幕選択処理を示すフローチャートである。中央処理ユニット６は、この処理手順を開始すると、ステップＳＰ４２からステップＳＰ４３に移る。ここで中央処理ユニット６は、映像コンテンツから１つの区分の字幕を取得し、またこの区分についてステップＳＰ３で検出した重要キーワードを取得する。
【００４４】
続いて中央処理ユニット６は、ステップＳＰ４４に移り、この区分の字幕から１つの字幕を選択し、この字幕から重要キーワードを検出する。またこの検出した重要キーワードの個数をこの字幕の得点に設定する。具体的に図６について上述した例では、図９に示すように、各字幕の得点が計算され、例えば番号２の字幕では、「人」の重要キーワードが２回検出されることから、得点が値２に設定される。
【００４５】
なおこの場合、重要キーワードを検出する際に各キーワードで計算した得点を累積加算して、字幕の得点とするようにしてもよい。この場合、例えば番号２の字幕で検出される「人」の重要キーワードは、重要キーワード検出処理において得点が７に設定されていることから、この番号２の字幕は、値１４の得点が設定される。このようにすれば一段と重要なキーワードを含む字幕程、得点を高く設定して、重要な字幕を漏れなく選択することができる。
【００４６】
続いて中央処理ユニット６は、ステップＳＰ４５に移り、この選択した１つの区切りの全ての字幕を処理したか否か判断し、ここで否定結果が得られると、ステップＳＰ４４に戻る。これにより中央処理ユニット６は、字幕毎に、重要度を示す得点を計算する。
【００４７】
これに対してステップＳＰ４５で肯定結果が得られると、中央処理ユニット６は、ステップＳＰ４６に移る。ここで中央処理ユニット６は、ステップＳＰ４４で得点を計算した字幕から得点の高い順に所定個数の字幕を選択し、字幕付きコマ送り再生時に表示する重要な字幕を選択する。具体的に、例えば図９の例の場合、中央処理ユニット６は、番号１、４、５の字幕を選択して表示対象に設定する。なおここで字幕の文字数が多くなればなる程、１つの字幕を読み終える時間が長くなることから、字幕の文字数で、選択する字幕の数を制限するようにしてもよい。
【００４８】
続いて中央処理ユニット６は、ステップＳＰ４７に移り、全ての区分を処理したか否か判断し、ここで否定結果が得られると、ステップＳＰ４３に戻って次の区分を処理する。これに対してステップＳＰ４７で肯定結果が得られると、ステップＳＰ４７からステップＳＰ４８に移って元の処理手順に戻り、ステップＳＰ５に移ってこの空き時間の処理を終了する。
【００４９】
中央処理ユニット６は、早送り再生時、早戻し再生時、このようにして設定した重要な字幕を特定可能に、またこの重要な字幕を表示する区間のビデオデータを特定可能に、字幕の位置情報をハードディスク装置３２に記録して保持する。なおこの位置情報は、例えばビデオデータのタイムコードを適用することができる。これによりこの実施例において、中央処理ユニット６は、重要な字幕の位置を検出してハードディスク装置３２に記録する重要字幕位置抽出部４６（図３）を構成する。またハードディスク装置３２は、この重要な字幕の位置情報を記録して保持する重要字幕位置蓄積部４７を構成する。
【００５０】
これに対してユーザーがハードディスク装置３２に記録した映像コンテンツを指定して字幕付きコマ送りによる早送り再生又は早戻し再生を指示すると、中央処理ユニット６は、ハードディスク装置３２に記録した重要な字幕の位置情報を順次ロードし、この位置情報に基づいてコマ送りによる早送り再生又は早戻し再生を実行する。またこのとき位置情報に基づいて字幕を併せて表示する。
【００５１】
すなわち図９との対比により図１０に示すように、中央処理ユニット６は、ハードディスク装置３２に記録した位置情報より、連続する字幕Ｊ１〜Ｊ５から重要な字幕Ｊ１、Ｊ４、Ｊ５を順次ハードディスク装置３２から再生する。またこの位置情報に基づいて、これら重要な字幕Ｊ１、Ｊ４、Ｊ５を本来表示すべき期間の、ビデオデータの複数フレームからＩピクチャーで符号化処理しているフレームをそれぞれ１フレーム選択し、このフレームの静止画像を順次モニタ装置２５で表示するように各部を制御する。またこのとき対応する字幕を重畳して表示するように、再生した字幕Ｊ１、Ｊ２、Ｊ３のデータを表示コントローラ２２に出力する。
【００５２】
これにより図１０において矢印により示すように、中央処理ユニット６は、対応するビデオデータによる静止画像にそれぞれ字幕Ｊ１、Ｊ４、Ｊ５を重畳して、順序表示する。従ってこの場合、中央処理ユニット６は、重要な字幕を表示した画像のみを選択的に表示するコマ送りによりこの映像コンテンツを表示する。またこのようにコマ送りにより映像コンテンツを表示して、１つの映像コンテンツの表示に要する時間と、標準再生速度による再生時間との比率が、ユーザーが指示した再生速度となるように、各静止画像の表示を開始した後、次の静止画像に表示を切り換えるまでの表示時間を設定する。なおこの表示時間は、１つの字幕を読み終えるのに十分な時間である。なお字幕は、文字数が多い程、読み終えるのに時間を要することから、文字数の多い字幕程、表示時間が長くなるように、この表示時間を各字幕の文字数で可変するようにしてもよい。
【００５３】
なおこのような事前に設定した重要な字幕によるコマ送り再生に代えて、重要な字幕の選択に使用した各字幕の得点をハードディスク装置３２に記録して保持するようにして、ユーザーの指示した再生速度に応じて、このハードディスク装置３２に記録した得点を判定して重要な字幕を選択しながら、コマ送り再生するようにしてもよい。このようにすれば、再生速度が速くなるに従って、より重要な字幕のみを表示するようにして、表示する静止画像の枚数を少なくすることができる。従って再生速度が変化する場合でも、１つの字幕の表示時間を概ね一定とすることができ、ユーザーの使い勝手を向上することができる。
【００５４】
これらによりこの実施例において、Ｕ／Ｉ制御部３６は、リモートコマンダ等の操作によるユーザー要求を受信するユーザー要求受信部５０を構成し、また中央処理ユニット６は、このユーザー要求により早送り、早戻し等の動作を管理する早送り、早戻し管理部５１を構成する。また中央処理ユニット６は、表示コントローラ２２、出力部１７と共に、映像、字幕を表示する映像、字幕表示部５２を構成する。
【００５５】
（２）実施例の動作
以上の構成において、このハードディスクレコーダー１では（図２）、インターネット４から提供される映像コンテンツの記録をユーザーが指示すると、Ｗｅｂサーバー５をアクセスして映像コンテンツが取得される。この映像コンテンツは、モデム２、ＳＩＯコントローラ３を介してトランスポートストリームにより入力され、このトランスポートストリームがＴＳデコーダ１０でビデオデータ、オーディオデータ、文字放送データに分離される。またこれらビデオデータ、オーディオデータ、文字放送データがバスＢＵＳを介してハードディスク装置３２に記録される。これに対してユーザーがテレビジョン放送による映像コンテンツの記録を指示すると、チューナー１１で受信した放送波が処理されて映像コンテンツのトランスポートストリームが取得され、このトランスポートストリームがＴＳデコーダ１０でビデオデータ、オーディオデータ、文字放送データに分離される。またこれらビデオデータ、オーディオデータ、文字放送データがバスＢＵＳを介してハードディスク装置３２に記録される。
【００５６】
このハードディスクレコーダー１において、このようにして記録された映像コンテンツは、空き時間を利用して字幕が解析され、重要な字幕が検出される（図１）。またユーザーの指示により、対応するビデオデータによる画像にこの重要な字幕を重畳させて順次表示するように、ハードディスク装置３２から対応する文字放送データ、ビデオデータが再生されてモニタ装置２５に出力される。
【００５７】
ここで字幕は、番組の音声等を紹介する文字情報であることから、難聴者であっても確認することができ、また音声のように再生速度に応じて基本波の周波数が変化して聞き取り難くなると言ったことが無く、またさらにダイジェスト再生の場合のように、映像コンテンツの内容を全く知らない場合でも、映像コンテンツの内容を把握することができる。しかしながら字幕は、いちいち読み取らなければならないことから、字幕の全てを表示していたのでは、映像コンテンツの内容を迅速に把握できなくなり、さらには表示する文章が冗長になる。また早送り再生、早戻し再生することが困難になる。
【００５８】
これに対して字幕は、映像コンテンツの内容を把握する上では、それ程重要で無いものがある反面、映像コンテンツの内容を把握する上で重要なものもあり、このような重要な字幕のみを順次表示しても、映像コンテンツの内容を十分に理解することができる。また字幕のみによっては十分に内容を把握できない場合でも、対応するビデオデータの画像に重畳して字幕を表示すれば、一段と理解を深めることができ、場合によっては、字幕を詳細に読み取らなくても、映像コンテンツの内容を理解することができる。
【００５９】
これによりこのハードディスクレコーダーでは、対応するビデオデータによる画像に重要な字幕を重畳させて順次表示するようにして、従来に比して映像コンテンツの内容を正確に把握することができる。
【００６０】
より具体的に、字幕は字幕全体において出現回数の多い重要キーワードを多く含む字幕程、映像コンテンツの内容を理解する上で重要な字幕である場合が多い。そこでこの実施例において、各映像コンテンツは、多く出現するキーワードが重要キーワードとして検出され、この重要キーワードを多く含む字幕が、重要な字幕として検出される。これによりこのハードディスクレコーダー１では、映像コンテンツの内容を迅速かつ正確に把握できるようにして、この内容の把握に必要な字幕を漏れなく検出する。
【００６１】
なお映像コンテンツによっては、映像コンテンツを再生するに従って出現するキーワードが変化する。そこでこのハードディスクレコーダー１において、映像コンテンツは、複数の区分に区切られ、区分毎に、重要キーワードが検出され、また区分毎に、対応する重要キーワードを用いて重要な字幕が検出される。これによりこのハードディスクレコーダー１では、映像コンテンツから偏り無く重要な字幕を選択して、映像コンテンツの内容を迅速かつ正確に把握できるようにする。
【００６２】
また各映像コンテンツは、この重要な字幕を重畳して表示する画像が、対応するビデオデータの静止画像に設定され、これによりユーザーにおいては、落ちついて字幕を注視して映像コンテンツの内容を把握することができる。また一定時間、静止画を表示して続く静止画に表示を切り換えるようにして、この表示の切り換えに係る一定時間が字幕の文字数に応じて設定され、これにより字幕の文字数が種々に変化する場合でも、確実に各字幕を読み取ることが可能となる。
【００６３】
（３）実施例の効果
以上の構成によれば、字幕を解析して重要と思われる字幕を選択し、この選択した字幕を対応する画像に重畳させて順次出力することにより、従来に比して映像コンテンツの内容を正確に把握することができる。
【００６４】
また字幕から出現回数の高い重要キーワードを検出し、この重要キーワードの出現回数の高い字幕を検出して重要な字幕に設定することにより、映像コンテンツの内容を迅速かつ正確に把握できるようにして、この内容の把握に必要な字幕を漏れなく検出することができる。
【００６５】
またこの重要な字幕を重畳して表示する画像を、対応するビデオデータの静止画像に設定することにより、落ちついて字幕を注視して映像コンテンツの内容を把握することができる。
【００６６】
また一定時間、静止画を表示して続く静止画に表示を切り換えるようにして、この表示の切り換えに係る一定時間が字幕の文字数に応じて設定することにより、字幕の文字数が種々に変化する場合でも確実に各字幕を読み取ることができる。
【実施例２】
【００６７】
この実施例のハードディスクレコーダーは、重要キーワードの出現回数に代えて、文字数の多少で重要な字幕を検出する。なおこの実施例のハードディスクレコーダーは、この重要な字幕の処理に関する構成が異なる点を除いて、実施例１のハードディスクレコーダー１と同一に構成されることから、以下においては、実施例１について上述した図面を流用して説明する。
【００６８】
ここで図１１は、本発明の実施例に係るハードディスクレコーダーにおける中央処理ユニット６の処理手順を示すフローチャートである。この実施例の中央処理ユニット６は、図１の処理手順に代えてこの図１１の処理手順を実行する。
【００６９】
すなわち中央処理ユニット６は、映像コンテンツの記録を完了すると、この処理手順を開始してステップＳＰ５１からステップＳＰ５２に移り、実施例１の場合と同様に、順次、字幕を抽出する。また続くステップＳＰ５３において、各字幕の文字数を計測し、続くステップＳＰ５４において、計測結果をハードディスク装置３２に記録した後、ステップＳＰ５５に移ってこの処理手順を終了する。
【００７０】
これに対してユーザーにより字幕を付したコマ送りによる早送り再生、早戻し再生が指示されると、中央処理ユニット６は、ユーザーが指示した再生速度に応じてしきい値を設定する。ここでしきい値は、図１１の処理手順を実行してハードディスク装置３２に記録した文字数の計測結果を判定する判定基準であり、ハードディスク装置３２に記録した映像コンテンツの字幕から重要な字幕を選択するための判定基準である。中央処理ユニット６は、ユーザーの指示した再生速度が高速度化するに従って値が増大するようにこのしきい値を設定する。
【００７１】
またこのしきい値でハードディスク装置３２に記録した文字数の計測結果を順次判定して、このしきい値より文字数の多い字幕を重要な字幕として選択しながら、重要な字幕を対応するビデオデータによる静止画像に重畳して表示する。
【００７２】
具体的に、図１２に示すように、文字数が１０文字、３文字、８文字、５文字による字幕１〜４が存在する映像コンテンツについて、重要な字幕を設定する場合、中央処理ユニット６は、しきい値の設定により、１．５倍速で字幕１、３を重要な字幕に設定し、２倍速では、字幕１のみを重要な字幕に設定する。
【００７３】
ここで種々に検討した結果によれば、字幕は、文字数が多い場合程、映像コンテンツの内容の把握に重要であり、文字数の少ない字幕を省略しても、十分に映像コンテンツの内容を把握できることが判った。
【００７４】
これによりこの実施例では、文字数の多い字幕を重要な字幕に設定して、実施例１と同様の効果を得ることができる。
【００７５】
この実施例によれば、文字数の多い字幕を検出して重要な字幕に設定するようにしても、実施例１と同様の効果を得ることができる。
【実施例３】
【００７６】
この実施例では、実施例１、実施例２について上述した重要な字幕を重畳した静止画像の表示に代えて、この重要な字幕を重畳した静止画像をプリンタで印刷する。このとき図１３（Ａ）に示すように、印刷対象である１枚の用紙上に、複数枚の静止画像を表示する。
【００７７】
これによりこの実施例は、ビデオデータ及びオーディオデータによる映像コンテンツのあらすじを印刷物の形式でユーザーに提供する。
【００７８】
なおこの場合、図１３（Ｂ）に示すように、１つの用紙に印刷する字幕毎に重要度を検出し、重要度が高いもの程、大きく印刷するように、この検出した重要度に応じて各静止画像の大きさを可変し、いわゆるコマ割りにより静止画像を表示するようにしてもよい。このようにすれば、簡易に、印刷物の形式で映像コンテンツの内容を紹介することができる。なおこの字幕の重要度は、実施例１、２で上述した重要な字幕の選択に使用した重要キーワードによる各字幕の得点、文字数等を適用することができる。
【００７９】
この実施例によれば、重要な字幕を付した静止画像をプリンタで印刷することにより、ビデオデータ及びオーディオデータによる映像コンテンツのあらすじを印刷物の形式でユーザーに提供するようにして、映像コンテンツの内容を正確に把握することができる。
【００８０】
またこのとき字幕の重要度に応じて、各静止画像の大きさを可変することにより、簡易に、印刷物の形式で映像コンテンツの内容を紹介することができる。
【実施例４】
【００８１】
この実施例４は、実施例３について上述したプリンタで印刷するためのデータに代えて、いわゆる電子ブックビュアー等の画像表示装置で表示可能に画像データを生成し、この生成した画像データを画像表示装置に出力する。これによりこの実施例は、ビデオデータ及びオーディオデータによる映像コンテンツを、電子ブックとして楽しむことができるようにする。
【００８２】
この実施例によれば、ビデオデータ及びオーディオデータによる映像コンテンツを、電子ブックとして楽しむことができるようにして、この映像コンテンツの内容を正確に把握することができる。
【実施例５】
【００８３】
この実施例５は、図１４に示すように、実施例３について上述した静止画像の印刷を、光ディスクのジャケットに適用する。すなわちこの実施例では、ビデオデータ、オーディオデータによる映像コンテンツを有料でダウンロードして光ディスクに記録するアプリケーションプログラムに本発明を適用する。またこのアプリケーションプログラムにおいてユーザーがジャケットの作成を指示して映像コンテンツの記録を指示すると、実施例１、２について上述したと同様にして重要な字幕を順次検出する。また対応するビデオデータの静止画像にこの重要な字幕を重畳して、光ディスクに印刷するレイアウトで表示する。またユーザーによる操作に応動して、タイトル等の入力を受け付け、ユーザーによる印刷の指示により、このレイアウトした画像を光ディスクに印刷する。また続いてこの光ディスクにダウンロードした映像コンテンツを記録する。
【００８４】
この実施例によれば、ジャケットの印刷に適用して、光ディスクに記録した映像コンテンツの内容を把握可能にジャケットを生成することができる。
【実施例６】
【００８５】
なお上述の実施例１、２においては、静止画像に重要な字幕を重畳して表示する場合について述べたが、本発明はこれに限らず、対応するビデオデータによる動画に重要な字幕を重畳させて表示するようにしてもよい。
【００８６】
また上述の実施例においては、映像コンテンツに付随する文字放送データによる字幕を処理する場合について述べたが、本発明はこれに限らず、音声認識により映像コンテンツの音声から字幕を作成し、この字幕を処理するようにしてもよい。
【産業上の利用可能性】
【００８７】
本発明は、例えばテレビジョン放送を受信して記録再生するハードディスクレコーダーに適用することができる。
【図面の簡単な説明】
【００８８】
【図１】本発明の実施例１のハードディスクレコーダーにおける中央処理ユニットの処理手順を示すフローチャートである。
【図２】本発明の実施例１のハードディスクレコーダーを示すブロック図である。
【図３】図２のハードディスクレコーダーの機能ブロック図である。
【図４】図１の処理手順における重要キーワード抽出処理を示すフローチャートである。
【図５】映像コンテンツの区分の説明に供する略線図である。
【図６】重要キーワードの抽出例の説明に供する図表である。
【図７】各キーワードの特定を示す図表である。
【図８】図１の処理手順における重要字幕選択処理を示すフローチャートである。
【図９】図８の処理手順の説明に供する図表である。
【図１０】図２のハードディスクレコーダーによる字幕の表示の説明に供する略線図である。
【図１１】本発明の実施例２のハードディスクレコーダーにおける中央処理ユニットの処理手順を示すフローチャートである。
【図１２】重要字幕の選択の説明に供する図表である。
【図１３】本発明の実施例３による字幕、静止画像の出力の説明に供する略線図である。
【図１４】本発明の実施例５による字幕、静止画像の出力の説明に供する略線図である。
【符号の説明】
【００８９】
１……ハードディスクレコーダー、２……モデム、３……ＳＩＯコントローラ、６……中央処理ユニット、１０……受信部、１６……デコード部、１７……出力部、２５……モニタ装置、４０……放送受信部、４１……字幕抽出部、４５……重要キーワード抽出部
【出願人】 【識別番号】０００００２１８５
【氏名又は名称】ソニー株式会社
【出願日】 平成１８年８月２１日（２００６．８．２１）
【代理人】 【識別番号】１００１０２１８５
【弁理士】
【氏名又は名称】多田 繁範
【公開番号】 特開２００８−４８２９７（Ｐ２００８−４８２９７Ａ）
【公開日】 平成２０年２月２８日（２００８．２．２８）
【出願番号】 特願２００６−２２３７５３（Ｐ２００６−２２３７５３）