トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 映像再生装置、方法およびプログラム
【発明者】 【氏名】山本 晃司
【要約】 【課題】容易な操作のみで短時間で正確なとばし見による視聴を行うこと。

【構成】映像再生装置であって、入力された映像データに含まれるフレームの特徴量を求め、フレーム間における特徴量の類似度合いに基づいて映像データを複数のフレームからなるシーンに分割するシーン分割部１０３と、シーンを、シーン間のシーンの特徴量の類似度合いに基づいて複数のシーンを含むグループに分類するシーン分類部１０４と、グループに属するシーンが反復して出現するか否かを判断し、反復して出現するシーンを、映像の意味的な単位のシーンを示す典型シーンとして選択する典型シーン選択部１０５と、利用者からスキップ入力を受け付けた場合に、現在の再生位置のフレームより再生時刻が後の時刻で、かつ最も近い位置の典型シーンのフレームに、再生位置を移動する再生位置制御部１０６とを備えた。
【特許請求の範囲】
【請求項１】
入力された映像データに含まれるフレームの特徴を示す第1特徴情報を前記フレームごとに求め、前記フレーム間における前記第１特徴情報の類似度合いに基づいて、前記映像データを複数のフレームからなるシーンに分割するシーン分割部と、
前記シーンごとに前記シーンの特徴を示す第２特徴情報を求め、前記シーンを、前記シーン間の前記第２特徴情報の類似度合いに基づいて複数の前記シーンを含むグループに分類するシーン分類部と、
前記グループに属する前記シーンが反復して出現するか否かを判断し、反復して出現する前記シーンを、映像の意味的な単位のシーンを示す典型シーンとして選択する典型シーン選択部と、
利用者から、前記映像データの前記フレームをとばして視聴する旨を指示するスキップ入力を受け付ける入力受付け部と、
前記スキップ入力を受け付けた場合に、前記典型シーンの中で、現在のフレームより再生時刻が後の時刻であって、かつ最も近い位置の前記典型シーンのフレームに、再生位置を移動する再生位置制御部と、
を備えたことを特徴とする映像再生装置。
【請求項２】
前記典型シーン選択部は、前記グループに含まれるシーン数または合計時間、あるいは前記映像データに対するシーン数または合計時間の割合が、反復して出現するシーンが満たすべき第１基準を満たすか否かを判断し、前記第１基準を満たす前記グループの前記シーンを前記典型シーンとして選択することを特徴とする請求項１に記載の映像再生装置。
【請求項３】
前記典型シーン選択部は、さらに、前記第１基準を満たすグループの前記シーンと既に前記典型シーンとして選択されているグループの前記シーンとの時間的分布の重複度合いが、前記典型シーンが満たすべき第３基準を満たすか否かを判断し、前記第３基準を満たすグループの前記シーンを、前記典型シーンとして選択することを特徴とする請求項２に記載の映像再生装置。
【請求項４】
前記再生位置制御部は、前記スキップ入力を受け付けた場合に、前記典型シーンの中で、現在のフレームより再生時刻が後の時刻であって、かつ最も近い位置の前記典型シーンを選択し、選択された前記典型シーンの直前のシーンが、反復して出現するシーンが満たすべき第４基準を満たす場合に、前記直前のシーンのフレームに、前記再生位置を移動することを特徴とする請求項１に記載の映像再生装置。
【請求項５】
前記映像データの映像内容と、前記典型シーンからの前記再生位置の変位量とを対応付けた変位情報を記憶する変位情報記憶部と、
入力された前記映像データの前記映像内容を取得する映像内容取得部と、をさらに備え、
前記再生位置制御部は、前記スキップ入力を受け付けた場合に、前記典型シーンの中で、現在のフレームより再生時刻が後の時刻であって、かつ最も近い位置の前記典型シーンのフレームから、取得した前記映像内容に対応する前記変位量を加えた位置に前記再生位置を移動することを特徴とする請求項１に記載の映像再生装置。
【請求項６】
前記典型シーンの特徴を示す第３特徴情報が、特徴的典型シーンを選択するための第５基準を満たすか否かを前記典型シーンごとに判断し、前記第３特徴情報が前記第５基準を満たす前記典型シーンを前記特徴的典型シーンとして選択する特徴的典型シーン選択部を更に備え、
前記再生位置制御部は、前記特徴的典型シーンのフレームに前記再生位置を移動することを特徴とする請求項１に記載の映像再生装置。
【請求項７】
前記第３特徴情報は、前記映像データに含まれる音声情報であり、
前記特徴的典型シーン選択部は、前記典型シーンの前記音声情報が前記第５基準を満たすか否かを判断することを特徴とする請求項６に記載の映像再生装置。
【請求項８】
前記第３特徴情報は、前記典型シーンの時間的な分布の密度であり、
前記特徴的典型シーン選択部は、前記典型シーンの時間的な分布の密度が前記第５基準を満たすか否かを判断し、前記時間的な分布の密度によって分類されるグループの先頭または最後の前記典型シーンを前記特徴的典型シーンとして選択することを特徴とする請求項６に記載の映像再生装置。
【請求項９】
前記映像データの中の広告映像の区間を取得する広告区間情報取得部を更に備え、
前記第３特徴情報は、前記広告映像の区間を除外した前記典型シーンの時間的な分布の密度であることを特徴とする請求項８に記載の映像再生装置。
【請求項１０】
入力された映像データに含まれるフレームの特徴を示す第1特徴情報を前記フレームごとに求め、前記フレーム間における前記第１特徴情報の類似度合いに基づいて、前記映像データを複数のフレームからなるシーンに分割するステップと、
前記シーンごとに前記シーンの特徴を示す第２特徴情報を求め、前記シーンを、前記シーン間の前記第２特徴情報の類似度合いに基づいて複数の前記シーンを含むグループに分類するステップと、
前記グループに属する前記シーンが反復して出現するか否かを判断し、反復して出現する前記シーンを、映像の意味的な単位のシーンを示す典型シーンとして選択するステップと、
利用者から、前記映像データの前記フレームをとばして視聴する旨を指示するスキップ入力を受け付けるステップと、
前記スキップ入力を受け付けた場合に、前記典型シーンの中で、現在のフレームより再生時刻が後の時刻であって、かつ最も近い位置の前記典型シーンのフレームに、再生位置を移動するステップと、
を含むことを特徴とする映像再生方法。
【請求項１１】
入力された映像データに含まれるフレームの特徴を示す第1特徴情報を前記フレームごとに求め、前記フレーム間における前記第１特徴情報の類似度合いに基づいて、前記映像データを複数のフレームからなるシーンに分割するステップと、
前記シーンごとに前記シーンの特徴を示す第２特徴情報を求め、前記シーンを、前記シーン間の前記第２特徴情報の類似度合いに基づいて複数の前記シーンを含むグループに分類するステップと、
前記グループに属する前記シーンが反復して出現するか否かを判断し、反復して出現する前記シーンを、映像の意味的な単位のシーンを示す典型シーンとして選択するステップと、
利用者から、前記映像データの前記フレームをとばして視聴する旨を指示するスキップ入力を受け付けるステップと、
前記スキップ入力を受け付けた場合に、前記典型シーンの中で、現在のフレームより再生時刻が後の時刻であって、かつ最も近い位置の前記典型シーンのフレームに、再生位置を移動するステップと、
をコンピュータに実行させる映像再生プログラム。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、映像データを再生する際に、利用者によるスキップ入力によって、映像をとばして再生する映像再生装置、方法およびプログラムに関する。
【背景技術】
【０００２】
近年、放送の多チャンネル化等、情報インフラの発展により、多くの映像コンテンツが流通するようになっている。一方で、映像録画装置についても、ハードディスク・レコーダーやチューナー搭載パソコンの普及によって、映像コンテンツをデジタルデータとして保存し、デジタル化された映像コンテンツの解析処理を行うことで、種々の視聴方法が可能となってきている。
【０００３】
このような映像データの解析処理の一例として、映像中の場面であるシーンの類似性を利用した技術がある。特に、一部のスポーツ中継の映像では、カメラが固定されており、同じ動作が繰り返されるため、類似したシーンが何度も現れる。例えば、野球中継の投球シーンやテニス中継のサーブのシーン等が該当する。これらのシーンはそのスポーツにおいて、１つのプレイの開始となるシーンであり、映像の意味的な区切りと言える。このため、この映像の意味的な区切りの単位で映像のとばし見を行えば、映像を短時間で効率よく視聴することができる。
【０００４】
このようなシーンの類似性を用いた第１の従来技術として次のような技術が開示されている。第１の従来技術では、複数のシーンをその類似性に基づいてグループに分類し、グループの代表フレームを一覧表示する。そして、利用者は、この一覧表示から、視聴したい場面をブラウジングして検索し、グループを選択して、選択したグループに含まれるシーンを表示したり、ダイジェストとして、順次、シーンを再生する（例えば、特許文献１参照）。
また、第２の従来技術では、複数のシーンをその類似性に基づいてグループに分類し、分類されたシーンに対してグループごとに同じＩＤを付与し、映像中のＩＤの並びをデータベースと照合する。そして、照合の結果、特定のパターンが出現したときにイベント（ホームランなど）発生などの意味を持つシーン群として検出するものである（例えば、特許文献２参照）。
【０００５】
【特許文献１】特開２００３−２８３９６８号公報
【特許文献２】特開２００４−３３６５５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、これらの従来技術には次のような問題がある。第１の従来技術では、野球中継をとばし見する場合には、一覧表示されたグループの代表フレームの中から、毎回、投球シーンに該当するグループを利用者が自ら選択しなければならない。このためには視聴画面と別に、選択画面を表示する必要があり、インタフェースや操作が煩雑となる。
【０００７】
また、操作に不慣れな利用者にとっては、多数のシーンの中から所望のシーンを探索したり、選択したりする操作が負担となるという問題がある。
【０００８】
また、第２の従来技術では、予め投球シーンとそれに続くシーンのＩＤの並びのパターンをデータベースに登録しておかなければならない。しかしながら、投球シーンに続くシーンは打撃結果によって様々なシーンがあり得るため、全てのパターンを予期して網羅的にデータベースに登録しておくことは困難であり、その結果、所望のシーンを検出することができないという問題がある。
【０００９】
本発明は、上記に鑑みてなされたものであって、容易な操作のみで短時間で正確なとばし見による視聴を行うことができる映像再生装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明にかかる映像再生装置は、入力された映像データに含まれるフレームの特徴を示す第1特徴情報を前記フレームごとに求め、前記フレーム間における前記第１特徴情報の類似度合いに基づいて、前記映像データを複数のフレームからなるシーンに分割するシーン分割部と、前記シーンごとに前記シーンの特徴を示す第２特徴情報を求め、前記シーンを、前記シーン間の前記第２特徴情報の類似度合いに基づいて複数の前記シーンを含むグループに分類するシーン分類部と、前記グループに属する前記シーンが反復して出現するか否かを判断し、反復して出現する前記シーンを、映像の意味的な単位のシーンを示す典型シーンとして選択する典型シーン選択部と、利用者から、前記映像データの前記フレームをとばして視聴する旨を指示するスキップ入力を受け付ける入力受付け部と、前記スキップ入力を受け付けた場合に、前記典型シーンの中で、現在のフレームより再生時刻が後の時刻であって、かつ最も近い位置の前記典型シーンのフレームに、再生位置を移動する再生位置制御部と、を備えたことを特徴とする。
【００１１】
また、本発明は、上記映像再生装置で実行される映像再生方法およびプログラムである。
【発明の効果】
【００１２】
本発明によれば、容易な操作のみで短時間で正確なとばし見による視聴を行うことができるという効果を奏する。
【発明を実施するための最良の形態】
【００１３】
以下に添付図面を参照して、この発明にかかる映像再生装置、方法およびプログラムの最良な実施の形態を詳細に説明する。
【００１４】
（実施の形態１）
図１は、実施の形態１にかかる映像再生装置の機能的構成を示すブロック図である。本実施の形態にかかる映像再生装置１００は、ＤＶＤメディアやハードディスクドライブ装置などの記憶媒体に記録された映像データ、あるいはネットワークにより受信した映像データの再生を行うものである。ここで、映像データは、複数のフレームの画像と音声とから構成されている。
【００１５】
本実施の形態にかかる映像再生装置１００は、図１に示すように、映像入力部１０２と、シーン分割部１０３と、シーン分類部１０４と、典型シーン選択部１０５と、再生位置制御部１０６と、入力受付部１０７と、表示制御部１０８と、キーボードやマウス、各種ボタン等を備えたリモートコントローラ等の入力装置１１０と、ディスプレイ装置等の表示装置１２０とを主に備えている。
【００１６】
映像入力部１０２は、ＤＶＤメディアやハードディスクドライブ装置などの記憶媒体に記録された映像データ１０１、あるいはネットワークにより受信した映像データ１０１の入力を行う処理部である。
【００１７】
まず、本実施の形態にかかる映像再生装置１００による映像再生処理の概要について説明する。図２は、本実施の形態にかかる映像再生装置１００により野球中継番組の映像再生における操作例を示す説明図である。図２において、映像データ１０１中では、右に向かって時間が進行するものとする。斜線部２０２は、投球シーンを示す。投球シーンはピッチャーの後方からバッター方向を撮影したシーンである。野球中継では投球の度にこの投球シーンに切り替わることが多く、カメラの位置や向きは毎回ほぼ同じである。このため、野球中継番組中、繰り返し反復して複数回の投球シーンが出現する。このように、本実施の形態では、映像データ中に複数回反復して出現するシーンを典型シーンとする。
【００１８】
２０３は野球中継番組の映像データにおける典型シーンとしての投球シーンの先頭フレームを示している。野球の１プレイは、これらの投球から始まり、打撃の結果で終わると考えることができる。そして、これらのプレイとプレイの間は動きのない区間となる。例えば、同じバッターに対する次の投球までの時間、アウトやチェンジになってバッターやチームが入れ替わる時間、ホームインした後の盛り上がりが落ち着いて、次のバッターになるまでの時間などが動きのない区間に相当する。そして、この動きのない区間を飛ばして視聴することができれば、大幅に視聴時間を減らすことができる。２０５は利用者が動きがなくなったと判断し、スキップの入力指示を与えた時点を示す。本実施の形態にかかる映像再生装置１００では、利用者によるスキップ入力指示があった場合に、矢印の区間だけ映像データのフレームをスキップし、次の投球シーンから再生される。このように本実施の形態では、スキップ入力指示があるたびに、次の典型シーンまでスキップすることで、投球シーンという意味的な単位で映像データを飛ばして視聴することができる。
【００１９】
また、本実施の形態にかかる映像再生装置１００では、スキップをするかどうかはあくまで利用者の判断に委ねられるため、視聴したいシーンが誤ってスキップされたり、もう少し続きを見たいときに勝手に次のシーンにスキップしたりすることがない。このため、本実施の形態にかかる映像再生装置１００によれば、次々とシーンを自動的にスキップしながら再生するダイジェスト再生と比較して、主体性を持って視聴することができる。
【００２０】
次に、図１に戻り、本実施の形態にかかる映像再生装置１００の機能的構成について説明する。シーン分割部１０３は、入力された映像データ１０１を、映像データ１０１に含まれるフレームの特徴量（第１特徴情報）を抽出し、フレーム間におけるフレームの特徴を示す特徴量（第１特徴情報）の類似度合いに基づいて、複数のフレームからなるシーンに分割する処理部である。
【００２１】
まず、シーン分割部１０３によるフレームの特徴量抽出について説明する。図３は、入力された映像データからの特徴量抽出について説明するための模式図である。
【００２２】
３０１は映像データ１０１のフレームを順次並べたものである。これらの映像データのフレーム３０１の中から直接特徴量を抽出することもできるが、本実施の形態では、シーン分割部１０３は時間的サンプリングおよび空間的にサンプリングを行うことで処理量を削減しつつ、特徴量を抽出している。時間的サンプリングは３０２のように映像データの一部のフレームを抽出して処理する。具体的には、時間的サンプリングは、映像データのフレームを一定間隔で抽出する他、ＭＰＥＧのＩピクチャだけを抽出するように構成することができる。３０３は抽出された１フレームを示す。そして、シーン分割部１０３は、抽出されたフレーム３０３を縮小してサムネール画像３０４を生成して空間的にサンプリングする。この空間的サンプリングは、複数の画素の平均値を求めてフレーム３０３を縮小する他、ＭＰＥＧのＩピクチャのＤＣＴ係数のＤＣ成分だけを復号化して算出するように構成してもよい。そして、シーン分割部１０３は、このサムネール画像を複数のブロックに分割し、ブロックごとに色のヒストグラム分布３０５を求める。この色ヒストグラム分布をフレーム３０３の特徴量として求めている。
【００２３】
次に、シーン分割部１０３によるフレームの特徴量の類似度合いに基づいたシーン分割は次のように行われる。シーン分割部１０３は、時間的にサンプリングした２つのフレーム３０２の特徴量を比較することにより類似度合いを求めてシーン分割する。具体的には、シーン分割部１０３は、２つのフレームの特徴量の距離を算出し、この距離が第１閾値より小さい場合には、２つのフレームは類似していると判断して同一シーンとし、距離が第１閾値より大きければ２つのフレームは類似していないと判断して異なるシーンとして２つのフレームを分割する。これを、サンプリングされた全てのフレームに対して行うことにより、フレームをシーンに分割している。
【００２４】
ここで、特徴量の距離としては、例えば、ユークリッド距離を用いる。フレームｉのａ番目ブロックのヒストグラムにおけるｂ番目の頻度をｈ（ａ，ｂ）とすると、ユークリッド距離ｄは次の（１）式で算出される。
【００２５】
【数１】


【００２６】
図１に戻り、シーン分類部１０４は、シーンごとに、シーンの特徴を示す特徴量（第２特徴情報）を求め、シーンを、シーン間の特徴量の類似度合いに基づいて複数のシーンを含むグループに分類する処理部である。具体的には、シーン分類部１０４は、シーンの特徴量として、シーンの先頭フレームの画像の特徴量を用い、任意の２つのシーンの特徴量で定められる上述したユークリッド距離が予め定められた第２の閾値より小さい場合に、２つのシーンは類似しているとして２つのシーンを統合して１つのグループにする。一方、シーン分類部１０４は、上記ユークリッド距離が第２の閾値より大きい場合には、２つのシーンは類似していないと判断して、２つのシーンを異なるグループに分類する。このような処理をすべてのシーンに対して行うことにより、類似するシーンのグループ同士が順次統合され、シーンが分類される。
【００２７】
なお、本実施の形態では、シーンの特徴量として、シーンの先頭フレームの画像の特徴量を用いているが、これに限定されるものではなく、シーン中のいずれのフレームの特徴量を用いてもよい。
【００２８】
典型シーン選択部１０５は、グループに属するシーンが予め定められた第１基準以上反復して出現するか否かを判断し、第１基準に基づいて反復して出現するシーンを、典型シーンとして選択し、選択された全ての典型シーンを時間順にソートして典型シーンデータとしてメモリ等の記憶媒体に保存する処理部である。ここで、典型シーンとは、第１基準に基づいて反復して出現し、映像の意味的な単位のシーンである。
【００２９】
具体的には、典型シーン選択部１０５は、グループに属するシーンが第１基準以上反復して出現するか否かを、グループに含まれるシーン数または合計時間の割合、あるいは映像データ１０１に対するシーン数または合計時間の割合が第１基準としての一定の割合以上であるか否かを調べることにより行う。
【００３０】
図４は、典型シーンデータの一例を示す説明図である。典型シーンデータ４０１は、図４に示すように、典型シーン４０２として選択されたシーンの開始フレームの時刻が時間順に並んでいる。なお、フレームを一意に特定することが可能であれば、時刻の代わりにフレーム番号などを用いて典型シーンを示すように構成してもよい。
【００３１】
入力受付部１０７は、利用者による入力装置１１０の操作をイベント等により受け付ける処理部であり、本実施の形態では、利用者の入力装置１１０の操作による映像のとばし見を指示するスキップ入力をイベント等により受け付ける。
【００３２】
再生位置制御部１０６は、スキップ入力を受け付けた場合に、典型シーンの中で、現在の再生位置のフレームより再生時刻が後の時刻で、かつ最も近い位置の典型シーンのフレームに、再生位置を移動する処理部である。
【００３３】
ここで、現在のフレームの再生時刻を、００：０２：００．００とすると、図４の典型シーンの例では、典型シーン４０２が現在フレームより、後の時刻で、かつ最初の典型シーンなので、典型シーン４０２が再生位置の移動先となる。なお、典型シーンの開始フレームから前後に予め定められた時間あるいはフレーム数だけ、ずらした位置を再生位置の移動先とするように構成してもよい。
【００３４】
表示制御部１０８は、表示装置１２０に対する各種データの表示制御を行う処理部である。本実施の形態では、再生位置制御部１０６で制御される再生位置から映像データ１０１を表示装置１２０に表示する制御を行う。
【００３５】
次に、以上のように構成された本実施の形態にかかる映像再生装置１００による映像再生処理について説明する。図５は、実施の形態１にかかる映像再生処理の全体の流れを示すフローチャートである。
【００３６】
まず、映像入力部１０２により映像データ１０１の入力を行う（ステップＳ１）。そして、シーン分割部１０３により入力された映像データ１０１からフレームの特徴量を算出し、特徴量が類似する連続フレームの集合であるシーンに分割するシーン分割処理を行う（ステップＳ２）。次に、シーン分類部１０４によって、シーンの特徴量を算出しその類似度合いによって、シーンをグループに分類するシーン分類処理を行う（ステップＳ３）。次に、典型シーン選択部１０５によって、グループに含まれるシーンが第１基準以上の反復を伴うグループを選択して、当該グループに含まれるシーンを典型シーンとする典型シーン選択処理を行う（ステップＳ４）。次に、入力受付部１０７でスキップ入力指示を受け付けたか否かを調べ（ステップＳ５）、スキップ入力指示を受け付けた場合には（ステップＳ５：Ｙｅｓ）、再生位置制御部１０６により、典型シーンデータに基づいて、再生位置の移動先を求めるスキップ位置算出処理を行い（ステップＳ６）、現在の再生位置をステップＳ６で算出された移動先に移動する（ステップＳ７）。
【００３７】
一方、ステップＳ５において、ステップ入力の受付けがない場合には（ステップＳ５：Ｎｏ）、映像データが現在再生中か調べ（ステップＳ８）、再生が終了している場合には（ステップＳ８：Ｎｏ）、全体の処理を終了し、再生中である場合には（ステップＳ８：Ｙｅｓ）、ステップＳ５へ戻る。
【００３８】
次に、ステップＳ２のシーン分割処理について説明する。図６は、実施の形態１のシーン分割部１０３によるシーン分割処理の手順を示すフローチャートである。以下のフローチャートにおいて、ｉは処理対象のフレームを示し、ｉ＝１，２，．．．Ｎ（初期値ｉ＝１）である。Ｎはフレームの総数である。ここで、処理対象のフレームとは、上述した時間的にサンプリングしたフレームである。
【００３９】
まず、シーン分割部１０３は、フレームｉとフレームｉ＋１の各特徴量を求め、２つのフレームの特徴量のユークリッド距離を（１）式から算出する（ステップＳ１１）。そして、ユークリッド距離が第１閾値より大きいか否かを調べる（ステップＳ１２）。そして、ユークリッド距離が第１閾値より大きい場合には、フレームｉとフレームｉ＋１は類似しないと判断して、フレームｉとフレームｉ＋１の間でシーンを分割する（ステップＳ１３）。すなわち、フレームｉとフレームｉ＋１を異なるシーンとする。
【００４０】
一方、ステップＳ１２で、ユークリッド距離が第１閾値以下である場合には（ステップＳ１２：Ｎｏ）、フレームｉとフレームｉ＋１の間でシーンを分割せずに、両フレームを同一のシーンとする。
【００４１】
そして、かかるステップＳ１１からＳ１３までの処理を、サンプリングされた全てのフレームについて完了したか否かを調べ（ステップＳ１４）、まだ完了していない場合には、処理対象のフレームｉを次にフレームｉ＋１に設定して（ステップＳ１５）、ステップＳ１１からＳ１３までの処理を繰り返す。このようにして、ステップＳ１１からＳ１３までの処理を、サンプリングされた全てのフレームについて実行することにより、複数のフレームをシーンが分割される。
【００４２】
次に、ステップＳ７のシーン分類部１０４によるシーン分類処理について説明する。図７は、実施の形態１のシーン分類処理の手順を示すフローチャートである。以下のフローチャートにおいて、ｉは処理対象のシーンを示し、ｉ＝１，２，．．．Ｎ（初期値ｉ＝１）である。Ｎはシーンの総数である。
【００４３】
まず、シーン分類部１０４は、シーンｊをシーンｉ＋１とし（ステップＳ２１）、シーンｉとシーンの特徴量（各シーンの先頭フレームの特徴量）を求め、各シーンの特徴量のユークリッド距離を（１）式で求めて、求めたユークリッド距離が第２閾値以下であるか否かを調べる（ステップＳ２２）。
【００４４】
そして、ユークリッド距離が第２閾値以下である場合には（ステップＳ２２：Ｙｅｓ）、シーンｉとシーンｊは類似していると判断して、シーンｉの属するグループとシーンｊの属するグループとを統合して一つのグループとする（ステップＳ２３）。
【００４５】
一方、ステップＳ２２において、ユークリッド距離が第２閾値以下である場合には（ステップＳ２２：Ｎｏ）、シーンｉとシーンｊは類似していない判断して、シーンｉの属するグループとシーンｊの属するグループとの統合は行わず別のグループとする。
【００４６】
次いで、シーンｊが映像データ中の最終のシーンであるか否かを調べる（ステップＳ２４）。そして、最終のシーンでない場合、すなわち、ｊ＜Ｎの場合には（ステップＳ２４：Ｎｏ）、ｊ＝ｊ＋１とすることによってシーンｊを更新し（ステップＳ２５）、ステップＳ２２〜Ｓ２４までの処理を繰り返す。
【００４７】
一方、ステップＳ２４において、シーンｊが映像データ中の最終のシーンである場合、すなわち、ｊ＝Ｎの場合には（ステップＳ２４：Ｙｅｓ）、ｉ＝ｉ＋１とすることによってシーン ｉを更新し（ステップＳ２６）、処理対象を次のシーンとする。そして、シーンｉが映像データ中の最終のシーンであるか否かを調べる（ステップＳ２７）。
【００４８】
そして、シーンｉが映像データ中の最終のシーンでない場合には（ステップＳ２７：Ｎｏ）、ステップＳ２１からＳ２６までの処理を繰り返す。一方、シーンｉが映像データ中の最終のシーンである場合には（ステップＳ２７：Ｙｅｓ）、処理を終了する。これにより、類似するシーンのグループ同士が順次統合されていき、その結果、シーンが分類されることになる。
【００４９】
次に、ステップＳ４の典型シーン選択部１０５による典型シーン選択処理について説明する。図８は、実施の形態１の典型シーン選択処理の手順を示すフローチャートである。以下のフローチャートにおいて、ｉは処理対象のグループを示し、ｉ＝１，２，．．．Ｎ（初期値ｉ＝１）である。Ｎはグループの総数である。
【００５０】
まず、典型シーン選択部１０５は、グループｉに第１基準以上の反復があるシーンが存在するか否かを調べる（ステップＳ３１）。ここで、第１基準以上の反復があるか否かについては、上述したように、グループに含まれるシーン数または合計時間の割合、あるいは映像データ１０１に対するシーン数または合計時間の割合が第１基準としての予め定められた一定の割合以上であるか否かを調べることにより判断する。すなわち、シーン数または合計時間の割合が一定割合以上であれば、第１基準以上の反復があると判断し、シーン数または合計時間の割合が一定割合より小さければ第１基準以上の反復がないと判断する。
【００５１】
そして、グループｉに第１基準以上の反復があるシーンが存在する場合には（ステップＳ３１：Ｙｅｓ）、グループｉに含まれるシーンを典型シーンとして選択する（ステップＳ３２）。一方、グループｉに第１基準以上の反復があるシーンが存在しない場合には（ステップＳ３１：Ｎｏ）、典型シーンとしての選択は行わない。
【００５２】
そして、全てのグループに対して上記ステップＳ３１からＳ３３までの処理を完了したか否かを調べ（ステップＳ３３）、完了していない場合には（ステップＳ３３：Ｎｏ）、ｉ＝ｉ＋１とすることによりｉを更新し（ステップＳ３４）、処理対象を次のグループとして、ステップＳ３１からＳ３３までの処理を繰り返し行う。
【００５３】
一方、ステップＳ３３において、全てのグループに対して上記ステップＳ３１からＳ３３までの処理を完了したと判断した場合には（ステップＳ３３：Ｙｅｓ）、典型シーンを時間順に並べ換えて（ステップＳ３５）、図４に示す典型シーンデータを生成してメモリ等の記憶媒体に保存し、処理を終了する。以上のような処理により、典型シーンが選択されることになる。
【００５４】
次に、ステップＳ６における再生位置制御部１０６によるスキップ位置算出処理について説明する。図９は、スキップ位置算出処理の手順を示すフローチャートである。以下のフローチャートにおいて、ｉは処理対象の典型シーンを示し、ｉ＝１，２，．．．Ｎ（初期値ｉ＝１）である。Ｎは典型シーンの総数である。
【００５５】
まず、再生位置制御部１０６は、典型シーンｉが現在の再生位置のフレーム（現在のフレーム）より前の時刻に存在するか否かを調べる（ステップＳ４１）。そして、典型シーンｉが現在の再生位置のフレームより後の時刻に存在する場合には（ステップＳ４１：Ｎｏ）、典型シーンｉの先頭フレームを再生位置の移動先（スキップ先）の位置とする（ステップＳ４４）。
【００５６】
一方、ステップＳ４１において、典型シーンｉが現在の再生位置のフレームより前の時刻に存在する場合には（ステップＳ４１：Ｙｅｓ）、ｉ＝ｉ＋１としてｉを更新し（ステップＳ４２）、処理対象を次の典型シーンとして、全ての典型シーンについてステップＳ４１、Ｓ４２の処理を繰り返し行う（ステップＳ４３）。
【００５７】
以上のような処理により、再生位置の移動先が決定され、上述したステップＳ７において、かかる移動先に再生位置を移動して映像データを再生することになる。
【００５８】
このように実施の形態１にかかる映像再生装置１００では、利用者は、映像データ視聴しながら入力装置１１０のスキップボタン等によりをスキップ入力を行って、次の意味的な区切りである典型シーンに再生位置を次々と移動することができるので、短時間で正確に映像データを再生することができる。
【００５９】
例えば、野球中継番組の映像データの例では、典型シーンを投球シーンとして選択することができ、ある投球に対する結果（見送り、三振、ヒットなど）が判別したら、すぐに次の典型シーンである投球シーンに再生位置を移動してスキップすることができ、その間の動きのない区間の映像のフレームを飛ばすことができる。このため、利用者が行う操作はスキップ入力というボタンを１つの押下のみであり、映像再生装置に不慣れな利用者であっても操作が容易となる。また、再生位置を移動するか否かは利用者の意志によって判断されるため、従来技術のようなシーンが次々と切り替わる自動的なダイジェスト再生と異なり、利用者の主体性を保持することが可能となる。
【００６０】
（実施の形態１の変形例）
次に、上述した実施の形態１にかかる映像再生装置の種種の変形例について説明する。図１０は、実施の形態１の変形例にかかる映像再生装置１０００の機能的構成を示すブロック図である。
【００６１】
実施の形態１の変形例にかかる映像再生装置１０００は、図１０に示すように、映像入力部１０２と、シーン分割部１００３と、シーン分類部１０４と、典型シーン選択部１００５と、再生位置制御部１００６と、入力受付部１０７と、表示制御部１０８と、キーボードやマウス、各種ボタン等を備えたリモートコントローラ等の入力装置１１０と、ディスプレイ装置等の表示装置１２０とを主に備えている。なお、映像入力部１０２、入力受付部１０７、シーン分類部１０４、表示制御部１０８、入力装置１１０、表示装置１２０の機能および構成については実施の形態１と同様である。
【００６２】
（変形例１）
変形例１では、シーン分割部１００３のシーン分割処理が実施の形態１と異なっている。
【００６３】
シーン分割部１００３は、２つのフレームの特徴量が予め定められた第２基準を満たすか否かを判断し、満たさない場合に、２つのフレームのそれぞれを異なるシーンに分割し、第２基準を満たす場合に、２つのフレームは同一のシーンであると判断する処理部である。
【００６４】
図１１は、実施の形態１の変形例におけるフレームの特徴量抽出を説明するための模式図である。シーン分割部１００３では、図４に示したサムネール画像を１１０１のように縦方向に分割する。各領域内で色が一定の条件を満たす画素の数をカウントし、１１０２に示すヒストグラム分布を求め、このヒストグラム分布としてのヒストグラムの頻度の合計値、すなわちフレーム全体に占める特定の色の割合を特徴量とする。なお、特徴量は、ヒストグラムの頻度の合計値に限定されるものではない。
【００６５】
例えば、白い文字によるテロップが１１０３のように左右に縦に表示されており、条件を輝度が一定以上の白い画素だとすると特徴量は、１１０２のように左右に２つのピークを持つ分布となる。尚、本実施の形態では、サムネイル画像を縦方向に分割しているが、これに限定されるものではなく、横方向や格子状に分割するように構成してもよい。
【００６６】
そして、シーン分割部１００３は、このようにして求めた特徴量が第２基準を満たすか否かを判断する。ここで、第２基準を満たすか否かは、ヒストグラムの頻度の合計値、すなわちフレーム全体に占める特定の色の割合が一定の割合以上であるか否かで判断する。そして、第２基準を満たす特徴量のフレームは互いに類似しているとし、第２基準を満たさないフレームは、第２基準を満たすフレームと類似しないとして異なるシーンとしてシーン分割する。
【００６７】
次に、この変形例１のシーン分割部１００３によるシーン分割処理について説明する。図１２は、実施の形態１の変形例１のシーン分割処理の手順を示すフローチャートである。以下のフローチャートにおいて、ｉは処理対象のフレームを示し、ｉ＝１，２，．．．Ｎ（初期値ｉ＝１）である。Ｎはフレームの総数である。
【００６８】
まず、シーン分割部１００３は、フレームｉの特徴量を上述のように求め、求めた特徴量が第２基準を満たすか否かを判断する（ステップS５１）。すなわち、フレーム全体に占める特定の色の割合が一定の割合以上であるか否かを判断する。
【００６９】
そして、フレームｉの特徴量が第２基準を満たさない場合（ステップＳ５１：Ｎｏ）、すなわち、フレーム全体に占める特定の色の割合が一定の割合に達しない場合には、ｉ＝ｉ＋１として次のフレームを処理対象とする（ステップＳ５７）。そして、全てのフレームについてＳ５１、Ｓ５７処理が完了したか否かを調べ（ステップＳ５８）、完了していない場合には、ステップＳ５１に戻り、次のフレームに対して同様の処理を行う。
【００７０】
一方、ステップＳ５８において、全てのフレームについてＳ５１、Ｓ５７の処理が完了している場合には（ステップＳ５８：Ｙｅｓ）、処理を終了する。
【００７１】
ステップＳ５１に戻り、フレームｉの特徴量が第２基準を満たす場合（ステップS５１：Ｙｅｓ）、すなわちフレーム全体に占める特定の色の割合が一定の割合以上である場合には、フレームｉをシーンの開始点とする（ステップS５２）。そして、ｉ＝ｉ＋１として次のフレームを処理対象とする。全てのフレームについて処理が完了したか否を調べ、完了している場合には、最終フレームをシーンの終了点とする（ステップS５９）。
【００７２】
一方、ステップＳ５４において、まだ全てのフレームについて処理が完了していない場合には、次のフレームであるフレームｉが第２基準を満たすか否かを判断する（ステップS５５）。そして、フレームｉが第２基準を満たす場合には（ステップＳ５５：Ｙｅｓ）、ステップＳ５３，Ｓ５４の処理を繰り返す。
【００７３】
一方、ステップＳ５５において、フレームｉが第２基準を満たさない場合には（ステップＳ５５：Ｎｏ）、当該フレームは、直前のフレームと類似しないと判断して、フレームｉの直前をシーンの終了点とし（ステップＳ５６）、ステップＳ５１へ戻る。
【００７４】
以上のような処理により、複数のフレームをシーンが分割される。
【００７５】
（変形例２）
変形例２では、典型シーン選択部１００５による典型シーン選択処理が実施の形態１と異なっている。
【００７６】
この変形例２では、典型シーン選択部１００５は、グループに属するシーンが第１基準に基づいて反復して出現するか否かを判断し、第１基準に基づいて反復して出現するシーンと既に典型シーンとして選択されているグループのシーンとの時間的分布の重複度合いが予め定められた第３基準を満たす場合に、反復して出現するシーンを典型シーンとして選択する処理を行う。第１基準の具体的な判断としては、グループに含まれるシーンの総数が定められた閾値を超えているかを判断したり、グループに含まれるシーンの総時間が映像データの時間に対して一定以上の割合を占めるかを調べることにより行う。
【００７７】
また、第３基準による重複度合いの判断は、次のように行う。グループｉのシーンが分布する範囲をｔi１〜ｔi２（秒）、グループｊのシーンが分布する範囲をｔj1 〜ｔj２（秒）とする。ｔj１〜ｔj２に存在するグループｉのシーン数をｓi、ｔi1 〜ｔi２に存在するグループｊのシーン数をｓjとする。このとき、Ｓ＝ｓi +ｓjを重複するシーン数とし、Ｓが一定の閾値以下であれば、重複が第３基準以下であるとする。
【００７８】
図１３は、実施の形態１の変形例の典型シーン選択処理の手順を示すフローチャートである。以下のフローチャートにおいて、ｉは処理対象のグループを示し、ｉ＝１，２，．．．Ｎ（初期値ｉ＝１）である。Ｎはグループの総数である。
【００７９】
まず、典型シーン選択部１００５は、グループｉに第１基準以上の反復があるシーンが存在するか否かを調べる（ステップＳ６１）。そして、グループｉに第１基準以上の反復があるシーンが存在しない場合には（ステップＳ６１：Ｎｏ）、グループｉに対して典型シーンの選択は行わず、ステップＳ６４の処理を行う。
【００８０】
一方、ステップＳ６１において、グループｉに第１基準以上の反復があるシーンが存在する場合には（ステップＳ６１：Ｙｅｓ）、既に典型シーンとして選択済みのグループの典型シーンとの重複が第３基準以下であるか否かを調べる（ステップＳ６２）。そして、グループｉに第３基準より大きい反復があるシーンが存在する場合には（ステップＳ６２：Ｎｏ）、既に典型シーンとして選択済みのグループの典型シーンとの重複が第３基準より大きい場合には（ステップＳ６２：Ｎｏ）、ステップＳ６１に戻る。
【００８１】
一方、既に典型シーンとして選択済みのグループの典型シーンとの重複が第３基準以下である場合には（ステップＳ６２：Ｙｅｓ）、グループｉに含まれるシーンを典型シーンとして選択する（ステップＳ６３）。
【００８２】
そして、全てのグループに対してステップＳ６１からＳ６３までの処理が完了したか否かを調べ（ステップＳ６４）、完了していなければ、ｉ＝ｉ＋１としてｉの更新を行って（ステップＳ６５）、次のグループを処理対象とし、ステップＳ６１からＳ６３までを繰り返す。一方、全てのグループに対してステップＳ６１からＳ６３までの処理が完了している場合には、典型シーンを時間順に並べ換えて（ステップＳ６６）、図４に示す典型シーンデータを生成してメモリ等の記憶媒体に保存し、処理を終了する。以上のような処理により、典型シーンが選択されることになる。
【００８３】
（変形例３）
変形例３では、再生位置制御部１００６によるスキップ位置算出処理が実施の形態１と異なっている。
【００８４】
変形例３の再生位置制御部１００６は、スキップ入力を受け付けた場合に、典型シーンの中で、現在の再生位置のフレームより再生時刻が後の時刻で、かつ最も近い位置の典型シーンを選択し、選択された典型シーンの直前のシーンが予め定められた第４基準を満たす反復がある場合に、直前のシーンのフレームに、再生位置を移動する処理を行う。ここで、第１基準については、実施の形態１と同様である。第４基準による判断としては、例えば、シーンの属するグループに含まれるシーンの総数が定められた閾値を超えているかを調べたり、グループに含まれるシーンの総時間が元映像の時間に対して一定以上の割合を占めるかを調べることで判断する。
【００８５】
次に、変形例３の再生位置制御部１００６によるスキップ位置算出処理について説明する。図１４は、実施の形態１の変形例のスキップ位置算出処理の手順を示すフローチャートである。以下のフローチャートにおいて、ｉは処理対象の典型シーンを示し、ｉ＝１，２，．．．Ｎ（初期値ｉ＝１）である。Ｎは典型シーンの総数である。
【００８６】
まず、再生位置制御部１００６は、典型シーンｉが現在の再生位置のフレームより前の時刻に存在するか否かを調べる（ステップＳ７１）。そして、典型シーンｉが現在の再生位置のフレームより後の時刻に存在する場合には（ステップＳ７１：Ｎｏ）、典型シーンｉの直前のシーンが第４基準以上の反復があるか否かを調べる（ステップＳ７４）。そして、直前のシーンが第４基準以上の反復がない場合には（ステップＳ７４：Ｎｏ）、典型シーンｉの先頭フレームを再生位置の移動先（スキップ先）の位置とする（ステップＳ７５）。
【００８７】
一方、ステップＳ７４において、直前のシーンが第４基準以上の反復がある場合には（ステップＳ７４：Ｙｅｓ）、典型シーンｉの直前シーンの先頭フレームを再生位置の移動先（スキップ先）の位置とする（ステップＳ７６）。
【００８８】
ステップＳ７１に戻り、典型シーンｉが現在の再生位置のフレームより前の時刻に存在する場合には（ステップＳ７１：Ｙｅｓ）、ｉ＝ｉ＋１としてｉを更新し（ステップＳ７２）、全ての典型シーンについてステップＳ７１、Ｓ７２の処理を繰り返し行う（ステップＳ７３）。
【００８９】
以上のような処理により、再生位置の移動先が決定され、上述したステップＳ７において、かかる移動先に再生位置を移動して映像データを再生することになる。
【００９０】
なお、本変形例では、典型シーンの直前の1シーンに遡ってステップＳ７４の判断をしているが、直前シーンのさらに直前のシーンの反復を調べることを繰り返すことで、複数のシーンを遡るように構成してもよい。
【００９１】
（実施の形態２）
実施の形態２にかかる映像再生装置は、典型シーンに再生位置を決定する際に、映像内容に応じて典型シーンから変位した位置に再生位置を決定するものである。
【００９２】
図１５は、実施の形態２にかかる映像再生装置１５００の機能的構成を示すブロック図である。本実施の形態にかかる映像再生装置１５００は、図１５に示すように、映像入力部１０２と、シーン分割部１０３と、シーン分類部１０４と、典型シーン選択部１０５と、再生位置制御部１５０６と、映像内容取得部１５０１と、入力受付部１０７と、変位テーブル１５０２と、表示制御部１０８と、キーボードやマウス、各種ボタン等を備えたリモートコントローラ等の入力装置１１０と、ディスプレイ装置等の表示装置１２０とを主に備えている。
【００９３】
ここで、映像入力部１０２、シーン分割部１０３、シーン分類部１０４、典型シーン選択部１０５、入力受付部１０７、表示制御部１０８、入力装置１１０、表示装置１２０の機能および構成は実施の形態１と同様である。
【００９４】
映像内容取得部１５０１は、入力された映像データの映像内容を取得する処理部である。映像内容とは、映像データの番組の種別などであり、例えば、スポーツの映像の場合には、野球、サッカー、テニスなどが映像内容に該当する。映像内容取得部１５０１は、具体的には、映像データが、例えば、電子番組ガイド（ＥＰＧ：Electronic Program Guide）により予約されて録画されたものである場合には、電子番組ガイドにより生成されて記憶媒体などに保存されている予約データを読み込んで、映像データの映像内容を取得するように構成することができる。
【００９５】
変位テーブル１５０２は、映像内容と典型シーンからの変位量とを対応付けたテーブルであり、メモリやＨＤＤ等の記憶媒体に予め記憶されている。変位量は、典型シーンからの変位した位置を特定できるものであれば、いずれでもよく、時間やシーン数等を変位量として用いることができる。
【００９６】
図１６および図１７は、変位テーブルの一例を示す説明図である。図１６に示すように、変位テーブル１５０は、野球、テニスなどの映像内容と、時間で示される変位量が対応付けられている。また、図１７では、映像内容と、シーン数で示される変位量が対応付けられている。
【００９７】
再生位置制御部１５０６は、スキップ入力を受け付けた場合に、典型シーンの中で、現在の再生位置のフレームより再生時刻が後の時刻で、かつ最も近い位置の典型シーンのフレームから、映像内容取得部１５０１で取得した映像内容に対応する変位量を加えた位置に再生位置を移動する処理を行う。
【００９８】
このように変位量を設けて、スキップ先の再生位置を映像内容によって変化させるのは、野球やテニスなどによって、典型シーンとなるシーンが実際の意味ある単位のシーンの開始時点とずれる場合があり、これに正確に対応して再生位置を制御するためである。例えば、映像内容が野球の映像であれば、投球シーンが典型シーンとなり、典型シーンの先頭はピッチャーのセットポジションなどの映像から始まるため、スキップ先の再生位置を典型シーンの先頭フレームとしても利用者が視聴したい位置へスキップすることができる。
【００９９】
これに対し、テニス等の場合には、意味ある単位のシーンはサーブから始まるが、サーブ時の映像は、種種の角度から撮影した映像であることが多く、本実施の形態では、反復したシーンを典型シーンとして選択する処理を行っているため、サーブの映像が典型シーンとして選択されない場合が多い。一方、サーブの開始前後にコート全面を固定カメラから反復して撮影される場合が多く、このため、映像内容がテニスの場合には、典型シーンは、サーブの映像からではなく、サーブからずれて撮影されたコート全面の映像から始まる可能性が高い。このため、本実施の形態では、このような映像内容の番組では、典型シーンから変位量だけずれた位置にスキップさせることにより、利用者にとって視聴したい映像に確実にスキップさせているのである。
【０１００】
次に、以上のように構成された実施の形態２にかかる映像再生装置１５００によるスキップ位置算出処理について説明する。なお、映像再生の全体処理、シーン分割処理、シーン分類処理、典型シーン選択処理については実施の形態１と同様に行われる。
【０１０１】
図１８は、実施の形態２にかかるスキップ位置算出処理の手順を示すフローチャートである。以下のフローチャートにおいて、ｉは処理対象の典型シーンを示し、ｉ＝１，２，．．．Ｎ（初期値ｉ＝１）である。Ｎは典型シーンの総数である。
【０１０２】
まず、再生位置制御部１５０６は、典型シーンｉが現在の再生位置のフレームより前の時刻に存在するか否かを調べる（ステップＳ８１）。そして、典型シーンｉが現在の再生位置のフレームより後の時刻に存在する場合には（ステップＳ８１：Ｎｏ）、映像内容取得部１５０１で取得した映像内容に対応する変位量を変位テーブルから取得する（ステップＳ８４）。そして、典型シーンｉの位置に変位量を加えた位置を、再生位置の移動先（スキップ先）の位置とする（ステップＳ８５）。
【０１０３】
一方、ステップＳ８１において、典型シーンｉが現在の再生位置のフレームより前の時刻に存在する場合には（ステップＳ８１：Ｙｅｓ）、ｉ＝ｉ＋１としてｉを更新し（ステップＳ８２）、全ての典型シーンについてステップＳ８１、Ｓ８２の処理を繰り返し行う（ステップＳ８３）。
【０１０４】
このように実施の形態２にかかる映像再生装置１５００では、映像内容ごとに変位量を定めて、スキップ先の再生位置を映像内容によって典型シーンから変化させているので、映像内容の種類に的確に対応して、利用者にとって所望の位置に正確に再生位置を移動することが可能となる。
【０１０５】
（実施の形態３）
実施の形態３にかかる映像再生装置は、典型シーンの中から更に特徴的なシーンを選択して、選択された特徴的典型シーンに再生位置を移動するものである。
【０１０６】
図１９は、実施の形態３にかかる映像再生装置１９００の機能的構成を示すブロック図である。本実施の形態にかかる映像再生装置１９００は、図１９に示すように、映像入力部１０２と、シーン分割部１０３と、シーン分類部１０４と、典型シーン選択部１０５と、特徴的典型シーン選択部１９０１と、再生位置制御部１９０６と、ＣＭ区間情報取得部１９０２と、入力受付部１０７と、表示制御部１０８と、キーボードやマウス、各種ボタン等を備えたリモートコントローラ等の入力装置１１０と、ディスプレイ装置等の表示装置１２０とを主に備えている。
【０１０７】
ここで、映像入力部１０２、シーン分割部１０３、シーン分類部１０４、典型シーン選択部１０５、入力受付部１０７、表示制御部１０８、入力装置１１０、表示装置１２０の機能および構成は実施の形態１と同様である。
【０１０８】
ＣＭ区間情報取得部１９０２は、映像データの中から、本編以外のＣＭ区間の情報を取得するものである。ＣＭ区間の情報を取得する手法としては、音声がステレオかモノラルかによってＣＭ区間を識別する等の公知の手法を用いることができる。
【０１０９】
特徴的典型シーン選択部１９０１は、典型シーンの中から、典型シーンの特徴量（第３特徴情報）が予め定められた第５基準を満たすか否かを判断し、第３特徴情報が前記第５基準を満たす典型シーンを特徴的典型シーンとして選択する処理を行う。
【０１１０】
ここで、特徴的典型シーンを選択するための典型シーンの特徴量は、シーン分類部１０４でシーンを分類する際に使用した特徴量と異なる特徴量として、音声の大きさと時間を用いている。ただし、これに限定されるものではなく、典型シーンの中から特徴的典型シーンを特定することができる特徴量であれば任意の特徴量を使用することができる。また、本実施の形態では、特徴的典型シーンを選択するための典型シーンの特徴量として、音声の大きさや時間というシーン分類処理で用いた特徴量と異なるものを使用しているが、シーン分類処理で用いた特徴量と同じ特徴量を使用してもよい。
【０１１１】
まず、音声の大きさを特徴量とした場合の例について説明する。図２０は、典型シーンの中から次の典型シーンまでに歓声の上がったシーンを特徴的典型シーンとして選択した例を示す説明図である。
【０１１２】
例えば、野球中継の映像データにおいて、典型シーンである複数の投球シーンの中から歓声の上がった投球シーンだけを特徴的典型シーンとして選択する場合を考える。この場合、特徴量として、典型シーンの開始フレームから次の典型シーンの直前のフレームまでの音声の大きさを用い、一定の大きさ以上の音声が一定の時間以上継続している場合に、第５基準を満たすと判断する。その結果、選択された特徴的典型シーンは、図２０の斜線で示される典型シーンの中から、歓声の上がったシーン９０１が特徴的典型シーンとして選択されることになる。
【０１１３】
次に、時間を特徴量とした場合の例について説明する。図２１は、特徴的典型シーンの選択の際に特徴量として時間を使用する場合の例を示す説明図である。
【０１１４】
図２１では、野球中継の映像において、典型シーンである投球シーンの時間的な分布の密度を特徴量として用い、かかる特徴量によって分類されるグループの先頭の投球シーン（典型シーン）を特徴的典型シーンとして選択している。すなわち、投球シーンを、典型シーンの時間間隔によって回の表裏ごとに分類し、その先頭シーン、すなわち、その回の先頭打者に対する投球シーン２００１を特徴的典型シーンとして選択している。これにより、回の表裏の単位での飛ばし見が可能となる。
【０１１５】
この場合に特徴量としては、典型シーンの時間的な分布の密度、具体的には典型シーンの時間間隔を用い、特徴的典型シーン選択部１９０１は、当該時間間隔が一定の時間以上である場合に、第５基準を満たすと判断する。
【０１１６】
なお、この例では、典型シーンの時間的な分布の密度によって分類されるグループの先頭の典型シーンを特徴的典型シーンとして選択しているが、これに限定されるものではなく、分類されるグループの最終の典型シーンを特徴的典型シーンとして選択するように構成してもよい。
【０１１７】
図２２は、特徴的典型シーンの選択の際に特徴量として時間を使用する場合の別の例を示す説明図である。図２２では、時間的にまとまりのある典型シーンとしての投球シーンから最終の投球シーンを特徴的典型シーンとして選択する例を示している。
【０１１８】
回の表裏の最終投球２１０１やヒットなどのイベントが発生した投球シーン２１０２を検出できる。また、民間の放送では回の表裏が替わるときに、ＣＭ区間２１０３が存在することが多いので、ＣＭ区間情報取得部１９０２によってＣＭ区間を取得し、イベントが発生した投球だけにスキップして視聴することができる。
【０１１９】
すなわち、野球中継の映像において、ＣＭ区間情報取得部１９０２によってＣＭ区間を除外した典型シーンである投球シーンの時間的な分布の密度を特徴量として用い、かかる特徴量によって分類されるグループの先頭の投球シーン（典型シーン）を特徴的典型シーンとして選択している。なお、ＣＭ区間の除外は、特徴的典型シーン選択処理よりも前に予め行う他、特徴的典型シーン選択処理の特徴量を判断する際に行うように構成することができる。
【０１２０】
なお、この例では、典型シーンの時間的な分布の密度によって分類されるグループの最終の典型シーンを特徴的典型シーンとして選択しているが、これに限定されるものではなく、分類されるグループの先頭の典型シーンを特徴的典型シーンとして選択するように構成してもよい。
【０１２１】
再生位置制御部１９０６は、利用者からスキップ入力があった場合に、再生位置を特徴的典型シーンのフレームに移動する処理を行う。
【０１２２】
次に、以上のように構成された実施の形態３にかかる映像再生装置１９００による映像再生処理について説明する。図２３は、実施の形態３の映像再生処理の全体の流れを示すフローチャートである。
【０１２３】
本実施の形態では、実施の形態１と同様に、映像データの入力からシーン分割処理、シーン分類処理、典型シーン選択処理を行う（ステップＳ９１〜Ｓ８４）。そして、特徴的典型シーン選択部１９０１による特徴的典型シーン選択処理を行う（ステップＳ９５）。これ以降は、実施の形態１と同様に行われる。
【０１２４】
次に、ステップＳ９５における特徴的典型シーン選択処理について説明する。図２４は、実施の形態３にかかる特徴的典型シーン選択処理の手順を示すフローチャートである。以下のフローチャートにおいて、ｉは処理対象の典型シーンを示し、ｉ＝１，２，．．．Ｎ（初期値ｉ＝１）である。Ｎは典型シーンの総数である。
【０１２５】
まず、特徴的典型シーン選択部１９０１は、典型シーンｉの特徴量を抽出し（ステップＳ１０１）、抽出した特徴量が第５基準を満たすか否かを調べる（ステップＳ１０２）。
【０１２６】
そして、特徴量が第５基準を満たす場合には（ステップＳ１０２：Ｙｅｓ）、この典型シーンｉを特徴的典型シーンとして選択する（ステップＳ１０３）。一方、特徴量が第５基準を満たさない場合には（ステップＳ１０２：Ｎｏ）、典型シーンｉを特徴的典型シーンとして選択しない。
【０１２７】
そして、全ての典型シーンに対してステップＳ１０１からＳ１０３までの処理を完了したか否か調べ（ステップＳ１０４）、完了していない場合には、ｉ＝ｉ＋１としてｉを更新して（ステップ」Ｓ１０５）、次の典型シーンを処理対象としてステップＳ１０１からＳ１０３までの処理を繰り返す。一方、全ての典型シーンに対してステップＳ１０１からＳ１０３までの処理を完了した場合には、処理を終了する。このような処理によって、特徴的典型シーンが選択され、再生位置制御部１９０６によって選択された特徴的典型シーンのフレームに再生位置を移動する。
【０１２８】
このように実施の形態３にかかる映像再生装置１９００では、典型シーンの中からさらに特徴量に基づいて特徴的典型シーンを選択して、特徴的典型シーンに再生位置を移動しているので、利用者にとって所望の位置により正確に再生位置を移動することが可能となる。
【０１２９】
図２５は、実施の形態１〜３にかかる映像再生装置のハードウェア構成を示すブロック図である。
【０１３０】
実施の形態１〜３にかかる映像再生装置は、ＣＰＵ５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ５３などの記憶装置と、ＨＤＤ５７と、ＤＶＤドライブ装置などの外部記憶装置５４とがバス６２に接続されており、また、ディスプレイ装置などの表示装置１２０と、キーボードやマウスなどの入力装置１１０を備え、通常のコンピュータを利用したハードウェア構成となっている。
【０１３１】
実施の形態１〜３にかかる映像再生装置で実行される映像再生プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１３２】
また、実施の形態１〜３にかかる映像再生装置で実行される映像再生プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施の形態１〜３にかかる映像再生装置で実行される映像再生プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【０１３３】
また、実施の形態１〜３にかかる映像再生装置で実行される映像再生プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【０１３４】
実施の形態１〜３にかかる映像再生装置で実行される映像再生プログラムは、上述した各部（シーン分割部、シーン分類部、典型シーン選択部、再生位置制御部、特徴的典型シーン選択部、映像内容取得部等）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から〜プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、シーン分割部、シーン分類部、典型シーン選択部、再生位置制御部、特徴的典型シーン選択部、映像内容取得部が主記憶装置上に生成されるようになっている。
【０１３５】
なお、実施の形態１〜３では、映像再生装置を通常のコンピュータに適用した例を説明しているが、これに限定されるものではなく、ＤＶＤ再生装置、ビデオ再生装置、デジタル放送再生装置など、映像再生のための専用の装置に本発明を適用することができる。この場合には、表示装置１２０の構成を有する必要はない。
【０１３６】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０１３７】
【図１】実施の形態１にかかる映像再生装置の機能的構成を示すブロック図である。
【図２】実施の形態１にかかる映像再生装置１００により野球中継番組の映像再生における操作例を示す説明図である。
【図３】入力された映像データからの特徴量抽出について説明するための模式図である。
【図４】典型シーンデータの一例を示す説明図である。
【図５】実施の形態１にかかる映像再生処理の全体の流れを示すフローチャートである。
【図６】実施の形態１のシーン分割部１０３によるシーン分割処理の手順を示すフローチャートである。
【図７】実施の形態１のシーン分類処理の手順を示すフローチャートである。
【図８】実施の形態１の典型シーン選択処理の手順を示すフローチャートである。
【図９】スキップ位置算出処理の手順を示すフローチャートである。
【図１０】実施の形態１の変形例にかかる映像再生装置１０００の機能的構成を示すブロック図である。
【図１１】実施の形態１の変形例におけるフレームの特徴量抽出を説明するための模式図である。
【図１２】実施の形態１の変形例１のシーン分割処理の手順を示すフローチャートである。
【図１３】実施の形態１の変形例の典型シーン選択処理の手順を示すフローチャートである。
【図１４】実施の形態１の変形例のスキップ位置算出処理の手順を示すフローチャートである。
【図１５】実施の形態２にかかる映像再生装置１５００の機能的構成を示すブロック図である。
【図１６】変位テーブルの一例を示す説明図である。
【図１７】変位テーブルの別な例を示す説明図である。
【図１８】実施の形態２にかかるスキップ位置算出処理の手順を示すフローチャートである。
【図１９】実施の形態３にかかる映像再生装置１９００の機能的構成を示すブロック図である。
【図２０】典型シーンの中から次の典型シーンまでに歓声の上がったシーンを特徴的典型シーンとして選択した例を示す説明図である。
【図２１】特徴的典型シーンの選択の際に特徴量として時間を使用する場合の例を示す説明図である。
【図２２】特徴的典型シーンの選択の際に特徴量として時間を使用する場合の別の例を示す説明図である。
【図２３】実施の形態３の映像再生処理の全体の流れを示すフローチャートである。
【図２４】実施の形態３にかかる特徴的典型シーン選択処理の手順を示すフローチャートである。
【図２５】実施の形態１〜３にかかる映像再生装置のハードウェア構成を示すブロック図である。
【符号の説明】
【０１３８】
１００３ シーン分割部
１００６ 再生位置制御部
１００，１０００，１５００，１９００ 映像再生装置
１０１ 映像データ
１０２ 映像入力部
１０３ シーン分割部
１０４ シーン分類部
１０５ 典型シーン選択部
１０６，１５０６ 再生位置制御部
１０７ 入力受付部
１０８ 表示制御部
１１０ 入力装置
１２０ 表示装置
１５０２ 変位テーブル
１９０１ 特徴的典型シーン選択部
１９０２ ＣＭ区間情報取得部
【出願人】 【識別番号】０００００３０７８
【氏名又は名称】株式会社東芝
【出願日】 平成１８年８月１８日（２００６．８．１８）
【代理人】 【識別番号】１０００８９１１８
【弁理士】
【氏名又は名称】酒井 宏明
【公開番号】 特開２００８−４８２７９（Ｐ２００８−４８２７９Ａ）
【公開日】 平成２０年２月２８日（２００８．２．２８）
【出願番号】 特願２００６−２２３３５６（Ｐ２００６−２２３３５６）