トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 映像操作履歴を基にした重要度情報付与装置及び方法
【発明者】 【氏名】稲富 康朗

【氏名】影山 光宏
【要約】 【課題】同じ映像素材についてユーザが行ったプレビューの時系列的な視聴傾向を考慮することにより、ユーザの思いを認識し、これにしたがって重要度情報を付与する映像操作履歴を基にした重要度情報付与装置及び方法を提供する。

【構成】映像素材の１つ以上の映像操作履歴から再生操作映像区間情報を抽出する再生操作映像区間情報抽出手段１０３、抽出した再生操作映像区間情報を基に視聴傾向分析映像区間情報を取得する視聴傾向分析映像区間情報取得手段１０４、視聴傾向分析映像区間情報に再生操作映像区間情報を用いて視聴傾向定量化情報を付与する視聴傾向定量化情報付与手段１０５、視聴傾向定量化情報にしたがって視聴傾向分析映像区間情報に重要度情報を付与する重要度情報付与手段１０６を備える重要度情報付与装置１００を提供する。
【特許請求の範囲】
【請求項１】
映像素材の１つ以上の映像操作履歴から再生操作映像区間情報を抽出する再生操作映像区間情報抽出手段と、
前記抽出した再生操作映像区間情報を基に視聴傾向分析映像区間情報を取得する視聴傾向分析映像区間情報取得手段と、
前記視聴傾向分析映像区間情報に再生操作映像区間情報を用いて視聴傾向定量化情報を付与する視聴傾向定量化情報付与手段と、
前記視聴傾向定量化情報にしたがって前記視聴傾向分析映像区間情報に重要度情報を付与する重要度情報付与手段を備えることを特徴とする映像操作履歴を基にした重要度情報付与装置。
【請求項２】
前記視聴傾向定量化情報付与手段は、前記視聴傾向分析映像区間情報と前記再生操作映像区間情報を用いて、前記視聴傾向分析映像区間情報毎の再生有無を判定し、前記視聴傾向分析映像区間情報に再生有無情報を付与する再生有無判定手段と、前記再生有無情報を基に視聴傾向定量化値を取得する視聴傾向定量化値取得手段を備えることを特徴とする請求項１に記載の映像操作履歴を基にした重要度情報付与装置。
【請求項３】
前記視聴傾向定量化情報付与手段は、前記視聴傾向分析映像区間情報と前記再生操作映像区間情報を用いて、前記視聴傾向分析映像区間情報毎の再生有無を判定し、前記視聴傾向分析映像区間情報に再生有無情報を付与する再生有無判定手段と、前記再生有無情報を基に再生操作回数平均値を算出する再生操作回数平均値算出手段と、当該再生操作回数平均値の変化度合い及び変化度合いの平均値を算出する変化度合い及び変化度合い平均値算出手段と、変化度合いの平均値及び視聴傾向定量化値を関連付けて管理する視聴傾向定量化テーブルを用いて前記算出した変化度合いの平均値に関連付けられる視聴傾向定量化値を取得する視聴傾向定量化値取得手段を備えることを特徴とする請求項１または２に記載の映像操作履歴を基にした重要度情報付与装置。
【請求項４】
前記再生操作回数平均値の変化度合いが０の場合には、前記再生操作回数平均値を用いて視聴傾向を定量化することを特徴とする請求項１乃至３の何れかに記載の映像操作履歴を基にした重要度情報付与装置。
【請求項５】
前記視聴傾向定量化情報付与手段は、前記視聴傾向分析映像区間情報と前記再生操作映像区間情報を用いて、前記視聴傾向分析映像区間情報毎の再生有無を判定し、前記視聴傾向分析映像区間情報に再生有無情報を付与する再生有無判定手段と、前記再生有無情報及び視聴傾向定量化値を関連付けて管理する視聴傾向定量化テーブルを用いて前記再生有無情報に関連付けられる視聴傾向定量化値を取得する視聴傾向定量化値取得手段を備えることを特徴とする請求項１または２に記載の映像操作履歴を基にした重要度情報付与装置。
【請求項６】
映像素材の１つ以上の映像操作履歴から再生操作映像区間情報を抽出する工程と、前記抽出した再生操作映像区間情報を基に視聴傾向分析映像区間情報を取得する工程と、前記視聴傾向分析映像区間情報に再生操作映像区間情報を用いて視聴傾向定量化情報を付与する工程と、前記視聴傾向定量化情報にしたがって前記視聴傾向分析映像区間情報に重要度情報を付与する工程とを有することを特徴とする映像操作履歴を元にした重要度情報付与方法。
【発明の詳細な説明】【技術分野】
【０００１】
ユーザが映像素材に対して行う早送り、巻き戻し、再生等の映像操作の履歴を基にして、重要であると判断した映像区間に対して重要度情報を付与する重要度情報付与装置及び方法に関する。
【背景技術】
【０００２】
番組制作では、編集工程において、ユーザが映像素材に対して早送り、巻き戻し、再生等の映像操作（以下、映像操作と記載する）を行うことにより、撮影した映像素材中に番組での使いどころとなる映像区間（以下、カット区間と記載する）があるかを確認する映像視聴行動（以下、プレビューと記載する）を行っている。映像素材中に複数のカット区間がある場合には、早送り、巻き戻しなどの「カット区間を探すための映像操作」、再生などの「カット区間を視聴するための映像操作」を繰り返し行い、カット区間があるかを確認するプレビューを行っている。このようなユーザが映像素材に対して映像操作を開始してから終了するまでの一連の映像視聴行動を一回のプレビューと呼ぶ。
【０００３】
また、編集工程は大きく分けて、粗編集工程と本編集工程とを有しており、粗編集工程では映像操作を行うことにより映像素材中にカット区間があるかを確認するプレビューを行い、本編集工程では粗編集工程で確認したカット区間を探すプレビューを行い、見つけたカット区間をつなぎ合わせる等の編集を行って番組を制作している。このように、編集工程を粗編集工程と本編集工程の２段階に分け、撮影が完了したものから先に粗編集工程だけを行っておき、すべての撮影が終わった後に本編集工程を行うことにより、番組制作を効率化している。また、粗編集工程では、映像素材上の時間で映像操作を行った位置を示す映像操作点（Ｉｎ点、Ｏｕｔ点）をメモに取り、本編集工程でカット区間を簡単に見つけられるようにしている。しかしながら、本編集工程ではメモを見てカット区間の頭だしをするために粗編集工程で行った映像操作と同様に早送り、巻き戻しを用いた映像操作を行うので、再度のプレビューを行う必要があり、カット区間を即座に見つけることができないという問題があった。
【０００４】
一方、下記特許文献１は、ユーザがプレビューを行った際の映像素材に対する早送り、巻き戻し、再生等の映像操作の履歴（以下、プレビューログと記載する）を基にして、重要であると判断した映像区間に対して重要度情報を付与する技術を開示しており、これにより、再度のプレビューやカット区間の位置をメモに取る必要なく、映像素材からカット区間を見つけられるようにしている。下記特許文献１では、「ユーザが映像素材に対して再生操作を行った映像区間」すべてに対して、「ユーザがじっくりと入念に視聴している映像区間」であるという前提をおき、当該映像区間を重要であると判断し、高い重要度情報を付与している。また、「ユーザが映像素材に対して繰り返して再生操作を行った映像区間」、「ユーザが映像素材に対して巻き戻して再度の再生操作を行った映像区間」を、「ユーザがとりわけ注目している映像区間」であるという前提をおき、当該映像区間を重要であると判断し、より高い重要度情報を付与し、重要度情報に幅を持たせている。このように、下記特許文献１では、プレビューログを基にして、「ユーザが映像素材に対して再生操作を行った映像区間」、「ユーザが映像素材に対して繰り返して再生操作を行った映像区間」、「ユーザが映像素材に対して巻き戻して再度の再生操作を行った映像区間」等の映像操作の特徴にしたがって、重要であると判断した映像区間に対して重要度情報を付与することにより、再度のプレビューやカット区間の位置をメモに取る必要なく、映像素材からカット区間を見つけることができ、また、重要度情報別にカット区間の検索や編集を行うことができる。
【特許文献１】特開２０００‐３３１００８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１では、プレビューで行われる「カット区間を探すための映像操作」に含まれる「ユーザが映像素材に対して再生操作を行った映像区間」に高い重要度情報が付与されてしまうという問題がある。すなわち、プレビューは、「カット区間を探す」、「カット区間を視聴する」という２種類の目的の映像操作を繰り返し行っているため、再生操作にも「視聴したい映像区間を探す際に今視聴している映像区間がどの辺りなのかを確認する再生操作」、「探し出した映像区間をじっくりと入念に視聴する再生操作」のどちらかの意味合いがある。このため、「カット区間を探すための映像操作」に含まれる「視聴したい映像区間を探す際に今視聴している映像区間がどの辺りなのかを確認する再生操作を行った映像区間」は、「ユーザがじっくりと入念に視聴している映像区間」ではないため、重要とは言えず、また、「ユーザが映像素材に対して繰り返して再生操作を行った映像区間」、「ユーザが映像素材に対して巻き戻して再度の再生操作を行った映像区間」も「ユーザがとりわけ注目している映像区間」ではなく、重要とは言えない。結果、上記特許文献１は、本来重要ではない映像区間に不必要に高い重要度情報が付与されるため、映像素材から重要なカット区間を即座に見つけることができず、カット区間の検索や編集の効率が悪いという問題があった。
【０００６】
一方、最近の番組制作では、電子記録媒体をテープの代わりに用いる撮像装置を利用し撮影した映像素材を即ファイル化している。ファイル化した映像素材は、プレビューを行っている時に撮影を行っても上書きや削除されることがないので即座の撮影に対応でき、また、プレビューを行っても映像素材の劣化がなく、さらに、ディレクターがカメラマンを煩わせずにプレビューを行う機器を使用できる等の利点を有する。これにより、現場でのプレビューや簡易編集も可能となり、番組の質を高めるため、ユーザはプレビューを多用している。例えば、撮影直後は、映像素材が記録されているか確認することを目的としたプレビューを行い、移動中は、大体どの辺りが番組で使えそうか見当をつけることを目的としたプレビューを行い、放送局では、実際に使用する映像を取得することを目的としたプレビューを行っている。このように、ユーザはプレビューのたびに異なる目的を持ちながら、同じ映像素材のプレビューを行っている。
【０００７】
このため、同じ映像素材についてユーザが行ったプレビューには時系列的な視聴傾向が存在していることが分かる。例えば、同じ映像素材のプレビューを３回行った場合、ある映像区間では「見なかった→見なかった→見た」という時系列的な視聴傾向が存在し、一方、別の映像区間では「見た→見なかった→見なかった」という時系列的な視聴傾向が存在することがある。前者は「明らかに番組で使えることを知っていたので、編集時のときだけ再生操作を行った映像区間」であり、後者は「最初は記録確認のために再生操作を行ったが、番組では使えないと思ったので、２度と再生操作を行わなかった映像区間」であると考えられる。したがって、前者は「ユーザが注目している映像区間」であるのに対し、後者は「ユーザが注目しなくなった映像区間」であり、前者の映像区間が後者の映像区間よりも重要であると考えられる。すなわち、同じ映像素材についてユーザが行ったプレビューには時系列的な視聴傾向が存在し、時系列的な視聴傾向の内容は、ユーザの思いと関連があることが分かる。
【０００８】
しかしながら、上記特許文献１のように、「ユーザが映像素材に対して再生操作を行った映像区間」を、「ユーザがじっくりと入念に視聴している映像区間」であると判断した場合、両者の映像区間は共に「再生操作を行った映像区間」が１つ存在するので、同じ重要度情報が付与されることになる。すなわち、上記特許文献１は、同じ映像素材についてユーザが行ったプレビューの時系列的な目的の変化（以後、視聴傾向と呼ぶ）については何ら考慮されていないため、結果、本来重要ではない後者の「ユーザが注目しなくなった映像区間」にも不必要に高い重要度情報が付与されるため、映像素材から重要なカット区間を即座に見つけることができず、カット区間の検索や編集の効率が悪いという問題があった。
【０００９】
本発明は、このような問題に着目し、同じ映像素材についてユーザが行ったプレビューの時系列的な視聴傾向を考慮することにより、「ユーザの思い（ユーザの目的の変化）」を認識し、これにしたがって重要度情報を付与する映像操作履歴を基にした重要度情報付与装置及び方法を提供することを課題とする。
【課題を解決するための手段】
【００１０】
ユーザがプレビューを行った際の映像素材に対する早送り、巻き戻し、再生等の映像操作の履歴はプレビューログに示されている。本発明においては、同じ映像素材についてのユーザの時系列的な視聴傾向を考慮するため、同じ映像素材に対する様々なタイミングのプレビューにより生成された、複数のプレビューログを用いる。また、本発明においては、時系列的な視聴傾向を考慮するため、プレビュータイミング毎の「再生操作を行った映像区間情報（以下、再生操作映像区間情報と記載する）」をプレビュータイミング順に抽出する。
【００１１】
また、抽出した様々なタイミングにおける再生操作映像区間は、映像素材上の時間で考えると、様々なタイミングで「再生操作映像区間が重なる」、「再生操作映像区間が重ならない」の何れかの関係を満たす。本発明においては、このような関係を満たす映像区間を、再生操作開始点、重なり開始点、重なり終了点、再生操作終了点で分割し、「Ｉｎ点」「Ｏｕｔ点」で表現したものを「視聴傾向を分析する映像区間情報（以下、視聴傾向分析映像区間情報と記載する）」として取得する。
【００１２】
そして、視聴傾向分析映像区間について、プレビュータイミング毎の再生操作映像区間をプレビュータイミング順に見ていくことにより、当該映像区間のユーザが行ったプレビューの時系列的な視聴傾向を質的に取得することができる。質的な視聴傾向とは、例えば、同じ映像素材の３つのプレビューログを用いて、取得した視聴傾向分析映像区間情報について、プレビュータイミング毎の再生操作映像区間をプレビュータイミング順に見ていった場合、「見た→見なかった→見なかった」というような再生操作の有無の時系列的な変化を見ることができる視聴傾向である。このような質的な視聴傾向から「最初に見たときに使わないと判断しており、使う可能性が低い」という「ユーザの思い」を認識し、「ユーザの思い」にしたがって重要度情報を付与するには、質的な視聴傾向の内容を量的に扱う視聴傾向の定量化を行う一方で、定量化した視聴傾向とユーザの思いにしたがって設定された重要度情報を関連付けて管理しておく必要がある。視聴傾向を量的に扱うとは、「見た→見なかった→見なかった」というような再生操作の有無の時系列的な変化を量的な値として扱うことをいう。これにより、質的な視聴傾向から取得する視聴傾向の定量化を行い、関連付けて管理している定量化した視聴傾向に関連付けられた重要度情報を付与する。
【００１３】
したがって、本発明の映像操作履歴を基にした重要度情報付与装置は、映像素材の１つ以上の映像操作履歴から再生操作映像区間情報を抽出する再生操作映像区間情報抽出手段と、前記抽出した再生操作映像区間情報を基に視聴傾向分析映像区間情報を取得する視聴傾向分析映像区間情報取得手段と、前記視聴傾向分析映像区間情報に再生操作映像区間情報を用いて視聴傾向定量化情報を付与する視聴傾向定量化情報付与手段と、前記視聴傾向定量化情報にしたがって前記視聴傾向分析映像区間情報に重要度情報を付与する重要度情報付与手段を備えることを特徴とする。これにより、同じ映像素材のプレビューログを基に取得する視聴傾向分析映像区間の視聴傾向を定量化し、また、定量化した視聴傾向により取得するユーザの思いにしたがって設定された重要度情報を付与することができる。
【００１４】
また、本発明の映像操作履歴を基にした重要度情報付与方法は、映像素材の１つ以上の映像操作履歴から再生操作映像区間情報を抽出する工程と、前記抽出した再生操作映像区間情報を基に視聴傾向分析映像区間情報を取得する工程と、前記視聴傾向分析映像区間情報に再生操作映像区間情報を用いて視聴傾向定量化情報を付与する工程と、前記視聴傾向定量化情報にしたがって前記視聴傾向分析映像区間情報に重要度情報を付与する工程とを有することを特徴とする。これにより、同じ映像素材のプレビューログを基に取得する視聴傾向分析映像区間の視聴傾向を定量化し、また、定量化した視聴傾向により取得するユーザの思いにしたがって設定された重要度情報を付与することができる。
【発明の効果】
【００１５】
上記から明らかなように、本発明の映像操作履歴を基にした重要度情報付与装置及び方法によれば、同じ映像素材についてユーザが行ったプレビューの時系列的な視聴傾向を定量化してユーザの思いにしたがって設定された重要度情報を付与することができる。結果、本来重要ではない「ユーザが注目しなくなった映像区間」には不必要に高い重要度情報が付与されることはなく、「ユーザが注目している映像区間」に高い重要度情報が付与されるので、映像素材から重要なカット区間を即座に見つけることができ、カット区間の検索や編集の効率化を図ることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明を実施するための最良の形態について説明する。図１は、本実施の形態で用いる映像操作履歴を基にした重要度情報付与装置の内部構成をブロック図で示したものである。図１に示すように、重要度情報付与装置１００は、ユーザが映像素材に対して行う早送り、巻き戻し、再生等の映像操作要求に応じて映像操作を行う映像操作部１０１と、映像操作部１０１で行った映像操作を基にしてプレビューログを生成するプレビューログ生成部１０２と、映像素材の１つ以上のプレビューログから再生操作映像区間情報を抽出する再生操作映像区間情報抽出部１０３と、抽出した再生操作映像区間情報を用いて視聴傾向分析映像区間情報を取得する視聴傾向分析映像区間情報取得部１０４と、視聴傾向分析映像区間情報に再生操作映像区間情報を用いて視聴傾向定量化情報を付与する視聴傾向定量化情報付与部１０５と、視聴傾向定量化情報にしたがって前記視聴傾向分析映像区間情報に重用度情報を付与する重要度情報付与部１０６と、重要度情報を付与した視聴傾向分析映像区間情報を映像素材及びプレビューログとともに記憶する映像素材・プレビューログ及び視聴傾向記憶部１０７と、ユーザの映像検索要求に応じて映像素材・プレビューログ及び視聴傾向記憶部１０７で管理する映像素材を検索する映像検索部（ＧＵＩ）１０８を備えている。
【００１７】
図２は、映像操作部１０１で行った映像操作を基にしてプレビューログ生成部１０２が生成するプレビューログのデータ構造を示したものである。図２に示すように、プレビューログのデータ構造は、映像素材を一意に識別する「素材ＩＤ」、プレビューを行ったタイミングを識別する「プレビュータイミング」、プレビューの１操作につき付与する「操作番号」、再生、早送り、巻き戻し等の映像操作の内容を示す「操作種別」、各操作種別を番号で示す「操作種別番号」、映像素材上の時間で映像操作の開始位置を示す「Ｉｎ点」、及び映像素材上の時間で映像操作の終了位置を示す「Ｏｕｔ点」を管理する構造となっている。プレビューログ生成部１０２は、ユーザが映像素材に対して１回のプレビューを行う毎に「素材ＩＤ」と「プレビュータイミング」を関連付けたプレビューログを生成し、また、「カット区間を探す」、「カット区間を視聴する」という２種類の目的の映像操作を繰り返し行っているプレビューの中で、１操作につき「操作番号」、「操作種別」、「操作種別番号」、「Ｉｎ点」及び「Ｏｕｔ点」からなる１データを、プレビューを開始してから終了するまで連続的に生成している。
【００１８】
プレビューログ生成部１０２は、映像操作部１０１で行った映像操作を基にして生成したプレビューログを映像素材・プレビューログ及び視聴傾向記憶部１０７に送る。これにしたがい、映像素材・プレビューログ及び視聴傾向記憶部１０７は、送られてきたプレビューログを記憶する他、当該プレビューログと同じ映像素材のプレビューログがあるか否かを確認し、ある場合には同じ映像素材のプレビューログを取得し、これを再生操作映像区間情報抽出部１０３に送る。一方、ない場合には送られてきたプレビューログを記憶する他は何も行わない。図２に示すように、本実施の形態では、プレビューログ生成部１０２において生成された「素材ＩＤ＝Ｚ」、「プレビュータイミング＝Ｔ３」のプレビューログが映像素材・プレビューログ及び視聴傾向記憶部１０７に送られたとき、映像素材・プレビューログ及び視聴傾向記憶部１０７は、当該プレビューログを記憶する他、「素材ＩＤ＝Ｚ」を用いて、同じ映像素材のプレビューログがあることを確認し、「素材ＩＤ＝Ｚ」のプレビューログを再生操作映像区間情報抽出部１０３に送る。なお、映像素材・プレビューログ及び視聴傾向記憶部１０７において、同じ映像素材のプレビューログがある場合でも、当該プレビューログが所定の量を満たすまでは再生操作映像区間情報抽出部１０３に送らず、映像素材・プレビューログ及び視聴傾向記憶部１０７で管理するようにしても良い。すなわち、同じ映像素材のプレビューを１〜２回行った程度では、時系列的な視聴傾向を十分に認識できず精度が上がらないので、再生操作映像区間情報抽出部１０３へ送るプレビューログの数を設定するようにしても良い。一方、同じ映像素材のプレビューを多く行った場合は、その全てのプレビューログを取得しても良いが、現在に近いプレビューログとランダムに決定する所定の数のプレビューログとを取得するようにしても良く、または、現在に近いプレビューログから所定の数のプレビューログまでを取得するようにしても良い。
【００１９】
つづいて、再生操作映像区間情報抽出部１０３は、同じ映像素材の１つ以上のプレビューログからプレビュータイミング毎の再生操作映像区間情報をプレビュータイミング順に抽出する。本実施の形態では、再生操作映像区間情報抽出部１０３は、同じ映像素材のプレビューログに示されている「プレビュータイミング＝Ｔ１，Ｔ２，Ｔ３」、「操作種別＝再生」または「操作種別番号＝１」により、「プレビュータイミング＝Ｔ１，Ｔ２，Ｔ３」の順に再生操作映像区間情報を抽出し、これを視聴傾向分析映像区間情報取得部１０４に送る。図３は、プレビュータイミング順に抽出したプレビュータイミング毎の再生操作映像区間情報のデータ構造を示したものである。「プレビュータイミング＝Ｔ１」の再生操作映像区間情報は「00:00:00〜00:00:30」であり、「プレビュータイミング＝Ｔ２」の再生操作映像区間情報は「00:00:20〜00:00:40」であり、「プレビュータイミング＝Ｔ３」の再生操作映像区間情報は「00:00:20〜00:00:30」である。
【００２０】
視聴傾向分析映像区間情報取得部１０４は、抽出した再生操作映像区間情報を基に視聴傾向分析映像区間情報を取得する。以下、その処理の流れについて図３及び図４を用いて説明する。視聴傾向分析映像区間情報は、再生操作映像区間情報の映像操作の開始位置を示す「Ｉｎ点」や映像操作の終了位置を示す「Ｏｕｔ点」を用いて最小範囲の映像区間として存在する映像区間を判定することにより取得する。本実施の形態では、視聴傾向分析映像区間情報取得部１０４は、はじめに、プレビュータイミング毎の再生操作映像区間情報を取得すると（ＳＴＡＲＴ→ステップ４０１）、「ｎ＝１」とし（ステップ４０２）、「ｎ＝１」番目に小さい再生操作映像区間情報を示す位置の「Ｉｎ点」を「ｔ１」として取得する（ステップ４０３）。図３から分かるとおり、本実施の形態では「ｎ＝１」番目に小さい再生操作映像区間情報を示す位置の「Ｉｎ点」は「00:00:00」であり、「ｔ１＝00:00:00」として取得する（ステップ４０３）。つづいて、「ｎ＋１＝２」番目に小さい再生操作映像区間情報を示す位置の「Ｉｎ点」または「Ｏｕｔ点」を「ｔ２」として取得する（ステップ４０４）。本実施の形態では「ｎ＋１＝２」番目に小さい再生操作映像区間情報を示す位置の「Ｉｎ点」または「Ｏｕｔ点」は「00:00:20」であり、「ｔ２＝00:00:20」として取得する。そして、「ｍ＝ｎ」とし（ステップ４０５）、「ｔ１」〜「ｔ２」を「ｍ」番目の視聴傾向分析映像区間情報として取得する（ステップ４０６）。本実施の形態では、「ｔ１＝00:00:00」〜「ｔ２＝00:00:20」を「ｍ＝ｎ＝１」番目の視聴傾向分析映像区間情報として取得し、「ｔ１」、「ｔ２」を視聴傾向分析映像区間情報の「Ｉｎ点」、「Ｏｕｔ点」として管理する。その後、ステップ４０４で取得した「Ｉｎ点」または「Ｏｕｔ」点が最も大きい再生操作映像区間情報を示す位置であるか否かについて、プレビュータイミング毎の再生操作映像区間情報を用いて判定し、最も大きい位置である場合は視聴傾向分析映像区間情報を取得する処理を終了し（ステップ４０７→ＥＮＤ）、一方、最も大きい位置でない場合は「ｎ＝ｎ＋１」とし（ステップ４０７→ステップ４０８）、ステップ４０４で取得する「Ｉｎ点」または「Ｏｕｔ」点が最も大きい再生操作映像区間情報を示す位置になるまで、ステップ４０３乃至４０８の処理を繰り返し行い、「ｍ」番目以降の視聴傾向分析映像区間情報を取得する。以上により、視聴傾向分析映像区間情報取得部１０４は、抽出した再生操作映像区間情報を基に視聴傾向分析映像区間情報を判定して取得し、これを視聴傾向定量化情報付与部１０５に送る。図５は、視聴傾向分析映像区間情報のデータ構造を示したものである。
【００２１】
つづいて、視聴傾向定量化情報付与部１０５は、視聴傾向分析映像区間情報に再生操作映像区間情報を用いて視聴傾向定量化情報を付与する。視聴傾向定量化情報付与部１０５において視聴傾向分析映像区間情報を取得してから視聴傾向定量化情報を付与するまでに行う処理を大きく分けると、視聴傾向分析映像区間情報と再生操作映像区間情報を用いて、視聴傾向分析映像区間毎の再生有無を判定することにより質的な視聴傾向を取得する処理と、視聴傾向分析映像区間毎の質的な視聴傾向を基に定量化を行い、量的な視聴傾向を取得する処理を有する。以下、各処理について説明する。なお、これらの処理を実行するため、視聴傾向定量化情報付与部１０５は、視聴傾向分析映像区間情報と再生操作映像区間情報を用いて、視聴傾向分析映像区間情報毎の再生有無を判定し、視聴傾向分析映像区間情報に再生有無情報を付与する再生有無判定手段と、再生有無情報を基に再生操作回数平均値を算出する再生操作回数平均値算出手段と、当該再生操作回数平均値の変化度合い及び変化度合いの平均値を算出する変化度合い及び変化度合い平均値算出手段と、変化度合いの平均値及び視聴傾向定量化値を関連付けて管理する視聴傾向定量化テーブルを用いて算出した変化度合いの平均値に関連付けられる視聴傾向定量化値を取得する視聴傾向定量化値取得手段を備えている。
【００２２】
視聴傾向分析映像区間情報と再生操作映像区間情報を用いて、視聴傾向分析映像区間毎の再生有無を判定することにより質的な視聴傾向を取得する処理の流れについて図６を用いて説明する。視聴傾向定量化情報付与部１０５は、はじめに、視聴傾向分析映像区間情報を取得すると、「ｍ＝１」とし（ＳＴＡＲＴ→ステップ６０１）、「ｍ＝１」番目の視聴傾向分析映像区間情報の「Ｉｎ点」、「Ｏｕｔ点」を取得する（ステップ６０２）。図５から分かるとおり、本実施の形態では「ｍ＝１」番目の視聴傾向分析映像区間情報の「Ｉｎ点」は「00:00:00」であり、「Ｏｕｔ点」は「00:00:20」である。つづいて、視聴傾向定量化情報付与部１０５は、プレビュータイミング毎の再生操作映像区間情報をプレビュータイミング順に取得する（ステップ６０３）。図３から分かるとおり、本実施の形態では、「プレビュータイミング＝Ｔ１，Ｔ２，Ｔ３」の順に再生操作映像区間情報を取得する。「プレビュータイミング＝Ｔ１」の再生操作映像区間情報は「00:00:00」〜「00:00:30」であり、「プレビュータイミング＝Ｔ２」の再生操作映像区間情報は「00:00:20」〜「00:00:40」であり、「プレビュータイミング＝Ｔ３」の再生操作映像区間情報は「00:00:20」〜「00:00:30」である。そして、視聴傾向定量化情報付与部１０５は、視聴傾向分析映像区間情報の「Ｉｎ点」〜「Ｏｕｔ点」において、プレビュータイミング毎の再生操作映像区間情報があるか否かについてプレビュータイミング順に確認し、ある場合には再生操作フラグをたて（ステップ６０４→ステップ６０５）、ない場合には未再生操作フラグをたてる（ステップ６０４→ステップ６０６）。すなわち、本実施の形態では、視聴傾向分析映像区間情報の「Ｉｎ点＝00:00:00」〜「Ｏｕｔ点＝00:00:20」において、「プレビュータイミング＝Ｔ１」では「再生操作フラグ＝○」をたて、「プレビュータイミング＝Ｔ２」では「未再生操作フラグ＝×」をたて、「プレビュータイミング＝Ｔ３」では「未再生操作フラグ＝×」をたてる。その後、「ｍ＋１＝２」番目の視聴傾向分析映像区間情報があるか否かについて、図５に示した視聴傾向分析映像区間情報を用いて判定し、ある場合は「ｍ＝ｍ＋１」とし（ステップ６０７→ステップ６０８）、判定対象である視聴傾向分析映像区間情報がなくなるまで、ステップ６０２乃至６０８の処理を繰り返し行い、「ｍ＋１」番目以降の視聴傾向分析映像区間情報について、プレビュータイミング毎の再生操作映像区間情報をプレビュータイミング順に用いて再生操作の有無を判定する。一方、視聴傾向分析映像区間情報がない場合は再生操作の有無を判定する処理を終了する（ステップ６０８→ＥＮＤ）。以上により、視聴傾向定量化情報付与部１０５は、視聴傾向分析映像区間情報と再生操作映像区間情報を用いて、視聴傾向分析映像区間毎の再生有無を判定することにより質的な視聴傾向を示す再生有無情報を視聴傾向分析映像区間情報に付与することができる。図７は、再生有無情報を付与した視聴傾向分析映像区間情報のデータ構造を示したものである。
【００２３】
次に、視聴傾向分析映像区間毎の質的な視聴傾向を基に定量化を行い、量的な視聴傾向を取得する処理の流れについて図８を用いて説明する。視聴傾向定量化情報付与部１０５は、視聴傾向分析映像区間情報を取得すると、「ｍ＝１」とし（ＳＴＡＲＴ→ステップ８０１）、「ｍ＝１」番目の視聴傾向分析映像区間情報に付与した再生有無情報を取得する（ステップ８０２）。本実施の形態では、図７から分かるとおり、「ｍ＝１」番目の「Ｉｎ点＝00:00:00」〜「Ｏｕｔ点＝00:00:20」において、「プレビュータイミング＝Ｔ１，Ｔ２，Ｔ３」の順に「○」、「×」、「×」のフラグがたっている再生有無情報を取得する。つづいて、視聴傾向定量化情報付与部１０５は、プレビュータイミングの順番を示す「ｐ」を「ｐ＝１」として（ステップ８０３）、取得した再生有無情報の最初の情報を取得し、「ｐ番目までの再生操作回数／ｐ」を算出する（ステップ８０４）。これは、ｐ番目のプレビュータイミングまでの再生操作回数とプレビュー回数を用いて算出する再生操作回数平均値である。本実施の形態では、図７から分かるとおり、「ｐ＝１」番目のプレビュータイミングは「プレビュータイミング＝Ｔ１」であり、「プレビュータイミング＝Ｔ１」では再生操作フラグがたっているので、「ｐ番目（＝Ｔ１）までの再生操作回数（＝１）／ｐ（＝１）」を算出することにより、「ｐ番目（＝Ｔ１）までの再生操作回数平均値＝１」であることが分かる。
【００２４】
つづいて、視聴傾向定量化情報付与部１０５は、ｐ＋１番目の再生有無情報があるか否かについて判定し、ある場合は、取得した再生有無情報の次の情報を取得し、「ｐ＋１番目までの再生操作回数／ｐ＋１」を算出する（ステップ８０５→ステップ８０６）。本実施の形態では、図７から分かるとおり、「ｐ＋１＝２」番目のプレビュータイミングは「プレビュータイミング＝Ｔ２」であり、「プレビュータイミング＝Ｔ２」では未再生操作フラグがたっているので、「ｐ＋１番目（＝Ｔ２）までの再生操作回数（＝１）／ｐ＋１（＝２）」を算出することにより、「ｐ＋１番目（＝Ｔ２）までの再生操作回数平均値＝１／２」であることが分かる。そして、ステップ８０６で算出した「ｐ＋１番目までの再生操作回数平均値」と、ステップ８０４で算出した「ｐ番目までの再生操作回数平均値」との差を求めることにより「ｐ＋１番目及びｐ番目の間の再生操作回数平均値の変化度合い」、すなわち、プレビュータイミング間の再生操作回数平均値の変化度合いを算出し（ステップ８０７）、一時記憶する（ステップ８０８）。本実施の形態では、「ｐ＋１番目（＝Ｔ２）までの再生操作回数平均値＝１／２」と「ｐ番目（＝Ｔ１）までの再生操作回数平均値＝１」との差を求めることにより、「プレビュータイミング間の再生操作回数平均値の変化度合い＝−１／２」を算出し、これを一時記憶する。その後、プレビュータイミングの順番を示す「ｐ」を「ｐ＝ｐ＋１」とし（ステップ８０９）、ステップ８０５において判定対象であるｐ＋１番目の再生有無情報がなくなるまで、ステップ８０４乃至８０９を繰り返し行ってプレビュータイミング間の再生操作回数平均値の変化度合いを算出し、一時記憶する。本実施の形態では、「ｐ＋１番目（＝Ｔ２）及びｐ番目（＝Ｔ１）の間の再生操作回数平均値の変化度合い＝−１／２」、「ｐ＋１番目（＝Ｔ３）及びｐ番目（＝Ｔ２）の間の再生操作回数平均値の変化度合い＝−１／６」を算出し、一時記憶する。
【００２５】
つづいて、視聴傾向定量化情報付与部１０５は、ステップ８０４乃至８０９の処理を行った後、プレビュータイミング間の再生操作回数平均値の変化度合いを一時記憶しているか否かについて判定し、ある場合は、再生操作回数平均値の変化度合いの平均値（以下、変化度合いの平均値と記載する）」を算出する（ステップ８１０→ステップ８１１）。本実施の形態では、「再生操作回数平均値の変化度合い＝−１／２、−１／６」を用いて「変化度合いの平均値＝−１／３」を算出する。
【００２６】
図９は、視聴傾向分析映像区間情報のプレビュータイミング順に算出する再生操作回数平均値とプレビュータイミング間の再生操作回数平均値の変化度合い及び変化度合いの平均値を示したものである。図９から分かるとおり、視聴傾向分析映像区間情報１と３は、３回のプレビューを行ったうち１回の再生操作を行っているという点では共通しているが、プレビュータイミング順に算出する再生操作回数平均値が異なるので、プレビュータイミング間の再生操作回数平均値の変化度合い及び変化度合いの平均値等も異なる。そして、これらにより視聴傾向を考慮することができ、視聴傾向分析映像区間情報１と３の視聴傾向について差別化を図ることができる。
【００２７】
また、図１０は、変化度合いの平均値に関連付けられる視聴傾向の内容を示したものである。変化度合いの平均値は、視聴傾向の内容と関連があり、変化度合いの平均値を用いることにより視聴傾向の内容を認識することができる。図１０から分かるとおり、変化度合いの平均値が０〜０．０１または−０．０１〜０の場合は、「全部見ている」又は「全部見ていない」という何れかの視聴傾向の内容を示し、また、変化度合いの平均値が０．０１〜０．２５または−０．０１〜−０．２５の場合は、「コンスタントに見ている」という視聴傾向の内容を示し、変化度合いの平均値が０．２５〜０．５の場合は、「最初見なくて、後から見ている」という視聴傾向の内容を示し、さらに、変化度合いの平均値が−０．５〜−０．２５の場合は、「最初見て、後から見ていない」という視聴傾向の内容を示している。
【００２８】
このように、視聴傾向分析映像区間毎の質的な視聴傾向を基に算出した変化度合いの平均値を用いることにより、視聴傾向の内容を認識することができる。本実施の形態では、視聴傾向の内容を各種パターンで示す視聴傾向定量化値を用い、これを変化度合いの平均値と関連付けた視聴傾向定量化テーブルを管理している（図１１参照）。これにより、算出した変化度合いの平均値に関連付けられる視聴傾向定量化値を取得することができ、質的な視聴傾向を量的に扱い、視聴傾向を定量化することができる。
【００２９】
そして、視聴傾向定量化情報付与部１０５では、視聴傾向定量化テーブルを用いることにより、ステップ８１１で算出した「変化度合いの平均値」に関連付けられる「視聴傾向定量化値」を取得し、質的な視聴傾向を量的に扱う（ステップ８１２）。本実施の形態では、算出した変化度合いの平均値が「変化度合いの平均値＝−１／３（−０．３３）」なので、視聴傾向定量化テーブルを用いることにより、「変化度合いの平均値＝−０．５〜−０．２５」に関連付けられる「視聴傾向定量化値＝パターン３」を取得する。以上により、「ｍ＝１」番目の視聴傾向分析映像区間情報に付与した再生有無情報を量的に扱って「視聴傾向定量化値」を取得する。その後、「ｍ＋１＝２」番目の視聴傾向分析映像区間情報に付与した再生有無情報があるか否かについて判定し、ある場合は「ｍ＝ｍ＋１」とし（ステップ８１３→ステップ８１４）、判定対象である視聴傾向分析映像区間情報に付与した再生有無情報がなくなるまで、ステップ８０２乃至ステップ８１４の処理を繰り返し行い、「ｍ＋１」番目以降の視聴傾向分析映像区間情報に付与した再生有無情報を量的に扱って「視聴傾向定量化値」を取得し、処理を終了する（ステップ８１３→ＥＮＤ）。以上により、視聴傾向定量化情報付与部１０５は、視聴傾向分析映像区間毎の質的な視聴傾向を基に量的な視聴傾向を示す視聴傾向定量化値を視聴傾向分析映像区間情報に付与することができる。図１２は、視聴傾向定量化値を付与した視聴傾向分析映像区間情報のデータ構造を示したものである。
【００３０】
一方、視聴傾向の内容は、ユーザの思いと関連があり、視聴傾向の内容によりユーザの思いを認識することができる。図１０にも示したとおり、「全部見ている」という視聴傾向の内容は、再生操作を繰り返しており、使うかどうか迷っている、というようなユーザの思いを示し、「コンスタントに見ている」という視聴傾向の内容は、要所で確認しており、使う可能性が極めて高い、というようなユーザの思いを示し、「最初見て、後から見ていない」という視聴傾向の内容は、最初に見たときに使わないと判断しており、使う可能性が低い、というようなユーザの思いを示し、「最初見なくて、後から見ている」という視聴傾向の内容は、編集段階で確認しており、使う可能性が高い、というようなユーザの思いを示し、「全く見ていない」という視聴傾向の内容は、明らかに使わないと判断しており、使う可能性が極めて低い、というようなユーザの思いを示している。
【００３１】
このように、視聴傾向の内容によりユーザの思いを認識することができる。本実施の形態では、重要度情報付与部１０６は、視聴傾向の内容を各種パターンで示す上記視聴傾向定量化値と、ユーザの思いにしたがって設定される重要度情報を関連付けた重要度情報テーブルを管理している（図１３参照）。これにより、重要度情報付与部１０６は、視聴傾向分析映像区間情報について、上記で取得した「視聴傾向定量化値」に関連付けられる重用度情報を付与する。例えば、「ｍ＝１」番目の視聴傾向分析映像区間情報では、「視聴傾向定量化値＝パターン３」を取得したので、「視聴傾向定量化値＝パターン３」に関連付けられる「重要度情報＝２」を付与する。図１４は、「重要度情報」を付与した視聴傾向分析映像区間情報のデータ構造を示したものである。重要度情報付与部１０６は、視聴傾向分析映像区間情報に「重要度情報」を付与した後、これを映像素材・プレビューログ及び視聴傾向記憶部１０７に送る。
【００３２】
そして、映像素材・プレビューログ及び視聴傾向記憶部１０７は、「重要度情報」付与した視聴傾向分析映像区間情報を取得し、これを映像素材とともに記憶する。これにより、ユーザは、映像検索部（ＧＵＩ）１０８を介して、映像素材・プレビューログ及び視聴傾向記憶部１０７に記憶した映像から、重要度情報を用いたユーザの映像検索要求に応じてユーザが必要とする映像区間のみを検索することができる。
【００３３】
以上、本実施の形態によれば、同じ映像素材についてユーザが行ったプレビューの時系列的な視聴傾向を定量化してユーザの思いにしたがって設定された重要度情報を付与することができる。結果、本来重要ではない「ユーザが注目しなくなった映像区間」には不必要に高い重要度情報が付与されることはなく、「ユーザが注目している映像区間」に高い重要度情報が付与されるので、映像素材から重要なカット区間を即座に見つけることができ、カット区間の検索や編集の効率化を図ることができる。
【００３４】
なお、本発明は、上記一実施の形態で説明する範囲に限定するものではなく、本発明の用紙を脱しない範囲で適宜に選択、設定できるものである。
【産業上の利用可能性】
【００３５】
本発明の映像操作履歴を基にした重要度情報付与装置及び方法は、番組制作に利用することはもちろんのこと、デジタルビデオカメラや家庭用ＨＤＤレコーダーにも利用できる。すなわち、本発明の映像操作履歴を基にした重要度情報付与装置及び方法によれば、ユーザがデジタルビデオカメラにより撮影した同じ映像素材または家庭用ＨＤＤレコーダーにより録画した同じ映像素材について、ユーザが行ったプレビューの時系列的な視聴傾向を定量化し、ユーザの思いにしたがって設定された「ユーザが注目している映像区間」に高い重要度情報を付与することができる。これにより、映像素材から重要なカット区間を自動的に抽出することができ、自動編集機能や自動ＤＶＤ作成機能として利用できる。
【００３６】
また、本発明の一実施の形態で説明した重要度情報付与装置の構成は、一体とする構成で説明したが、分離する構成としても良く、任意に実施できるものとする。例えば、番組制作で利用する場合、プレビューログを記憶するまでの構成と、重要度情報を付与するまでの構成とを分離することにより、粗編集工程を行う側と本編集工程を行う側との間で利用できる。
【００３７】
また、本発明の一実施の形態で説明した重要度情報付与装置における視聴傾向定量化手段は、プレビュータイミング間の変化度合いの平均値を視聴傾向定量化値と関連付けているため、プレビューの回数に関係なく視聴傾向を定量化できる。一方、視聴傾向を定量化するときのプレビューの回数を設定する場合には、プレビュータイミング間の変化度合いの合計値を算出することにより視聴傾向を定量化し、これに関連付けられる重用度情報を付与するようにしても良い。
【００３８】
さらに、視聴傾向を定量化するときのプレビューの回数を設定する場合には、再生有無情報と視聴傾向定量化値を関連付けて管理する視聴傾向定量化テーブルを用いることにより、視聴傾向分析映像区間情報毎の再生有無を判定した後、プレビュータイミング間の変化度合いの平均値や合計値等を算出せずに、再生有無情報に関連付けられる視聴傾向定量化値を取得し、取得した視聴傾向定量化値に関連付けられる重用度情報を付与するようにしても良い。
【００３９】
また、同じ映像素材のプレビューを多く行った場合、視聴傾向分析映像区間情報も細かくなっていくため、重要度情報別に検索したときに該当する映像区間があっても、細切れの状態で取得することになる。そこで、隣り合う視聴傾向分析映像区間情報に付与された重要度情報が同じ場合には、当該映像区間は連続するものと判別し、連続させて取得するようにしても良い。
【００４０】
また、同じ映像素材のプレビューを多く行った場合、算出する再生操作回数平均値の変化度合いが収束していくことも考えられる。変化度合いが収束するとは、「変化度合いの平均値」が「０〜０．０１（−０．０１）」の数値になる程度の範囲であるが、この数値に限定されるものではない。本発明の一実施の形態では、「変化度合いの平均値」が収束することについては説明しなかったが、「変化度合いの平均値」が収束した場合には、「再生操作回数平均値」を用いて視聴傾向を定量化し、これに関連付けられる重用度情報を付与するようにしても良い。
【００４１】
さらに、本発明の重要度情報付与装置は、重要度情報を付与する処理を行う毎に、同じ視聴傾向分析映像区間情報であっても取得する視聴傾向定量化値が異なるために重要度情報が異なることも考えられる。そこで、同じ視聴傾向分析映像区間情報で重要度情報を付与する処理を行う場合には重要度情報の平均値を付与するようにしても良い。
【００４２】
また、本発明の一実施の形態で用いた視聴傾向定量化値や重要度情報等は、場面に応じて適宜に選択、設定できるものであり、説明した範囲に限定されるものではない。
【図面の簡単な説明】
【００４３】
【図１】本発明の一実施の形態で用いる重要度情報付与装置の内部構成を示すブロック図
【図２】プレビューログのデータ構造を示す図
【図３】プレビュータイミング順に抽出したプレビュータイミング毎の再生捜査映像区間情報のデータ構造を示す図
【図４】視聴傾向分析映像区間情報を取得する処理の流れを示すフロー図
【図５】視聴傾向分析映像区間情報のデータ構造を示す図
【図６】再生有無情報を取得する処理の流れを示すフロー図
【図７】再生有無情報を付与した視聴傾向分析映像区間情報のデータ構造を示す図
【図８】視聴傾向定量化情報を取得する処理の流れを示すフロー図
【図９】再生操作回数平均値とその変化度合い及び変化度合いの平均値の関係を示す図
【図１０】再生操作回数平均値の変化度合いの平均値と視聴傾向の内容の関係を示す図
【図１１】視聴傾向定量化テーブルを示す図
【図１２】視聴傾向定量化情報を付与した視聴傾向分析映像区間情報のデータ構造を示す図
【図１３】重要度情報テーブルを示す図
【図１４】重要度情報を付与した視聴傾向分析映像区間情報のデータ構造を示す図
【符号の説明】
【００４４】
１００ 重要度情報付与装置
１０３ 再生操作映像区間情報抽出部
１０４ 視聴傾向分析映像区間情報取得部
１０５ 視聴傾向定量化情報付与部
１０６ 重要度情報付与部
【出願人】 【識別番号】０００００５８２１
【氏名又は名称】松下電器産業株式会社
【出願日】 平成１８年７月６日（２００６．７．６）
【代理人】 【識別番号】１０００８２６９２
【弁理士】
【氏名又は名称】蔵合 正博

【識別番号】１０００８１５１４
【弁理士】
【氏名又は名称】酒井 一
【公開番号】 特開２００８−１７２３５（Ｐ２００８−１７２３５Ａ）
【公開日】 平成２０年１月２４日（２００８．１．２４）
【出願番号】 特願２００６−１８７２８３（Ｐ２００６−１８７２８３）