マルチメディアデータ管理システム

トップ :: G 物理学 :: G06 計算;計数

【発明の名称】	マルチメディアデータ管理システム
【発明者】	【氏名】大盛善啓【氏名】山本晃司【氏名】堀修
【要約】	【課題】従来のマルチメディアデータベースでは、検索見出し、クエリ、スタイルの再利用が難しかったため、テキストだけの検索結果と比較してはるかに豊富な表現を持つマルチメディアデータの検索結果をユーザにとって見たい見方で見せることが困難であった。【解決手段】ユーザが検索を指示する画面構成要素である検索見出しと、検索式であるクエリと、検索結果をユーザに分かりやすく提示するために検索結果を変換する規則であるスタイルと、を対応付けて管理することにより、検索見出し、クエリ、スタイルを再利用できるようにすることにより、豊富な表現を持つマルチメディアデータの検索結果をユーザの好みの見方で見ることができるようになる。

【特許請求の範囲】
【請求項１】属性の付加された検索見出しをユーザに提示し、検索見出しを選択させる検索見出し選択手段と、この検索見出し選択手段で選択された検索見出しに付加された属性から問合せ式を生成する問合せ式生成手段と、静止画、動画、音声、テキストのうち少なくともひとつのメディアのデータと、そのデータの属性とを記憶してなり、前記問合せ式生成手段によって生成された問合せ式をもとに属性を検索するデータベース手段と、このデータベース手段による検索結果に属性を付加する検索結果変換手段と、この検索結果変換手段によって変換された検索結果をユーザに提示する検索結果提示手段とを具備することを特徴とするマルチメディアデータ管理システム。
【請求項２】前記検索見出しは、ボタン、チェックボックス、ラジオボタン、フリーキーワード入力ボックス、などのＧＵＩ要素、あるいは、特定の検索を指示する身振り手振りなどを検出する装置、の少なくともひとつを含むものであることを特徴とする請求項１記載のマルチメディアデータ管理システム。
【請求項３】検索見出しと検索結果変換規則を対応付けて記憶する検索見出し対応記憶手段を有し、前記検索結果変換手段は、前記検索見出し対応記憶手段に対応付けられた検索結果変換規則を用いて検索結果を変換することを特徴とする請求項１記載のマルチメディアデータ管理システム。
【請求項４】前記検索結果変換手段は、前記検索見出し対応記憶手段でクエリと少なくともひとつの検索結果変換規則が対応付けられている場合に、ユーザの状況に応じて最適なスタイルを選択できることを特徴とする請求項３記載のマルチメディアデータ管理システム。
【請求項５】前記検索見出しと検索結果とを対応させて記憶させておき、前記検索見出し選択手段によって記憶された検索見出しと同じ検索見出しが指定され、かつデータベースの更新がないときに、対応して記憶された検索結果を出力するキャッシュ制御手段を具備することを特徴とする請求項１記載のマルチメディアデータ管理システム。
【請求項６】前記問合せ式生成手段は、前記検索見出し選択手段で複数の見出しを選択した場合に、選択されたクエリを結合したものをクエリとして合成するクエリ合成手段を持つことを特徴とする請求項１記載のマルチメディアデータ管理システム。
【請求項７】前記検索見出し選択手段は、データベースの内容に応じて動的に属性を付加することを特徴とする請求項１記載のマルチメディアデータ管理システム。
【請求項８】データベースに記憶された内容から検索結果を代表する代表画像を生成する代表画像生成手段を有することを特徴とする請求項１記載のマルチメディアデータ管理システム。
【請求項９】前記代表画像生成手段は、検索する文字列を、文字認識、テロップ認識、音声認識などで画像を検索して、代表画像を生成することを特徴とする請求項８記載のマルチメディアデータ管理システム。
【請求項１０】前記代表画像生成手段は、別の動画の中に、検索対象の代表画像が含まれるときに、これを代表画像とすることを特徴とする請求項８記載のマルチメディアデータ管理システム。
【請求項１１】前記代表画像生成手段は、クエリに含まれる文字列を、画像認識、テロップ認識、音声認識して、該当する動画の一部を代表画像として生成することを特徴とする請求項８記載のマルチメディアデータ管理システム。

【発明の詳細な説明】【０００１】
【発明の属する技術分野】本願発明は、静止画、動画、音声などを検索するマルチメディアデータ管理システムに係り、ユーザの欲する絞込み検索や類似検索を柔軟に可能にするマルチメディアデータ管理システムに関する。
【０００２】
【従来の技術】マルチメディアデータを扱うデータベースとして、ＲＤＢ（リレーショナルデータベース）をマルチメディアデータも扱えるように拡張したもの（「ＲＤＢ拡張データベース」と呼ぶ）、検索問い合わせ画面や検索結果表示画面をＧＵＩ上でデザインできるもの（「ＧＵＩデザインデータベース」と呼ぶ）が挙げられる。
【０００３】ＲＤＢ拡張データベースの例としてOracle社interMediaを挙げることができる。このデータベースでは、静止画、動画、音声などのマルチメディアデータをテキストデータと同様に扱うことができる。しかし、ユーザがデータベースへの問い合わせを要求するＧＵＩや、検索結果として出力するマルチメディアデータをさまざまな見方でユーザに見せるかは、クライアントプログラムを作りこむ必要があり、カスタマイズした見せ方に柔軟に対応するには非常に高いコストがかかった。
【０００４】また、ＧＵＩデザインデータベースの例として、Lotus 社Notes を挙げることができる。ユーザの検索要求や検索結果を表示するウインドウにＧＵＩ要素を配置して、それらの動作をスクリプト言語でプログラムすることにより、マルチメディアデータを含む検索結果をさまざまな見方で見せることができる。しかし、絞込み検索や類似検索をするには、スクリプト言語で作り込む必要があった。Microsoft社のSQL-Server とAccessの組み合わせも同様の問題点を持つ。
【０００５】
【発明が解決しようとする課題】以上のように、従来のマルチメディアデータ管理システムでは、検索見出しに対する動作がスクリプトやプログラムに埋め込まれており、テキストだけの検索結果と比較してはるかに豊富な表現を持つマルチメディアデータに対して、絞込検索や類似検索を効率良く実行することが困難であった。
【０００６】
【課題を解決するための手段】前述の課題を解決するために、本願発明は、属性の付加された検索見出しをユーザが選択する検索見出し選択部と、選択された属性から問い合わせ式を動的に生成する問い合わせ式生成部と、さらに検索結果に属性を付加する検索結果変換部とを有することにより、絞込み検索や類似検索を効率良く実行できるようにしたものである。
【０００７】また、本願発明は、検索結果を代表する代表画像を自動的に生成するため、既にデータベースに記憶されているマルチメディアデータのみを組み合わせた検索結果と比較して、ユーザはひと目で検索結果を把握できるようになる。
【０００８】
【発明の実施の形態】以下、図面を参照して本願発明の実施形態を説明する。
【０００９】（第１の実施形態）図１は本願発明の第１実施形態に係るマルチメディアデータ管理システムの概略構成を示す図であり、図２はこの第１実施形態のマルチメディアデータ管理システムの表示画面の一例を示す図である。
【００１０】図１に示すように、この第１実施形態のマルチメディアデータ管理システムは、属性（以下、「検索見出し属性」と呼ぶ）の付けられたボタンのようなＧＵＩ部品（以下、「検索見出し」と呼ぶ）を用いてユーザが検索を指示する検索見出し選択部１と、検索見出し選択部からの要求によって選択された属性から問い合わせ式（以下、「クエリ」と呼ぶ）を動的に生成してデータベースへ検索要求するための問合せ式生成部２と、静止画・動画・音声・テキストなどのマルチメディアデータおよびそれらのデータの属性（以下、「データ属性」と呼ぶ）を記憶し、問合せ式生成部２からのクエリを入力して属性を検索して結果（以下、「検索結果」と呼ぶ）を出力するデータベース部３とデータベース部３からの検索結果を入力して検索見出し属性を付加する検索結果変換部４と、検索結果変換部で変換された検索結果（以下、「変換済み検索結果」と呼ぶ）を入力して例えばＷｅｂブラウザなどに表示してユーザに検索結果を提示する検索結果提示部５と、から構成される。以下、図２との対応を含めて各部を説明する。
【００１１】検索見出し選択部１は、ユーザの検索指示を受け付ける。例えば、パソコンの画面上に描かれたボタンなどのＧＵＩ部品や、リモコンのボタンや、ユーザの体に装着されたセンサで構成される。図２の例では、画面２１にあるツリー状に配置されたボタンや、画面２２にある検索結果として表示されたアイコンで構成される。
【００１２】問合せ式生成部２は、検索見出し選択部で受け取った検索指示に対応するクエリを、選択された検索見出しに付加された検索見出し属性から動的に生成してデータベース部３に出力する。例えば、図２の画面を構成するプログラムの関数として構成される。
【００１３】データベース部３は、動画・静止画・音声・テキストなどのマルチメディアデータおよびこれらのデータ属性を記憶する。さらに、問合せ式生成部２から入力したクエリを入力して記憶したデータ属性を検索して、検索結果を検索結果変換部４に出力する。例えば、ＸＭＬデータベースとして構成される。
【００１４】検索結果変換部４は、検索結果を入力してこれに検索見出し属性を付加して検索結果提示部５に出力する。例えば、図２の画面を構成するプログラムの関数として構成される。
【００１５】検索結果胎児部５は、属性の付加された検索結果を画面に表示して検索結果をユーザに提示する。例えば、図２の画面を構成するＷｅｂブラウザとして構成される。
【００１６】以下、図２において画面２１に表示された「ＴＶ１」をユーザが選択して、これに対応するデータを検索して画面２２に結果を表示し、処理を例にとり説明する。
【００１７】図３は、検索見出し選択部１で、検索見出しと検索見出し属性が対応付けられて記憶される様子を示す図である。説明のために左側に行番号を付してある。この対応付けはＸＭＬ（Extensible Markup Language）（http://www.w3.org/参照）で記述され、検索見出し選択部１に記憶される。
【００１８】画面２１のツリー状のボタンは検索見出しであり、＜ｎｏｄｅｓ＞タグと＜ｎｏｄｅ＞タグとで定義されている。＜ｎｏｄｅｓ＞タグおよび＜ｎｏｄｅ＞タグは、title属性を持ち、ここに画面２１のボタンに表示する文字列を格納する。＜ｎｏｄｅ＞タグは属性を定義する＜ｑｕｅｒｙ＞タグを要素として持つことができ、検索見出しと検索見出し属性とを対応付ける。
【００１９】＜ｎｏｄｅｓ＞はたとえば画面２１の「テレビ」ボタンのようにその下にさらに要素を持つもの（以下、「枝ツリー」と呼ぶ）を定義する。例えば、画面２１の「ｒｏｏｔ」ノードは行０１で定義されており、行４５の間にｒｏｏｔノードに含まれる枝ツリーが記述されている。同様に画面２１の「テレビ」は行０５から行４４に定義されており、「チャンネル」は行１９から３５で、「ジャンル」は行３６から行４３で定義されている。これらのノードはすべて枝ノードである。
【００２０】＜ｎｏｄｅ＞タグはその下に要素を持たないボタンを定義する。例えば、「すべて」は行１６から１８で定義されており葉ノードである。同様に「ＴＶ１」は行２０から行２２で、「ＴＶ４」は行２３から行２５で、といったように定義されている。
【００２１】＜ｑｕｅｒｙ＞タグは＜ｎｏｄｅ＞タグに対応する属性を定義する。この例では、属性は＜ｑｕｅｒｙ＞タグで定義されており、＜ｎｏｄｅ＞タグに対応するクエリの格納されたファイル名を格納する。例えば、画面２１の「ＴＶ１」ボタンは、図３の行２０から行２２で定義されており、行２１によってクエリと対応付けられる。
【００２２】検索見出し選択部１は、検索見出し対応記憶部６に記憶された＜ｎｏｄｅｓ＞タグおよび＜ｎｏｄｅ＞タグによるツリー構造を図２に示すようにツリー状のボタンとして配置する。ユーザが「ＴＶ１」をクリックすると、検索見出し選択部は、問合せ式生成部２に「ＴＶ１」という文字列と属性である「qt_tv1.xml」というファイル名を渡す。
【００２３】問合せ式生成部２は、属性からクエリを生成する。この例では、「qt_tv1.xml」というファイルを読み込んでそれをクエリとし、データベース３にデータ検索要求を出す。
【００２４】データベース３はマルチメディアデータとそのデータ属性を記憶する。さらに、ＸＭＬで記述されたクエリを問合せ式生成部２から入力し、そのクエリにしたがってマルチメディアデータの属性を検索してＸＭＬで記述された検索結果を検索結果変換部４に出力する。
【００２５】図４は、データベース３に記憶されたデータ属性の例を示す図である。説明のために左側に行番号を付してある。データベース３はデータ属性をツリー状に記憶することができ、図４はこのツリー構造をＸＭＬで記述したものである。＜ｒｏｏｔ＞ノードは最上位の枝であり、その下にすべてのデータ属性が記憶される。図４の例では、＜ｒｏｏｔ＞ノードの下に５個の＜ＭｅｄｉａＩｎｆｏｒｍａｔｉｏｎ＞ノードが記憶されている。すなわち、＜ＭｅｄｉａＩｎｆｏｒｍａｔｉｏｎ＞ノードはひとつのテレビ動画像の属性を表しており、動画像ファイルの位置（＜ＭｅｉｄａＩｎｓｔａｎｃｅ＞）、タイトル（＜Ｔｉｔｌｅ＞）、代表画像（＜ＴｉｔｌｅＩｍａｇｅ＞）、放送局名（＜Ｓｔａｔｉｏｎ＞）、録画日（＜Ｄａｔｅ＞）が記憶される。例えば、行０２から行０８はテニスの決勝戦をＴＶから録画したデータを表しており、動画像ファイルが「movie1.asf」、タイトルが「テニス決勝」、代表画像が「image1.jpg」、放送局名が「ＴＶ３」、録画日が「２０００年１０月１５日」である。
【００２６】図５は、クエリの一例を表す図であり、ここでは「qt_tv1.xml」として説明する。説明のために左側に行番号を付してある。この対応付けはＸＭＬで記述されている。このクエリは＜ｋｆ：ｑｕｅｒｙ＞タグと＜ｋｆ：ｓｅｌｅｃｔ＞タグと＜ｋｆ：ｆｒｏｍ＞タグで構成される。＜ｋｆ：ｑｕｅｒｙ＞タグと＜／ｋｆ：ｑｕｅｒｙ＞は問い合わせ式の開始と終了を表し、＜ｋｆ：ｓｅｌｅｃｔ＞と＜／ｋｆ：ｓｅｌｅｃｔ＞は検索結果の出力形式の開始と終了を表し、＜ｋｆ：ｆｒｏｍ＞と＜／ｋｆ：ｆｒｏｍ＞はデータベース内のどこを検索するかを表す。
【００２７】図５の例では、行０２から行２１の＜ｋｆ：ｑｕｅｒｙ＞タグによって問い合わせ式を定義している。行０３から行１１の＜ｋｆ：ｓｅｌｅｃｔ＞タグは、データベースで検索されるたびに行０４から行１０が繰り返し出力することを定義している。行１２から行２０の＜ｋｆ：ｆｒｏｍ＞タグは「path」属性で指定されたデータベース内での位置に、行１３から行１９と同じ構造のデータがあるかどうかを検索して、ある場合は「$」で始まる変数に値をバインドする。
【００２８】また、図５の例では、行１７で＜Ｓｔａｔｉｏｎ＞タグのみが固定値で、その他の＜Ｔｉｔｌｅ＞、＜ＴｉｔｌｅＩｍａｇｅ＞、＜Ｓｔａｔｉｏｎ＞タグは変数になっている。この例では＜Ｓｔａｔｉｏｎ＞タグの値が「ＴＶ１」だから、図４の行０９から行１５と、行２３から行２９にマッチする。
【００２９】図４の行０９から行１５にマッチした場合は、＄ＭｅｄｉａＩｎｓｔａｎｃｅに「movie2.asf」、＄Ｔｉｔｌｅに「月曜ドラマ」、＄ＴｉｔｉｌｅＩｍａｇｅに「image2.jpg」がバインドされる。図４の行２３から行２９にマッチした場合も同様に動作する。すると、図５の行０３から行１１で定義された書式で検索結果が出力される。このようにして出力された検索結果は図５の行０１と行２２に記述されている＜ｒｅｓｕｌｔｓ＞タグでくくられて出力される。図６は、このようにして検索された、検索結果の一例を表す図である。
【００３０】検索結果変換部４は、図６に示す検索結果を入力すると、図７に示す変換規則を用いて属性を付加する。
【００３１】図７は、変換規則の一例を表す図である。この変換規則はＸＭＬデータをＸＭＬデータに変換する規則であるＸＳＬＴ（Extensible Stylesheet Language Transformations）（http://www.w3.org/TR/xslt.html参照）で記述されている。この例では、図６の検索結果を代表画像で表示表示するよう変換するときに、この代表画像に図７の行２６で検索結果に検索見出し属性を付加している。検索見出し属性としては、検索結果として得られたタイトル、代表画像名、放送局名、動画ファイル名、記録日を付加する。この変換のプロセスはＸＳＬＴの規格にしたがったものであれば何でもよく、一般的なものであるのでここでは省略する。ここで付加した検索見出し属性は、絞込み検索やる類似検索で使用される。図８は、このようにして変換された、変換済み検索結果の一例であり、ＸＨＴＭＬで記述されている。
【００３２】検索結果提示部５は、図８に示された変換済み検索結果を入力して、図２の画面２２に表示して、検索結果をユーザに提示する。画面２２は例えば、Ｗｅｂブラウザで構成される。図１１は、以上の動作をまとめたフローチャートである。以下にこのフローチャートに従って処理の流れを説明する。
【００３３】まず、検索見出し選択部１で、ユーザが検索見出しを選択すると（ステップＳ１）、問合せ式生成部２は検索見出しに付加された検索見出し属性からクエリを生成してデータベース３に出力する（ステップＳ２）。データベース３はマルチメディアデータの属性を検索して検索結果を検索結果変換部４に出力する（ステップＳ３）。検索結果変換部４は検索結果に検索見出し属性を付加して変換し、検索結果提示部に出力する（ステップＳ４）。検索結果提示部５は変換済み検索結果を入力し、Ｗｅｂブラウザに表示して検索結果をユーザに提示する（ステップＳ５）。
【００３４】このように、検索見出しや検索結果に検索見出し属性を付加しておくことにより、検索見出しを選択したときの動作を柔軟に設定できるようになる。
【００３５】（第１実施形態の変形例）以下に、この第１実施形態のマルチメディアデータ管理システムに施すことのできる変形例を示す。
【００３６】第１実施形態の検索見出し選択部１では、画面上に配置されたツリー上のボタンを選択したが、検索見出しはこれに限らずユーザが検索の指示を与えられるものであれば何でも良い。たとえば、チェックボックス、ラジオボタン、テキストボックスなどのＧＵＩ部品であっても良いし、あるいは腕に取り付けられた加速度センサなどを用いて身振りや手振りで検索の指示を与えても良い。テキストボックスの場合は、フリーキーワードを入力しても良い。第１実施形態の検索結果変換部４は、検索見出し属性を付加するだけであったが、検索結果の見方（以下、「スタイル」という）を選択しても良い。図９は、検索結果提示部５でユーザがスタイルを選択する画面の一例を表す図であり、図２の「スタイル」メニューを選択することにより起動する。
【００３７】９１は表示形態を変更する画面であり、この例ではリスト形式、サムネイル形式、カレンダー形式、規定の形式を選択できる。９１に表示するリストは、図３に示す検索見出し対応記憶部に記憶した検索見出しと対応するスタイルのうち、「type」属性に記述された表示形態を重複しないように表示する。選択は形式名をクリックすると選択された形式がハイライトされることにより行う。
【００３８】９２は表示外観を変更する画面であり、この例ではクラシック調、エレガント調、ファンシー調、カレンダー調、規定を選択することができ、選択はｂ１と同様の操作で行う。設定が完了すると、「ＯＫ」ボタンを押して選択した「type」属性と「skin」属性を持つスタイルを選択する。図９の例では、fancy.xslがスタイルとして選択されている。図１０は、図２と同じ検索結果をカレンダー表示した画面の一例を示す図である。
【００３９】このスタイル選択はユーザが行ったが、スタイルの選択方法はこれに限らず、ひとつのスタイルを選択できる方法であれば何でも良い。また、ユーザの状況に応じてスタイルを選択しても良い。例えば、ユーザが電話を使って検索の指示を与えた場合、ユーザは画像を見ることはできないから、合成音声を読み上げるスタイルを自動的に選択しても良い。
【００４０】第１実施形態では、検索の指示があると毎回検索を行ったが、過去に実行したクエリと同じクエリを実行する場合で、かつ、そのときからデータの更新がない場合は、過去にクエリを実行したときの検索結果を記憶しておいて、それを検索結果として出力しても良い。
【００４１】図１２はデータ一時記憶を実現するための概略構成を示す図であり、検索見出し選択部１と問合せ式生成部２の間、および、データベース部３と検索結果変換部４の間に、キャッシュ６を追加した構成になっている。
【００４２】キャッシュ６は問合せ式生成部から検索見出しを入力して、過去に同じ検索見出しを入力してかつデータベースが更新されていない場合は、過去の検索結果を検索結果変換部４に出力する。そうでない場合は、検索見出しをデータベース３に出力して検索結果を問合せ式生成部４に出力する。検索見出しと検索結果は１対１のテーブル形式で記憶されており、新規に検索を行った場合はテーブルに検索見出しと検索結果の対を追加する。データベース３に記憶されるデータが更新された場合はこのテーブルをクリアする。これにより、高速な検索が可能になる。特に本発明では、検索見出しは固定である場合が多いので、検索結果の一時記憶を使う機会が多く有効である。また、検索見出しに使ったタイトル文字列をテーブルの項目として用いることができるため、テーブルのサイズを小さくすることができる。
【００４３】第１実施形態の検索見出し選択部１は、一度にひとつの検索見出しを選択したが、一度に複数の検索見出しを選択しても良い。例えば、クエリと対応付けられたボタンと、フリーキーワードを入力するテキストボックスとを組み合わせても良い。この場合、クエリの中に特殊な変数、例えば$free_keywordを含ませておき、問合せ式生成部２で図２の画面２３に入力したテキストと置き換えることにより、フリーキーワード検索をしても良い。
【００４４】第１実施形態の検索見出し選択部で複数の検索見出しを使う場合、選択の組み合わせをカウントしておいて頻繁に使用する組み合わせを新規の検索見出しとして自動的に登録しても良い。ボタンとフリーキーワードの組み合わせの場合、同じフリーキーワードを入力した回数をカウントしておいて、例えば１０回を超えると自動的に新たなボタンとして登録しても良い。この登録は、検索見出し対応記憶部に検索見出しとクエリを対応付けて記憶することにより行う。この使用頻度のカウントは、ユーザごとに行っても良い。ユーザの識別は、例えばプログラム起動時にユーザ名を入力することにより行う。これにより、ユーザごとに検索見出しをカスタマイズすることができる。
【００４５】第１実施形態の検索見出しは固定であったが、データベースの内容に応じて動的に生成しても良い。例えば、図４のデータを例に取ると、あらかじめ全国の放送局用の検索見出しを用意すると、ユーザが見ることのできない放送局用の検索見出しを大量に表示しなければならなくなってしまう。そこで、データベース３に記憶されている放送局名のみを検索見出しとして使用しても良い。この動的な検索見出しの生成は、例えば検索見出し選択部１がデータベース３に対して記憶している放送局名のみを返すクエリを発行して、その結果を検索見出し対応部６に登録すればよい。このとき、クエリも動的に生成する。これにより、データベースに記憶されていない余分な検索見出しを表示しなくて済むためユーザの混乱を低減させることができる。
【００４６】（第２実施形態）第１実施形態の検索見出し選択部１は検索見出しを選択したが、検索結果を選択しても良い。例えば、図２の画面２２に検索結果として表示されたテレビ番組の代表画像アイコン２４を選択した場合、問い合わせ式生成部はこれに付加された検索見出し属性から動的にクエリを生成する。
【００４７】ユーザがアイコン２４をクリックすると、検索見出し選択部１はアイコン２４を選択してこれに付加された検索見出し属性を問合せ式生成部２に出力する。この例の場合、２４に付加された検索見出し属性は図８の行２６のように記述されている。検索見出し属性はattribute 属性で定義され、内容はＸＭＬで記述された「＜ａｔｔｒｉｂｕｔｅ＞＜Ｔｉｔｌｅ＞１１時のニュース＜／Ｔｉｔｌｅ＞＜ＴｉｔｌｅＩｍａｇｅ＞image4.jpg＜／ＴｉｔｌｅＩｍａｇｅ＞＜Ｓｔａｔｉｏｎ＞ＴＶ１＜／Ｓｔａｔｉｏｎ＞＜ＭｅｄｉａＩｎｓｔａｎｃｅ＞movie4.asf＜／ＭｅｄｉａＩｎｓｔａｎｃｅ＞＜Ｄａｔｅ＞2000-10-26＜／Ｄａｔｅ＞＜／ａｔｔｒｉｂｕｔｅ＞」という文字列である。検索見出し属性には、このほかにも、アイコンに表示された人物の名前、アイコンで代表されるＴＶ番組の登場人物名、など、検索見出しに関する情報であればなんでもよい。アイコンの人物名や当人物名が選択された場合は同一人物が登場するＴＶ番組を類似検索する。
【００４８】問合せ式生成部２は、＜ＴｉｔｌｅＩｍａｇｅ＞タグを検出して、どのような検索をするかをユーザに問い合わせる。図１３は検索方法の問い合わせ画面の一例を示す図である。検索見出し属性から検索方法を特定して列挙し、その検索方法をリスト表示している。検索方法の特定は、＜ＴｉｔｌｅＩｍａｇｅ＞ならば画像の類似検索、といったように、検索見出し属性とを一対一でテーブルとして持っており、これを用いる。図１３の１３１は表示形態を変更する画面であり、「同一日付」が選択された場合、このデータと同一の日付に記録されたＴＶ画像を検索するクエリを生成する。
【００４９】図１４はこのようにして生成されたクエリの一例を示す。図６に示したこの検索結果を生成したクエリのうち、＜Ｄａｔｅ＞の内容を具体的な日時に置き換えて、＜Ｓｔａｔｉｏｎ＞の内容を変数に置き換えることにより生成している。以下の処理は第１実施形態と同様に行って検索結果を表示するため、説明を省略する。
【００５０】このように、検索見出しや検索結果に検索見出し属性を付加しておくことにより、絞込検索や類似検索を柔軟に実行できるようになり、ユーザは欲しい情報をすぐに検索できるようになる。
【００５１】（第３実施形態）図１５はＸＭＬデータベースにより管理されている映像データより代表画面を自動的に生成する情報装置及び方法について、説明する図である。また、処理の流れを説明するフローチャートを図１６に示す。
【００５２】ステップＳ５１１ではアプリケーション５００１より、クエリをＸＭＬデータベース５００２に対して発行する。ＸＭＬデータベース５００２は登録されている映像のメタデータ５００３より、該当する映像を検索し、該当する映像データの在所と代表フレーム番号を含むＸＭＬデータを出力する。アプリケーション５００１はＨＴＭＬの表示機能を持つ、例えば、ＷｅｂブラウザやＷｅｂブラウザの機能を含んだアプリケーションである。また、映像データの在所はローカルなディスクやネットワーク上に置かれているファイルのファイル名であり、ＵＲＬなどを用いて指定する。また、フレーム番号とは映像中の特定の１フレームを決定することができるものの総称で、タイムスタンプも含まれる。
【００５３】ステップＳ５１２では受け取ったＸＭＬデータを５００３においてＸＳＬＴにより、ＨＴＭＬに変換し、アプリケーション５００１に転送する。
【００５４】ステップＳ５１３ではアプリケーション５００１に転送されたＨＴＭＬデータに記述されている映像データの在所と代表フレームの番号を代表画面生成プログラム５００５に渡す。
【００５５】ステップＳ５１４では代表画面生成プログラム５００５が映像データの在所に従い、記憶装置５００６に格納されている映像データを読み出し、代表フレーム番号によって示される位置のフレームより、代表画像を作成する。作成された代表画像はアプリケーション５００１に転送される。このとき、画像データ自体を転送してもよいし、画像データをファイルに保存し、ファイルを参照するために必要なファイル名やＵＲＬを転送してもよい。
【００５６】ステップＳ５１１において、複数の映像がクエリに該当した場合はステップＳ５１３とＳ５１４を該当した映像の数だけ繰り返し、それぞれの映像に対応する代表画像を生成する。
【００５７】ステップＳ５１５ではアプリケーション５００１上で、ステップＳ５１２で転送されたＨＴＭＬとステップＳ５１４で生成された代表フレームの画像を合わせて表示する。
【００５８】ステップＳ５１１において、ＸＭＬデータベースより出力される代表フレーム番号は、予め、メタデータとして映像ごとに対応する代表フレームを登録しておく方法や先頭から何フレーム目というように、固定フレーム番号を用いる方法がある。
【００５９】図１７は代表フレーム番号を記述するためのメタデータの項目例である。映像データのＵＲＬ５２０１には対応する映像データの在所がＵＲＬを用いて記述されている。代表フレーム番号５２０２は映像データに対応する代表フレームである。また、キーワード５２０３は映像データに対応するキーワードである。
【００６０】クエリの内容や登録されている映像のジャンルによってはメタデータに記述された代表フレーム番号を用いなくても、効果的な代表画面を選択することが可能である。
【００６１】例えば、メタデータとして、テロップ認識や音声認識の結果や認識結果より抽出されたキーワードが登録されており、クエリとして、キーワードを入力して所望の映像を検索する場合、該当するテロップや音声が存在するフレームを代表画像として選択すれば、検索結果を反映した代表画面を得ることができる。
【００６２】図１８はドラマなど定期的に放送される番組から、毎回異なる代表フレーム画像を選択する方法について説明する図である。
【００６３】ドラマなど定期的に放送される番組では冒頭に５３０１のようなオープニングのタイトルが表示されることが一般的である。この部分から固定されたフレーム番号に従って、代表画像を選択した場合、毎回同じ画像が得られる。これは、同一の番組について、各話を一覧表示すると、同一の代表画面が並ぶことになる。そこで、５３０２のように本編から代表フレームを選択することによって、各話に対応した個別の代表画像を表示することができる。
【００６４】本編から代表フレームを選択する方法は図１７のメタデータの項目例に加えて、あるいは、代表フレーム番号５２０２の代わりに、番組の構造情報が記述されている場合はその構造情報を用いればよい。具体的には構造情報にオープニングの区間と本編の区間が明示されている場合、本編から代表画面を選択する。また、明示されていなくてもショットごとに区間分割されていれば、先頭から各ショットを比較して、特徴量の大きく異なるショットを本編の開始ショットとすればよい。また、区間ごとに分割されていない場合でも、先頭から各フレームを比較し、特徴量の大きく異なるフレーム以降を本編と判断できる。
【００６５】図１９はドラマなど定期的に放送される番組から、毎回異なる代表フレーム画像を選択する別の方法について説明する図である。
【００６６】ドラマなど定期的に放送される番組では、５４０１のような次回予告が番組の最後に放送されることが多い。そこで、前回の放送の次回予告から、代表画面を選択すれば毎回、異なる代表画面が選択できる。つまり、第ｎ話の放送の代表画面に第ｎ－１話の放送に含まれる次回予告を用いる。この場合、番組開始前に代表画面を作成することができるため、番組の予約録画時に予約の段階で、代表画面を作成できるという利点もある。
【００６７】ただし、第１話の放送には前回の放送が存在しないため、次回予告より代表画面を作成することができない。そこで、第１話に対しては５４０２のようなオープニングのタイトルや本編より代表フレームを選択する。特に第1話に対して、オープニングのタイトルを代表画面に選択すれば、同一番組の各話を一覧表示する際に、番組のタイトルと各話の次回予告が表示されるため、内容を把握するのに効果的である。
【００６８】次回予告の区間を判断するにはメタデータとして、次回予告の区間が明示されていれば、それを用いればよい。また、テロップ認識技術を用いることによって、「次回予告」など、次回予告の部分に挿入されるテロップを判別する方法もある。
【００６９】図１５で説明されている代表画面を自動的に生成する情報装置及び方法は一つの映像データに対して、単一の代表画面を生成しているが、複数の代表画面を生成することも可能である。この場合、メタデータ５００３に一つの映像データに対して、複数の代表フレームが登録されており、ＸＭＬデータベースに対するクエリの結果として、複数の代表フレーム番号を含むＸＭＬデータが出力される。
【００７０】また、代表画面生成プログラム５００５は映像データの在所と合わせて、複数の代表フレーム番号を受け取る。このとき生成される代表画像のフォーマットはアニメーションＧＩＦのように単一の画像データ内に複数の画像を含む形式であってもよいし、複数の画像データを生成し、個々に画像を保持してもよい。
【００７１】アニメーションＧＩＦのように単一の画像データ内に複数の画像を含む形式の場合、アプリケーションがこの画像フォーマットに対応していれば、自動的に代表画面を順次切り換えて表示することができる。また、複数の画像データを生成する場合は、生成された個々の画像データを順次読み込み、切り換えて表示すればよい。
【００７２】図２０は複数の代表フレーム画像を自動生成するための、メタデータの項目例である。５５０１のように複数の代表フレームが記述されており、これらの代表フレームを用いて代表画像が生成される。
【００７３】また、図２１は複数の代表フレーム番号の個々に対応したキーワードを記述したメタデータの項目例である。５６０１のように代表フレーム番号と対応するキーワードの対が複数記述されている。
【００７４】図１５で説明されている代表画面を自動的に生成する情報装置及び方法において、図２１のようなメタデータを用いることによって、キーワードに対応した効果的な代表画面を表示することができる。ＸＭＬデータベース５００２に発行されたクエリに対して、該当するキーワードに対応する代表フレーム番号を含むＸＭＬデータが出力される。
【００７５】この代表画面選択方法は一つの番組を様々な視点から分類するときに効果的である。例えば、ドラマを俳優ごとに分類する場合、俳優の名前をキーワードとし、その俳優の登場するフレームを代表フレーム番号として、メタデータに記述しておく。図１５で説明されている情報装置及び方法において、俳優の名前がクエリとして与えられると、その俳優が登場するフレームの画像が代表画面として得られる。また、同じドラマに対して、異なる俳優の名前がクエリとして与えられると、同じドラマ内で異なるフレームが代表画面として得られる。
【発明の効果】本願発明によれば、ユーザが検索を指示する画面構成要素である検索見出しと、検索式であるクエリと、検索結果をユーザに分かりやすく提示するために検索結果を変換する規則であるスタイルと、を対応付けて管理することにより、検索見出し、クエリ、スタイルを再利用できるようにすることにより、豊富な表現を持つマルチメディアデータの検索結果をユーザの好みの見方で見ることができるようになる。

【出願人】	【識別番号】０００００３０７８【氏名又は名称】株式会社東芝
【出願日】	平成１２年１０月２７日（２０００．１０．２７）
【代理人】	【識別番号】１０００８３１６１【弁理士】【氏名又は名称】外川英明
【公開番号】	特開２００２－１３２７８２（Ｐ２００２－１３２７８２Ａ）
【公開日】	平成１４年５月１０日（２００２．５．１０）
【出願番号】	特願２０００－３２８７７６（Ｐ２０００－３２８７７６）