データ管理システム、データ管理方法、及び、記録媒体

トップ :: G 物理学 :: G06 計算;計数

【発明の名称】	データ管理システム、データ管理方法、及び、記録媒体
【発明者】	【氏名】相馬英智
【要約】	【課題】管理されるデータに検索のための情報を、何人も簡単且つ効率よく付与し得るシステム等を提供すること。【解決手段】複数のデータを、該データを検索するために用いられるメタデータを個別に付与して管理するにあたり、予め定められたメタデータの候補が記された入力シート７４を用意しておき、ユーザにメタデータの候補の中からメタデータを選択させ、選択されたメタデータをデータに関連付けて保存する。検索時には、メタデータを用いてデータ検索を行う。

【特許請求の範囲】
【請求項１】データ検索のためのメタデータを、管理するデータに個別に付与してデータ管理をするデータ管理システムであって、前記メタデータを付与する前記データの選択を受け付ける手段と、予め定められたメタデータの候補を提供する手段と、提供した前記メタデータの候補の中から、選択された前記データに付与するメタデータの選択を受け付ける手段と、選択された前記データと、選択された前記メタデータと、を関連付けて保存する手段と、を備えたことを特徴とするデータ管理システム。
【請求項２】前記データを検索するための検索条件の入力を受け付ける手段と、入力された前記検索条件と前記メタデータとに基づいて、前記検索条件に関連する前記データを検索する手段と、を備えたことを特徴とする請求項１に記載のデータ管理システム。
【請求項３】前記データの選択を受け付ける手段は、前記データの一部のデータの選択を受け付け、また、前記保存手段は、該一部のデータと、前記メタデータと、を関連付けて保存することを特徴とする請求項１に記載のデータ管理システム。
【請求項４】前記データが、動画像のデータであり、前記データの一部が、前記動画像を構成するフレーム単位の画像データデータであることを特徴とする請求項３に記載のデータ管理システム。
【請求項５】前記メタデータの候補は、実社会におけるイベント毎に定められ、当該イベント単位で提供されることを特徴とする請求項１に記載のデータ管理システム。
【請求項６】前記イベントの選択を受け付ける手段を備え、選択された前記イベントに関する前記メタデータの候補を提供することを特徴とする請求項５に記載のデータ管理システム。
【請求項７】前記データが画像のデータであり、選択された前記データに係る画像と、前記メタデータの候補と、を合わせて表示する手段を備えたことを特徴とする請求項１に記載のデータ管理システム。
【請求項８】前記データが、画像データ、又は、音データ、の少なくともいずれか一つ、若しくは、これらの組合せ、から構成されるデータであることを特徴とする請求項１に記載のデータ管理システム。
【請求項９】データ検索のためのメタデータを、管理するデータに個別に付与してデータ管理をするデータ管理方法であって、前記メタデータを付与する前記データの選択を受け付ける工程と、予め定められたメタデータの候補を提供する工程と、提供した前記メタデータの候補の中から、選択された前記データに付与するメタデータの選択を受け付ける工程と、選択された前記データと、選択された前記メタデータと、を関連付けて保存する工程と、を含むことを特徴とするデータ管理方法。
【請求項１０】データ検索のためのメタデータを、管理するデータに個別に付与してデータ管理をするために、コンピュータを、前記メタデータを付与する前記データの選択を受け付ける手段、予め定められたメタデータの候補を提供する手段、提供した前記メタデータの候補の中から、選択された前記データに付与するメタデータの選択を受け付ける手段、選択された前記データと、選択された前記メタデータと、を関連付けて保存する手段、として機能させるプログラムを記録した記録媒体。

【発明の詳細な説明】【０００１】
【産業上の利用分野】本発明は、データ検索のためのデータ管理技術に関する。
【０００２】
【従来の技術】小型の計算機システムの能力向上や低価格化によって、家庭電化製品の中にはその制御や情報処理のために、計算機を内蔵するものが一般的となっている。また、デジタルデータで供給されるビデオや音楽などをはじめ、映像と音声などの高品位のコンテンツが供給されるとともに、それらが混在したマルチメディアコンテンツが流布されるようになってきた。
【０００３】さらに、ここ数年の地球規模のコンピュータネットワークであるインターネットの普及や、移動体通信機器の低価格化によって、これらのコンテンツが簡単に入手でき、また楽しめる時代になってきた。
【０００４】家庭用のビデオ機器も、アナログで放送を記録したり、メディアで供給される映像や音楽を楽しむという状態から、高品位で劣化しないデジタルデータとして動画や音声を記録する機器へと遷移するとともに、小型で安価なビデオ記録装置などにより、普通の家庭で購入できるビデオカメラが出現し、家庭内でビデオ撮影を行い、これを見て楽しむ時代へと変化している。
【０００５】このような背景の下、従来、放送系の企業などが行っていた、ビデオ撮影と編集を行うべきコンテンツの量は増大してきている。
【０００６】ここで、放送系の企業などは、撮影や編集を行うための高度な機器や、内容をわかりやすくするための編集や構成を行うための高度な技術を持つ技術者などを擁しているのに対し、家庭向けビデオカメラで撮影した内容を編集するのは、その機器の価格や編集技術の必要性から、あまり行われていないのが現状である。
【０００７】しかし、家庭内で撮影された動画はもちろんのこと、各種メディアやインターネットなどの通信手段によって、家庭に向けて配信される情報とコンテンツとは増大し、それが動画や音声などのマルチメディアな情報やコンテンツへと変化してきており、このような情報やコンテンツに対する情報検索の機能は非常に重要になってきている。
【０００８】また、インターネットをはじめ、情報の流通や発信を行うためのインフラの拡大により、個人でも情報発信を行える時代になってきたが、動画や音声を中心とした情報の発信が始まりつつある。今後、インターネット上で、このようなマルチメディアな情報やコンテンツの情報検索などの機能の必要性が非常に高まっていくことが予想される。また、その検索機能は容易に扱えるものである必要がある。
【０００９】さらに、インターネットの常時接続使用や移動体通信によって、リアルタイムに最新の情報やコンテンツを配信することが容易になってきたために、放送系の企業などでも、最新の映像などを効率良く入手し、編集等を行うことが非常に重要であり、このような状況下では、既存の情報やコンテンツをすばやく検索し、新しい情報やコンテンツに反映していくような機能が求められることになる。
【００１０】しかし、情報量が多く時間経過によって変化する内容をとらえた動画などのデータは、蓄積しておくにも非常にかさばるうえに、それの内容について簡単に検索を行うことは、非常に難しかった。同じデジタルデータでも、文書データなどであれば、文字や単語を指示すれば、それを含む部分を探すことは、計算機にとっては難しいことではないが、動画や音声などの場合、完全に一致するデータを提示し、それを検索させるような場合は少なく、なんらかの意味で類似している部分を検索するような状況が一般的である。
【００１１】また、映像や音声などで表現されている内容を計算機が理解することは、現在の技術では未だ十分なものではなく、そのようなデータの内容についての検索を行うことも、同様に未だ十分なものではない。
【００１２】そこで、このような動画、静止画、音声などに対して、その内容や特徴をキーワード、説明文などの言語的名記述や、計算機が処理しやすい形式の画像や音声の特徴を記述した非言語的な情報を、検索のための情報、すなわち、いわゆるメタデータとして、そのコンテンツや情報に付与しておくことで、その検索や利用を容易にするという方式が始められている。
【００１３】
【発明が解決しようとしている課題】しかし、このメタデータを、管理されるデータに的確に効率的付与することは必ずしも容易なものではない。特に、一般人が、家庭用ビデオカメラなどで撮影した映像などにメタデータを付与する場合、専門的な知識や技術に乏しいことから一層困難である。
【００１４】従って、本発明の主な目的は、管理されるデータに検索のための情報を、何人も簡単且つ効率よく付与し得るデータ管理システム、データ管理方法、及び、記録媒体を提供することにある。
【００１５】
【課題を解決するための手段】本発明によれば、データ検索のためのメタデータを、管理するデータに個別に付与してデータ管理をするデータ管理システムであって、前記メタデータを付与する前記データの選択を受け付ける手段と、予め定められたメタデータの候補を提供する手段と、提供した前記メタデータの候補の中から、選択された前記データに付与するメタデータの選択を受け付ける手段と、選択された前記データと、選択された前記メタデータと、を関連付けて保存する手段と、を備えたことを特徴とするデータ管理システムが提供される。
【００１６】また、本発明によれば、データ検索のためのメタデータを、管理するデータに個別に付与してデータ管理をするデータ管理方法であって、前記メタデータを付与する前記データの選択を受け付ける工程と、予め定められたメタデータの候補を提供する工程と、提供した前記メタデータの候補の中から、選択された前記データに付与するメタデータの選択を受け付ける工程と、選択された前記データと、選択された前記メタデータと、を関連付けて保存する工程と、を含むことを特徴とするデータ管理方法が提供される。
【００１７】また、本発明によれば、データ検索のためのメタデータを、管理するデータに個別に付与してデータ管理をするために、コンピュータを、前記メタデータを付与する前記データの選択を受け付ける手段、予め定められたメタデータの候補を提供する手段、提供した前記メタデータの候補の中から、選択された前記データに付与するメタデータの選択を受け付ける手段、選択された前記データと、選択された前記メタデータと、を関連付けて保存する手段、として機能させるプログラムを記録した記録媒体が提供される。
【００１８】
【発明の実施の形態】以下、図面を参照して本発明の好適な実施の形態について説明する。
【００１９】図１は、本発明の一実施形態に係るデータ管理システムが構築されるコンピュータ装置の構成例を示す図である。
【００２０】図１において、ＣＰＵはマイクロプロセッサであり、各種処理のための演算、論理判断等を行ない、アドレスバスＡＢ、コントロールバスＣＢ、データバスＤＢを介して、それらのバスに接続された各構成要素を制御する。その作業内容は、後述するＲＯＭやＲＡＭ上のプログラムによって指示される。
【００２１】また、ＣＰＵ自身の機能や、計算機プログラムの機構により、複数の計算機プログラムを並列に動作させることができる。
【００２２】アドレスバスＡＢはＣＰＵの制御の対象とする構成要素を指示するアドレス信号を転送する。コントロールバスＣＢはマイクロプロセッサＣＰＵの制御の対象とする各構成要素のコントロール信号を転送して印加する。データバスＤＢは各構成機器相互間のデータ転送を行なう。
【００２３】次にＲＯＭは、読出し専用の固定メモリである。ＲＯＭには、後述するマイクロプロセッサＣＰＵによる制御の手順を記憶させた計算機プログラムエリアやデータエリアが格納されている。
【００２４】また、ＲＡＭは、書込み可能のランダムアクセスメモリであって、後述するマイクロプロセッサＣＰＵによる制御の手順を記憶させた計算機プログラムエリアやデータエリアとしても用いられるし、ＣＰＵ以外の各構成要素からの各種計算機プログラムや各種データの一時記憶エリアとしても用いられる。
【００２５】これらＲＯＭやＲＡＭなどの記憶媒体には、本実施形態のデータ管理を実現する計算機プログラムやデータなどが格納されており、これらの記録媒体に格納されたプログラムコードを、ＣＰＵが読み出し実行することによって機能が実現されるが、記憶媒体の種類は問われない。
【００２６】また、本発明に係わるプログラムやデータを格納した記録媒体をシステムあるいは装置に供給して、ＲＡＭなどの書き換え可能な記憶媒体上に前記の記憶媒体から、そのプログラムがＲＡＭ上にコピーされる可能性があるが、その記憶媒体としては、ＣＤ－ＲＯＭ、フロッピー（登録商標）ディスク、ＣＤ－ＲＯＭ、ハードディスク、メモリカード、光磁気ディスクなどを用いることができるものと思われるが、このような方式も採用可能である。
【００２７】また、図２に示すように、計算機プログラムを格納した媒体から、本実施形態のデータ管理のプログラムを読みこむことが当然可能である。なお、図２中、２１は図１で示される構成を有するコンピュータ装置、２２は記憶媒体を読み出すドライブ装置、２３は計算機プログラムを格納した記録媒体である。
【００２８】図１に戻って、ＤＩＳＫはハードディスクであり、さまざまなデータ等を記憶するための外部メモリとして機能する。ＤＩＳＫは、多量の情報を比較的高速に読み書きができる記憶媒体を内蔵しており、そこに各種データ等を必要に応じて保管し取り出すことができる。また、保管された計算機プログラムやデータはキーボードの指示や、各種計算機プログラムの指示により、必要な時にＲＡＭ上に完全もしくは部分的に呼び出される。
【００２９】ＭｅｍＣａｒｄ（メモリカード）は、着脱型の記憶媒体で、この記憶媒体に情報を格納し、他の機器へ記憶媒体を接続することで、記憶させておいた情報を参照・転写することが可能になる。
【００３０】ＫＢはキーボードであって、アルファベットキー、ひらがなキー、カタカナキー、句点等の文字記号入力キー、及び、カーソル移動を指示するカーソル移動キー等のような各種の機能キーを備えている。なお、マウスのようなポインティングデバイスも含むこともできる。
【００３１】ＣＲはカーソルレジスタである。ＣＰＵにより、カーソルレジスタの内容を読み書きできる。後述するＣＲＴコントローラＣＲＴＣは、ここに蓄えられたアドレスに対する表示装置ＣＲＴ上の位置にカーソルを表示する。
【００３２】ＤＢＵＦは表示用バッファメモリで、表示すべきデータのパターンを蓄える。ＣＲＴＣはカーソルレジスタＣＲ及びバッファＤＢＵＦに蓄えられた内容を表示器ＣＲＴに表示する役割を担う。
【００３３】また、ＣＲＴは陰極線管等を用いた表示装置であり、その表示装置ＣＲＴにおけるドット構成の表示パターンおよびカーソルの表示をＣＲＴコントローラで制御する。さらに、ＣＧはキャラクタジェネレータであって、表示装置ＣＲＴに表示する文字、記号のパターンを記憶するものである。
【００３４】ＮＣＵは、他のコンピュータ装置等と通信を行うための通信デバイスであり、これを利用することで、本実施形態のプログラムやデータを、他の装置と共有することが可能になる。図１では、ネットワーク（ＬＡＮ）を介して、個人向け計算機（ＰＣ）、テレビ放送や自分で撮った映像などの受信・蓄積・表示装置（ＴＶ／ＶＲ）、家庭用の遊戯用計算機（ＧＣ）などと接続され、これらと自由に情報の交換ができるようになっている。いうまでもないことだが、本発明の装置とネットワークで接続されている機器は、何でもかまわない。なお、ネットワークの種類などは何でもかまわないし、ネットワークは図のような閉じたネットワークではなく、外部のネットワークと接続されているようなものでもかまわない。
【００３５】ＤＴＵは、人工衛星などを利用した同報型通信の受信機能を実現する受信デバイスであり、人工衛星を経由して放送される電波などを、パラボラアンテナ（ＡＮＴ)で受信して、放送されているデータを取り出す機能を有する。同報型通信の形態にはいろいろなものがあり、地上波の電波で放送されるものや、同軸ケーブルや光ケーブルなどで放送されるもの、前記ＬＡＮや大規模ネットワークなどで配信されるもの等、いろいろな形態が考えられるが、同報型通信のものであれば、いずれも採用できる。
＜本実施形態におけるデータ管理の概念＞次に、本実施形態のデータ管理システムにおけるデータ管理の概念について説明する。
【００３６】一般に、データ管理上、管理するデータの内容は多岐に及ぶことが考えられるが、取り扱うデータの内容は、ある程度予想可能なものか、あるいは、ある範囲に限定されるものである。例えば、動画像データのファイルを管理する場合、その内容としては、冠婚葬祭、子供の成長記録、旅行先の映像等といった日常的に生じる実社会の出来事の映像や、ドラマ、ニュースの映像といったもの挙げられ、適宜分類可能なものである。
【００３７】そして、各データの内容の種類に応じて、その具体的な内容については、経験則的にある程度予想可能である。例えば、結婚式の披露宴の映像であれば、新郎新婦の入場から始まり、来賓のスピーチ、乾杯、余興等といった個別のシーンの映像が含まれるであろうし、また、刑事ドラマの映像であれば、事件の発生、捜査、解決、といったシーンの映像が含まれる。更に、各シーンで登場する人物や物、状況等もある程度予想されるものである。
【００３８】してみると、これらのデータに付与すべきメタデータの内容は、データの内容の種類に応じて自ずと共通因子が存在するものと言える。
【００３９】そこで、本実施形態では、データの内容の種類に応じて、予めメタデータとして付与する候補となるもの作成しておき、データ登録時にこれをユーザに提示して選択等させ、メタデータの付与を簡単且つ効率よく実現できるようにする。また、付与されるメタデータを特定の手法で取り扱うことにより、効率的なデータ検索をも実現せんとする。
【００４０】また、本実施形態では、メタデータの候補を作成等するために、まず、管理せんとするデータの内容に即して、その種類毎に分類する。本実施形態では、日常的なイベントを単位として分類する。例えば、結婚式の披露宴や、海外旅行等がイベントとして挙げられる。
【００４１】各イベントは、経験則的に、複数のイベントから構成されることが予想できる。例えば、結婚式の披露宴というイベントは、新郎新婦の入場、来賓のスピーチ、乾杯といった個々の小さなイベントから構成される。そこで、本実施形態では、各イベントを複数のイベントから定義し、各イベント単位でメタデータの候補を作成する。
【００４２】図３は、イベント間の関係を定義した情報の例であり、あるイベントＸに含まれる個々のイベントＸ－Ａ乃至Ｉの包含関係を示した図である。図から明らかなように、イベントＸは、まず、イベントＸ－Ａ乃至Ｃを含み、更に、イベントＸ－Ａは、イベントＸ－Ｄ及びＥを含むようになっている。
【００４３】例えば、イベントＸが、結婚式の披露宴とすると、イベントＸ－Ａ乃至Ｃをそれぞれ開宴、食事中、クライマックス等とし、更に、イベントＸ－Ａの下位のイベントとしてイベントＸ－Ｄ及びＥを、それぞれ、新郎新婦入場、来賓スピーチ、等とすることができる。
【００４４】メタデータの候補は、各イベントにおいて経験則的に登場する人物、物等のオブジェクト、若しくは、シチュエーション等であり、イベントが細分化される程、その設定が容易且つ的確なものとなる。
【００４５】図４は、各イベントの種類と、各イベントに設定されたメタデータの候補のテーブルの一例を示した図である。図４において、イベントとして結婚式の披露宴があり、その下位のイベントとして、新郎新婦入場、スピーチ、余興が存在する。また、結婚式の披露宴に登場するオブジェクト等としては、経験則的に新郎新婦があるため、これがメタデータの候補とされている。また、新郎新婦の入場の際のシチュエーションとしては、経験則的にスポットライトが考えられるので、これがメタデータの候補に挙げられていることが分かる。この情報は図１のＤＩＳＫ等に格納することができる。
【００４６】次に、本実施形態において、イベントの種類やメタデータの候補は、最終的に各データに付されるメタデータとなり、検索時のインデックス情報として活用される。この場合、データ検索の効率化・的確化を図るべく、各イベント間やメタデータの候補間の関係を予め定義することもでき、この情報を図１のＤＩＳＫ等に格納することができる。この実施形態では、イベントを単位とすることで、ホームビデオのコンテンツなどに対し、内容を分類してメタデータの付与を行うのに適している例となっている。しかし、本発明は、基準となる単位をコンテンツに応じた単位のものを選ぶことで、ビデオ以外のコンテンツにも利用しやすいように対応することが可能である。
【００４７】図５は、このようなイベント、メタデータの候補等の相関関係を定義したテンプレートの例を示した図である。一枚のテンプレートが一つのイベントを示しており、そのイベントに含まれる個々のイベントや、メタデータの候補としてのオブジェクト、更に、これらの間の関連性が示されている。
【００４８】イベントテンプレートＴ３－１の中には複数のイベントＥ３－Ｘ（Ｘは数字）がある。これは、１つのイベントは時間や因果関係をもつ小さなイベントから成り立っているためである。また、その出来事に関連する人物や物等のオブジェクトが存在し、図中、Ｏｂｊ３－Ｘ（Ｘは数字）で表している。
【００４９】オブジェクトには、個々のイベントにだけ出現するものと、イベント全体に共通して出現するものがあり、図中ではＯｂｊ３－１とＯｂｊ３－２だけが共通に出現するものであるために、特定のイベントの中ではなく、イベントテンプレートＴ３－１の枠にだけ囲まれるように表されている。
【００５０】これに対し、これ以外のオブジェクトは、個々のイベントに囲まれており、そのイベント内にだけ出現することが示されている。各オブジェクト同士にはある種の関係があり、またイベント同士にもある種の関係がある。これを、Ｒ３－Ｘ（Ｘは数字）で表している。このイベントテンプレートＴ３－１におけるイベント、オブジェクトや、それらの関係は、さまざまな属性を持つことができる。
【００５１】たとえば、これが結婚式の披露宴を対象としたイベントテンプレートだとすると、新郎という属性を持つＯｂｊ３－１と、新婦という属性を持つるＯｂｊ３－２は、この中でほとんどのイベントに出現するオブジェクトとなる。
【００５２】新郎の友人関係Ｒ３－７にある司会者という属性を持つＯｂｊ３－１１が披露宴の始まりを宣言し、新郎Ｏｂｊ３－１と新婦Ｏｂｊ３－２が会場に入ってくる、いわゆる新郎新婦入場のイベントがＥ３－１であるといった具合である。
【００５３】このようにして、各イベントと各メタデータ候補等の関係が予め定義され、その情報はデータ検索時に利用されることとなる。
＜メタデータの付与＞次に、このような基本的な考え方の下、本実施形態におけるデータ管理システムで行われるメタデータ付与の処理について説明する。
【００５４】本実施形態では、動画、静止画、音声等のマルチメディア情報やコンテンツ等の諸データを管理するにあたり、これらのデータの検索を容易化するためにメタデータを付与するが、係るメタデータを付与するにあたっては、対象となるデータをユーザに選択させた上で、上述した各イベント毎のメタデータの候補が提示されたメタデータの入力シートをユーザに提示し、これに入力させることによって行う。
【００５５】メタデータの候補を提供することにより、メタデータ付与やデータ検索技術について専門的な知識を持たない一般ユーザであっても、簡単かつ効率よくメタデータの付与が可能となる。また、専門的な知識を有するユーザも、メタデータの付与の効率化が実現され、更に、メタデータの表現形式の統一化、合理化が達成され、検索時の効率化が達成され得る。
【００５６】入力シートは、例えば、図１のＤＩＳＫ、ＲＯＭ、ＲＡＭ、ＭｅｍＣａｒｄのような記憶装置に格納することができる。また、ＬＡＮなどから入手して、記憶装置に格納することで、利用することもできる。
【００５７】以下、このデータ管理システムにおけるメタデータの付与処理を具体例を挙げて説明する。図６は、係る処理の流れを示すフローチャートである。
【００５８】ステップＳ１では、データの選択及び入力シートの入力項目の選択をデータ管理システムが受け付ける。データ及び入力シートの入力項目は、例えばリスト形式でＣＲＴに表示され、ユーザは、ＫＢからこれを選択するようにすることができる。入力シート及びデータが選択されると、データ管理システムがＣＲＴにこれを表示する。
【００５９】なお、データの選択は、各データを構成する一部のデータ（本実施形態においてサブデータと称す。）単位で選択することもできる。サブデータとしては、例えば、データが動画像のデータであった場合に、その動画像を構成する各フレームの画像又は連続するフレーム画像群のデータ等を挙げることができる。要するに、サブデータは、各イベントを構成する個々のイベントに対応可能とするものである。
【００６０】ステップＳ２では、入力シートに対するメタデータの入力をデータ管理システムが受け付ける。メタデータは、入力シートに列挙された入力項目に従って、ユーザがＫＢから入力することができる。ここでの入力とは、提示された入力項目に対してYES／NOや具体的なキーワード等の文字列を入力する場合のほか、与えられた選択肢のいずれかの選択を指示する場合も含む広範な概念である。
【００６１】以下、ステップＳ１及びＳ２の処理を具体例を挙げて説明する。図７は、メタデータの入力時のＣＲＴの表示例を示した図である。これは、ウィンドウシステムを利用した場合の画面の例であり、結婚式の披露宴を撮影して得た動画像のデータのうち、その一部のフレーム画像又は連続するフレーム画像群を示すサブデータに対してメタデータを付与することを想定している。
【００６２】７１はタイトルバーと呼ばれるもので、このウィンドウ全体の操作、例えば移動や大きさの変更などを行う部分である。７２はツールバーと呼ばれる部分で、このウィンドウ内の主な機能を簡単に呼び出せるようにするものである。ツールバー７２のうち、「開く」ボタンを選択すると、管理されるデータのリストが現れ、ユーザは、メタデータを付与するデータを選択することができる。
【００６３】次に、太線で囲った矩形の領域７３は、選択されたデータを表示する領域であり、太線で囲った逆Ｌ字型の領域７４は、入力シートを示す領域である。本実施形態では、メタデータを付与するデータに係る画像と入力シートとを合わせて表示し、当該画像とメタデータの候補とを合わせて表示することとしている。
【００６４】領域７３の上方の部分７３１は、選択された動画像データのファイル名を示しており、デジタルビデオで録画した「山田君の結婚式.mpg」という動画ファイル内の１シーンについて作業を行っているところである。
【００６５】スライダ７３１ａを図１のＫＢを用いて操作することで、この動画内の任意のシーンを選択することが可能であり、領域４３１ｂは、現在選択されているシーンに含まれる５つのフレーム画像を示している。利用者は、メタデータを付与する１枚のフレームか、又は、一定時間の範囲内の一連のフレーム群を選ぶことができるようにすることができる。
【００６６】なお、本実施形態は、マルチメディアデータ等のデータの検索を行うためにメタデータを付与するものであるが、マルチメディアデータの編集、加工若しくはや再生などを行う装置の一部の機能として存在でき、その編集などの結果などに応じて、この部分の機能を不要にしたり、もっと高度な機能を持たせるような場合も考えられる。
【００６７】領域７３の下方の部分７３２は、領域７３１ｂのフレーム画像から選択さしたシーンを再生して見るための部分であり、メタデータを付与せんとするサブデータの画像（太線枠）である。また、このシーンが撮影された時間などの情報があれば、この中に表示される（右側の部分）。この部分を利用して利用者は、自分が選択したシーンの内容を把握できる。なお、サブデータとしては、単枚のフレーム画像のデータを１単位とする他、一つのシーンを構成する一群のフレーム画像のデータを１単位とすることもできる。
【００６８】次に、領域７４は、入力シートを示しており、領域７３の下方の部分７３２に表された画像（サブデータ）に対して、メタデータを付与するための領域である。
【００６９】コンボボックス４４１は、最も上位概念のイベントの種類を選択するためのものであり、プルダウンメニュー形式で、複数種類のイベントの中から選択することができる。このイベントの選択により、領域７４内の他の入力項目が選択できることとなる。図７では「結婚式の披露宴」というイベントが選択されているところである。
【００７０】領域７４２は、コンボボックス７４１で選択されたイベントの下位概念にあたるイベントを選択するためのものであり、「結婚式の披露宴」というイベントを構成するイベントとして予め設定された複数のイベントが列挙されている。ユーザは、選択したサブデータの内容に対応したイベントを任意に選択することができ、イベントの選択により、領域７４内の他の入力項目が更に選択されることとなる。図７では、「ライトアップされる新郎新婦」というイベントが選択されているところである。
【００７１】領域７４３は、領域７４２で選択されたイベントに対して設定されたメタデータの候補に即して定められた入力項目が表示される領域である。図７では、領域７４２で選択されたイベントに登場すると考えられるオブジェクトの名前が列挙されている。これらをユーザは選択/非選択することで、その名前のオブジェクトが現在選択しているサブデータの画像中に登場するかどうかを指示でき、ユーザは簡単な操作で、登場している人物や物についてのメタデータの付与が行える。なお、図７中では、領域７３２に「新郎」と「新婦」が登場しており、「ケーキ」は特に写っていなかったという状態を利用者が示した状態になっている。
【００７２】また、領域７４３の中の「詳細情報」のボタンを押すと、この各オブジェクトについて、さらに詳細な情報が付与できるようになっている。この詳細な情報として付与できる内容は、個々のオブジェクトに対する各種属性の追加/削除/変更や、入力項目として定められていなかった登場人物や物を追加/削除/変更等を挙げることができ、メタデータの候補の編集、設定等をユーザが任意に行えるようにしたものである。
【００７３】領域７４４も領域７４３と同様に、領域７４２で選択されたイベントに対して設定されたメタデータの候補に即して定められた入力項目が表示される領域である。図７では、各オブジェクト間の関係や、シチュエーションなどについて項目が列挙されている。利用者はこれらを選択/非選択することで、その関係やシチュエーションが現在選択しているシーン中に存在するかどうかを指示でき、これにより、利用者は簡単な操作で、登場している人物や物の関係や状態などのメタデータの付与が行えるようになっている。図７中、「笑い声」は含まれなかったが、「顔のアップ」や「カメラのフラッシュ」や「拍手」が起こったことが、ユーザにより指示されている。また、この中の「詳細情報」のボタンを押すと、この関係や状態について、さらに詳細な内容が付与できる。
【００７４】この詳細な情報として付与できる内容は、関係や状態の持つ属性の追加/削除/変更などや、関係の行為者(物)や対象者(物)などのオブジェクトの設定/変更/削除などや、イベントやイベントテンプレートになかった関係や状態を追加/削除/変更等を挙げることができ、メタデータの候補の編集、設定等をユーザが任意に行えるようにしたものである。
【００７５】領域７４５は、現在選択されているサブデータに対して、キーワードや説明文任意に付与する入力項目である。図中、いくつかの説明文が付与されている状態になっており、「ころびそうになる新婦」という説明文が選択されている状態になっている。ここで、「削除」ボタンを押すことで、選択されている説明文を削除することができる。また、「追加」ボタンを押すことで、新しいキーワードや説明文を追加することもできる。なお、このキーワードや、説明文は、ユーザが任意に入力できるようにしてもよいし、システム側で予めメタデータの候補として、適当なキーワード、説明文等を設定しておき、ユーザに選択させるようにしてもよい。
【００７６】領域７５は、現在選択されているサブデータに対して、領域７４に入力されたメタデータの付与を行うことを最終的に指示する部分で、ここで「登録」ボタンを押すと、入力シートを示す領域７４に入力された内容がメタデータとして確定し、これを保存する処理へ移行する。「キャンセル」ボタンを押すと、入力シートを示す領域４４に入力された内容が破棄されることとなる。
【００７７】このようにして、利用者は、動画の各シーン等について、メタデータの入力を行うことができる。なお、図７の例では、動画の１シーンについてメタデータを付与する場合の例であったが、付与対象のデータはこれに限られず、同様の手順によりさまざまなマルチメディアコンテンツにメタデータの付与を行うことが可能である。
【００７８】次に、図３に戻り、ステップＳ３では、選択されたデータと入力されたメタデータとを関連付けて保存する。上述した図４の例では、領域７３２に示された画像のサブデータに対して、入力シートを示す領域７４に入力された情報がメタデータとして付与され、該メタデータが該サブデータに対して関連付けられて図１のＤＩＳＫ等の記録媒体に保存されることとなる。
【００７９】図８は、データと、これに付されたメタデータとの関係を示したテーブルであり、動画像データＡに含まれる複数の一群のフレーム毎に、にぞれぞれ、イベントの種類や、メタデータの候補のうち入力されたものが、メタデータとして付与されたことを示している。ここでは、簡単なキーワードとして扱える文字情報などを主に格納しているが、登場人物間の関係などある種の構造を保有するものや、文字以外の情報も付与可能である。
【００８０】また、検索時に用いるため、各メタデータに関連するデータを示すインデックス情報が、作成又は更新される。図９は、インデックス情報の一例を示したものであり、各メタデータに関連するデータがテーブル形式で示されている。このインデックス情報は、図１のＤＩＳＫ等の記録媒体に保存されることとなる。
＜データ検索処理＞次に、本実施形態のデータ管理システムにおいて、各データに付与したメタデータに基づいて、データ検索を行う場合の処理の例について説明する。
【００８１】検索は、ユーザから検索条件を与えてもらい、その検索条件と上述した手順で各データに付与したメタデータとを対比し、図９に示したようなインデックス情報等を用いて該検索条件と適合するメタデータが付与されているデータ若しくはサブデータをピックアップすることとなる。
【００８２】以下、データ検索の具体的な例について、説明する。図１０は、係るデータ検索処理のフローチャートである。
【００８３】ステップＳ１１は、検索用のインデックス情報などを、このデータ管理システムが利用できるように図１のＲＡＭ上でデータの操作を行う部分である。なお、検索対象のデータや、そのメタデータ等は、図１のＮＣＵ経由でＬＡＮ上のＰＣなどの計算機やＤＴＵ経由で外部ネットワーク上の計算機上に保有するようにすることができる。
【００８４】ステップＳ１２は、ユーザが検索条件となる文や単語を入力する処理を示している。ここで、ユーザは図１のＫＢから、検索対象となるイベントを表現する自然文を検索条件として入力することができる。また、この検索条件は、例えば、図１のＰＣにおいて受け付けて、ＬＡＮを経由して入力するようにすることもできる。
【００８５】ここでは例として「田中君と奥さんのアップ」という文が検索条件として入力された場合について、以下、説明を行っていくものとする。
【００８６】ステップＳ１３では、検索条件として入力された文や単語に対し、自然言語処理技術を利用して、形態素解析や構文解析などの解析を行う。これらの各解析の技法や手法としては、公知の種々の手法が利用できるが、ここでは、文を意味的な語の集まりに区切り、その区切られたことによってできた語の品詞や語義などの情報と、文中のそれらの語の関係に関する情報を取り出せるものであれば、何でもかまわない。
【００８７】図１１は、検索条件である「田中君と奥さんのアップ」を形態素解析や構文解析した結果の例を示したものである。ここで、この例文は、「田中」や「奥さん」や「と」などの語に分解され、それぞれに「名詞」や「接続詞」などの品詞などの情報が割り当てられている。そして、その各語は、「修飾」や「並列」といった関係を持つことを解析できる。
【００８８】ステップＳ１４は、ステップＳ１３で得られた解析結果、及び、図５に示したテンプレートにおけるイベント、メタデータの候補等の相関関係にに基づいて、データ検索を行う処理である。
【００８９】ここでは、図１１のような解析結果の中で名詞などの品詞を持つ重要な語で示されるようなオブジェクトやイベントやこれらの間の関係を検索し、その語とそれに対応する各オブジェクトや各イベントの組み合わせについて、類似度を計算する。
【００９０】この例の場合には、例えば、新郎が名前として「田中」という属性を持っており、新婦が別名として「奥さん」という属性を持っていると想定する。また、イベントの状態として「アップ」という属性そのものか、同様の意味の語を持っているイベントがいくつか存在しているものとする。
【００９１】すると、これらが検索結果となり、語義の類似の度合いやイベントやオブジェクトや関係について、どんな属性だったのかということなどから類似度を計算する。ここでいう類似度は、ユーザが入力した文中の特定の語が、各オブジェクトやイベントや関係を指し示す表現として、どの程度適切であるかという値になっている。
【００９２】ステップＳ１５では、ステップＳ１４で検索したオブジェクトやイベントや関係などの候補があったかどうかで分岐する部分である。候補が何も見つからなかった場合には、該当候補なしとして検索が終了する。ここで、１つでも候補があった場合には、ステップＳ１６に進む。
【００９３】ステップＳ１６では、候補であるオブジェクトやイベントや関係などについて、図１１に示すような語の関係に類似する構造があるかどうかを調べ、その構造を優先的な候補として追加する部分である。図１１の例では、「田中」と「奥さん」が並列、「奥さん」と「アップ」が修飾の関係で結ばれているので、「新郎」－「顔」(部分/全体関係)、「新婦」-「顔」(部分/全体関係)、二人の顔のアップの写っているシーンには、「アップ」というシチュエーションがあって、この主体が「顔」になっている。
【００９４】これにより間接的に、「田中」で検索されたオブジェクトと「アップ」という状態を持つシチュエーション、「奥さん」で検索されたオブジェクトと「アップ」というシチュエーションを持つイベントに間接的ではあるが、類似の構造が見出される。したがって、このようなイベントに関連するデータ若しくはサブデータが候補として加えられることになる。
【００９５】ステップＳ１７では、検索したデータ毎に、ステップＳ１６で見つかった構造の類似度や、ステップＳ１４で計算した語の類似度の情報などをもとに、各データと検索条件の類似度を計算し、類似度の高い順番に並べる部分である。
【００９６】これにより、検索は完了し、最終的な検索候補として、１つもしくは複数のデータ若しくはサブデータと、それらのそれぞれについて、利用者が入力した文にどれだけ近いと推測されたかという類似度が得られることになる。これにより、検索は終了となる。
【００９７】以上のようにして、本実施形態では、マルチメディアコンテンツ等の諸データに対して、メタデータを簡単に付与でき、また、これを利用した検索が容易になると同時に、メタデータ付与の容易さから大量のメタデータの付与が行われるために、検索精度の向上が図りやすくなり、利用者は、容易に、かつ効果的に、データ検索を利用できるようになった。
【００９８】なお、図５に示したテンプレートにおいて、テンプレート内の類似する内容や構造を持ったイベントをオブジェクト指向の特徴を生かして、特定のイベントクラスから派生させて作成するようにすることで、テンプレートの作成者や利用者が、各イベントを作成することを容易に行えるようにすることができる。
【００９９】これを図示したのが図１２であり、図中、図５と同様に、テンプレートをＴ８－Ｘ（Ｘは数字）、イベントをＥ８－Ｘ（Ｘは数字）、Ｏｂｊ８－Ｘ（Ｘは数字）、関係をＲ８－Ｘ（Ｘは数字）で表している。
【０１００】この場合に、複数のイベントの共通な部分をイベントクラスとして宣言し、このクラスとの差分だけを自分のイベント内に記述して、共通部分を前述のイベントクラスから派生させることで、共通部分の記述を省略することができる。図１２では、イベントＥ８－２とイベントＥ８－４が、イベントクラスＣ８－１から派生されており、このイベントクラスＣ８－１内のオブジェクトや関係などを継承している。
【０１０１】以上、本発明の好適な実施形態について説明したが、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０２】さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０３】
【発明の効果】以上に説明したように、本発明によれば、管理されるデータに検索のための情報を、何人も簡単且つ効率よく付与することができる。

【出願人】	【識別番号】０００００１００７【氏名又は名称】キヤノン株式会社
【出願日】	平成１２年９月２９日（２０００．９．２９）
【代理人】	【識別番号】１０００７６４２８【弁理士】【氏名又は名称】大塚康徳（外２名）
【公開番号】	特開２００２－１０８８９２（Ｐ２００２－１０８８９２Ａ）
【公開日】	平成１４年４月１２日（２００２．４．１２）
【出願番号】	特願２０００－２９９９７３（Ｐ２０００－２９９９７３）