トップ :: G 物理学 :: G06 計算;計数




【発明の名称】 検索情報生成装置
【発明者】 【氏名】徳毛 靖昭

【氏名】渡部 秀一

【氏名】岡田 浩行
【要約】 【課題】検索情報全体を解釈することなく、特定の検索情報要素にシークすることが可能な検索情報を生成する検索情報生成装置を提供する。

【解決手段】マルチメディアコンテンツに対応する木構造を有した検索情報に対して、該検索情報を構成する各検索情報要素の情報長を固定長とするか可変長とするかを指定する制御部１０１と、前記検索情報要素の情報長が固定長であるか可変長であるかの識別情報を、前記マルチメディアコンテンツの検索情報に付加する識別情報付加部１０２と、前記検索情報要素の情報長を固定長とするよう指定された場合に、前記検索情報要素の情報長を固定長とする検索情報長調整部１０３とを備えたものである。
【特許請求の範囲】
【請求項１】 マルチメディアコンテンツに対応する木構造を有した検索情報に対して、該検索情報を構成する各検索情報要素の情報長を固定長とするか可変長とするかを指定する制御手段と、前記制御手段により前記検索情報要素の情報長を固定長とするよう指定された場合に、前記検索情報要素の情報長を固定長とする検索情報長調整手段とを備えたことを特徴とする検索情報生成装置。
【請求項２】 前記請求項１に記載の検索情報生成装置において、さらに、前記検索情報要素の情報長が固定長であるか可変長であるかの識別情報を、前記マルチメディアコンテンツの検索情報に付加する識別情報付加手段を備えたことを特徴とする検索情報生成装置。
【請求項３】 前記請求項１または２に記載の検索情報生成装置において、さらに、前記検索情報要素の種別を解析する検索情報解析手段を備えたことを特徴とする検索情報生成装置。
【請求項４】 前記請求項１乃至３のいずれかに記載の検索情報生成装置において、前記検索情報長調整手段は、前記検索情報要素に所定のデータを付加して固定の長さとなるようにすることを特徴とする検索情報生成装置。
【請求項５】 前記請求項４に記載の検索情報生成装置において、前記所定のデータは、予め定められたダミーデータであることを特徴とする検索情報生成装置。
【請求項６】 前記請求項４に記載の検索情報生成装置において、前記所定のデータは、任意に定められるユーザデータであることを特徴とする検索情報生成装置。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、ディジタル動画像等のマルチメディアコンテンツを検索するための木構造を有した検索情報を記憶または伝送するための装置に関し、より詳細には、効率的な記憶または伝送が可能な検索情報を生成する検索情報生成装置に関するものである。
【０００２】
【従来の技術】ディジタル動画像等のマルチメディアコンテンツは、コンテンツ内のあらゆる時間的あるいは空間（画面）的な箇所が検索の対象となり得る。このため、厳密に検索を実行するためには、コンテンツ全体を再生して細部まで確認する必要がある。しかしながら、そのような検索方法はおよそ効率的ではなく、検索対象となるマルチメディアコンテンツの数が増えると更に現実的ではない。
【０００３】このような場合に、ユーザが所望のコンテンツあるいはコンテンツ内の所望の箇所を素早く、効率的に探し出すための方法として、コンテンツに対応した検索用の付加情報＝検索情報（検索用メタデータとも呼ばれる）を用意し、この検索情報に基づいて検索を実行して、所望のコンテンツあるいはコンテンツ内の所望の箇所を得る方法が、従来から各種提案されている。
【０００４】図９乃至図１１は動画像コンテンツに付加される検索情報の例を示している。尚、図９は一般的な動画像コンテンツの構造を模式化して表したものである。このような構造は、特開平10-108071号公報や特開平10-257436号公報等でも開示されており、広く知られたものである。
【０００５】図９に示すように、１つの動画像全体は、時間的に幾つかのシーンに分割される。ここで言うシーンとは、主に意味的なまとまりから成る時間的な区切りを指し、映画の第1部、第２部のような大きい区切りから、「AとBがけんかをする」シーンといったごく小さな区切りまでを含む。このため、実際の動画像全体からシーンへの分割は、図９に示したような１段階の分割に限るものではなく、複数の階層にわたって次第に細分化されるものである。
【０００６】１つのシーンは更に、時間的に幾つかのショット（あるいは更に細かいシーン）に分割される。ここで言うショットとは、１回の動作で撮影された連続するフレーム画像から構成される時間的な１区切りであり、動画像中においては２つの編集点（カット点）で挟まれた区切りを指す。
【０００７】ショットは一種のシーンであり、ショットを更に細かいショット（サブショット）に分割することも可能である。また、図示はしていないが、ショットは最終的に１つ１つのフレーム画像にまで分割することが可能である。
【０００８】このように、動画像コンテンツは、全体から部分、更に細かい部分へと細分化されていく階層的な構造を持つ。そして、各階層毎に対応した検索情報が付される。
【０００９】図１０は図９の動画像コンテンツに対する検索情報を表したものである。動画像コンテンツの検索情報は、図１０に示すような木構造で表され、根（ルート）が動画像全体を表し、各節（ノード）が分割された各シーンあるいはショットを表す。
【００１０】各節（ノード）には、連結された葉（リーフ）として、動画像コンテンツ全体に対するタイトル、製作者情報、シーンに対する開始／終了時刻情報、情景描写、代表色、ショット（あるいはその代表フレーム画像）に対する登場人物、色頻度情報、動き強度情報等が与えられる。
【００１１】図１１は図１０に示された木構造から成る検索情報を記録する際の記録形式を示したものである。図１１に示されるように、図１０の木構造から成る検索情報は、木を左端（時間的に前）の根、節、葉から順に手繰る順に記録される。
【００１２】図９乃至図１１では、最上位層（木の根）を１つの動画像コンテンツ全体としているが、これは１つの動画像コンテンツに限らず、複数の動画像の集合として考えることも可能である。
【００１３】例えば、最上位層を１つのチャンネルで一日に放送される映像番組全体とする。１つのチャンネルで一日に放送される映像番組全体は、次の階層で１つ１つの番組、即ち各々の動画像コンテンツに分割される。更に各動画像コンテンツは複数のシーンに分割され、シーンは複数のショットへと分割される。
【００１４】木構造を有するマルチメディアコンテンツの検索情報では、コンテンツの持つ時間的な構造を、各種の検索情報と結び付けてユーザに理解し易い形で提供することができる。そのため、検索情報に基づいてユーザが視認を行いながらコンテンツを編集する、あるいは検索情報そのものを編集する、等の作業に非常に適している。但し、コンテンツのサイズが大きくなると検索情報を表す木のサイズも膨大なものとなる。
【００１５】尚、本願明細書では、タイトル、行動描写情報、色頻度情報、動き強度情報等の各検索情報を、「検索情報要素」と呼称する。
【００１６】
【発明が解決しようとする課題】上述した従来の木構造を有するマルチメディアコンテンツの検索情報の検索情報要素には、代表色、色頻度情報、動き強度情報といった予め決められたフォーマットで与えられるものと、タイトル、情景描写、登場人物、行動描写といった長さが不定のフリーテキストで与えられるものがある。
【００１７】従来の検索情報記録方式では、これら２種類の検索情報が入り組んだ形で記録されているため、特定の検索情報要素を抜き出す場合においても、検索情報全体を解析する必要があった。
【００１８】すなわち、予めフォーマットの定まった検索情報はデータサイズが固定であるために、シークして効率的に探すことが可能であっても、フリーテキスト等で表されたデータサイズ不定の情報が混在する場合は、盲目的にシークすることができず、検索時に検索情報の全体を解釈する必要がある。このため、検索者の負担が大きくなるという問題があった。
【００１９】本発明は、上記課題に鑑みてなされたものであり、検索情報全体を解釈することなく、特定の検索情報要素にシークすることが可能な検索情報を生成する検索情報生成装置を提供するものである。
【００２０】
【課題を解決するための手段】本願の第１の発明は、マルチメディアコンテンツに対応する木構造を有した検索情報に対して、該検索情報を構成する各検索情報要素の情報長を固定長とするか可変長とするかを指定する制御手段と、前記制御手段により前記検索情報要素の情報長を固定長とするよう指定された場合に、前記検索情報要素の情報長を固定長とする検索情報長調整手段とを備えたことを特徴とする。
【００２１】本願の第２の発明は、さらに、前記検索情報要素の情報長が固定長であるか可変長であるかの識別情報を、前記マルチメディアコンテンツの検索情報に付加する識別情報付加手段を備えたことを特徴とする。
【００２２】本願の第３の発明は、さらに、前記検索情報要素の種別を解析する検索情報解析手段を備えたことを特徴とする。
【００２３】本願の第４の発明は、前記検索情報長調整手段が、前記検索情報要素に所定のデータを付加して固定の長さとなるようにすることを特徴とする。
【００２４】本願の第５の発明は、前記所定のデータを、予め定められたダミーデータとしたことを特徴とする。
【００２５】本願の第６の発明は、前記所定のデータを、任意に定められるユーザデータとしたことを特徴とする。
【００２６】
【発明の実施の形態】以下、本発明の第１の実施形態を、図１乃至図４とともに詳細に説明する。
【００２７】図１は本実施形態の検索情報生成装置における概略構成を示す機能プロック図である。本装置は、制御部１０１、識別情報付加部１０２、検索情報長調整部１０３を備えている。
【００２８】制御部１０１では、識別情報付加部１０２に順次入力されるマルチメディアコンテンツの検索情報要素に対して、その情報長を固定長とするか可変長とするかを指定する制御情報を生成し、識別情報付加部１０２、および検索情報長調整部１０３に出力する。
【００２９】これは、アプリケーションによっては、可変長を用いる場合もあるため、その切替えを可能にするためのものである。
【００３０】識別情報付加部１０２では、制御部１０１で指定された固定長／可変長の制御情報に従って、順次入力されるマルチメディアコンテンツの検索情報要素の先頭に、固定長または可変長であることを識別するための情報を付加し出力する。
【００３１】固定長／可変長を識別するための情報には、例えば、固定長の場合は“０”、可変長の場合は“１”とするような１ビットのフラグを用いることができる。
【００３２】また、検索情報要素のすべてに対して、あるいは特定の検索情報要素の全てに対して、固定長あるいは可変長のどちらかにすることを前提としているような場合では、検索情報要素の全てあるいは特定の検索情報要素の全てについて、固定長／可変長識別情報の付加を省略してもよい。
【００３３】検索情報長調整部１０３では、識別情報の付加された検索情報要素、および固定長にするか可変長にするかの制御情報が入力される。制御情報が検索情報要素を固定長とすることを示している場合には、ダミーデータを付加することにより、検索情報要素が予め定められた固定の長さとなるように調整して、出力する。
【００３４】また、制御情報が可変長とすることを示している場合には、入力された識別情報の付加された検索情報要素をそのまま出力する。出力された検索情報要素は、伝送あるいは蓄積され、さまざまな検索に利用される。
【００３５】ここでは、固定の長さへの調整方法として、調整する固定の長さが予め定められた長さとなるように、ダミーデータを付加するとしたが、制御部１０１にて更に、検索情報要素の種別毎に固定の長さ（語長）を指定し、各種別の検索情報要素が対応する語長で指定された長さとなるように、ダミーデータを付加するようにしても良い。この場合には、識別情報付加部１０２では、固定の長さ（語長）を示す情報も合わせて付加する。
【００３６】図２は図１で示された検索情報生成装置により出力された検索情報要素を示す説明図である。図２(a)は制御部１０１で固定長を指定し、予め定められた固定の長さとなるように、ダミーデータを付加した場合である。
【００３７】図２(b)は制御部１０１で固定長及びその長さを指定し、指定された固定の長さに従ってダミーデータを付加した場合である。図２(c)は制御部１０１で可変長を指定した場合であり、ダミーデータは付加されない。
【００３８】図３はある動画像シーケンスに対応した検索情報のツリー構造を示す説明図である。ここでは説明のため、シーケンスは３つのシーン（シーン＃１、シーン＃２、シーン＃３）に分割され、さらにそれぞれのシーンは、２つのショット（ショット＃１−１、ショット＃１−２；ショット＃２−１、ショット＃２−２；ショット＃３−１、ショット＃３−２の計６ショット）に分割されているものとする。
【００３９】各シーンは、検索情報要素として、フリーテキスト形式で表された“シーンタイトル”を持ち、各ショットは、検索情報要素として、フリーテキスト形式で表された“行動描写”情報を持つものとする。
【００４０】上述の検索情報生成装置を、図３のツリー構造で表された検索情報に適用した場合、長さが不定（フリーテキスト）である検索情報要素（シーンタイトル＃１、＃２、＃３；行動描写＃１−１、＃１−２、＃２−１、＃２−２、＃３−１、＃３−２）に対して、固定長／可変長の識別情報、及び固定長である場合には、固定の長さとするためのダミーデータを付加する。
【００４１】図４は各検索情報要素を固定長とする場合の、固定長／可変長識別情報、及びダミーデータを付加した検索情報を示している。図４において、４０１〜４０９は、固定長であることを識別するためのフラグであり、４１０〜４１７は、各検索情報要素を予め定められた固定長とするために付加されたダミーデータである。
【００４２】また、ここでは、木構造の葉（リーフ）の部分のみを示したが、木構造の節（ノード）あるいは根（ルート）部分については、例えば各節（ノード）、根（ルート）にＩＤ番号を設けるなどして、区別することが出来る。
【００４３】このように、各検索情報要素の長さを固定長にし、その長さを明らかにすることによって、検索情報全体を解釈することなく特定の検索情報要素にシークすることが可能となる。
【００４４】次に、本発明の第２の実施形態について、図５を参照して説明するが、上記第１の実施形態と同一部分には同一符号を付し、その説明は省略する。
【００４５】図５は、本実施形態の検索情報生成装置における概略構成を示す機能ブロック図である。本装置は、制御部１０１、識別情報付加部１０２、検索情報長調整部５０３、付加情報生成部５０４を備えている。
【００４６】検索情報長調整部５０３では、制御部１０１で固定長が指定された場合、ダミーデータを付加するのではなく、付加情報生成部５０４で生成された情報（ユーザデータ）を付加することが、第１の実施形態とは異なる点である。
【００４７】付加情報生成部５０４では、例えば、検索情報のツリー構造における関連する節（ノード）へのリンク情報、あるいはコンテンツデータの一部等のデータが生成され、検索情報長調整部５０３にユーザデータとして入力される。
【００４８】ここで、節（ノード）へのリンク情報付加の例としては、各節（ノード）にＩＤ番号を設け、関連する節（ノード）のＩＤ番号を付加データとして挿入する方法があげられる。
【００４９】図３において、シーン＃１、シーン＃２、シーン＃３のＩＤ番号を、それぞれＩＤ＃１、ＩＤ＃２、ＩＤ＃３とし、ショット＃１−１、ショット＃１−２、ショット＃２−１、ショット＃２−２、ショット＃３−１、ショット＃３−２のＩＤ番号を、それぞれＩＤ＃１−１、ＩＤ＃１−２、ＩＤ＃２−１、ＩＤ＃２−２、ＩＤ＃３−１、ＩＤ＃３−２とする。
【００５０】例えば、ショット＃３−２の行動描写情報が、ショット＃１−１と関連がある場合、ショット＃３−２の行動描写情報の後に位置する付加部分（図４の４１７）に、ショット＃１−１のＩＤ番号であるＩＤ＃１−１を付加する。
【００５１】また、ＩＤ番号の代わりに、関連する節（ノード）へのデータストリーム上でのオフセット値を記述しても良い。また、コンテンツデータの一部を付加する場合等で、付加情報生成部５０４で生成されたユーザデータがダミーデータ領域におさまらないような場合、複数のダミーデータ領域を利用して、１つのユーザデータを分散する形で挿入しても良い。
【００５２】この場合、各ユーザデータ領域の末尾に、ユーザデータが終了したか否かを示すフラグや、ユーザデータ領域の先頭に、新規のユーザデータであるか否かを示すフラグを付加する必要がある。また、複数のダミーデータ領域の全てあるいは一部を利用して、ウォーターマーク等の著作権保護機能を組み込んだ構成としても良い。
【００５３】このように、ダミーデータの代わりに意味をもったユーザデータを付加することにより、検索情報資源を有効活用することができるとともに、各検索情報要素の長さを固定長にし、その長さを明らかにすることによって、検索情報全体を解釈することなく特定の検索情報要素にシークすることが可能となる。
【００５４】次に、本発明の第３の実施形態について、図６乃至図８を参照して説明するが、上記第１の実施形態と同一部分には同一符号を付し、その説明は省略する。説明する。
【００５５】図６は本実施形態の検索情報生成装置における概略構成を示す機能ブロック図である。本装置は、制御部１０１、識別情報付加部１０２、検索情報長調整部１０３、検索情報解析部６０４を備えている。
【００５６】一般に、検索情報要素には、これまでに挙げてきたような長さが不定のフリーテキストで記述されるものと、予め決められたフォーマットに従って記述されるものがある。
【００５７】前者は、“タイトル”、“行動描写”などであり、後者は、“色頻度”情報、“動き強度”情報などである。例えば、色頻度情報の場合では、色空間を予め定められた特定数の区間に区切り各区間のサンプル数を固定のビット数で表現した、固定のフォーマットで与えられる。
【００５８】検索情報解析部６０４では、上述の２種類の検索情報種別の判定を行い、前者（長さが不定のフリーテキスト）である場合には、識別情報付加部１０２に送られ、上記第１の実施形態と同様に、固定長／可変長を示す識別情報を付加するとともに、検索情報長調整部１０３に送られ、固定長とするためのダミーデータ等が付加される。
【００５９】後者（予め決められたフォーマット）である場合には、特にデータは付加されずに、そのまま伝送／蓄積される。
【００６０】図７はある動画像シーケンスに対応した検索情報のツリー構造を示した説明図である。ここでは説明のため、シーケンスは３つのシーン（シーン＃１、シーン＃２、シーン＃３）に分割され、さらにそれぞれのシーンは、２つのショット（ショット＃１−１、ショット＃１−２；ショット＃２−１、ショット＃２−２；ショット＃３−１、ショット＃３−２の計６ショット）に分割されている。
【００６１】各シーンは、検索情報要素として、フリーテキスト形式で表された“シーンタイトル”を持ち、各ショットは、検索情報要素として、フリーテキスト形式で表された“行動描写”情報と、予め決められたフォーマットで記述された“色頻度”情報を持っているものとする。
【００６２】上述の検索情報生成装置を、図７のツリー構造で表された検索情報に適用した場合、“シーンタイトル”、及び“行動描写”情報は、検索情報解析部６０４において、検索情報種別が前者（長さ不定のフリーテキスト）と判別され、識別情報付加部１０２に送られる。
【００６３】また、“色頻度”情報は、検索情報解析部６０４において、検索情報種別が後者（予め決められたフォーマット）と判別され、そのまま伝送／蓄積される。
【００６４】図８はフリーテキストで表された検索情報要素を固定長とする場合の、検索情報を示している。図８において、８０１〜８０９は固定長であることを識別するためのフラグであり、８１０〜８１７は各検索情報要素を予め定められた固定長とするために付加されたダミーデータである。尚、ダミーデータではなく、上記第２の実施形態で用いたようなユーザデータを付加しても良い。
【００６５】このように、検索情報要素の種別に応じて切替えることによって、効率の良い検索情報の生成が可能となるとともに、検索情報全体を解釈することなく特定の検索情報要素にシークすることが可能となる。
【００６６】尚、上記第１〜第３の実施形態においては、各検索情報要素毎に識別情報を付加する構成としたが、例えば、シーンタイトル＃１〜＃３、あるいは行動描写情報＃１−１〜＃３−２等、検索情報要素種別毎にまとめて伝送する場合などでは、各検索情報要素毎に識別情報を付加するのではなく、種別毎にまとめた検索情報要素群の先頭に１つのみ識別情報を付加する構成としても良い。
【００６７】
【発明の効果】本発明の検索情報生成装置によれば、予め決められたフォーマットで記述された検索情報要素と、長さが不定のフリーテキストで記述された検索情報要素が入り組んだ検索情報においても、固定長か可変長かの識別情報を付加することにより、その検索情報要素が、固定長か可変長かを前もって把握することができる。
【００６８】さらに、各検索情報要素の長さをダミーデータを付加することにより固定長にし、その長さを明らかにすることにより、検索者は、検索情報全体を解釈することなく、特定の検索情報要素にシークすることが可能となる。
【００６９】また、検索情報要素に意味をもったユーザデータを付加し、固定長に調整することにより、検索情報資源を有効活用することができるとともに、検索情報全体を解釈することなく、特定の検索情報要素にシークすることが可能となる。
【出願人】 【識別番号】０００００５０４９
【氏名又は名称】シャープ株式会社
【出願日】 平成１２年１０月２０日（２０００．１０．２０）
【代理人】 【識別番号】１００１０２２７７
【弁理士】
【氏名又は名称】佐々木 晴康 （外２名）
【公開番号】 特開２００２−１３２７７５（Ｐ２００２−１３２７７５Ａ）
【公開日】 平成１４年５月１０日（２００２．５．１０）
【出願番号】 特願２０００−３２０１８６（Ｐ２０００−３２０１８６）