トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 コンテンツ撮影装置
【発明者】 【氏名】森岡 芳宏

【氏名】山本 洋三

【氏名】安方 満

【氏名】小林 正明
【要約】 【課題】音声入力されたイベント情報を、コストを増大させることなく、音声認識によりメタデータに変換できるコンテンツ撮影装置を提供する。

【構成】記録モードまたは記録スタンバイモードである時に、音声入力手段より入力される解説音声をフィルタリング手段でフィルタリングした後、出力のレベルを検出し、出力レベルが、事前に設定した出力期間以上の期間に渡って、事前に設定した出力レベル以上である場合、解説音声の入力が始まった時刻情報を含む音声タグを生成し、時刻情報を含む前記音声タグを前記解説音声の時刻情報と関連付け、前記音声タグをメタデータとして前記情報記憶媒体に記録する。
【特許請求の範囲】
【請求項１】
映像、音声またはデータのいずれかを含み時刻情報で任意の位置にアクセスできるコンテンツをストリームに変換し、前記コンテンツに関するメタデータと組み合わせて、情報記憶媒体に記録するコンテンツ撮影装置であって、
記録モードまたは記録スタンバイモードである時に、音声入力手段より入力される前記コンテンツの付加情報を含む解説音声のフィルタリング手段と、
前記フィルタリング手段の出力のレベル検出手段と、
前記フィルタリング手段の出力レベルが、事前に設定した出力期間以上の期間に渡って、事前に設定した出力レベル以上である場合、該解説音声の入力が始まった時刻情報を含む音声タグを生成する手段と、
時刻情報を含む前記音声タグを前記解説音声の時刻情報と関連付け、前記音声タグをメタデータとして前記情報記憶媒体に記録する手段とを具備することを特徴とするコンテンツ撮影装置。
【請求項２】
前記音声タグを用いて前記解説音声にアクセスし、前記解説音声を入力しテキストデータに変換する音声認識手段と、
前記音声認識手段で変換されたテキストデータを撮影されたコンテンツの時刻情報と関連付ける手段とをさらに具備することを特徴とする請求項１に記載のコンテンツ撮影装置。
【請求項３】
前記解説音声のテキストデータへの変換は、記録モードでも再生モードでもない場合にノンリアルタイムに実行されることを特徴とする請求項２に記載のコンテンツ撮影装置。
【請求項４】
検索手段より入力された検索用キーワードが前記メタデータの少なくとも一部分と合致する場合、前記記録メディアから該検索用キーワードを包含するコンテンツを再生する手段をさらに具備することを特徴とする請求項２に記載のコンテンツ撮影装置。
【請求項５】
前記音声タグを用いて前記解説音声にアクセスして該解説音声を装置外に出力する手段と、
装置外で変換された前記解説音声のテキストデータを入力する手段と、
前記テキストデータを撮影されたコンテンツの時刻情報と関連付ける手段とをさらに具備することを特徴とする請求項１に記載のコンテンツ撮影装置。
【請求項６】
撮影用カメラ部におけるレンズ部のズーム状態、絞り値、焦点距離、シャッター速度、レンズ部の水平または垂直の傾き角、レンズ部の水平方向または垂直方向に回転する角速度、または、レンズ部の前後左右または垂直方向の移動加速度の少なくともいずれかのレンズ部の動作データと、ユーザによる入力データと、前記動作データにあらかじめ決めた演算処理を行って得たデータのいずれかをカメラ制御手段より受け取り、当該受け取ったデータをメタデータとして該当する映像フレームと関連付けて一時記憶させる制御手段とをさらに具備することを特徴とする請求項１に記載のコンテンツ撮影装置。
【請求項７】
記録されるメタデータのそれぞれに優先度を設定し、当該優先度も各メタデータの付加情報として前記情報記録媒体に記録する手段をさらに具備することを特徴とする請求項１〜６のいずれかに記載のコンテンツ撮影装置。
【請求項８】
読み出し優先度の設定手段と、
前記読み出し優先度の設定手段で設定された優先度よりも高い優先度を有するメタデータ情報を出力する手段とをさらに具備することを特徴とする請求項７に記載のコンテンツ撮影装置。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、撮影時に音声入力されたイベント情報を音声認識を介して音声メタデータを作成するコンテンツ作成装置に関する。
【背景技術】
【０００２】
通常、映画やドラマでは絵コンテ等を元にシナリオを作成するが、プロフェッショナルによるニュース、ドキュメンタリー、バラエティ番組、生本番の舞台、およびコンサート等の撮影においてはシナリオが存在するのは稀である。このような状態は、アマチュアによる運動会や入学式、卒業式、音楽の発表会、および結婚式等の撮影においても同様である。このような状態では、撮影者は自身の予測の範囲内または予測の範囲を超えてリアルタイムに発生するイベントを撮影することになる。
【０００３】
つまり、撮影後の編集時に、逐次発生したイベントに応じた臨機応変な対応が必要である。しかしながら、上述のような生本番の舞台やコンサート、運動会や入学式、卒業式、音楽の発表会、および結婚式等はプログラムの進行に沿ってイベントが発生するが、発生するイベントに対するシナリオは存在しない。つまり、イベントは撮影者の予想を超えた内容でリアルタイムに発生する。そのために、撮影画像に編集時に必要となる情報をメタデータとして作成して、撮影画像データと共に保存しておく必要がある。
【０００４】
そのためには、撮影時に発生するイベントに応じて、例えば、撮影者或いは別の人が、メモ用紙に、撮影日（日付、朝昼夕夜など）、撮影方法（レンズ、カメラ、ショット、光源など）、イベントの参加者（目線、動き、表情、テンション、メイク、衣装の状態など）、セリフ（アドリブなどのキーワード）、および音（サウンド）などの注目ポイントに関する情報をメモしておく。そして、撮影後に同メモに基づいて、メタデータを作成する必要がある。
【０００５】
しかしながら、撮影時に、発生したイベントの状況（内容）や人の表情に関するメモなどをリアルタイムに手書きで記録して残すことは並大抵なことではない。そのために、コンテンツ撮影に関する記録に基づいてメタデータを作成して、撮影画像に付与するためには専任の補助者が必要である。
【０００６】
上述のようなリアルタイムなメモ書きや専任の補助者を必要としないメタデータの入力方法と編集システムとして、特許文献１に記載されたものが知られている。具体的には、コンテンツに関連したメタデータの作成あるいはタグ付けを行う場合に、制作されたコンテンツのシナリオ等から事前に抽出したキーワードが音声で入力される。そして、シナリオに基づいて辞書分野の設定およびキーワードの優先順位付けが行われて、音声認識手段によってメタデータが作成される。同方法によれば、キー入力では困難な数秒間隔でメタデータを付与する場合でも、音声認識を用いることによって効率のよいメタデータの付与が可能である。また、メタデータを検索するキーワードとして、シーン検索もできる。
【０００７】
【特許文献１】特許第３７８１７１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら上述の従来の構成では、リアルタイムで音声入力されるキーワードをリアルタイムに認識できる音声認識エンジンをカメラに実装する必要がある。音声認識エンジンを実装するためには、カメラに音声認識用マイコン処理系の追加など基本設計の変更が必要となりコストが増大する。また、コスト増の主な原因であるリアルタイム音声認識エンジンは、撮影時のキーワード入力時以外は無用であり、コスト効率が悪い。
【０００９】
従って本発明は、音声入力されたイベント情報を、コストを増大させることなく、音声認識によりメタデータに変換できるコンテンツ撮影装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため本発明のコンテンツ撮影装置は、
映像、音声またはデータのいずれかを含み時刻情報で任意の位置にアクセスできるコンテンツをストリームに変換し、前記コンテンツに関するメタデータと組み合わせて、情報記憶媒体に記録するコンテンツ撮影装置であって、
記録モードまたは記録スタンバイモードである時に、音声入力手段より入力される前記コンテンツの付加情報を含む解説音声のフィルタリング手段と、
前記フィルタリング手段の出力のレベル検出手段と、
前記フィルタリング手段の出力レベルが、事前に設定した出力期間以上の期間に渡って、事前に設定した出力レベル以上である場合、該解説音声の入力が始まった時刻情報を含む音声タグを生成する手段と、
時刻情報を含む前記音声タグを前記解説音声の時刻情報と関連付け、前記音声タグをメタデータとして前記情報記憶媒体に記録する手段とを具備することを特徴とする。
【００１１】
本発明のコンテンツ撮影装置において、
前記音声タグを用いて前記解説音声にアクセスし、前記解説音声を入力しテキストデータに変換する音声認識手段と、
前記音声認識手段で変換されたテキストデータを撮影されたコンテンツの時刻情報と関連付ける手段とをさらに具備することが好ましい。
【００１２】
また本発明のコンテンツ撮影装置において、前記解説音声のテキストデータへの変換は、記録モードでも再生モードでもない場合にノンリアルタイムに実行されることが好ましい。
【００１３】
本発明のコンテンツ撮影装置において、検索手段より入力された検索用キーワードが前記メタデータの少なくとも一部分と合致する場合、前記記録メディアから該検索用キーワードを包含するコンテンツを再生する手段をさらに具備することが好ましい。
【００１４】
本発明のコンテンツ撮影装置において、
前記音声タグを用いて前記解説音声にアクセスして該解説音声を装置外に出力する手段と、
装置外で変換された前記解説音声のテキストデータを入力する手段と、
前記テキストデータを撮影されたコンテンツの時刻情報と関連付ける手段とをさらに具備することが好ましい。
【００１５】
本発明のコンテンツ撮影装置において、撮影用カメラ部におけるレンズ部のズーム状態、絞り値、焦点距離、シャッター速度、レンズ部の水平または垂直の傾き角、レンズ部の水平方向または垂直方向に回転する角速度、または、レンズ部の前後左右または垂直方向の移動加速度の少なくともいずれかのレンズ部の動作データと、ユーザによる入力データと、前記動作データにあらかじめ決めた演算処理を行って得たデータのいずれかをカメラ制御手段より受け取り、当該受け取ったデータをメタデータとして該当する映像フレームと関連付けて一時記憶させる制御手段とをさらに具備することが好ましい。
【００１６】
本発明のコンテンツ撮影装置において、記録されるメタデータのそれぞれに優先度を設定し、当該優先度も各メタデータの付加情報として前記情報記録媒体に記録する手段をさらに具備することが好ましい。
【００１７】
本発明のコンテンツ撮影装置において、
読み出し優先度の設定手段と、
前記読み出し優先度の設定手段で設定された優先度よりも高い優先度を有するメタデータ情報を出力する手段とをさらに具備することが好ましい。
【発明の効果】
【００１８】
本発明の構成では、音声認識エンジンが動作するためのＣＰＵ負荷を下げることができるので、数十ＭＩＰＳ程度以上の安価なＣＰＵを搭載した民生用ムービーなどでも、音声メタデータをテキストメタデータに変換することが可能となり、導入コストを低くできる。
【発明を実施するための最良の形態】
【００１９】
本発明の実施の形態について、図面を参照して具体的に説明する前に、本発明における基本的な技術的特徴について説明する。上述の特許文献１に提案されている方法では撮影時に入力される音声に基づいてリアルタイムにメタデータを作成するために負荷が膨大なために、コンテンツ撮像装置のリソースに対する要求も厳しくならざるを得ない。
【００２０】
本発明においては、音声入力に対する音声認識処理を撮影時にリアルタイム処理として行うのではなく、撮影後あるいは撮影に対するリソース要求が緩和された時にバッチ的に処理する。つまり、本発明においては、撮影時にリアタイムに入力される音声において音声認識対象部分の位置を示す位置情報である一次メタデータが作成される。位置情報としては、入力音声データのタイムコードやファイル内でのバイト／ビット位置情報が利用される。
【００２１】
結果、音声認識エンジンは、一次メタデータに基づいて、リソース要求が逼迫していない時に、入力音声データの認識対象部分にアクセスできる。音声認識結果に基づいてキーワードをテキストとして検出して、撮影後のコンテンツの編集の際に必要となる二次メタデータを作成する。
【００２２】
よって、ＣＰＵは、音声認識を負荷の大きなリアルタイムで処理するのではなく、負荷の小さなノンリアルタイムで処理できる。すなわち、音声認識エンジンが動作するためのＣＰＵ負荷を下げることができるので、数十ＭＩＰＳ程度以上の安価なＣＰＵを搭載した民生用ムービーなどでも、音声メタデータをテキストメタデータに変換することが可能となり、導入コストを低くできるという大きなメリットを持つ。なお、ＣＰＵのパワーが十分であれば、リアルタイムに音声認識処理をしてもよいことは言うまでもない。
【００２３】
図１を参照して、本発明の実施の形態に係るコンテンツ撮影装置について説明する。図１においては、コンテンツ撮影装置Ａｃｃは、カメラ１０１において記録媒体（またはバッファメモリ）上に映像データと音声データとメタデータを作成するシステムモデルの一例として表されている。
【００２４】
図１において参照符号１０１はカメラを示し、参照符号１０２はカメラ１０１のレンズ部を示し、参照符号１０３はカメラ１０１のマイクを示し、そして参照符号１０４はカメラ１０１の撮影対象を示している。なお、撮影対象１０４とは、例えば、風景や人やペットなどの動物、車、建造物などの物である。
【００２５】
参照符号１１４は、メタデータ入力用ボタンを示し、参照符号１０５はカメラ１０１で撮影したデータを示し、参照符号１０６はメタデータを含むＡＶストリームデータファイル１０６を示している。参照符号１０７は、撮影シーン情報ＩＳ（シーン番号、カット番号、テーク番号、その収録テークの採用、不採用、保留）等のメタデータを示している。参照符号１０９は、カメラ１０１に対するリモコンを示している。ユーザはメタデータ入力用ボタン１１４およびリモコン１０９を操作して、カメラ１０１にメタデータ１０７を入力する。なお、カメラ１０１に用いられる撮像素子は、好ましくはＣＣＤやＣ−ＭＯＳなどで構成される。
【００２６】
参照符号１０８はカメラ１０１で撮影されたデータシーケンスを示している。データシーケンス１０８においては、時間軸上に映像データ、音声データ、およびメタデータ１０７が配置されている。メタデータ１０７はテキスト形式の文字データとして扱うが、バイナリィ形式のデータとしても良い。データシーケンス１０８は、特定のシーンにおけるクリップ＃１からクリップ＃５までを含んでいる。
【００２７】
参照符号１１０は編集により、クリップ＃１からクリップ＃５までがつなぎ合わされたデータシーケンスを示している。参照符号１１１は、カメラ１０１に接続可能なテレビを示している。参照符号１１２は、カメラ１０１からテレビ１１１に信号を送る接続ケーブルを示している。参照符号１１３は、テレビ１１１からカメラ１０１へ信号を送る接続ケーブルを示している。ユーザは、カメラ１０１から離れた場所でリモコン１０９を操作して、信号ケーブル１１２を経由して、各シーンを編集されたデータシーケンスの順番でテレビ１１１に一覧表示させることができる。
【００２８】
符号１１５はマイク１０３と同様に、音声を検出して音声信号としてカメラ１０１に入力するマイクを示している。参照符号１１７はカメラ１０１に内蔵されているマイクを示している。但し、マイク１１５は、マイク１０３およびマイク１１７がカメラ１０１に直接取り付けられてカメラ１０１の近傍の音声を収録するのに比べて、ケーブルなどでカメラ１０１に接続されてカメラ１０１の遠方の音声の収録に用いられる。マイク１１５は後述するように、マイクの代わりに光センサを用いることもできる。
【００２９】
テレビ１１１による一覧表示について簡単に説明する。テレビ１１１の画面において、横軸は時間の経過を表しており、それぞれのクリップを有効部と無効部に分けて示している。テレビ１１１の一覧表示において３つある有効部それぞれの代表クリップを代表サムネイルで画面上に表示している様子が例示されている。この代表クリップは、それぞれの有効部の先頭フレームであってもよいし、有効部分の途中にある代表フレームであってもよい。
【００３０】
上述のメタデータ入力用ボタン１１４は、好ましくは３つのボタンにより構成されている。カメラで撮影中に重要な場面で、ユーザがメタデータ入力用ボタン１１４を操作することにより、その重要な撮影場面（クリップ）にマークをつけることができる（「マーキング機能」と言う）。この重要クリップを指すマークもメタデータ１０７であり、このメタデータ１０７を利用することにより、撮影後にマーク検索によりマークを付けたクリップ（クリップの先頭または代表となるフレームの映像、またはそれらのサムネイル映像）を素早く呼び出すことができる。メタデータ入力用ボタン１１４の３つのボタンは、例えば、１つ目のボタンは重要クリップの登録に、２つ目のボタンはボタン操作を有効にしたり文字入力モードに切替えたりするモード切替えに、３つ目のボタンは登録のキャンセル等の用途に使用する。
【００３１】
また、１つ目のボタンを押している期間を重要クリップとして登録するモードに切替えることもできる。さらに、１つ目のボタンを押した時点の前後５秒、あるいは前５秒、後１０秒の合計１５秒を重要クリップとして登録するモードに切替えることもできる。ボタンが３つあれば、押すボタンの種類、タイミング、押す長さの組み合わせにより、多くの機能を実現できる。
【００３２】
メタデータ１０７として入力された撮影シーン情報ＩＳはクリップのタイムコードに関連付けられる。そして、タイムコードに関連づけられたメタデータ１０７は、カメラ１０１の本体内で電子的にカチンコ音や収録コンテンツと関連付けて、新たなメタデータ１０７として生成される。これにより、カチンコを鳴らした時刻への即時アクセスはもちろん、カチンコを鳴らした時刻以前の不要な収録データの削除や、収録結果が採用のシーンやカット等の並べ替えが簡単にできる。例えば、運動会の撮影において、かけっこ（短距離競争）、リレーなどの長距離競争、綱引き、および玉入れ等の開始タイミングにおけるフレーム画像もすぐに呼び出すことができる。
【００３３】
ユーザは、カメラで撮影した撮影素材であるデータシーケンスから、各クリップの開始位置（時刻）と終了位置（時刻）、または長さを選択して、各クリップを並べ替えることができる。また各クリップをＴＶモニタなどに表示する場合、そのクリップの先頭または先頭以降最後尾のフレーム（またはフィールド）映像や、パンやズームの前後などにおけるフィックス画像などのクリップで最も特徴的なフレームを、そのクリップを代表する映像として表わすことができる。
【００３４】
なお、記録・ポーズ・停止などのムービーのボタン操作、撮影者の声をマイク１１５で検出して、クリップの特定のタイムコードと関連付けた（マーキングした）メタデータとして登録することができる。撮影者の声の例として、撮影対象に関するメタ情報がある。具体例としては、前述した撮影日（日付、朝昼夕夜など）、撮影方法（レンズ、カメラ、ショット、光源など）、イベントの参加者（目線、動き、表情、テンション、メイク、衣装の状態など）、セリフ（アドリブなどのキーワード）、音（サウンド）、その他注目ポイントなどコンテンツの撮影に関する情報などである。
【００３５】
マイク１０３、１１５または１１７から入力された音声信号があらかじめ設定してあるレベル以上の場合、カメラ１０１は、そこで音声入力があったと判断して、入力音声を該撮影クリップ（ファイル）のタイムコードと関連付ける。カメラ１０１は、上述した一次メタデータとし、タイムコードと関連付けられた情報を含むリストを作成して音声メタデータ（音声タグともいう）を生成する。更にカメラ１０１は、その音声メタデータを入力音声とともにファイル化してカメラ本体内に記録する。
【００３６】
以上のように、事前に設定した特定レベル以上の音声として入力された音声は音声メタデータにおいてクリップのタイムコードと関連付けられる。また入力音声は、音声メタデータとともに、タイムコードと１対１対応の音声メタデータ専用チャネルに記録される。
【００３７】
よって、音声メタデータのリストを見れば、音声メタデータ専用チャネルに記録されている音声部分にアクセスすることができる。カメラに内蔵された音声認識エンジンは、該ファイルの音声位置情報より音声部分に高速にアクセスして、音声をテキスト変換する。変換されたテキストデータは、その後前記メタデータのリストに追加されて、上述した二次メタデータが生成される。
【００３８】
以上により、撮影イベントに関するメタデータをテキストデータとして記録できるため、編集や視聴などのアプリケーションにおいて、撮影内容の検索性を向上できる。
【００３９】
通常、音声認識エンジンは、音声認識用のソフトウェアをＣＰＵで実行することによって実現される。本実施の形態では、入力音声が音声メタデータとともにファイル化され、カメラ本体内に記録されているため、音声認識エンジンは、撮影コンテンツの管理情報（たとえば、タイムコードやファイル内でのバイト／ビット位置情報等）を用いて、上述した音声メタデータに、必要な時にいつでもアクセスできる。よって、ＣＰＵは、音声認識を、撮影時のような負荷の大きい時にリアルタイムで実行するのでなく、撮影や再生を行っていない負荷の小さな時にノンリアルタイムで実行できる。
【００４０】
すなわち、本実施の形態によれば、音声認識エンジンを動作させる際のＣＰＵ負荷を下げることができる。結果、数十ＭＩＰＳ程度以上の安価なＣＰＵを搭載した民生用ムービーなどでも、音声認識エンジンをノンリアルタイムで動作させ、入力音声を二次のメタデータであるテキストメタデータに変換することが可能となる。なお、音声認識エンジンは、必ずしもカメラに内蔵する必要はない。音声認識エンジンをＰＣに内蔵させ、入力音声と音声メタデータを含むファイルをＰＣに渡してＰＣで処理してもよいし、カメラをケーブルでＰＣと接続して処理してもよい。
【００４１】
図２を参照してカメラ１０１の内部構成について説明する。カメラ１０１の内部には、ズーム制御部２０１、フォーカス制御部２０２、露出制御部２０３、撮像素子２０４、シャッタ速度制御部２０５、カメラマイコン２０６、絶対傾きセンサ２０７、角速度センサ２０８、前後／左右／垂直の加速度センサ２０９、ユーザ入力系２１０、カメラ信号処理部２１１、音声処理系２１２、Ｈ．２６４方式エンコーダ２１３、記録メディア２１４、および出力インタフェース２１５が備えられている。
【００４２】
ズーム制御部２０１はレンズ部１０２のズーム動作を制御する。フォーカス制御部２０２は、レンズ部１０２のフォーカス動作を制御する。露出制御部２０３は、レンズ部１０２の露出調整動作を制御する。シャッタ速度制御部２０５は、撮像素子２０４のシャッタ速度調整動作を制御する。絶対傾きセンサ２０７は、カメラ１０１の水平／垂直方向の絶対傾きを検出する。角速度センサ２０８は、カメラ１０１の水平／垂直方向の角速度を検出する。加速度センサ２０９は、カメラ１０１の前後／左右／垂直の加速度を検出する。
【００４３】
ユーザ入力系２１０は、ボタンなどでユーザの操作を受け付けて指示信号を生成する。音声処理系２１２は、内蔵マイク１１７、外部マイク１０３、あるいはマイク１１５からの入力を受け付ける。Ｈ．２６４方式エンコーダ２１３は、音声処理系２１２に入力された音声から、カチンコによる音を検出してカチンコ音検出メタデータを生成する。
【００４４】
撮像素子２０４の動作パラメータとしては、３原色点の色度空間情報、白色の座標、および３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、および３原色または輝度信号のガンマ情報の少なくとも１つの撮像像素子動作データがある。本実施の形態においては、一例として、３原色点の色度空間情報、３原色のうちＲ（赤）とＢ（青）のゲイン情報、およびＧ（緑）のガンマカーブ情報をメタデータとして取り扱うものとする。なお、３原色点の色度空間情報が分かれば色空間における色再現が可能な範囲が分かる。また、３原色のうちＲ（赤）とＢ（青）のゲイン情報が分かれば色温度が分かる。さらに、Ｇ（緑）のガンマカーブ情報が分かれば、階調表現特性が分かる。
【００４５】
レンズのズーム情報、レンズのフォーカス情報、レンズの露出情報、撮像素子のシャッタ速度情報、水平／垂直方向の絶対傾き情報、水平／垂直方向の角速度情報、前後／左右／垂直の加速度情報、ユーザの入力したボタン情報やシーン番号、カット番号、テーク番号、その収録テークの採用、不採用、保留などに関する情報、３原色点の色度空間情報、３原色のうちＲ（赤）とＢ（青）のゲイン情報、およびＧ（緑）のガンマカーブ情報は、カメラマイコン２０６においてメタデータ１０７（カメラメタと呼ぶ）として取り扱われる。
【００４６】
撮像素子２０４で撮影された情報（画像のデータ）は、カメラ信号処理部２１１による画素単位で画素欠陥補正やガンマ補正などの処理を経て、Ｈ．２６４方式エンコーダ２１３で圧縮された後に、前述のカメラメタと共に記録メディア２１４に蓄積される。また、Ｈ．２６４方式エンコーダ２１３のＡＶ出力と、カメラ部マイコン２０６のカメラメタ出力は、出力インタフェース２１５より、それぞれ出力される。
【００４７】
次に、図３を参照して、本実施の形態において採用されている映像圧縮方式であるＡＶＣ方式および音声圧縮方式であるＡＡＣ方式について説明する。なお、図３には、カメラ１０１が内部に有するＡＶ信号圧縮記録制御部における映像と音声の圧縮エンジンとその周辺処理手段の詳細な構成が示されている。同図において、参照符号３０１は映像符号化部を示し、参照符号３０２はＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ）−ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットバッファを示し、参照符号３０３はＡＡＣ方式による音声符号化部を示している。
【００４８】
参照符号３０４はＰＳ（Ｐａｒａｍｅｔｅｒ Ｓｅｔ）バッファを示し、参照符号３０５はＶＵＩ（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ）バッファを示し、参照符号３０６はＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）バッファを示し、参照符号３０７はｎｏｎ−ＶＣＬ−ＮＡＬユニットバッファを示し、参照符号３０８はＭＰＥＧ−ＰＥＳパケット生成部を示している。また、参照符号３０９はＭＰＥＧ−ＴＳ（ＭＰＥＧ Ｔｒａｎｓｐｏｒｔ Ｐａｃｋｅｔ）生成部を示し、参照符号３１０はＡＴＳ（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｓｔａｍｐ）パケット生成部を示し、参照符号３１１はＥＰ−ｍａｐ生成部を示している。
【００４９】
図３に示すように、映像信号は映像符号化部３０１によってＶＣＬ−ＮＡＬユニット形式のデータに変換された後に、ＶＣＬ−ＮＡＬユニットバッファ３０２によって一時保持される。音声信号、外部入力ＰＳデータおよび外部入力ＶＵＩデータは、音声符号化部３０３、ＰＳバッファ３０４、およびＶＵＩバッファ３０５によってそれぞれＮｏｎ ＶＣＬ−ＮＡＬユニット形式のデータに変換された後に、Ｎｏｎ ＶＣＬ−ＮＡＬユニットバッファ３０７で一時保持される。同様に、リアルタイム系メタデータはＳＥＩバッファ３０６によって、Ｎｏｎ ＶＣＬ−ＮＡＬユニット形式のデータに変換された後に、Ｎｏｎ ＶＣＬ−ＮＡＬユニットバッファ３０７で一時保持される。
【００５０】
ＭＰＥＧ−ＰＥＳパケット生成部３０８は、ＶＣＬ−ＮＡＬユニットバッファ３０２から出力されたＶＣＬ−ＮＡＬユニット形式のデータと、Ｎｏｎ ＶＣＬ−ＮＡＬユニットバッファ３０７から出力されたＮｏｎ ＶＣＬ−ＮＡＬユニット形式のデータに基づいて、ＭＰＥＧ−ＰＥＳパケット（図３において「ＰＥＳ」と表示）を生成する。さらに、ＭＰＥＧ−ＴＳ生成部３０９はＭＰＥＧ−ＰＥＳパケット生成部３０８から出力されたＭＰＥＧ−ＰＥＳパケットに基づいて１８８バイト長のＭＰＥＧ−ＴＳ（図３において「ＴＳ」と表示）を生成する。
【００５１】
ＡＴＳパケット生成部３１０は、ＭＰＥＧ−ＴＳ生成部３０９から出力されるＭＰＥＧ−ＴＳ（１８８バイト長）のそれぞれにタイムスタンプを含む４バイトのヘッダーを付加して、１９２バイトのＡＴＳパケット（図３において「ＡＴＳ」と表示）を生成する。このタイムスタンプは、各ＭＰＥＧ−ＴＳパケットがＡＴＳパケット生成部３１０に到着した時刻を示す。タイムスタンプのクロックは２７ＭＨｚである。なお、４バイト全てがタイムスタンプでもよい。また、４バイトの内の３０ビットをタイムスタンプとし、残りの２ビットはコンテンツ保護のためのフラグなどに使用することもできる。
【００５２】
また、ＥＰ−ｍａｐ生成部３１１は、ストリームが包含する各ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）の先頭ピクチャのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）、および各ＧＯＰの先頭ピクチャにおける先頭ＡＴＳの連番をペアで、ＥＰ−ＭＡＰとして出力する。なお、ＰＴＳやＤＴＳ（Ｄｅｃｏｄｅ Ｔｉｍｅ Ｓｔａｍｐ）はＰＥＳパケットのヘッダーに含まれるので抽出は容易である。また、各ＧＯＰの先頭ピクチャにおける先頭ＡＴＳの連番とは、ストリーム先頭のＡＴＳの連番を１とし、ストリーム先頭からのＡＴＳの個数を順次数えた番号である。各ＧＯＰの先頭ピクチャのＰＴＳとＡＴＳ連番のペアであるＥＰ−ＭＡＰとストリーム編集およびプレイリストの関係は後ほど述べる。
【００５３】
Ｈ．２６４／ＡＶＣ方式については、例えば、「Ｈ．２６４／ＡＶＣ教科書」、大久保榮監修、株式会社インプレス発行、などに詳述されている。また、ＭＰＥＧ−ＴＳ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ、Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）信号はＩＥＣ ６１８８３−４で規定されている。ＭＰＥＧ−ＴＳはＭＰＥＧトランスポートパケット（「ＴＳパケット」と略す）が複数個集まったものである。ＴＳパケットは１８８ｂｙｔｅの固定長パケットで、その長さはＡＴＭのセル長（５３バイト中、ＡＴＭペイロードは４７バイト）との整合性、およびリードソロモン符号などの誤り訂正符号化を行なう場合の適用性を考慮して決定されている。
【００５４】
ＴＳパケットは４ｂｙｔｅ固定長のパケットヘッダと可変長のアダプテーションフィールド（ａｄａｐｔａｔｉｏｎ ｆｉｅｌｄ）およびペイロード（ｐａｙｌｏａｄ）で構成される。パケットヘッダにはＰＩＤ（パケット識別子）や各種フラグが定義されている。このＰＩＤによりＴＳパケットの種類を識別する。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄとｐａｙｌｏａｄは、片方のみが存在する場合と両方が存在する場合とがあり、その有無はパケットヘッダ内のフラグ（ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ）により識別できる。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄは、ＰＣＲ（Ｐｒｏｇｒａｍ＿Ｃｌｏｃｋ＿Ｒｅｆｅｒｅｎｃｅ）等の情報伝送、および、ＴＳパケットを１８８ｂｙｔｅ固定長にするためのＴＳパケット内でのスタッフィング機能を持つ。
【００５５】
また、ＭＰＥＧ−２の場合、ＰＣＲは２７ＭＨｚのタイムスタンプで、符号化時の基準時間を復号器のＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）で再現するためにＰＣＲ値が参照される。各ＴＳパケットに付加するタイムスタンプのクロックは、例えば、ＭＰＥＧのシステムクロック周波数に等しい。さらに、パケット送信装置はＴＳパケットを受信し、受信したＴＳパケットに付加されたタイムスタンプより、ＭＰＥＧ−ＴＳのネットワーク伝送によりＰＣＲに付加された伝送ジッターを除去して、ＭＰＥＧシステムクロックの再生を行うクロック再生手段を備える。
【００５６】
ＭＰＥＧ−２のＴＳでは復号器のＳＴＣはＰＣＲによるＰＬＬ動機機能を有する。このＰＬＬ同期の動作を安定させるために、ＰＣＲの送信間隔はＭＰＥＧ規格で１００ｍｓｅｃ以内と定められている。映像や音声などの個別ストリームが収められたＭＰＥＧ−ＰＥＳパケットは、同じＰＩＤ番号を持つ複数のＴＳパケットのペイロードに分割して伝送する。ＰＥＳパケットの先頭は、ＴＳパケットの先頭から開始するように構成される。
【００５７】
トランスポートストリームは複数のプログラムを混合して伝送できる。このような混合伝送を可能にするために、ストリームに含まれているプログラムとそのプログラムを構成している映像や音声ストリームなどのプログラムの要素との関係を表すテーブル情報が用いられている。このテーブル情報はＰＳＩ（Ｐｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎ）と呼ばれ、ＰＡＴ （Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）などのテーブルを含む。ＰＡＴ、およびＰＭＴなどのＰＳＩはセクションと呼ばれる単位でＴＳパケット中のペイロードに配置されて伝送される。
【００５８】
ＰＡＴにはプログラム番号に対応したＰＭＴのＰＩＤなどが指定されている。ＰＭＴには対応するプログラムに含まれる映像、音声、付加データおよびＰＣＲのＰＩＤが記述されるため、ＰＡＴとＰＭＴを参照することにより、ストリームの中から目的のプログラムを構成するＴＳパケットを取り出すことができる。ＴＳに関する参考文献としては、例えば、ＣＱ出版社、ＴＥＣＨ Ｉ Ｖｏ．４、「画像＆音声圧縮技術のすべて（インターネット／ディジタルテレビ、モバイル通信時代の必須技術）」、監修、藤原洋、第６章、「画像や音声を多重化するＭＰＥＧシステム」があり、同書にて解説されている。
【００５９】
ＰＳＩやＳＩに関する論理的な階層構造、処理手順の例、選局処理の例に関して、「デジタル放送受信機における選局技術」、三宅他、三洋電機技報、ＶＯＬ．３６、ＪＵＮＥ ２００４、第７４号、３１ページから４４ページに解説されている。
【００６０】
上述のＳＥＩバッファ３０６に入力されるリアルタイム系メタデータの種類としては、映像や音声のフォーマット情報や、映像フレームを示すタイムコードや前述したメタデータ以外のものも含まれる。具体的には、一般的なデータをメタデータ化したメタデータ、デジタル放送を受信してそのＳＩ（Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ； 番組配列情報）より得るメタデータ、ＥＰＧ提供事業者より得たＥＰＧ情報などのメタデータ、Ｉｎｔｅｒｎｅｔから得たＥＰＧなどのメタデータ、また、個人でムービー撮影したＡＶコンテンツ（静止画、音声、クリップなどの動画）に関連付けたメタデータがある。さらに、レンズのズーム情報、レンズのフォーカス情報、レンズの露出情報、撮像素子のシャッタ速度情報、水平／垂直方向の絶対傾き情報、水平／垂直方向の角速度情報、前後／左右／垂直の加速度情報、ユーザの入力したボタン情報やシーン番号、カット番号、テーク番号、その収録テークの採用、不採用、保留などに関する情報、前述した３原色点の色度空間情報、白色の座標、３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、３原色または輝度信号のガンマ情報などのカメラメタがある。
【００６１】
メタデータの形式としては、例えば、ＵＰｎＰやＵＰｎＰ−ＡＶの標準仕様として、プロパティ（ｐｒｏｐｅｒｔｙ）やアトリビュート（ａｔｔｒｉｂｕｔｅ）があり、ｈｔｔｐ：／／ｕｐｎｐ．ｏｒｇで公開されており、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）やＢＭＬ（Ｂｒｏａｄｃａｓｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などの記述言語で表現できる。
【００６２】
ｈｔｔｐ：／／ｕｐｎｐ．ｏｒｇにおいて、例えば、「Ｄｅｖｉｃｅ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｖ １．０」、「ＣｏｎｔｅｎｔＤｉｒｅｃｔｏｒｙ：１ Ｓｅｒｖｉｃｅ Ｔｅｍｐｌａｔｅ Ｖｅｒｓｉｏｎ １．０１」、「ＭｅｄｉａＳｅｒｖｅｒ Ｖ １．０ ａｎｄ ＭｅｄｉａＲｅｎｄｅｒｅｒ Ｖ １．０」に関して、「ＭｅｄｉａＳｅｒｖｅｒ Ｖ １．０」、「ＭｅｄｉａＲｅｎｄｅｒｅｒ Ｖ １．０」、「ＣｏｎｎｅｃｔｉｏｎＭａｎａｇｅｒ Ｖ １．０」、「ＣｏｎｔｅｎｔＤｉｒｅｃｔｏｒｙ Ｖ １．０」、「ＲｅｎｄｅｒｉｎｇＣｏｎｔｒｏｌ Ｖ １．０」、「ＡＶＴｒａｎｓｐｏｒｔ Ｖ １．０」、「ＵＰｎＰ―ＡＶ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｖ ．８３」などの仕様書が公開されている。また、メタデータ規格に関しては、ＥＢＵのＰ／Ｍｅｔａ、ＳＭＰＴＥのＫＬＶ方式、ＴＶ Ａｎｙｔｉｍｅ、ＭＰＥＧ７などで決められたメタデータ形式があり、「映像情報メディア学会誌、５５巻、３号、情報検索のためのメタデータの標準化動向」などで解説されている。
【００６３】
なお、ムービーなどの撮影者、コンテンツ制作者、またはコンテンツの著作権者が各メタデータに価値を付け、コンテンツを利用するユーザの利用内容や頻度により利用料金を徴収するために、各メタデータに価値を与えるメタデータを関連づけることができる。各メタデータに価値を与えるメタデータは該メタデータのアトリビュートで与えてもよいし、独立したプロパティとして与えてもよい。
【００６４】
録画機器と録画条件に関する情報を一例に具体的に述べる。ムービーの機器ＩＤ、ムービーなどの撮影者、コンテンツ制作者、またはコンテンツの著作権者が作成、登録するメタデータの価値が高くて使用許諾が必要と考える場合、該メタデータの利用には認証による使用許諾のプロセスを実行する構成を本発明に組み込んだ構成をとることもできる。
【００６５】
この場合、撮影者は撮影した動画コンテンツを暗号化したファイルを作成し、Ｉｎｔｅｒｎｅｔ上のサーバーにその暗号化ファイルをアップロードする。そして、暗号化ファイルの説明や一部の画像などを公開して、気にいった人に購入してもらう構成をとることもできる。また、貴重なニュースソースが録画できた場合、複数の放送局のニュース部門間で競売（オークション）にかける構成をとることもできる。
【００６６】
これらメタデータを活用することにより、多くのＡＶコンテンツの効率的な利用が可能となる。具体的には、多くのコンテンツから所望のコンテンツを検索する、ライブラリ分類、記録時間を長時間化、自動表示、およびコンテンツ販売などが挙げられる。記録時間の長時間化は、価値の低い動画コンテンツは解像度を低くするとか、音声と静止画（例えば、ＭＰＥＧのＩピクチャやＨ．２６４のＩＤＲピクチャを抜き出してもよい）だけにするとか、静止画だけにするなどの構成をとることができる。
【００６７】
次に、図４を参照して、Ｈ．２６４のストリーム構造について説明する。図４（Ａ）に、Ｉ（ＩＤＲを含む）、Ｂ、およびＰピクチャよりなる映像のＧＯＰ構造を示す。
【００６８】
図４（Ｂ）に、各ピクチャがＶＣＬおよびＮｏｎ−ＶＣＬのＮＡＬユニットによって構成されていることを示す。ＮＡＬ（ｖｉｄｅｏ）は映像のＮＡＬユニットであり、ＮＡＬ（Ａｕｄｉｏ）は音声のＮＡＬユニットであり、ＮＡＬ（ＳＥＩ）はＳＥＩのＮＡＬユニットである。ＮＡＬ（ＳＥＩ）にはリアルタイムで生成するメタデータを挿入できる。
【００６９】
リアルタイムで生成するメタデータとしては、映像フレームに同期しているタイムコードや、重要なシーンでボタンを押して付加するマーキング情報などがある。タイムコードとしては、ＳＭＰＴＥタイムコード（ＳＭＰＴＥ １２Ｍ）、ＭＴＣ（ＭＩＤＩ Ｔｉｍｅ Ｃｏｄｅ）、ＬＴＣ（Ｌｏｎｇｉｔｕｄｉｎａｌ Ｔｉｍｅ Ｃｏｄｅ）、ＶＩＴＣ（Ｖｅｒｔｉｃａｌ Ｉｎｔｅｒｖａｌ ｉｍｅ Ｃｏｄｅ）や、ＤＶ（ＩＥＣ ６１８３４、 ＩＥＣ ６１８８３）／ＤＶＣＰＲＯ（ＳＭＰＴＥ ３１４Ｍ）のタイムコードで規定されているタイムコードがあり、これらのタイムコードより派生したタイムコードをメタデータとすることもできる。
【００７０】
図４（Ｃ）に、ＰＥＳパケットの構造を示す。ＰＥＳパケットは、図４（Ｂ）に示したピクチャデータに対して、ＰＥＳパケットヘッダが付加されている。なお、ＰＥＳパケットヘッダには、ヘッダーオプションとしてＭＰＥＧのＰＴＳ／ＤＴＳを含めることができる。Ｈ．２６４の観点よりは、ＰＥＳパケットを１ＡＵ（Ａｃｃｅｓｓ Ｕｎｉｔ）として扱う。
【００７１】
図４（Ｄ）に示すように、本例において、ＰＥＳパケットは、１８８バイト毎に分割されＭＰＥＧ−ＴＳパケットが生成される。
【００７２】
図４（Ｅ）に示すように、本例において、ＭＰＥＧ−ＴＳパケットにタイムコードを含む４バイトのヘッダーが付加されて、ＡＴＳパケットが構成される。
【００７３】
次に図５を参照して、プレイリストとストリームの関係について説明する。図３を参照して上述したように、ＡＴＳパケットは、ＡＴＳパケット生成部３１０より、各ＧＯＰの先頭ピクチャのＰＴＳと先頭ＡＴＳ連番のペアであるＥＰ−ＭＡＰ（図５（Ｂ）に一例を示す）と共に出力され、ストリームの編集やプレイリストの作成に用いられる。図５（Ａ）はプレイリストの一例を示しており、プレイリストオブジェクトは「２００５年運動会」という名前を持つ「ｎａｍｅ＿２００５年運動会」である。
【００７４】
「ｎａｍｅ＿２００５年運動会」は、２つのプレイアイテム（ＰｌａｙＩｔｅｍ）である「演技」と「かけっこ」という名前を持つプレイアイテムオブジェクト「ｉｎａｍｅ＿演技」および「ｉｎａｍｅ＿かけっこ」から構成されている。「ｉｎａｍｅ＿演技」および「ｉｎａｍｅ＿かけっこ」のＩＮ点およびＯＵＴ点は、それぞれのピクチャが属するＰＴＳと、ストリーム先頭からのＡＴＳ連番のペアで示されている（図５（Ｂ））。プレイアイテムはストリームを特定し、ＡＴＳ連番より特定されたストリームの先頭からの位置を１９２バイト単位で特定する。図５（Ｂ）および図５（Ｃ）において、「ｉｎａｍｅ＿演技」は、それぞれストリーム上の（１）から（２）、「ｉｎａｍｅ＿かけっこ」は（３）から（４）で与えられる。
【００７５】
図１を参照して上述した撮影の各クリップは、各プレイアイテムに関連付けて取り扱うことができる。「ｉｎａｍｅ＿演技」に関しては、撮影シーン情報ＩＳ（シーン番号、カット番号、テーク番号、その収録テークの採用、不採用、保留など）とリンクさせ、かつ、プレイアイテムの重要部分の開始時刻を例えばカチンコが鳴らされた時刻に設定できる。
【００７６】
「ｉｎａｍｅ＿かけっこ」に関しては、ピストルの発射音の検出時刻を使用してかけっこで走り出す部分にアクセスできる。また、「ｉｎａｍｅ＿演技」、「ｉｎａｍｅ＿かけっこ」など行事のプログラム構成を事前に機器に登録しておき、撮影時に登録された情報をカメラのビューファインダー上に表示したメニューより選択して一種の撮影シナリオを表すメタデータ１０７として登録することもできる。メタデータ１０７は電子データであるため、行事が終わった後でも、プログラムを登録することもできるし、登録内容を修正できる。
【００７７】
次に、図６を参照して、情報記録媒体における動画ファイル、静止画ファイル、およびメタデータの記録ディレクトリ構造の一例について説明する。図６において、ｒｏｏｔ下に、「Ｍｏｖｉｅ」、「Ｓｔｉｌｌ Ｐｉｃｔｕｒｅ」、および、「Ｍｅｔａｄａｔａ」ディレクトリが存在する。
【００７８】
「Ｍｏｖｉｅ」ディレクトリ下には、管理ファイル群、「ＰＬＡＹＬＩＳＴ」ディレクトリ、「ＣＬＩＰＩＮＦ」ディレクトリ、および「ＳＴＲＥＡＭ」ディレクトリが存在する。また、「ＰＬＡＹＬＩＳＴ」ディレクトリ下には、リアルタイムプレイリスト（ファイル）である「＊．ｒｐｌｓ」ファイル群とバーチャルタイムイムプレイリスト（ファイル）である「＊．ｖｐｌａ」ファイル群が存在する。また、「ＣＬＩＰＩＮＦ」（クリップインフォメーション）ディレクトリには、クリップインフォメーションファイルである「＊．ｃｌｐｉ」ファイル群が存在する。「ＳＴＲＥＡＭ」ディレクトリ下にはＡＴＳ（１９２バイト）により構成されるストリームファイルである「＊．ｍ２ｔｓ」ファイル群が存在する。「Ｓｔｉｌｌ Ｐｉｃｔｕｒｅ」ディレクトリ下には静止画であるである「＊．ｊｐｅｇ」ファイル群が存在する。
【００７９】
「Ｍｅｔａｄａｔａ」ディレクトリ下には、「ＭＥＴＡ＿ＰＬＡＹＬＩＳＴ」ディレクトリ、「ＵＳＥＲ＿ＭＥＴＡＤＡＴＡ」ディレクトリが存在する。また、「ＭＥＴＡ＿ＰＬＡＹＬＩＳＴ」ディレクトリ下には、プレイリスト（ファイル）内に存在するメタデータの内、選択されたメタデータを持つ「＊．ｍｔｄｔ」ファイル群が存在する。「ＵＳＥＲ＿ＭＥＴＡＤＡＴＡ」ディレクトリには、ムービーのメニュー設定に関する「ＭＥＮＵ＿ＩＮＦ」ディレクトリが存在する。ここには、ムービーのメニューで簡易編集を行ったＥＤＬ（Ｅｄｉｔ Ｄｅｃｉｓｉｏｎ Ｌｉｓｔ）を保存できる。また、ユーザが独自に設定するプライベートなメタデータを格納する「ＵＳＥＲ＿ＰＲＩＶＡＴＥ」ディレクトリ下が存在する。ここには、ＣＬＩＰ識別のための代表サムネイルやタイムコードなどを記録できる。
【００８０】
図６において、各プレイリストファイルはクリップインフォメーションファイルとメタデータファイルとを関連付ける。また、各クリップインフォメーションファイルは、ＡＴＳ（１９２バイト）により構成されるストリームファイルを関連付ける。従来にない大きな特徴としては、各プレイリストファイルがクリップインフォメーションファイルだけでなく、メタデータファイルを関連付けていることである。これにより、メタデータ１０７を用いた検索で、そのメタデータ１０７と関連付けられたプレイリスト、プレイアイテム、およびストリームを見つけ出すことができる。
【００８１】
図７を参照してメタデータ１０７について説明する。ＳＥＩバッファ３０６に入力されるリアルタイムメタデータの例としては、重要シーンでユーザが押したボタン情報、撮影データ（撮像素子の動作色温度、レンズ系のズーム値、フォーカス、仰角データ、角速度、加速度など）、タイムコード、位置データ、などがある。ノン（非）リアルタイムメタデータの例としては、メニュー情報、シーン番号、カット番号、テーク番号、その収録テークの採用、不採用、保留などに関する情報、タイトルリスト、画像認識データ、音声認識データ、撮像素子の３原色点の色度空間情報などの撮影データ、外部入力ファイル（シナリオなどのテキストをＸＭＬ、バイナリデータの形式のファイルを外部インタフェースより入力）、インデックス情報、フォーマット情報、静止画、サムネイルなどがあり、これらのうち、任意のものが選択される。例えば、代表ピクチャのサムネイル、シーンの説明文、およびタイムコードが選択される。
【００８２】
その他のメタデータとしては、予算データ、撮影スケジュール、撮影場所のデータ、撮影コスト、機材や道具のリスト、業者のリスト、およびキャストやエキストラやスタッフなどのスケジュールや雇用費用（時間当たりの単価）などがある。各メタデータには、例えば、その範疇毎にユーザがカメラ部マイコンを通じて自由に設定できる優先度をアトリビュートとして持たせることにより、アプリケーションでメタデータの競合が起こった場合、優先度の高いものから処理できる。
【００８３】
図８を参照して特定の撮影シーン（ピクチャ）の検索動作について説明する。検索の目的としては、頭だし、粗編集、プレイリストの作成、また検索のためのメタデータマップの作成および再作成などである。図８に示すアルゴリズムに基づき、キーワード検索の場合およびイベント検索の場合の双方において、目的とするピクチャデータなどを検索結果として探し出すことができる。検索結果には、撮像素子の動作情報も入っているので表示デバイスに撮影者の意図を反映した撮影情報を伝達して、映像表示ができる。
【００８４】
図９を参照して、登録ピクチャの変更方法について説明する。なお、この方法は、図８を参照して説明した検索方法で探し出したピクチャが求めるピクチャよりずれている場合に、正しいピクチャを登録し直す目的に有効である。具体的には、検索結果のピクチャを中心として１秒程度の粗い間隔で代表画像群を時間軸上に表示し、最も近いピクチャを指定すると、その指定されたピクチャを中心に５フレーム刻み程度の間隔で代表画像群を時間軸上に表示する。５フレーム刻み程度の間隔で代表画像をさらに指定すると、その指定されたピクチャを中心に１フレーム刻みの間隔で代表画像群を時間軸上に表示する。ここで目的とするフレーム映像を得ることができる、クリップやプレイリストの代表画像やサムネイルとして再登録できる。
【００８５】
図１０を参照して、本発明のコンテンツ撮影装置を用いたアプリケーションについてシステム的に説明する。図１０において、ムービーカメラ１００１の記録媒体であるＳＤカードメモリ１００２に映像データ、音声データおよびメタデータが記録される。ＳＤカードメモリ１００２がパソコン１００３に挿入され、記録データの移動が行われる。この際、前述の重要シーンやチャプタなどのメタデータ１０７がすでにＳＤカード１００２に記録されていれば、パソコン１００３にデータを移動してプレイリストを確認する。ＯＫならば、その時点で自動的に粗編集やノンリニア編集を実行して完パケファイルが生成できる。また、この編集されたファイルをほとんど自動的にＤＶＤ−ＲやＤＶＤ−ＲＡＭなどのメディア１００４に記録して保存できる。そしてメディア１００４をＤＶＤプレーヤ１００５で再生することにより、編集されたファイルをＴＶ１００６で視聴できる。
【００８６】
メタデータの伝達方法に関しては、テキストデータとして前記コンテンツに付随させることもできるし、メタデータをバイナリデータとして前記コンテンツに付随させることもできる。また、メタデータをウォーターマークとして前記コンテンツに付随させることもできる。更に、メタデータをウォーターマークとして画像データの中に埋め込んだ形でコンコードし、得られた画像データを記録再生したり、伝送受信した後、デコードして使うこともできる。
【００８７】
また、上記実施の形態では、メタデータ１０７と映像データを同一のメディアへ記録、蓄積した例について説明したが、関連付けが行われた２つ以上のメディアにメタデータ１０７と映像データを別々に保存しても良い。また、関連付けが行われたメディアであれば、メタデータのみの保存、更には映像データのみの保存、またはメタデータと映像データの保存、のいずれかを行っても良い。
【００８８】
なお、撮影装置から表示装置に撮影した映像信号を出力する際に、確認手段によって表示装置が撮影メタデータを用いて色再現を含む表示処理を最適化する高画質化機能を持っているかどうかを確認する。この確認手段が取り扱う信号は、前述の実施の形態において説明したMPEG−TS、NTSC／PALのベースバンド信号（ＳＭＰＴＥ ２５９Ｍと同等のデジタル、アナログ信号）およびＨＤＴＶのベースバンド信号（ＳＭＰＴＥ ２９２Ｍと同等のデジタル、アナログ信号）のいずれでもよい。すなわち、４８０／６０ｉ、４８０・３０Ｐ、４８０・２４Ｐ、７２０／３０Ｐ、７２０・２４Ｐ，１０８０／６０ｉ、１０８０／６０Ｐの映像信号でもよい。
【００８９】
以上のように本発明のコンテンツ撮影装置は、カメラを用いたプロフェッショナルによるニュース、ドキュメンタリー、バラエティ番組やアマチュアによる運動会や入学式、卒業式、音楽の発表会、結婚式等の撮影で、カメラの撮影者や撮影補助者がイベント情報をマイクにより音声でカメラに入力する手段と、カメラ内で該入力音声のレベルを検出して撮影コンテンツのタイムコードなどの管理情報と関連付けた音声メタデータを生成する手段と、メタデータをリスト化した後にファイル化する手段とを備えている。本発明のコンテンツ撮影装置によれば、数十ＭＩＰＳ程度以上の安価なＣＰＵを搭載した民生用ムービーなどでも、音声メタデータをテキストメタデータに変換することが可能となる。
【００９０】
また本発明のコンテンツ撮影装置は、カメラ内蔵またはカメラ外の音声認識エンジンにより該ファイルの音声位置情報より音声部分に高速にアクセスして、音声をテキスト変換した後に前記メタデータのリストに付加情報として追加する手段を備えている。
【産業上の利用可能性】
【００９１】
本発明は、音声メタデータを用いて、コストを増大させることなくテキストメタデータの生成を行うことができるため、コンテンツ撮影装置として利用価値の高いものである。
【図面の簡単な説明】
【００９２】
【図１】本発明の実施の形態に係るコンテンツ撮影装置のモデル図
【図２】図１に示すカメラの内部構成の説明図
【図３】Ｈ．２６４圧縮におけるメタデータの取り扱いの説明図
【図４】Ｈ．２６４圧縮のピクチャ構造とＭＰＥＧ−ＴＳへの変換方法の説明図
【図５】プレイリストとストリームオブジェクトの関係の説明図
【図６】ストリームとメタデータを記録するディレクトリ構造の説明図
【図７】メタデータの分類例を示す図
【図８】メタデータを用いた検索アルゴリズムのモデル図
【図９】ピクチャ設定方法のモデル図
【図１０】アプリケーション例の説明図
【符号の説明】
【００９３】
１０１ カメラ
１０２ カメラのレンズ部
１０３ カメラのマイク
１０４ カメラの撮影対象
１０５ カメラで撮影したデータ
１０６ ＡＶストリームファイルデータ
１０７ メタデータ
１０８ カメラで撮影されたデータシーケンス
１０９ リモコン
１１０ 編集によりシーン＃１から＃５までを繋いだデータシーケンス
１１１ テレビ（ＴＶ）
１１２ 信号接続ケーブル
１１３ 信号接続ケーブル
１１４ メタデータ入力用ボタン（重要シーン登録ボタン、静止画撮影ボタン）
１１５ カチンコ
１１６ マイク
２０１ ズーム制御部
２０２ フォーカス制御部
２０３ 露出制御部
２０４ 撮像素子
２０５ シャッタ速度制御部
２０６ カメラ部マイコン
２０７ 絶対傾きセンサ
２０８ 角速度センサ
２０９ 加速度センサ
２１０ ユーザ入力系
２１１ カメラ信号処理部
２１２ 音声処理系
２１３ Ｈ．２６４方式エンコーダ
２１４ 記録メディア
２１５ 出力インタフェース
３０１ 映像符号化部
３０２ ＶＣＬ−ＮＡＬユニットバッファ
３０３ 音声符号化部
３０４ ＰＳバッファ
３０５ ＶＵＩバッファ
３０６ ＳＥＩバッファ
３０７ Ｎｏｎ ＶＣＬ−ＮＡＬユニットバッファ
３０８ ＭＰＥＧ−ＰＥＳパケット生成部
３０９ ＭＰＥＧ−ＴＳ生成部
３１０ ＡＴＳパケット生成部
３１１ ＥＰ−ｍａｐ生成部
１００１ ムービーカメラ
１００２ ＳＤカードメモリ
１００３ パソコン
１００４ メディア
１００５ ＤＶＤプレーヤ
１００６ ＴＶ
【出願人】 【識別番号】０００００５８２１
【氏名又は名称】松下電器産業株式会社
【出願日】 平成１８年９月１５日（２００６．９．１５）
【代理人】 【識別番号】１０００７２４３１
【弁理士】
【氏名又は名称】石井 和郎

【識別番号】１００１０３３４４
【弁理士】
【氏名又は名称】齋藤 進
【公開番号】 特開２００８−７２５７２（Ｐ２００８−７２５７２Ａ）
【公開日】 平成２０年３月２７日（２００８．３．２７）
【出願番号】 特願２００６−２５０８２７（Ｐ２００６−２５０８２７）