トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 マルチメディアデータの記録装置及び方法、並びにマルチメディアコンテンツの作成システム及び方法
【発明者】 【氏名】太田 孝幸

【要約】 【課題】いわゆるチャプタ付き音声ファイル又はそれと同等の音声ファイルを含むマルチメディアコンテンツを作成するための、必要な素材データ及び情報を、簡単にかつリアルタイムに記録する装置を提供する。

【構成】表示部110は、プレゼンテーションソフトウェアにより作成した講義資料の画像を経時的に変化させ又は切り替えて表示画面に表示させる。データ記録部150は、音声入力部140からのデジタル音声データを所定時間連続的に記録し、その音声データ151のファイルを記憶装置に格納する。また、データ記録部150は、記録指示検出部160の出力に応じて、所定時間内に表示部110が表示する多数のスライド画像のうち、特定時刻におけるスライド画像の画像データを、その特定時刻の時間情報とともに記録し、それらの画像データ152の各々を、時間情報付きの画像ファイルとして、記憶装置に格納する。
【特許請求の範囲】
【請求項1】
画像を経時的に変化させ又は切替えて表示する表示手段と、
音声を入力する音声入力手段と、
前記音声入力手段からの音声データを所定時間連続的に記録するとともに、前記所定時間内に前記表示手段が表示する画像のうち1つ又は2つ以上の特定時刻における画像データを前記特定時刻の時間情報とともに記録する、データ記録手段と、
を含むことを特徴とするマルチメディアデータ記録装置。
【請求項2】
前記データ記録手段が記録する前記画像データは、前記表示手段に表示されている画像を前記特定時刻に保存した静止画像データであることを特徴とする請求項1記載のマルチメディアデータ記録装置。
【請求項3】
前記画像データの記録を指示する信号を検出する検出手段をさらに含み、
前記データ記録手段は、前記検出手段の出力に応じて、前記特定時刻における画像データを記録することを特徴とする請求項1又は2記載のマルチメディアデータ記録装置。
【請求項4】
前記検出手段に接続された入力デバイスをさらに含み、
ユーザによる前記入力デバイスの操作に応じて前記記録指示信号を前記検出手段に与えることを特徴とする請求項3記載のマルチメディアデータ記録装置。
【請求項5】
前記表示手段が表示する画像の状態をモニターするモニター手段をさらに含み、
前記モニター手段は、前記画像が変化し又は切替えられたときに前記記録指示信号を前記検出手段に与えることを特徴とする請求項3記載のマルチメディアデータ記録装置。
【請求項6】
画像を経時的に変化させ又は切替えて表示する表示手段と、音声を入力する音声入力手段とを備えたコンピュータによって実行される方法であって、
前記音声入力手段からの音声データを所定時間連続的に記録するステップと、
前記所定時間内に前記表示手段が表示する画像のうち、1つ又は2つ以上の特定時刻における画像データを前記特定時刻の時間情報とともに記録するステップと、
を含むことを特徴とするマルチメディアデータの記録方法。
【請求項7】
前記画像データ記録ステップは、前記表示手段に表示されている画像を前記特定時刻に保存した静止画像データを記録することを特徴とする請求項6記載のマルチメディアデータの記録方法。
【請求項8】
前記画像データ記録ステップは、
前記画像データの記録を指示する信号を検出するステップをさらに含み、
前記検出ステップにおいて検出した前記記録指示信号に応じて、前記特定時刻の画像データを記録することを特徴とする請求項6又は7記載のマルチメディアデータの記録方法。
【請求項9】
前記検出ステップは、ユーザによる入力デバイスの操作に応じて与えられる前記記録指示信号を検出することを特徴とする請求項8記載のマルチメディアデータの記録方法。
【請求項10】
前記画像データ記録ステップは、
前記表示手段が表示する画像の状態をモニターするステップをさらに含み、
前記検出ステップは、前記モニターステップにおける前記画像の変化又は切替えに応じて与えられる前記記録指示信号を検出することを特徴とする請求項8記載のマルチメディアデータの記録方法。
【請求項11】
画像を経時的に変化させ又は切替えて表示する表示手段と、音声を入力する音声入力手段とを備えたコンピュータに、
前記音声入力手段からの音声データを所定時間連続的に記録する処理と、
前記所定時間内に前記表示手段が表示する画像のうち、1つ又は2つ以上の特定時刻における画像データを前記特定時刻の時間情報とともに記録する処理と、
を実行させる命令を含むマルチメディアデータの記録プログラム。
【請求項12】
前記画像データ記録処理は、前記表示手段に表示されている画像を前記特定時刻に保存した静止画像データを記録することを特徴とする請求項11記載のマルチメディアデータの記録プログラム。
【請求項13】
前記画像データ記録処理は、
前記画像データの記録を指示する信号を検出する処理をさらに含み、
前記検出処理において検出した前記記録指示信号に応じて、前記特定時刻の画像データを記録することを特徴とする請求項11又は12記載のマルチメディアデータの記録プログラム。
【請求項14】
前記検出処理は、ユーザによる入力デバイスの操作に応じて与えられる前記記録指示信号を検出することを特徴とする請求項13記載のマルチメディアデータの記録プログラム。
【請求項15】
前記画像データ記録処理は、
前記表示手段が表示する画像の状態をモニターする処理をさらに含み、
前記検出処理は、前記モニターステップにおける前記画像の変化又は切替えに応じて与えられる前記記録指示信号を検出することを特徴とする請求項13記載のマルチメディアデータの記録プログラム。
【請求項16】
1つの音声ファイルに1つ又は2つ以上の画像データを組み込んだマルチメディアコンテンツを作成するシステムであって、
ユーザ端末と、前記ユーザ端末が通信回線を介して接続されるサーバ装置とを含み、
前記ユーザ端末は、
画像を経時的に変化させ又は切替えて表示する表示手段と、
音声を入力する音声入力手段と、
前記音声入力手段からの音声データを所定時間連続的に記録するとともに、前記所定時間内に前記表示手段が表示する画像のうち1つ又は2つ以上の特定時刻における画像データを前記特定時刻の時間情報とともに記録する、データ記録手段と、
前記音声データと前記特定時刻の画像データとを転送する転送手段とを含み、
前記サーバ装置は、
前記ユーザ端末から転送された前記画像データから前記時間情報を抽出し、前記音声データの開始位置からの時間位置を検出する時間位置検出手段と、
前記画像データについて検出した前記時間位置に基づいて、前記画像データと、前記画像データが組み込まれる前記時間位置を示すマーカー情報とを、前記音声データに追加した、拡張された音声ファイルを作成するコンテンツ作成手段とを含むこと、
を特徴とするマルチメディアコンテンツ作成システム。
【請求項17】
1つの音声ファイルに1つ又は2つ以上の画像データを組み込んだマルチメディアコンテンツを作成するシステムであって、
ユーザ端末と、前記ユーザ端末が通信回線を介して接続されるサーバ装置とを含み、
前記ユーザ端末は、
画像を経時的に変化させ又は切替えて表示する表示手段と、
音声を入力する音声入力手段と、
前記音声入力手段からの音声データを所定時間連続的に記録するとともに、前記所定時間内に前記表示手段が表示する画像のうち1つ又は2つ以上の特定時刻における画像データを前記特定時刻の時間情報とともに記録する、データ記録手段と、
前記画像データから前記時間情報を抽出し、前記音声データの開始位置からの時間位置を検出する時間位置検出手段と、
前記検出した時間位置情報と、対応する前記画像データを特定する情報とを含むプロジェクトデータを作成する、プロジェクトデータ作成手段と、
前記音声データ、前記特定時刻の画像データ、及び前記プロジェクトデータを転送する転送手段とを含み、
前記サーバ装置は、
前記ユーザ端末から転送された前記プロジェクトデータに含まれる前記時間位置に基づいて、前記画像データと、前記画像データが組み込まれる前記時間位置を示すマーカー情報とを、前記音声データに追加した、拡張された音声ファイルを作成するコンテンツ作成手段を含むこと、
を特徴とするマルチメディアコンテンツ作成システム。
【請求項18】
1つの音声ファイルに1つ又は2つ以上の画像データを組み込んだマルチメディアコンテンツを作成する方法であって、
画像を経時的に変化させ又は切替えて表示手段に表示するステップと、
音声入力手段に音声を入力するステップと、
前記音声入力手段からの音声データを所定時間連続的に記録するとともに、前記所定時間内に前記表示手段が表示する画像のうち1つ又は2つ以上の特定時刻における画像データを前記特定時刻の時間情報とともに記録するステップと、
前記画像データから前記時間情報を抽出し、前記音声データの開始位置からの時間位置を検出するステップと、
前記画像データについて検出した前記時間位置に基づいて、前記画像データと、前記画像データが組み込まれる前記時間位置を示すマーカー情報とを、前記音声データに追加した、拡張された音声ファイルを作成するステップと、
を含むことを特徴とする、マルチメディアコンテンツを作成する方法。
【発明の詳細な説明】【技術分野】
【0001】
本発明は、1つの音声ファイルに1つ又は2つ以上の画像データを組み込んだマルチメディアコンテンツを作成するための、必要な素材データ及び情報を、コンピュータ上でリアルタイムに記録する装置及び方法、並びにそのようなマルチメディアコンテンツを作成するシステム及び方法に関する。
【背景技術】
【0002】
近年、講義の内容を音声データや動画データとして電子アーカイブ化し、インターネットを通じて配信する教育機関が増えている。
【0003】
講義内容を録音した音声データを含む音声ファイルを配信する場合、データ量は少なくて済むが、音声のみでは講義の様子を十分に伝えられない場合が多い。このため、講義内容のデジタル動画データを含む動画ファイルを作成してネットワークを介して配信する提案もなされている(例えば、特許文献1参照)。
【特許文献1】特開2005−79913号公報
【0004】
特許文献1のように動画ファイルを配信する場合、講義の様子を正確に伝えるには良いが、データ量が肥大化するという問題点がある。肥大化したデータは、配信者側のアップロード時間や受講者側のダウンロード時間及びインターネット上のトラフィック量を増大させ、受講者側と配信者側双方のデータ記憶媒体の消費量をも増大させるという問題につながる。
【発明の開示】
【発明が解決しようとする課題】
【0005】
上記した問題点の改善方法として、いわゆるチャプタ付き音声ファイルの利用が挙げられる。チャプタ付き音声ファイルは、音声ファイルの任意の箇所にチャプタ(章)を付与し、そのチャプタに画像、URLリンクなどのプログラマブルな情報、文字情報、等を挿入することのできるデータ形式であり、例えば、アップルコンピュータが無償提供する“iTunes”ソフトウェアを使って、同社が世界各国で展開する音楽ダウンロードサービスサイト“iTunes Music Store”からダウンロードすることができる、“拡張Podcast (Enhanced Podcast)”がそれである。
【0006】
チャプタ付き音声ファイルには、動画ファイル並みに情報量が多いのに対してそのデータ量は少なくて済むという利点がある。しかしながら、これを制作するには専用のソフトウェアとそれに応じたハードウェア(例えば“GarageBand 3”とそれが動作する条件を満たすアップルコンピュータ製コンピュータ)が必要であり、なおかつ、同ソフトウェアの操作に通じた専門のオペレータを必要とする。仮にユーザ(例えば講師やそのアシスタント)自身でチャプタ付き音声ファイルを制作しようとする場合には、専用のオペレータと同等の知識及び熟練が必要となる。
【0007】
加えて、既存のチャプタ付き音声ファイル作成ソフトウェアでは、音声データを記録することができるが、画像データを記録するインタフェースは用意されていなかった。このため、元となる音声データのファイルを作成後に、ユーザ自身で作成するか又は第三者から入手する等した画像データを、ユーザのマウス操作等により取り込んで、音声データに挿入する必要があった。
【0008】
そこで、本発明の一つの目的は、いわゆるチャプタ付き音声ファイル又はそれと同等の音声ファイルを含むマルチメディアコンテンツを作成するための、必要な素材データ及び情報を、簡単にかつリアルタイムに記録することができる装置及び方法を提供することにある。
【0009】
また、本発明の他の目的は、ユーザ端末とサーバとを含み、ユーザ端末における簡単かつ少ない操作によってマルチメディアコンテンツを作成することのできるシステム及び方法を提供することにある。
【課題を解決するための手段】
【0010】
上記の目的を達成するために、本発明の1つの局面にかかるマルチメディアデータ記録装置は、画像を経時的に変化させ又は切替えて表示する表示手段と、音声を入力する音声入力手段と、前記音声入力手段からの音声データを所定時間連続的に記録するとともに、前記所定時間内に前記表示手段が表示する画像のうち1つ又は2つ以上の特定時刻における画像データを前記特定時刻の時間情報とともに記録する、データ記録手段と、を含むことを特徴とする。
【0011】
本発明のマルチメディアデータ記録装置によれば、例えば、プレゼンテーションソフトウェアにより作成した講義資料の画像を、講師用コンピュータ上で経時的に変化させ又は切り替えて表示手段に表示させながら、講義内容の音声データを記録するとともに、音声データの記録中に、講義資料の多数の画像のうちの特定時刻における画像データを特定時刻の時間情報とともに記録するので、いわゆるチャプタ付き音声ファイル等の拡張された音声ファイルを作成するのに必要な、音声データ及び画像データと、画像データに関する時間情報を、講義中に簡単にかつリアルタイムに記録することができる。
【0012】
本発明のマルチメディアデータ記録装置は、前記データ記録手段が記録する前記画像データが、前記表示手段に表示されている画像を前記特定時刻に保存した静止画像データであることを含んでもよい。本発明によると、例えば、講師用コンピュータ上で講義資料の画像を切り替えて表示させながら、当該コンピュータのOS(Operating System)が提供する画面キャプチャ処理、もしくは当該コンピュータに搭載した画面キャプチャソフトウェアが提供する画面キャプチャ処理を、所望のタイミングで実行させることにより、特定時刻の静止画像データを保存するようにして、特定時刻の画像データを簡単に記録することができる。
【0013】
また、本発明のマルチメディアデータ記録装置は、前記画像データの記録を指示する信号を検出する検出手段をさらに含み、前記データ記録手段は、前記検出手段の出力に応じて、前記特定時刻における画像データを記録することを含んでもよい。本発明によると、例えば、講師用コンピュータ上で講義資料の画像を変化させ又は切替えて表示させながら、ユーザが所望するタイミング、又は予め設定された条件及びアルゴリズムに従い講師用コンピュータが判断したタイミングで発せられる記録指示信号を検出することで、特定時刻の画像データを記録することができる。
【0014】
さらに、本発明のマルチメディアデータ記録装置は、前記検出手段に接続された入力デバイスをさらに含み、ユーザによる前記入力デバイスの操作に応じて前記記録指示信号を前記検出手段に与えることを含んでもよい。本発明によると、例えば、講師用コンピュータが備えるキーボード、マウス、あるいは赤外線インタフェースもしくはBluetoothその他の無線インタフェースを介して接続されるリモートコントローラ等の入力デバイスを操作して、所望の画像データを記録することができる。
【0015】
さらに、本発明のマルチメディアデータ記録装置は、前記表示手段が表示する画像の状態をモニターするモニター手段をさらに含み、前記モニター手段は、前記画像が変化し又は切替えられたときに前記記録指示信号を前記検出手段に与えることを含んでもよい。本発明によると、例えば、画像が変化した後又は切替えられた後の静止画像データを自動的に記録することができ、入力デバイスの操作等のユーザの手間を省いたいわば全自動でのデータ記録が可能となる。
【0016】
本発明の別の局面にかかるマルチメディアコンテンツ作成システムは、1つの音声ファイルに1つ又は2つ以上の画像データを組み込んだマルチメディアコンテンツを作成するシステムであって、ユーザ端末と、前記ユーザ端末が通信回線を介して接続されるサーバ装置とを含み、前記ユーザ端末は、画像を経時的に変化させ又は切替えて表示する表示手段と、音声を入力する音声入力手段と、前記音声入力手段からの音声データを所定時間連続的に記録するとともに、前記所定時間内に前記表示手段が表示する画像のうち1つ又は2つ以上の特定時刻における画像データを前記特定時刻の時間情報とともに記録する、データ記録手段と、前記音声データと前記特定時刻の画像データとを転送する転送手段とを含み、前記サーバ装置は、前記ユーザ端末から転送された前記画像データから前記時間情報を抽出し、音声データの開始位置からの時間位置を検出する時間位置検出手段と、前記画像データについて検出した前記時間位置に基づいて、前記画像データと、前記画像データが組み込まれる前記時間位置を示すマーカー情報とを、前記音声データに追加した、拡張された音声ファイルを作成するコンテンツ作成手段とを含むこと、を特徴とする。
【0017】
本発明によると、例えば、ユーザ端末に相当する講師用コンピュータにおいて、チャプタ付き音声ファイル等の拡張された音声ファイルを作成するのに必要な、音声データ及び画像データと、画像データに関する時間情報を、講義中に簡単にかつリアルタイムに記録して、それら素材データと時間情報をサーバ装置に転送する。サーバ装置において、画像データ毎に検出した時間位置に基づいて、画像データと、その画像データが組み込まれる時間位置を示すマーカー情報を、音声データに追加し、いわゆるチャプタ付き音声ファイル等の拡張された音声ファイルを作成する。従って、例えば、講義内容に関する拡張された音声ファイルを作成する際に、講師用コンピュータの動作を、講義資料の表示と、音声データ及び特定時刻の画像データの記録と転送に限定することができるので、講師用コンピュータに必要なソフトウェア資源及びハードウェア資源の投資を少なく済ませることができる利点がある。
【0018】
本発明のさらに別の局面にかかるマルチメディアコンテンツ作成システムは、1つの音声ファイルに1つ又は2つ以上の画像データを組み込んだマルチメディアコンテンツを作成するシステムであって、ユーザ端末と、前記ユーザ端末が通信回線を介して接続されるサーバ装置とを含み、前記ユーザ端末は、画像を経時的に変化させ又は切替えて表示する表示手段と、音声を入力する音声入力手段と、前記音声入力手段からの音声データを所定時間連続的に記録するとともに、前記所定時間内に前記表示手段が表示する画像のうち1つ又は2つ以上の特定時刻における画像データを前記特定時刻の時間情報とともに記録する、データ記録手段と、前記画像データから前記時間情報を抽出し、音声データの開始位置からの時間位置を検出する時間位置検出手段と、前記検出した時間位置情報と、対応する前記画像データを特定する情報とを含むプロジェクトデータを作成する、プロジェクトデータ作成手段と、前記音声データ、前記特定時刻の画像データ、及び前記プロジェクトデータを転送する転送手段とを含み、前記サーバ装置は、前記ユーザ端末から転送された前記プロジェクトデータに含まれる前記時間位置に基づいて、前記画像データと、前記画像データが組み込まれる前記時間位置を示すマーカー情報とを、前記音声データに追加した、拡張された音声ファイルを作成するコンテンツ作成手段を含むこと、を特徴とする。
【0019】
本発明によると、サーバ装置で動作する、チャプタ付き音声ファイル等の拡張された音声ファイルを作成するプログラムが、音声ファイルに追加する情報の時間位置と追加対象を設定したデータ(「プロジェクトデータ」)を含むファイルの作成と入力を必要としている場合に、そのプロジェクトデータの作成を講師用コンピュータで済ませてしまい、音声データ及び画像データと、画像データに関する時間情報と一緒に、サーバ装置に転送する。サーバ装置は、講師用コンピュータからデータを受信後、時間位置を検出する演算を行う必要なしで、拡張された音声ファイルを作成するプログラムを実行することができる。従って、多数のユーザからサーバ装置へのデータ転送が集中するような場合でも、サーバ装置での拡張音声ファイル作成処理の負担を軽減させることができる利点がある。
【発明の効果】
【0020】
本発明のマルチメディアコンテンツ作成システムによれば、例えば、講義の時に講義資料の表示に使用する講師用コンピュータにおいて、音声データ及び特定時刻の画像データと、画像データに関する時間情報とを記録して、サーバ装置に転送し、サーバ装置においてチャプタ付き音声ファイル等の拡張された音声ファイルを作成するというシステムを構築することができる。従って、講師用コンピュータに専用のソフトウェアとハードウェア、専門のオペレータを内部に有していない教育機関でも作成を可能とするものである。
【0021】
上記した本発明の目的および利点並びに他の目的および利点は、以下の実施の形態の説明を通じてより明確に理解される。もっとも、以下に記述する実施の形態は例示であって、本発明はこれらに限定されるものではない。
【発明を実施するための最良の形態】
【0022】
以下、本発明の実施の形態を図面に基づき説明する。
図1は、本発明の実施の形態におけるマルチメディアコンテンツ作成システムの概略構成を示す図である。図1に示すように、マルチメディアコンテンツ作成システムは、講師用コンピュータ10と、コンテンツ作成サーバ20とを備えている。講師用コンピュータ10は、インターネット等の通信回線30を介して、コンテンツ作成サーバ20に接続されている。なお、以下の説明において、講師用コンピュータ10は、各種プレゼンテーションソフトウェアを利用して作成した講義資料を、プロジェクタを介して表示させるコンピュータに相当するが、これは一例であって、本発明はこれに限定されるものではない。
また、通信回線30は、専用線、公衆電話回線、衛星通信回線等の各種通信回線や図示しない各種サーバ等を含んで構成されてもよく、その具体的態様は特に限定されない。通信回線30の典型的な例としては、インターネットが挙げられるが、LAN(Local Area Network)であっても良いし、その他のネットワークであっても良い。
【0023】
また、後述するように、コンテンツ作成サーバ20には、クライアントコンピュータ11、コンテンツ配信サーバ40、ファイルサーバ50、及びクライアントコンピュータ12での電子メールの送受信を可能とするメールサーバ60が、インターネット等の通信回線30を介して、アクセス可能に接続されている。
【0024】
次に、図2を参照し、講師用コンピュータ10の構成を説明する。図2は、講師用コンピュータ10の構成を示すブロック図であり、講師用コンピュータ10は、表示部110、I/O部120、音声入力部140、データ記録部150、記録指示検出部160、入力デバイス170、転送部180、及びモニター部190を含む。
【0025】
講師用コンピュータ10は、図示しないバスに接続されたプロセッサ及び記憶装置を当然に含む。記憶装置、例えばハードディスク(HDD)又はメモリ(RAM)には、OS(Operating System)、及び後述するプレゼンテーションソフトウェアのプログラム、並びに本発明のマルチメディアコンテンツ作成システムにおけるクライアント側の処理を講師用コンピュータ10に実行させるプログラム(以下、「クライアントソフトウェア」という場合がある)が格納されており、これらのプログラムが実行されることによって上記の表示部110からモニター部190を含む各部の動作が制御される。
【0026】
表示部110は、例えば、マイクロソフトのPower Point、アップルコンピュータのKeynote 等のプレゼンテーションソフトウェアにより作成した、講義内容のスライド画像、またはPDF(Portable Document Format)形式の、講義内容のスライド画像を、そのプレゼンテーションソフトウェアの動作下で、図示しない表示画面に表示させる。後述する入力デバイス170の操作入力に応じて、プレゼンテーションソフトウェアは、表示画面に表示されるスライド画像を変化させまたは切替える処理を行う。
【0027】
I/O部120は、講義内容のスライド画像のビデオ信号をプロジェクタ130に出力する。プロジェクタ130は、教室内に設置された大型スクリーン等に、スライド画像を投影ないし透写する。
【0028】
音声入力部140は、図示しないマイクロフォンによりピックアップした講師の音声をA/D変換し、デジタル音声データとして入力する構成部分である。
【0029】
データ記録部150は、音声入力部140からのデジタル音声データを、所定時間、例えば40分の講義予定時間であればその40分間、連続的に記録し、その音声データ151を1つの音声ファイルとして、記憶装置、例えばハードディスク(HDD)またはメモリ(RAM)に格納する。
ここで、記録する音声データの符号化フォーマットはこれを特に限定しないが、例えば、MPEG−4 AAC(Advanced Audio Coding)、WAV(RIFF waveform Audio Format)等のオーディオフォーマットがあり、特に前者のAACオーディオフォーマット(拡張子m4a,m4b又はm4p)は、現在主流となりつつあるMPEG−4オーディオプレーヤーにおける拡張された音声ファイルの再生に適合する、好適な音声ファイルフォーマットである。
【0030】
さらに、データ記録部150は、後述する記録指示検出部160の出力に応じて、上記の所定時間内に、表示部110が表示する多数のスライド画像のうち、特定時刻におけるスライド画像の画像データを、その特定時刻の時間情報とともに記録し、それらの画像データ152(図2における画像データ1、画像データ2、…)の各々を、時間情報付きの画像ファイルとして、記憶装置例えばハードディスク(HDD)またはメモリ(RAM)に格納する。
ここで、記録する画像データの圧縮フォーマットはこれを特に限定しないが、例えば、JPEG、又はPNG(Portable Network Graphics)の画像ファイルフォーマットが好適である。
【0031】
記録指示検出部160は、入力デバイス170からの、又は後述するモニター部190からの、画像データの記録を指示する信号を検出して、データ記録部150に出力する構成部分である。
【0032】
入力デバイス170は、キーボード171及びマウス172を含む。ユーザ(例えば講師又はそのアシスタント)によるキーボード171又はマウス172の操作に応じて、対応する信号又はコマンドが講師用コンピュータ10に入力される。
入力デバイス170は、図2に示すように、ユーザ(例えば講師又はそのアシスタント)が所持して操作するリモートコントローラ(RC)173を含んでもよい。この場合、講師用コンピュータ10は、リモートコントローラ173から送信されるコマンドを受信するための、適切なインタフェース(例えば、赤外線ポート、Bluetooth等の無線インタフェース)を当然に備えている。
【0033】
周知の通り、OS、プレゼンテーションソフトウェア、及びクライアントソフトウェアで実行される各種の処理に応じて、キーボード171、マウス172、又はリモートコントローラ173が有する操作キーないし操作ボタンに、各種のコマンドを割り当てることができる。
本発明の一つの実施態様によれば、プレゼンテーションソフトウェアを使った講義スライドの切替え、クライアントソフトウェアを使った音声データの記録の開始と終了、特定時刻における画像データの記録等の主要な処理は、キーボード171、マウス172、又はリモートコントローラ173が有する操作キーないし操作ボタンの操作に応じて実行されるよう構成することができる。
【0034】
転送部180は、データ記憶部150が記録して記憶装置に格納した、音声データ151のファイル及び時間情報付きの画像データ152(画像データ1、画像データ2、…)のファイルを、ひとまとまりにして、ユーザによるコマンドの入力に応じて、インターネット等の通信回線30を介してコンテンツ作成サーバ20に転送する。
【0035】
モニター部190は、上記したデータ記録部150における音声データの記録中に、表示部110が表示する画像の状態を常時モニターする構成要素である。モニター部190は、例えば、講義内容のスライド画像が変化し又は切替えられたことを検出すると、記録指示検出部160に、画像データの記録を指示する信号を与えるよう設計されている。
このようなモニター部190は、表示画面での表示のために出力されるビデオ信号の変化をモニターする適切な比較回路またはアルゴリズムを用いることによって、実現することができる。なお、モニター部190によるスライド画像の変化又は切替えの検出の例については、後述する。
【0036】
次に、図3を参照し、コンテンツ作成サーバ20の構成を説明する。図3は、コンテンツ作成サーバ20の構成を示すブロック図であり、コンテンツ作成サーバ20は、通信制御部210、データ格納部220、時間位置検出部230、プロジェクトデータ作成部240、コンテンツ作成部250、プレビュー編集部260、及び転送部270を含む。
【0037】
コンテンツ作成サーバ20は、図示しないバスに接続されたプロセッサ及び記憶装置を当然に含む。記憶装置、例えばハードディスク(HDD)又はメモリ(RAM)には、OS(Operating System)、及び本発明のコンテンツ作成システムにおけるサーバ側の処理をコンテンツ作成サーバ20に実行させるプログラム(以下、「サーバソフトウェア」という場合がある)が格納されており、これらのプログラムが実行されることによって上記の通信制御部210から転送部270を含む各部の動作が制御される。
【0038】
通信制御部210は、講師用コンピュータ10の転送部180によって転送処理された音声データ151のファイル、及び時間情報付きの画像データ152(画像データ1、画像データ2、…)のファイルを、講師用コンピュータ10から受信する。また、通信制御部210は、後述するコンテンツ作成部250によって作成された拡張された音声ファイルを、後述する転送部270の機能により、クライアントコンピュータ11、コンテンツ配信サーバ40、ファイルサーバ50、及びメールサーバ60のいずれか1つ又は2つ以上に転送する場合の、通信インタフェースをも提供する。
【0039】
データ格納部220は、通信制御部210を介して講師用コンピュータ10から受信した受信データ、すなわち講師用コンピュータ10において記録され、転送された、音声データ151のファイル、及び時間情報付きの画像データ152(画像データ1、画像データ2、…)のファイルを、記憶装置に格納する。また、データ格納部220は、後述するプロジェクトデータ作成部240が作成するプロジェクトデータ222、及びコンテンツ作成部250が作成するコンテンツ251を、記憶装置に格納する。
【0040】
時間位置検出部230は、時間情報付きの画像データ152(画像データ1、画像データ2、…)のファイルから、それぞれの画像の記録時間(個々の画像ファイルの作成時間)を抽出し、後述する所定の演算処理により、音声データの開始位置からの時間位置を検出する。
【0041】
プロジェクトデータ作成部240は、時間位置検出部230が検出した各画像についての時間位置情報と、対応する画像データを特定する情報とを含む、プロジェクトデータ222(図8)を作成する。
【0042】
コンテンツ作成部250は、プロジェクトデータ222に含まれる時間位置に基づいて、対応する画像データ152(画像データ1、画像データ2、…)と、各画像データが組み込まれる時間位置(hour/min/sec)を示すマーカー情報とを、音声データに追加した、拡張された音声ファイルを、コンテンツ251として作成する。コンテンツ作成部250における処理の詳細については後述する。
【0043】
プレビュー編集部260は、通信回線30を介してコンテンツ作成サーバ20に接続されたクライアントコンピュータ11(図1)に対して、音声データ、画像データ(画像データ1、画像データ2、…)、及びプロジェクトデータを閲覧するためのプレビュー画面400(図10)の閲覧サービスを提供する。また、プレビュー編集部260は、クライアントコンピュータ11におけるプレビュー画面を通じての操作により、画像データの追加、変更、削除を行うことを可能とする。このプレビュー画面は、XML(eXtensible
Markup Language)、HTML(HyperText Markup Language)、CompactHTML、DHTML(Dynamic HTML)、WML(Wireless Markup Language)、HDML(Handheld Device Markup Language)等のマークアップ言語及びこれらを拡張した言語により記述することができる。この場合、クライアントコンピュータ11は、そうしたプレビュー画面を閲覧するためのブラウザソフトウェアを、当然に含んでいる。
【0044】
転送部270は、コンテンツ作成部250が作成し、データ格納部220に格納されているコンテンツ251を、通信制御部210を介して、クライアントコンピュータ11、コンテンツ配信サーバ40、ファイルサーバ50のいずれか1つ又は2つ以上に転送する。また、転送部270は、コンテンツ251を電子メールに添付してメールサーバ60に転送し、メールサーバ60からさらにクライアントコンピュータ12へ転送することも可能である。転送部270が指定する転送先に応じて、通信制御部210において適切な通信プロトコルが選択され、コンテンツ251のデータないしファイルの転送処理が行われることは当然であり、当業者にとり自明であるので、ここでは詳しい説明を行わない。
【0045】
以上のように構成されるマルチメディアコンテンツ作成システムの動作について、講師用コンピュータ10の動作と、コンテンツ作成サーバ20の動作の順に説明する。
【0046】
図4は、講師用コンピュータ10において実行されるマルチメディアデータの記録処理の全体を示すフローチャートである。
【0047】
まず、講師用コンピュータ10において、本発明のマルチメディアコンテンツ作成システムにおける、クライアントソフトウェアを起動する(ステップS101)。さらに、講師用コンピュータ10において、プレゼンテーションソフトウェアを起動する(ステップS102)。ユーザが予め作成し可搬記憶媒体に格納した講義内容のスライド画像ファイルは、そのファイルに対応する適切なプレゼンテーションソフトウェアによって読み出され、講義内容のスライド画像が、表示部110によって表示画面に表示され、また、I/O部120を介してプロジェクタ130により投影ないし透写される。
【0048】
入力デバイス170の操作、例えばキーボード171の所定のキー操作に応じて、データ記録部150は、音声データの記録(録音)を開始すると同時に、表示部110が表示画面に表示している最初のスライド画像の静止画像データ(画像データ1)を、図示しないメモリに保存する。これは、講師用コンピュータ10のOSが提供する画面キャプチャ処理、もしくは講師用コンピュータ10に搭載した画面キャプチャソフトウェアが提供するキャプチャ処理を、録音開始と同時に実行することにより行う(ステップS103)。通常、画面キャプチャ処理により保存される画像データのファイルは、当該画像データを作成した時間を示す情報(年月日及び時分秒の情報)を含む。従って、録音開始と同時に画面キャプチャ処理が実行された結果生成される最初の画像データ(画像データ1)のファイルは、録音を開始した時刻に等しい時間情報を含んでいることになる。
データ記録部150は、時間情報付きの最初の画像データ(画像データ1)のファイルを、図示しないハードディスクに格納する(ステップS104)。
【0049】
講師コンピュータ10を使用したプレゼンテーションが進行し、ユーザが入力デバイス170を操作して、講義内容のスライド画像を次の画像に切替えると、この入力デバイス170を通じた画像切替え操作に応じて、画像データの記録を指示する信号、すなわち画面キャプチャを指示する信号(画面キャプチャ指示信号)が、記録指示検出部160に与えられる。
【0050】
画面キャプチャ指示信号は、表示画面に表示する画像の状態をモニターするモニター部190によって、記録指示検出部160に与えられるようにしてもよい。すなわち、モニター部190が、画像の変化又は切替えを検出することで、画面キャプチャ指示信号が記録指示検出部160に与えられるようにしてもよい。既に説明したように、モニター部190は、表示画面での表示のために出力されるビデオ信号の変化をモニターする適切な比較回路またはアルゴリズムを用いることによって、実現することができる。従って、画面キャプチャ指示信号とは、特定の回路によって生成される特定の電気信号の場合と、クライアントソフトウェアの特定のアルゴリズムに従い、モニター処理が実行されることによって生成される特定の命令の場合の両方を、当然に含む。
【0051】
図5は、スライド画像の切替え、ないし変化の様子を示す図である。例えば、図5の(a)から図5の(b)に画像が切替えられたことをモニター部190が検出したときに、図5の(b)に示す画像の画像データを記録すべく、画面キャプチャ指示信号が、モニター部190から記録指示検出部160に与えられる。また、画像がアニメーション等により変化する場合において、図5の(c)に示す画像においてその変化が終了してから、一定時間が経過した後の画像(図5の(d)の状態)にも変化が見られないときに、図5の(d)に示す画像の画像データを記録すべく、画面キャプチャ指示信号が与えられる。なお、画像がどの程度変化したときに、あるいは画像の変化が終了してから如何なる時間が経過したときに、画面キャプチャ指示信号をモニター部190から記録指示検出部160に与えるかは、当業者が任意に設定することができる事項である。
【0052】
図4を再び参照して、記録指示検出部160は、画面キャプチャ指示信号の有無を検出する(ステップS105)。画面キャプチャ指示信号を検出した場合(ステップS105:Yes)、表示部110が表示画面に表示しているスライド画像の静止画像データ(画像データ2)を、図示しないメモリに保存する、画面キャプチャ処理を実行する(ステップS106)。また、データ記録部150は、時間情報付きの画像データ(画像データ2)のファイルを、図示しないハードディスクに格納する(ステップS107)。
【0053】
データ記録部150が、時間情報付きの画像データ(画像データ2)のファイルを格納した後、又は、記録指示検出部160が、画面キャプチャ指示信号を検出しない場合(ステップS105:No)、録音が終了か否かが判定される(ステップS108)。具体的には、講義を終了した時点でユーザが入力デバイス170を操作して、録音終了が指示されると(ステップS108:Yes)、講師の音声録音を終了し、次のステップS110以降の処理に移行する。録音終了が指示されない場合(ステップS108:No)、ステップS105に戻る。
【0054】
以下、講師用コンピュータ10を使用したプレゼンテーションの進行に従い、次々に切替えられて表示画面に表示される講義内容のスライド画像のうち、入力デバイス170の操作によりユーザが特に選択した画像(あるいはモニター部190において自動的に検出される画像の変化又は切替え後の画像)の画像データを、画面キャプチャ処理により画像データ3、画像データ4、…、画像データnとして保存し、時間情報付きの画像データのファイルとして格納する(ステップS105からステップS109)。
【0055】
録音終了が指示され(ステップS108:Yes)、講師の音声録音が終了すると、データ記録部150は、音声データのファイルを記憶装置に格納する。
【0056】
以上の処理により、講師用コンピュータ10における音声データのファイルの記録、及び特定の時間情報付きの画像データのファイルの記録が、基本的に終了する。
【0057】
本実施態様におけるマルチメディアコンテンツ作成システムでは、講師用コンピュータ10におけるデータ記録処理に、ステップS111の転送処理を特に含んでいる。すなわち、ステップS111において、転送部180は、記憶装置に格納した音声データのファイル、及び特定の時間情報付きの画像データのファイルを、ひとまとまりにして、コンテンツ作成サーバ20に転送する。
【0058】
次に、図6を参照し、コンテンツ作成サーバ20の動作を説明する。
図6は、コンテンツ作成サーバ20において実行されるマルチメディアコンテンツの作成処理の全体を示すフローチャートである。
【0059】
まず、コンテンツ作成サーバ20における通信制御部210は、講師用コンピュータ10の転送部180によって転送処理された音声データ151のファイル、及び時間情報付きの画像データ152(画像データ1、画像データ2、…)のファイルを受信する(ステップS201)。データ格納部220は、これらの受信データ221のファイルを、記憶装置に格納する。
【0060】
次に、時間位置検出部230は、受信した時間情報付きの画像データ152(画像データ1、画像データ2、…)のファイルから、個々の画像の記録時間(画像ファイルの作成時間)を抽出する(ステップS202)。この抽出処理は、画像データのインデックス情報から作成時間を読み取ることにより、容易に実施することができる。
【0061】
続いて、時間位置検出部230は、個々の画像の作成時間に基づいて、画像データ1の作成時間を基準とする相対時間を検出する(ステップS203)。前述のとおり、講師用コンピュータ10において、画像データ1は、録音(音声データの記録)の開始と同時に作成されるので、相対時間を検出する処理は、音声データの開始位置からの時間位置を検出することに相当する。
【0062】
図7は、画像データ1、画像データ2、…の作成時間に基づいて、画像データ1の作成時間を基準とする相対時間を求めた例を示す。
【0063】
再び図6を参照して、プロジェクトデータ作成部240は、時間位置検出部230が検出した各画像についての時間位置情報と、対応する画像データを特定する情報とを含む、プロジェクトデータ222を作成する(ステップS204)。
【0064】
図8は、プロジェクトデータ222に設定される情報の要部を示す説明図である。
例えば、“iPod”の商品名で広く知られているアップルコンピュータのオーディオプレーヤーにおいて再生可能な、MPEG−4 AACのオーディオフォーマットをベースとしたチャプタ付音声ファイルを作成する場合、プロジェクトデータ222は、好ましくは、“<chapter startitime=”時間”>”の形式で記述するチャプタの時間(音声の開始位置からの時間位置)と、“<picture>画像ファイル名</picture>”の形式で記述する画像データを特定する情報を含むXML(eXtensible Markup Language)ファイルである。なお、図8の例では、図7に示した画像データ1(ファイル名「画像1.jpg」)、画像データ2(ファイル名「画像2.jpg」)、画像データ3(ファイル名「画像3.jpg」)、…に関し、個々の画像データについて検出した相対時間が、チャプタの時間として設定されている。
【0065】
なお、プロジェクトデータ222は、次のステップS205で実行される処理の設定ファイルとして作成されるものであるが、他方で、後述するプレビュー編集処理においてクライアントコンピュータ11において変更可能なファイルのベースを提供する。作成されたプロジェクトデータは、データ格納部220により、記憶装置に格納される。
【0066】
ステップS205において、コンテンツ作成部250は、プロジェクトデータ222に含まれる時間位置に基づいて、対応する画像データ152(画像データ1、画像データ2、…)と、各画像データが組み込まれる時間位置を示すマーカー情報とを、音声データに追加した、拡張された音声ファイルを、コンテンツ251として作成する。
【0067】
図9は、このコンテンツ作成部250において実行される処理内容を示すフローチャートである。ステップS2051において、プロジェクトデータ222から、画像データ毎の相対時間(時間情報)を読み取る。続くステップS2052において、読み取った画像データ毎の相対時間に基づいて、各画像データと、マーカー情報(マーカー情報は、チャプタ付き音声ファイルにおけるチャプタに相当する)とを音声データのファイルに追加して、所望のコンテンツ(例えば、“拡張Podcast(Enhanced Podcast)”等のチャプタ付き音声ファイル)を作成するものである。作成されたコンテンツは、データ格納部220により、記憶装置に格納される。
以上の処理により、コンテンツ作成サーバ20におけるコンテンツの作成が終了する。
【0068】
本実施態様におけるコンテンツ作成サーバ20は、上記のとおり、講師用コンピュータ10に対し、コンテンツ作成サービスを提供することに加えて、プレビュー編集部260をさらに備えることにより、通信回線30を介してコンテンツ作成サーバ20に接続されるクライアントコンピュータ11に対して、所望のコンテンツのプレビュー画面400の閲覧サービスを提供する。すなわち、図10に示す例からわかるように、プレビュー画面400は、音声データのファイル名、音声ファイル再生ボタン、マーカー情報(チャプタに相当)毎のタイトル、時間位置、及び当該マーカーで組み込まれる画像データのファイル名等の情報、並びに各マーカー情報に対応する画像のプレビューイメージを含むページ画面である。このプレビュー画面400は、画像データのプレビューイメージを付加したプロジェクトデータに相当するものであり、ユーザはクライアントコンピュータ11を使用してコンテンツ作成サーバ20にアクセスし、プレビュー画面400を閲覧することにより、任意の遠隔地からチャプタ付き音声ファイルの仕上がりを確認できるという利点がある。
【0069】
加えて、コンテンツ作成サーバ20は、プレビュー編集部260を備えることにより、クライアントコンピュータ11を使用するユーザに対し、プロジェクトデータ作成部240によって作成され、データ格納部220により記憶装置に格納されたプロジェクトデータ222を、事後的に編集(追加、変更、削除)することの許可を与える。これにより、プレビュー画面400を閲覧しながら、プロジェクトデータ222のXMLソースに各種の修正を加えること、例えば、あるマーカーの時間位置を適宜調整することによる画像の組込み位置の変更、ある1つのマーカーとそれに付帯する画像データを含む一切の情報の削除等を行うことができる。
【0070】
さらに、既に説明したように、転送部270は、データ格納部220に格納されているコンテンツ251を、通信制御部210を介して、クライアントコンピュータ11、コンテンツ配信サーバ40、ファイルサーバ50、及びメールサーバ60のいずれか1つ又は2つ以上に転送しても良く、コンテンツ251を電子メールに添付してメールサーバ60に転送し、メールサーバ60から、さらに別のクライアントコンピュータ12へ転送しても良い。これにより、例えば講義内容を画像付きで再生可能な、チャプタ付き音声ファイルを、受講者に向けて広く配信する場合の、配信者側の作業負担や投資が、大幅に少なくて済むという利点がある。
【0071】
上記した実施形態において、コンテンツ作成サーバ20が、時間位置検出部230及びプロジェクトデータ作成部240を備えるようにしたが、これらの構成要素を、コンテンツ作成サーバ20ではなく講師用コンピュータ10が備えるよう変更しても良い。すなわち、時間位置検出部230が検出した各画像についての時間位置情報と、対応する画像データを特定する情報とを含む、プロジェクトデータ222を、講師用コンピュータ10側で作成し、プロジェクトデータ222を、講師用コンピュータ10で記録した音声データ151のファイル、及び特定時刻における画像データ152(画像データ1、画像データ2、…)のファイルとともに、コンテンツ作成サーバ20に転送するようにしても良い。
【0072】
上記した実施形態のマルチメディアコンテンツ作成システムにおいて拡張された音声ファイルを作成する具体例として、MPEG−4 AACのオーディオフォーマットをベースとしたいわゆるチャプタ付音声ファイル(例えば“拡張Podcast (Enhanced Podcast)”)を作成する例を挙げて説明したが、本発明はこれに限定されるものではなく、画像データを組み込むことのできる、例えば“Flash”等の他の形式の拡張された音声ファイルを含む、複数のフォーマットに対応可能であることは勿論である。
【0073】
なお、講師用コンピュータ10では、本発明のマルチメディアコンテンツ作成システムにおけるクライアント側の処理を実行するための、クライアントソフトウェアのセットアップに関しては、コンピュータにインストールし、当該ソフトウェアを常駐させておく方法でも良いし、コンテンツ作成サーバ20又は他のサーバから、通信回線30を通じて提供され、講師用コンピュータ10での処理に必要な時だけ、メモリにソフトウェアを滞在させておく方法でも良いし、さらには、ソフトウェアがコンテンツ作成サーバ20又は他のアプリケーションサーバ上にあり、それを通信回線30を通じて利用することにより、当該ソフトウェアを講師用コンピュータ10に滞在させない、ASP(Application Service Provider)での提供方法でも良く、さらにまた、これらの方法のうちの2つ以上の方法を組み合わせてクライアントソフトウェアを利用する方法であっても良い。
【0074】
また、上記の実施形態において、講師用コンピュータ10は画面キャプチャ処理により、特定時刻における画像データを保存し、記録するようにしているが、それとは別に、講師の姿や講師が筆記するメモを含む投影又は投射画像を撮影するビデオカメラ等の撮像装置を、講師用コンピュータ10に接続し、当該撮像装置が撮影した特定時刻における画像データを保存し、記録するようにしても良く、さらには両者を組み合わせて特定時刻における画像データを保存し、記録する方法であっても良い。
【0075】
さらに、上記の実施形態において、講師用コンピュータ10がパーソナルコンピュータ(PC)である場合の例を説明したが、PCに限定されるものではなく、その他の機器、例えば、カメラ付き携帯電話、録音機能及びデータ転送機能を有するデジタルカメラ、もしくはデータ転送機能を有するデジタルビデオカメラにおいて、本発明におけるマルチメディアデータの記録処理を実行させるようにしても良く、その他本発明の各構成部分についても、本発明の範囲内において適宜修正、置換もしくは変更が可能なことは勿論である。
【産業上の利用可能性】
【0076】
本発明は、マルチメディアデータ作成ツールとして広く利用することができるので、例えば、大学や専門学校、予備校等の教育機関だけでなく、各種講演会・セミナー、企業・公官庁の研修、放送メディアにおけるコンテンツの再利用、催事・行事の記録等、さまざまな場所や用途で利用できるものである。
【図面の簡単な説明】
【0077】
【図1】本発明の実施の形態におけるマルチメディアコンテンツ作成システムの概略構成を示す図である。
【図2】図1に示す講師用コンピュータ10の構成を示すブロック図である。
【図3】図1に示すコンテンツ作成サーバ20の構成を示すブロック図である。
【図4】講師用コンピュータ10により実行されるデータ記録処理の全体を示すフローチャートである。
【図5】講師用コンピュータ10の表示画面に表示されるスライド画像の切替え又は変化の様子を示す図であり、(a)及び(b)はスライド画像が切替えられる例を示し、(c)及び(d)はスライド画像が一定時間変化しない例を示す。
【図6】コンテンツ作成サーバ20により実行されるコンテンツ作成処理の全体を示すフローチャートである。
【図7】画像データについての相対時間の検出を説明するチャートである。
【図8】プロジェクトデータに設定される情報の要部を示す説明図である。
【図9】コンテンツ作成サーバ20におけるコンテンツ作成処理のうち、拡張された音声ファイルの作成処理の詳細を示すフローチャートである。
【図10】コンテンツ作成サーバ20により提供されるプレビュー機能及び編集機能を説明する図である。
【符号の説明】
【0078】
10 講師用コンピュータ
11、12 クライアントコンピュータ
20 コンテンツ作成サーバ
30 通信回線
40 コンテンツ配信サーバ
50 ファイルサーバ
60 メールサーバ
110 表示部
120 I/O部
130 プロジェクタ
140 音声入力部
150 データ記録部
151 音声データ
152 画像データ
160 記録指示検出部
170 入力デバイス
180 転送部
190 モニター部
210 通信制御部
220 データ格納部
221 受信データ
222 プロジェクトデータ
230 時間位置検出部
240 プロジェクトデータ作成部
250 コンテンツ作成部
251 コンテンツ
260 プレビュー編集部
270 転送部
400 プレビュー画面
【出願人】 【識別番号】506233298
【氏名又は名称】太田 孝幸
【出願日】 平成18年7月6日(2006.7.6)
【代理人】 【識別番号】100102406
【弁理士】
【氏名又は名称】黒田 健二

【識別番号】100100240
【弁理士】
【氏名又は名称】松本 孝


【公開番号】 特開2008−17171(P2008−17171A)
【公開日】 平成20年1月24日(2008.1.24)
【出願番号】 特願2006−186479(P2006−186479)