トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 情報処理装置、情報処理システム及び情報処理プログラム
【発明者】 【氏名】永峯 猛志

【要約】 【課題】会議音声、資料画像、及び会議の様子を撮影した撮影画像を効率的に検索できる情報処理装置、情報処理システム及び情報処理プログラムを提供する。

【構成】
【特許請求の範囲】
【請求項1】
会議で取得された会議音声と前記会議で使用された資料画像と前記会議の様子を撮影した撮影画像とを関連付けて記憶部に登録する音声画像登録手段と、
前記音声画像登録手段が前記記憶部に登録した資料画像及び撮影画像の少なくとも一方と前記資料画像及び撮影画像の少なくとも一方を分類する分類基準とを関連付けて前記記憶部に登録する分類基準登録手段と、
前記分類基準登録手段が前記記憶部に登録した前記分類基準に基づいて、前記音声画像登録手段が前記記憶部に関連付けて登録した会議音声、資料画像、及び撮影画像を検索する検索手段とを備える情報処理システム。
【請求項2】
前記分類基準は、前記資料画像、及び前記撮影画像の少なくとも一方から抽出したテキスト情報を含むことを特徴とする請求項1に記載の情報処理システム。
【請求項3】
前記分類基準は、会議の書誌的情報を含むことを特徴とする請求項1又は2に記載の情報処理システム。
【請求項4】
前記会議の書誌的情報は、前記会議の開催場所、前記会議の開始日時及び終了日時のいずれか1つ以上を含むことを特徴とする請求項3に記載の情報処理システム。
【請求項5】
前記撮影画像を取得するか否かを判定する判定手段を更に有し、
前記判定手段は、前記音声画像登録手段が前記記憶部に登録する資料画像から抽出されたテキスト情報が所定の文字列を有するか否かに基づいて判定することを特徴とする請求項1ないし4のいずれかに記載の情報処理システム。
【請求項6】
前記撮影画像を撮影するか否かを判定する判定手段を更に有し、
前記判定手段は、前記音声画像登録手段が前記記憶部に登録する会議音声から抽出されたテキスト情報が所定の文字列を有するか否かに基づいて判定することを特徴とする請求項1ないし4のいずれかに記載の情報処理システム。
【請求項7】
前記撮影画像を撮影するか否かを判定する判定手段を更に有し、
前記判定手段は、前記音声画像登録手段が前記記憶部に登録する会議音声から抽出された音量が所定の音量を超えるか否かに基づいて判定することを特徴とする請求項1ないし4のいずれかに記載の情報処理システム。
【請求項8】
前記撮影画像を撮影するか否かを判定する判定手段を更に有し、
前記判定手段は、所定時刻を経過したか否かに基づいて判定することを特徴とする請求項1ないし4のいずれかに記載の情報処理システム。
【請求項9】
前記撮影画像を撮影する撮影手段を更に有し、
前記撮影手段は、前記判定手段の判定に従って前記撮影画像を撮影することを特徴とする請求項5から8のいずれかに記載の情報処理システム。
【請求項10】
前記検索手段が検索した資料画像と撮影画像とを表示する表示手段と、
前記音声画像登録手段が前記記憶部に登録した会議音声を出音する出音手段とを備え、
前記音声画像登録手段は、前記会議音声と前記資料画像と前記撮影画像とを取得した時刻で関連付けて記憶部に登録し、
前記出音手段が出音する会議音声は、前記表示手段が表示する撮影画像及び資料画像の少なくとも一方に時刻で関連付けて前記音声画像登録手段が前記記憶部に登録した会議音声を出音することを特徴とする請求項1ないし9のいずれかに記載の情報処理システム。
【請求項11】
会議で取得された会議音声と前記会議で使用された資料画像と前記会議の様子を撮影した撮影画像とを関連付けて記憶部に登録する音声画像登録手段と、
前記音声画像登録手段が前記記憶部に登録した資料画像及び撮影画像の少なくとも一方と前記資料画像及び撮影画像の少なくとも一方を分類する分類基準とを関連付けて前記記憶部に登録する分類基準登録手段と、
前記分類基準登録手段が前記記憶部に登録した前記分類基準に基づいて、前記音声画像登録手段が前記記憶部に関連付けて登録した会議音声、資料画像、及び撮影画像を検索する検索手段とを備える情報処理装置。
【請求項12】
コンピュータに、会議で取得された会議音声と前記会議で使用された資料画像と前記会議の様子を撮影した撮影画像とを関連付けて記憶部に登録する音声画像登録手段と、
前記音声画像登録手段が前記記憶部に登録した資料画像及び撮影画像の少なくとも一方と前記資料画像及び撮影画像の少なくとも一方を分類する分類基準とを関連付けて前記記憶部に登録する分類基準登録手段と、
前記分類基準登録手段が前記記憶部に登録した前記分類基準に基づいて、前記音声画像登録手段が前記記憶部に関連付けて登録した会議音声、資料画像、及び撮影画像を検索する検索手段として機能させるための情報処理プログラム。
【発明の詳細な説明】【技術分野】
【0001】
本発明は、会議音声、資料画像、及び会議の様子を撮影した撮影画像を効率的に検索できる情報処理装置、情報処理システム及び情報処理プログラムに関する。
【背景技術】
【0002】
会議又は講義等において、発表者は、プロジェクタにより資料画像を投影し、投影した資料画像に対して発表を行なう。このようにして行なわれた会議等で投影された資料画像及び発言された音声を予め記録した後、記録した資料画像及び音声を記録した時刻に基づいて同期させて表示及び出音することで、会議に出席しなかった者や会議の内容を再確認しようとする者が会議の内容を参照することができる。
【0003】
このような機能を有する記録システムとしては、プロジェクタが投影した資料画像をプロジェクタ内部に保存するだけでなく、会議における音声をプロジェクタに接続されたマイクロフォンで取得してプロジェクタ内部に保存した後、資料画像及び会議音声を保存した時刻に基づいて同期させて遠隔端末に表示及び出音できるプロジェクタが知られている(例えば、特許文献1参照)。
【0004】
また、資料画像及び会議音声を同期させる時刻に基づいた検索のみならず、会議の参加者の動作に基づいて資料画像及び会議音声を検索し、検索した資料画像及び会議音声を表示及び出音できるキャプチャシステムが知られている(例えば、特許文献2参照)。このシステムは、ホワイトボードを撮影した資料画像と会議における音声とを時刻に基づいて関連付けて記憶し、かつホワイトボードに対する書き込み動作を解析し、解析した動作と資料画像及び会議音声とを関連付けて記憶することで、会議の参加者の動作に基づいて資料画像及び会議音声を検索できる。
【0005】
更に、会議資料及びホワイトボード付近のみならず、例えば、会議の議題に上った製品、活発な議論を繰り広げた者等の人物をも画像として撮影し、撮影した画像と録音された音声とを時刻に基づいて関連付けて記憶した後に、記憶した画像に基づいて画像が撮影された時刻に録音された音声を検索及び視聴する必要がある。このような機能を有するボイスレコーダとしては、会議においてユーザが自発的に会議の様子を手動で撮影した撮影画像と会議音声とを関連付けて記憶するボイスレコーダが知られている(例えば、非特許文献1参照)。
【特許文献1】特開2005‐284196
【特許文献2】特開2004‐80750
【非特許文献1】ソニー株式会社、 "Sony eCatalog"、[online]、[平成18年07月19日検索]、インタネット〈URL:http://www.ecat.sony.co.jp/audio/icrecorder/products/index.cfm?PD=21238&KM=ICD-CX50〉
【発明の開示】
【発明が解決しようとする課題】
【0006】
ここで、ユーザが撮影した撮影画像と関連付けて記憶する必要があるのは、会議における会議音声のみならず、会議で使用された資料画像についても撮影画像と関連付けて記憶する必要がある。また、関連付けて記憶した資料画像、撮影画像、及び会議音声を効率的に検索するだけでなく、検索した資料画像及び撮影画像を関連付けて表示し、かつ表示する画像と時刻で同期させて会議音声を出音して会議の内容を効率的に参照する必要がある。
【0007】
本発明は、上記事情に鑑みて成されたものであり、その目的とするところは、会議音声、資料画像、及び会議の様子を撮影した撮影画像を効率的に検索できる情報処理装置、情報処理システム及び情報処理プログラムを提供することにある。
【課題を解決するための手段】
【0008】
本発明に係る情報処理システムは、会議で取得された会議音声と会議で使用された資料画像と会議の様子を撮影した撮影画像とを関連付けて記憶部に登録する音声画像登録手段と、音声画像登録手段が記憶部に登録した資料画像及び撮影画像の少なくとも一方と資料画像及び撮影画像の少なくとも一方を分類する分類基準とを関連付けて記憶部に登録する分類基準登録手段と、分類基準登録手段が記憶部に登録した分類基準に基づいて、音声画像登録手段が記憶部に関連付けて登録した会議音声、資料画像、及び撮影画像を検索する検索手段とを備えることを特徴としている。
【0009】
上記構成において、資料画像、及び撮影画像の少なくとも一方から抽出したテキスト情報を含む構成を採用できる。
【0010】
上記構成において、分類基準は、会議の書誌的情報を含むことを特徴とする構成を採用できる。
【0011】
上記構成において、会議の書誌的情報は、会議の開催場所、会議の開始日時及び終了日時のいずれか1つ以上を含む構成を採用できる。
【0012】
上記構成において、撮影画像を取得するか否かを判定する判定手段を更に有し、判定手段は、音声画像登録手段が記憶部に登録する資料画像から抽出されたテキスト情報が所定の文字列を有するか否かに基づいて判定する構成を採用できる。
【0013】
上記構成において、撮影画像を撮影するか否かを判定する判定手段を更に有し、判定手段は、音声画像登録手段が記憶部に登録する会議音声から抽出されたテキスト情報が所定の文字列を有するか否かに基づいて判定する構成を採用できる。
【0014】
上記構成において、撮影画像を撮影するか否かを判定する判定手段を更に有し、判定手段は、音声画像登録手段が記憶部に登録する会議音声から抽出された音量が所定の音量を超えるか否かに基づいて判定する構成を採用できる。
【0015】
上記構成において、撮影画像を撮影するか否かを判定する判定手段を更に有し、判定手段は、所定時刻を経過したか否かに基づいて判定する構成を採用できる。
【0016】
上記構成において、撮影画像を撮影する撮影手段を更に有し、撮影手段は、判定手段の判定に従って撮影画像を撮影する構成を採用できる。
【0017】
上記構成において、検索手段が検索した資料画像と撮影画像とを表示する表示手段と、音声画像登録手段が記憶部に登録した会議音声を出音する出音手段とを備え、音声画像登録手段は、会議音声と資料画像と撮影画像とを取得した時刻で関連付けて記憶部に登録し、出音手段が出音する会議音声は、表示手段が表示する撮影画像及び資料画像の少なくとも一方に時刻で関連付けて音声画像登録手段が記憶部に登録した会議音声を出音する構成を採用できる。
【0018】
本発明に係る情報処理装置は、会議で取得された会議音声と会議で使用された資料画像と会議の様子を撮影した撮影画像とを関連付けて記憶部に登録する音声画像登録手段と、音声画像登録手段が記憶部に登録した資料画像及び撮影画像の少なくとも一方と資料画像及び撮影画像の少なくとも一方を分類する分類基準とを関連付けて記憶部に登録する分類基準登録手段と、分類基準登録手段が記憶部に登録した分類基準に基づいて、音声画像登録手段が記憶部に関連付けて登録した会議音声、資料画像、及び撮影画像を検索する検索手段とを備えることを特徴としている。
【0019】
本発明に係る情報処理プログラムは、コンピュータに、会議で取得された会議音声と会議で使用された資料画像と会議の様子を撮影した撮影画像とを関連付けて記憶部に登録する音声画像登録手段と、音声画像登録手段が記憶部に登録した資料画像及び撮影画像の少なくとも一方と資料画像及び撮影画像の少なくとも一方を分類する分類基準とを関連付けて記憶部に登録する分類基準登録手段と、分類基準登録手段が記憶部に登録した分類基準に基づいて、音声画像登録手段が記憶部に関連付けて登録した会議音声、資料画像、及び撮影画像を検索する検索手段として機能させることを特徴としている
【発明の効果】
【0020】
本発明によれば、会議音声、資料画像、及び会議の様子を撮影した撮影画像を効率的に検索できる情報処理装置、情報処理システム及び情報処理プログラムを提供できる。
【0021】
請求項1の構成によれば、関連付けられた会議における音声、資料画像、及び撮影画像を分類基準に基づいて検索できる。
【0022】
請求項2の構成によれば、関連付けられた会議音声、撮影画像及び資料画像を撮影画像及び資料画像から抽出したテキスト情報に基づいて検索できる。
【0023】
請求項3の構成によれば、関連付けられた会議音声、撮影画像及び資料画像を会議の書誌的情報に基づいて検索できる。
【0024】
請求項4の構成によれば、関連付けられた会議音声、撮影画像及び資料画像を会議の開催場所、会議の開始日時及び終了日時に基づいて検索できる。
【0025】
請求項5の構成によれば、予め定めた文字列を含む資料画像を用いた場合に撮影された撮影画像を取得できる。
【0026】
請求項6の構成によれば、予め定めた文字列を含む発言がなされた場合に撮影された撮影画像を取得できる。
【0027】
請求項7の構成によれば、予め定めた音量を超えた音声が発せられた場合に撮影された撮影画像を取得できる。
【0028】
請求項8の構成によれば、予め定めた時刻を経過した場合に撮影された撮影画像を取得できる。
【0029】
請求項9の構成によれば、判定手段の判定に従って撮影画像を撮影できる。
【0030】
請求項10の構成によれば、検索された資料画像と撮影画像とを視認できるだけでなく、表示された撮影画像及び資料画像に関連付けられた音声をも確認できる。
【0031】
請求項11の構成によれば、関連付けられた会議における音声、資料画像、及び撮影画像を分類基準に基づいて検索できる。
【0032】
請求項12の構成によれば、関連付けられた会議における音声、資料画像、及び撮影画像を分類基準に基づいて検索できる。
【発明を実施するための最良の形態】
【0033】
以下、本発明の最良の実施形態について、添付図面を参照しつつ説明する。
【実施例1】
【0034】
図1は本発明の情報処理システムの一実施形態を示す構成図である。
本発明の情報処理システムは、情報処理装置100、第1入力装置170及び第2入力装置210、第1表示装置180及び第2表示装置220、第1出音装置190及び第2出音装置230、遠隔端末装置200、並びにそれぞれ会議の開催される会場(会議室401ないし40n)毎に少なくとも1組設置される画像生成装置110、音声取得装置120、撮影装置130、画像表示装置140、及び音声画像取込装置150で構成されている。
【0035】
情報処理装置100は、例えば、パーソナルコンピュータで構成される。情報処理装置100は、音声画像取込装置150、第1入力装置170、第1表示装置180、第1出音装置190、及び、遠隔端末装置200に接続している。尚、情報処理装置100と遠隔端末装置200とは、ネットワーク300を介して接続している。情報処理装置100の機能及び構成については後述する。
【0036】
画像生成装置110は、例えば、会議における説明者等の持込んだノートパソコン又は会議室401ないし40nに予め設置されたパーソナルコンピュータ等で構成され、音声画像取込装置150に取外し可能に接続している。画像生成装置110は、会議において説明対象とする資料を予め記憶し、記憶している資料に基づいて、例えばRGB信号等の画像信号を生成する。その後、画像生成装置110は、生成した画像信号を音声画像取込装置150に出力する。
【0037】
音声取得装置120は、例えば、マイクロフォンで構成され、音声画像取込装置150に接続している。音声取得装置120は、会議における音声を取得して、取得した音声信号を音声画像取込装置150に出力する。
【0038】
撮影装置130は、例えば、デジタルカメラで構成され、音声画像取込装置150に対し、有線又は無線回線によって常時接続している。撮影装置130は、会議の様子を撮影し、撮影した画像データを撮影する毎に音声画像取込装置150へ出力する。尚、会議の様子とは、例えば、会議の開催場所を撮影した画像、会議において使用されたホワイトボードを撮影した画像、会議の参加者を撮影した画像、会議の傍聴者を撮影した画像、又は会議の開催場所に搬入された物を撮影した画像のいずれか1つ以上を含む。
【0039】
画像表示装置140は、例えば、プロジェクタ又はプラズマディスプレイで構成され、音声画像取込装置150に接続している。画像表示装置140は画像生成装置110から出力された画像信号であって、音声画像取込装置150を介して入力された画像信号を例えば、スクリーンへ投影する、又は自ら備える表示画面へ表示する。
【0040】
音声画像取込装置150は、例えば、図示は省略するが、CPU(Central Processing Unit)等の演算部、RAM(Random Access Memory)等の記憶部、及びRAM(Random Access Memory)等の記憶部に記憶された情報を処理するプログラムで構成されている。音声画像取込装置150の機能は、音声画像取込装置150の実行するソフトウェア制御により実現される。
【0041】
音声画像取込装置150は、画像生成装置110、音声取得装置120、撮影装置130、画像表示装置140、及び情報処理装置100に接続している。音声画像取込装置150は、音声画像取込装置150に接続された音声取得装置120及び撮影装置130が音声又は撮影画像を取得した会議の開催会場を識別する情報を、予め記憶部に記憶している。
【0042】
音声画像取込装置150は、画像生成装置110から画像信号を受信する。この後、受信した画像信号を画像表示装置140へ出力する。
この構成によれば、例えば、ユーザが所持するノートパソコンである画像生成装置110に予め記憶された画像を画像表示装置140に表示させることができる。
【0043】
また、音声画像取込装置150は、会議で使用された資料に基づいて画像生成装置110が生成した画像信号を受信し、受信した画像信号から、例えば、JPEGフォーマット等の画像データである資料画像を生成する。
【0044】
ここで、音声画像取込装置150は、所定の時間間隔で画像信号から画像データを生成する。またこれに限られず、音声画像取込装置150は、画像信号に変化が生じた場合にのみ画像信号から画像データを生成する構成を採用できる。
【0045】
具体的には、比較対照とする2つの画像データにおける各画素が変化したか否かを判断し、変化した画素が所定の閾値以上存在する場合に、2つの画像データは異なると判断する。尚、画素が変化したか否かについては、各画素のRGB値の差分が所定の閾値以上の場合に当該画素は変化したと判断する。
【0046】
更に、音声画像取込装置150は、撮影装置130が撮影した画像データである撮影画像を取得する。また音声画像取込装置150は、音声取得装置120から音声信号を入力され、入力された音声信号から、例えば、MP3フォーマット等の音声データを生成する。次に、音声画像取込装置150は、資料画像を生成したタイミング及び撮影画像を取得したタイミングで取得した音声データを分割する。
【0047】
次に、音声画像取込装置150は、取得した資料画像、資料画像を取得した日時、分割した会議音声、会議音声を取得した日時、並びに資料画像及び会議音声を取得した会場を識別する情報を関連付けて、資料画像を生成したタイミングで情報処理装置100へ出力する。
【0048】
また、音声画像取込装置150は、取得した撮影画像、撮影画像を取得した日時、分割した会議音声、会議音声を取得した日時、並びに撮影画像及び会議音声を取得した会場を識別する情報を関連付けて、撮影画像を取得したタイミングで情報処理装置100へ出力する。
【0049】
第1入力装置170は、例えば、キーボード、マウス、又はタッチパネルで構成され、情報処理装置100に接続している。第1入力装置170は、ユーザに操作されて検索キーワード又は各種の命令を入力する。
【0050】
第1表示装置180は、例えば、液晶ディスプレイ、プラズマディスプレイ、又はCRT(Cathode Ray Tube)ディスプレイで構成され、情報処理装置100に接続している。第1表示装置180は、情報処理装置100により制御されて、会議中に画像生成装置110から取得した資料画像、資料画像に基づいて生成されたサムネイル、撮影装置130から取得した撮影画像、及び資料画像に基づいて生成されたサムネイル等を表示する。
【0051】
第1出音装置190は、例えば、スピーカ等で構成され、情報処理装置100に接続している。第1出音装置190は、情報処理装置100により制御されて、会議中に音声取得装置120から取得した会議音声を出音する。
【0052】
ネットワーク300は、LAN(Local Area Network )、WAN(Wide Area Network)、又はインタネットで構成され、情報処理装置100と遠隔端末装置200とに接続している。
【0053】
遠隔端末装置200は、例えば、パーソナルコンピュータ等で構成され、第2入力装置210、第2表示装置220、第2出音装置230、及びネットワーク300に接続している。遠隔端末装置200は、第2入力装置210から取得した検索キーワード及び各種信号等をネットワーク300を介して情報処理装置100へ出力する。
【0054】
また、遠隔端末装置200は、ネットワーク300を介して情報処理装置100の出力する制御情報を受信し、受信した制御情報に従って、第2表示装置220の表示、及び第2出音装置230の出音を制御する。
【0055】
第2入力装置210、第2表示装置220、及び第2出音装置230は、遠隔端末に接続している。第2入力装置210、第2表示装置220、及び第2出音装置230の構成及び機能については、第1入力装置170、第1表示装置180、及び第1出音装置190と同様であるため、説明を省略する。
【0056】
尚、第1入力装置170と第2入力装置210とを以下単に、入力装置170等と言い、第1表示装置180と第2表示装置220とを以下単に、表示装置180等と言い、第1出音装置190と第2出音装置230とを以下単に、出音装置190等と言う。
【0057】
次に、図2を参照して本発明に係る情報処理装置の一構成例について説明する。図2は本発明の情報処理装置の一実施形態を示すブロック図である。
【0058】
情報処理装置100は、音声画像登録部1020、音声画像データベース1012、インデックスデータベース1013、テキスト抽出部1030、分類基準登録部1040、閲覧部1050、入出力制御部1060、及び通信部1070で構成される。
【0059】
図2に示す音声画像登録部1020、テキスト抽出部1030、分類基準登録部1040、閲覧部1050、及び入出力制御部1060の各機能は、情報処理装置100が実行するソフトウェア制御により実現できる。
【0060】
ここで図3を参照して、ソフトウェア制御を実行するための情報処理装置100の構成について説明する。図3は、このソフトウェア制御を実現するための情報処理装置100の一構成例を表す構成図である。
【0061】
情報処理装置100は、例えば、CPU(Central Processing Unit)等の演算部101、EPROM(Erasable Programmable Read-Only Memory)又はEEPROM(Electrically Erasable Programmable Read-Only Memory)等の読み出し専用メモリであるROM102(Read-Only Memory )、DRAM(Dynamic RAM)又はSRAM(Static RAM)等の揮発性メモリ及びNVRAM(Non Volatile RAM)等の不揮発性メモリで構成されるRAM103(Random Access Memory)、並びにハードディスク(Hard Disk)等の外部記憶部104で構成され、演算部101、ROM102、RAM103、及び外部記憶部104は互いにバス105によって接続している。
【0062】
ソフトウェア制御は、ROM102、RAM103、又は外部記憶部104の少なくともひとつに格納したプログラムを演算部101が読み、読込んだプログラムに従って演算部101が演算を行うことにより上記各部の機能を実現する。
【0063】
ここで、図2に戻り、情報処理装置100の構成について説明する。
音声画像データベース1012は、例えば、外部記憶部104で構成される記憶部と、例えば、MySQl又はPostgreSQL等のプログラムであって、記憶部が記憶した情報を変更、参照、維持、又は管理するプログラムで構成される。
【0064】
音声画像データベース1012は、音声画像登録部1020及び閲覧部1050に接続している。音声画像データベース1012は、記憶部が記憶する情報を変更、参照、維持、又は管理する。
【0065】
音声画像データベース1012によって情報を管理される記憶部は、取得した日時で音声画像登録部1020により関連付けられた会議音声、会議で使用された資料画像、及び会議の様子を撮影した撮影画像(以下単に、会議音声等と言う)を記憶する。
【0066】
具体的には、会議において資料画像が投影されていた時間区間において取得された音声及び撮影画像を同一のディレクトリに保存することで関連付ける。尚、資料画像が投影されていた時間区間は、ある資料画像を取得した日時とそれに続く別の資料画像を取得した日時とで定まる。
【0067】
更に、記憶部は、会議音声等を識別する情報であるデータ識別情報、データ識別情報で識別される会議音声等を保存した保存先、及び会議の書誌的情報を同一レコードに関連付けて記憶する。尚、会議の書誌的情報は、会議の開催場所、会議の開始日時又は終了日時のいずれか1つ以上を含む。また、音声画像データベース1012が管理する記憶部の情報は、閲覧部1050により検索される場合に参照される。
【0068】
ここで、記憶部が記憶する会議音声等を管理するために、音声画像データベース1012が用いる音声画像テーブルを以下の表1に示す。
【0069】
【表1】


【0070】
表1は、データIDカラム、保存先URLカラム、場所名カラム、及び日時カラムを有している。
データIDカラムにはデータ識別情報が、保存先URLカラムには会議音声等を保存した保存先をURL(Uniform Resource Locator
)を用いて表す情報が、場所名カラムには会場を識別する情報が、及び日時カラムには資料画像又は撮影画像を取得した日時が保存される。
【0071】
尚、表1には、データ識別情報が重複するレコード、並びに資料画像を取得した日時及び会場を識別する情報の双方が重複するレコードが登録されることはない。
【0072】
具体的には、表1のデータ識別情報である「35」で識別される会議音声等は、「http://aaa/data/35/」で識別されるディレクトリに保存されていることを表している。また、データ識別情報である「35」で識別される会議音声等は、会場を識別する情報「会議室A」で識別される会場で取得されたことを表している。
【0073】
また、データ識別情報「35」で識別される資料画像は「2005年11月21日の10時25分10秒」に取得され、データ識別情報「35」で識別される会議音声は「2005年11月21日の10時25分10秒」から「2005年11月21日の10時28分04秒」の時間区間において取得されたことを表している。
【0074】
尚、保存先URLカラムに蓄積された保存先には、1つの資料画像又は撮影画像、並びに1つの会議音声が保存される。資料画像、会議音声、及び撮影画像は、それぞれが資料画像、会議音声、及び撮影画像であることを識別できるよう、予め定められた文字列を含むファイル名で保存される。
【0075】
インデックスデータベース1013は、音声画像データベース1012と同様に、例えば、外部記憶部104で構成される記憶部と、例えば、MySQl又はPostgreSQL等のプログラムであって、記憶部が記憶した情報を変更、参照、維持、又は管理するプログラムとで構成される。
【0076】
インデックスデータベース1013は、分類基準登録部1040及び閲覧部1050に接続している。インデックスデータベース1013は、記憶部が記憶する情報を変更、参照、維持、又は管理する。
【0077】
インデックスデータベース1013によって情報を管理される記憶部は、データ識別情報、並びに資料画像及び撮影画像について分類する基準を、分類基準登録部1040により関連付けられて記憶する。また、インデックスデータベース1013が情報を管理する記憶部は、閲覧部1050が情報を検索する際に参照される。
【0078】
尚、資料画像及び撮影画像について分類する基準は、データ識別情報で識別される資料画像又は撮影画像から画像認識処理により取得したテキスト情報を構成する1又は複数の単語を含む。
【0079】
音声画像登録部1020は、音声画像データベース1012、テキスト抽出部1030、及び音声画像取込装置150に接続している。音声画像登録部1020は、音声画像取込装置150から、資料画像、資料画像を取得した日時、会議音声、会議音声を取得した日時、及び会場を識別する情報を関連付けて取得する。また、音声画像登録部1020は、撮影画像、撮影画像を取得した日時、会議音声、会議音声を取得した日時、及び会場を識別する情報をも関連付けて取得する。
【0080】
音声画像登録部1020は、取得した資料画像及び撮影画像を基にサムネイルを作成する。次に、音声画像登録部1020は、資料画像及び会議音声を識別する情報、若しくは撮影画像及び会議音声を識別するデータ識別情報を生成する。
【0081】
その後、音声画像登録部1020は、記憶部の所定のディレクトリ(表1においては、「http://aaa/data/」)の直下にデータ識別情報で表されるディレクトリを作成し、作成したディレクトリ内にデータ識別情報で識別される会議音声、資料画像、及び資料画像基に作成されたサムネイル、若しくは会議音声、撮影画像、及び撮影画像基に作成されたサムネイルを保存する。
【0082】
次に、音声画像登録部1020は、生成したデータ識別情報、会議音声等の保存先、会場を識別する情報、資料画像の取得日時とを同一レコードのデータIDカラム、保存先URLカラム、場所名カラム、及び日時カラムに関連付けて登録する。尚、上記の登録処理は、例えば、SQL等のINSERT文を作成して音声画像データベース1012を構成するプログラムに実行させることで実現できる。
【0083】
つまり、音声画像登録部1020は、会議音声と資料画像と撮影画像とを取得した日時で関連付けて記憶部に登録する。また、これにより音声画像登録部1020は、サムネイルとデータ識別情報とを関連付けて記憶部に登録する。
【0084】
所定のディレクトリに保存される資料画像と資料画像に基づいて作成されたサムネイルとは、それぞれの関係をファイル名から取得できるよう所定の共通した文字列を含む。尚、撮影画像と撮影画像に基づいて作成されたサムネイルとのファイル名も同様であるため説明を省略する。
【0085】
また音声画像登録部1020は、資料画像、撮影画像、並びに資料画像及び撮影画像を識別するデータ識別情報を関連付けてテキスト抽出部1030へ出力する。
【0086】
ここで、図2に戻り、情報処理装置100の構成について説明する。
テキスト抽出部1030は、例えば、OCR(Optical Character Reader)装置等で構成される。テキスト抽出部1030は、音声画像登録部1020及び分類基準登録部1040に接続している。
【0087】
テキスト抽出部1030は、音声画像登録部1020から資料画像及び資料画像を識別するデータ識別情報、若しくは撮影画像及び撮影画像を識別するデータ識別情報を関連付けて取得する。テキスト抽出部1030は、取得した資料画像又は撮影画像に対して文字認識処理を実施し、実施してテキスト情報を抽出する。
【0088】
その後、テキスト抽出部1030は、資料画像、資料画像から取得したテキスト情報、及び資料画像を識別するデータ識別情報、若しくは撮影画像、撮影画像から取得したテキスト情報、及び撮影画像を識別するデータ識別情報とを関連付けて分類基準登録部1040へ出力する。
【0089】
上記実施形態では、テキスト抽出部1030は、資料画像及び撮影画像に対して文字認識処理を実施する場合について説明したがこれに限定されるわけではなく、例えば、資料画像又は撮影画像の一方のみに対して文字認識処理を実施する構成を採用することもできる。尚、資料画像と撮影画像とは、例えば、ファイル名に含まれる予め定めた文字列の有無を検査する等して区別できる。
【0090】
分類基準登録部1040は、テキスト抽出部1030及びインデックスデータベース1013に接続している。分類基準登録部1040は、テキスト抽出部1030から資料画像、資料画像から抽出されたテキスト情報、及び資料画像を識別するデータ識別情報、若しくは撮影画像、撮影画像から抽出されたテキスト情報、及び撮影画像を識別するデータ識別情報を関連付けて取得する。
【0091】
分類基準登録部1040は、取得したテキスト情報に対して形態素解析により単語を抽出し、特に英語表記された文字列の場合には、空白部分で分割する等して文字列を抽出して単語を抽出する。
【0092】
その後、分類基準登録部1040は、資料画像から抽出した単語を資料画像を分類する基準として資料画像を識別するデータ識別情報と関連付けてインデックスデータベース1013へ登録する。また、分類基準登録部1040は、撮影画像から抽出した単語を撮影画像を分類する基準として撮影画像を識別するデータ識別情報と関連付けてインデックスデータベース1013へ登録する。
【0093】
また、分類基準登録部1040は、会議の書誌的情報を資料画像及び撮影画像を分類する基準としてデータ識別情報と関連付けてインデックスデータベース1013へ登録する。
【0094】
つまり、資料画像及び撮影画像はデータ識別情報に関連付けて記憶部に登録されているので、分類基準登録部1040は資料画像及び撮影画像を分類する基準とデータ識別情報とを関連付けることで、資料画像を分類する基準と資料画像とを関連付けて記憶部に登録できる。
【0095】
閲覧部1050は、音声画像データベース1012、インデックスデータベース1013、及び入出力制御部1060に接続している。閲覧部1050は、音声画像登録部1020が音声画像データベース1012が情報を管理する記憶部に登録した資料画像、撮影画像、会議音声、及びサムネイルを検索する検索機能を有する。
【0096】
ここで、図4を参照して、ユーザが入力装置170等を操作して検索キーワードを入力する際、及び閲覧部1050が検索した画像を表示する際に、第1表示装置180等が表示する閲覧画面FVについて説明する。図4は、表示装置180等が表示する閲覧画面FVの一例を説明するための図である。
【0097】
閲覧画面FVは、検索ワードテキストボックスTBW、検索ボタンBTS、及びサムネイルページコントロールPCを有する。検索ワードテキストボックスTBWは、ユーザが入力装置170等を操作して入力した検索キーワードを表示する。
【0098】
検索ボタンBTSは、検索ワードテキストボックスTBWに表示された検索キーワードであり、かつ入力装置170等が入力した検索キーワードに基づいて検索条件を生成し、生成した検索条件に従って検索を行なうよう閲覧部1050へ命じる信号を入力できる事を表すボタン表示である。
【0099】
サムネイルページコントロールPCは、閲覧部1050の検索した資料画像又は撮影画像に関連付けられたサムネイル等を、資料画像又は撮影画像を取得した会議の会場毎に表示する。
【0100】
サムネイルページコントロールPCは、会場毎にサムネイル等を分類して表示するページを有する。更に、サムネイルページコントロールPCは、ページ毎に1つの場所タブTCを有し、ユーザがマウスポインタを場所タブTCに合わせてクリックする等して選択することで、選択された場所タブTCに対応するページが表示される。
【0101】
具体的には、図8においては、サムネイルページコントロールPCは、「会議室A」及び「会議室B」と表示する場所タブTCを有し、「会議室A」と表示する場所タブTCに対応したページは、会場を識別する情報「会議室A」で識別される会議会場で取得されたサムネイルを表示する。
【0102】
サムネイルページコントロールPCの有するページはそれぞれ書誌情報表示領域AB、及びサムネイル表示領域ASを有する。書誌情報表示領域ABと書誌情報表示領域ABの下に表示されるサムネイル表示領域ASとは、それぞれ対となっている。
【0103】
つまり、サムネイル表示領域ASは、閲覧部1050の検索した資料画像又は撮影画像に関連付けられたサムネイルSNを一覧表示する。また、書誌情報表示領域ABは、書誌情報表示領域ABの下に表示されたサムネイル表示領域ASの表示するサムネイルSNを取得した会議の書誌的情報を表示する。
【0104】
尚、対となった書誌情報表示領域ABとサムネイル表示領域ASとは、まったく表示されない、若しくは1対又は複数が対表示される。更に、複数の書誌情報表示領域ABとサムネイル表示領域ASとの対は、同一ページにおいて、表示対象とする会議の開始日時が早い順、又は遅い順に上から表示される。
【0105】
尚、ページ内に全ての書誌情報表示領域ABとサムネイル表示領域ASとを表示するスペースが存在しない場合には、ページは、スクロールバーSCを表示して書誌情報表示領域ABとサムネイル表示領域ASとをスクロール表示する。
【0106】
書誌情報表示領域ABは、開始日付テキストボックスTBD及び開始時刻テキストボックスTBTを有する。開始日付テキストボックスTBDは、直下に表示されたサムネイル表示領域ASに表示されたサムネイルを取得した会議の開始日付を表示する。開始時刻テキストボックスTBTは、同様に会議の開始時刻を表示する。
【0107】
尚、表示装置180等に表示する閲覧画面FVは、例えば、HTTP等の構造化された文書により記述され、例えば、インタネットエクスプローラ等のウェブブラウザを用いて画面として表示される。
【0108】
ここで、図5を参照して、閲覧部1050が検索機能を提供する際に実行する処理である検索処理の一例について説明する。図5は、閲覧部1050の実行する検索処理の一例を説明するためのフローチャートである。
【0109】
先ず、閲覧部1050は、ユーザが入力装置170等を操作して入力した検索キーワードであって、検索ワードテキストボックスTBWに表示した検索キーワードを入出力制御部1060から取得する(ステップST001)。また、閲覧部1050は、検索を行なうよう命じる信号であって、ユーザが入力装置170等を操作して入力した命令を入出力制御部1060から受信する。
【0110】
その後、閲覧部1050は、閲覧画面FVのサムネイルページコントロールPCを構成するページであって、選択されたページが表示している会場を識別する情報を取得する(ステップST002)。
【0111】
次に、閲覧部1050は、ステップST001で取得した検索キーワード及びステップST002で取得した会場を識別する情報に基づいて検索条件を作成する(ステップST003)。検索条件は、例えば、SQL文のWHERE句等で表される条件であって、検索キーワードを資料画像又は撮影画像を分類する基準に含むと言う条件、検索キーワードで表される時間区間において取得された会議音声、資料画像、又は撮影画像であると言った条件、若しくはステップST2で取得した会場を識別する情報で識別される会場で取得された会議音声、資料画像、又は撮影画像であると言った条件である。
【0112】
次に、閲覧部1050は、ステップST003で生成した検索条件に合致するレコードを、音声画像データベース又はインデックスデータベース1013から検索し、検索したレコードのデータIDカラムに記憶されたデータ識別情報を取得する(ステップST004)。
【0113】
その後、閲覧部1050は、ステップST004で検索したデータ識別情報をデータIDカラムに記憶するレコードを音声画像データベースから取得し、取得したレコードの保存先URLカラムに記憶する保存先から資料画像のサムネイル、又は撮影画像のサムネイルを取得する(ステップST005)。
【0114】
その後、閲覧部1050は、ステップST005で取得したサムネイルを一覧表示するように入出力制御部1060を介して表示装置180等を制御する(ステップST006)。
【0115】
具体的には、閲覧部1050は、図4に示した閲覧画面FVを表示するよう表示装置180等を制御する。
取得したサムネイルは、取得した会議の会場を識別する情報毎に異なったページに表示され、かつ会議の開始時刻毎に異なったサムネイル表示領域ASに、会議の開始時刻の早い順又は遅い順に一覧表示される。また、閲覧部1050は、表示させたサムネイルSNとサムネイルSNに関連付けて記憶部に記憶させたデータ識別情報とを関連付けて記憶する。
【0116】
ここで、図6を参照して、閲覧部1050が検索機能を提供する際に実行する処理である検索処理の他例について説明する。図6は、閲覧部1050の実行する検索処理の他例を説明するためのフローチャートである。
【0117】
先ず、閲覧部1050は、例えば、ユーザが入力装置170等を操作して入力した信号であって、閲覧画面FVに表示された撮影画像又は資料画像のサムネイルSNを選択する信号を取得する。次に、閲覧部1050は、撮影画像又は資料画像のサムネイルSNを選択する信号を受信し、選択されたサムネイルSNと関連付けて記憶したデータ識別情報を取得する(ステップST101)。
【0118】
その後、ステップST101で取得したデータ識別情報と関連付けて記憶部が記憶した資料画像又は撮影画像、並びに会議音声を検索する(ステップST102)。具体的には、閲覧部1050は、表1に示した音声画像テーブルのデータIDカラムにステップST101で取得したデータ識別情報を記憶するレコードを取得し、取得したレコードの保存先URLカラムの保存先に保存された資料画像又は撮影画像、並びに会議音声を取得する。
【0119】
次に、閲覧部1050は、ステップST102で検索した資料画像又は撮影画像を閲覧画面FVと異なる画面に表示するよう、入出力制御部1060を介して表示装置180等を制御する(ステップST103)。
【0120】
その後、閲覧部1050は、ステップST102で検索した会議音声であって、表示装置180等に表示させる撮影画像又は資料画像に日時で関連付けて音声画像登録部1020が記憶部に登録した会議音声を出音するよう入出力制御部1060を介して出音装置190等を制御する。つまり、閲覧部1050は、ステップST102で検索した会議音声を、表示装置180等が表示する撮影画像又は資料画像に同期して出力するよう出音装置190等を制御する。
【0121】
尚、検索手段は、閲覧部1050が上記ステップST001ないしステップST005、ステップST101、及びステップST102の処理を実行することで実現される。
【0122】
上記実施形態では、閲覧部1050は、ステップST006においてサムネイルを一覧表示するように表示装置180等を制御し、ステップST101において撮影画像又は資料画像のサムネイルSNを選択する信号を受信する場合について説明したがこれに限定されるわけではなく、例えば、閲覧部1050は、ステップST006において撮影画像又は資料画像を一覧表示するように表示装置180等を制御し、ステップST101において撮影画像又は資料画像を選択する信号を受信する構成を採用することもできる。
【0123】
ここで、図2に戻り、情報処理装置100の構成について説明する。
入出力制御部1060は、閲覧部1050、第1入力装置170、第1表示装置180、第1出音装置190、及び通信部1070に接続している。
【0124】
入出力制御部1060は、第1入力装置170又は通信部1070から入力された検索キーワード及び各種信号等を閲覧部1050へ出力する。逆に、閲覧部1050から取得した制御情報を、第1表示装置180、第1出音装置190、及び通信部1070へ出力する。
【0125】
通信部1070は、例えば、ネットワークアダプタ等で構成され、入出力制御部1060及びネットワーク300に接続している。通信部1070は、ネットワーク300を通じて遠隔端末装置200から入力された検索キーワード及び各種信号等を入出力制御部1060へ出力する。逆に、入出力制御部1060から取得した制御情報を、ネットワーク300を通じて遠隔端末装置200へ出力する。
【0126】
本実施例においては、撮影装置130が撮影手段に相当し、第1表示装置170及び第2表示装置が表示手段に相当し、第1出音装置180及び第2出音装置230が出音手段に相当し、音声画像登録部1020が音声画像登録手段に相当し、分類基準登録部1040が分類基準登録手段に相当し、閲覧部1050が実行するステップST001ないしステップST005、ステップST101、及びステップST102の処理により検索手段が実現される。
【0127】
以下、本発明の第2の実施形態について説明する。
第2の実施例においては、音声画像取込装置150は音声データを分割しない点で実施例1と異なる。
【実施例2】
【0128】
本発明の第2の実施形態における情報処理システムは、第1の実施形態における情報処理システムとほぼ同一構成及び機能を有する。よって、第1の実施形態との差異についてのみ説明する。
【0129】
音声画像取込装置150は、例えば、ボタンで構成される入力部を更に有し、入力部から会議音声、資料画像、及び撮影画像の取得を開始する命令、及び取得を終了する命令を入力される。音声画像取込装置150は、入力された命令に従って、会議音声、資料画像、及び撮影画像の取得を開始又は終了する。
【0130】
また、音声画像取込装置150は、入力部を有さず、RGB信号の入力開始及び終了に伴って会議音声、資料画像、及び撮影画像の取得を開始及び終了する構成を採用できる。
【0131】
次に、音声画像取込装置150は、取得した資料画像、資料画像を取得した日時、及び資料画像を取得した会場を識別する情報を関連付けて、資料画像を生成したタイミングで情報処理装置100へ出力する。
【0132】
また、音声画像取込装置150は、取得した撮影画像、撮影画像を取得した日時、及び撮影画像を取得した会場を識別する情報を関連付けて、撮影画像を取得したタイミングで情報処理装置100へ出力する。
【0133】
また、音声画像取込装置150は、取得した会議音声であって、分割されていない会議音声と会議音声を取得した会場を識別する情報を関連付けて、入力部から取得を終了する命令を入力されたタイミングで情報処理装置100へ出力する。
【0134】
音声画像登録部1020は、会議音声を取得する前に資料画像及び撮影画像を取得し、資料画像及び撮影画像を取得する度に資料画像及び撮影画像を記憶部に登録する。その後、音声画像登録部1020は、会議音声を取得し、取得した会議音声を記憶部に登録する。
【0135】
ここで実施例2において、音声画像データベース1012が、音声画像登録部1020が記憶部に登録した会議音声、資料画像、及び撮影画像を管理するために用いる音声画像テーブルの一例を以下の表2に示す。
【0136】
【表2】


【0137】
表2は、音声データIDカラムを有する点で、実施例1で示した表1と異なる。音声データIDカラムには、会議音声を識別するための情報である会議音声識別情報を記憶が保存される。
【0138】
ここで表2は、音声画像登録部1020により資料画像及び撮影画像を記憶部に登録され、かつ会議音声は未だ記憶部に登録されていない場合の音声画像テーブルを表している。つまり、表3は、音声データIDカラムに会議音声を保存していない。
【0139】
また、保存先URLに記憶された保存先には、資料画像及び資料画像のサムネイル、若しくは撮影画像及び撮影画像のサムネイルが保存され、会議音声は保存されない。
【0140】
次に、音声画像登録部1020が記憶部に登録した会議音声を管理するために音声画像データベース1012が用いる音声テーブルの一例を以下の表3に示す。
【0141】
【表3】


【0142】
表3は、音声データIDカラム、音声URLカラム、場所名カラム、及び日時カラムを有している。
音声データIDカラムには会議音声識別情報を、音声URLカラムには会議音声を保存した保存先をURL(Uniform Resource Locator
)を用いて表す情報が、場所名カラムには会場を識別する情報が、及び日時カラムには会議音声の取得を開始した日時及び終了した日時が保存される。
【0143】
尚、表3には、音声データ識別情報が重複するレコード、並びに会議音声を取得した日時及び会場を識別する情報の双方が重複するレコードが登録されることはない。
【0144】
具体的には、表3の会議音声識別情報である「8」で識別される会議音声等は、「http://aaa/data/40/」で識別されるディレクトリに保存されていることを表している。また、データ識別情報である「8」で識別される会議音声は、会場を識別する情報「会議室A」で識別される会場で取得されたことを表している。
【0145】
また、データ識別情報「8」で識別される会議音声は「2005年11月21日の10時00分00秒」から「2005年11月21日の10時35分00秒」の時間区間において取得されたことを表している。尚、音声URLカラムに蓄積された保存先には、1つの分割されていない会議音声が保存される。
【0146】
次に、音声画像登録部1020が、会議音声を記憶部に登録した後の音声画像テーブルの一例を以下の表4に示す。
【0147】
【表4】


【0148】
表4で示した音声画像テーブルは、音声データIDカラムに会議音声識別情報を保存する点で表2において示した音声画像テーブルと異なる。
【0149】
音声画像テーブルの音声データIDカラムに保存される会議音声識別情報は、表3で示した音声テーブルの音声データIDカラムに保存された会議音声識別情報である。
【0150】
会議音声識別情報で関連付けられる音声画像テーブルのレコードと音声テーブルのレコードとは、同じ会議室識別情報を場所名カラムに保存する。
【0151】
また、会議音声識別情報で関連付けられる音声画像テーブルのレコードの日時カラムに保存する撮影画像又は資料画像の取得日時は、音声テーブルのレコードの日時カラムに保存する会議音声の取得開始日時と終了日時とで定まる時間区間に属する。
【0152】
音声画像テーブルの構成が、実施例1と実施例2とで異なるために、閲覧部1050の実行する検索処理も異なる。ここで、実施例2における閲覧部1050が検索機能を提供する際に実行する処理である検索処理について説明する。
【0153】
先ず実施例1と同様に、閲覧部1050は、例えば、ユーザが入力装置170等を操作して入力した信号であって、閲覧画面FVに表示された撮影画像又は資料画像のサムネイルSNを選択する信号を取得する
【0154】
次に、閲覧部1050は、撮影画像又は資料画像のサムネイルSNを選択する信号を受信し、選択されたサムネイルSNと関連付けて記憶したデータ識別情報を取得する。
【0155】
その後、取得したデータ識別情報と関連付けて記憶部が記憶した資料画像又は撮影画像、並びに会議音声を検索する。具体的には、実施例1と異なり、閲覧部1050は、表4に示した音声画像テーブルの画像データIDカラムに、取得したデータ識別情報を記憶するレコードを取得し、取得したレコードの保存先URLカラムの保存先に保存された資料画像又は撮影画像を取得し、会議音声は取得しない。
【0156】
また、閲覧部1050は、音声画像テーブルから取得したレコードから音声データIDカラムに保存した音声識別情報を取得し、取得した音声識別情報を保存するレコードを音声テーブルから取得する。次に、閲覧部1050は、取得した音声テーブルから取得したレコードの音声URLカラムに記憶した保存先に保存された会議音声を取得する。
【0157】
次に、実施例1と同様に、閲覧部1050は、検索した資料画像又は撮影画像を閲覧画面FVと異なる画面に表示するよう、入出力制御部1060を介して表示装置180等を制御する。
【0158】
その後、閲覧部1050は、検索した会議音声であって、表示装置180等に表示させる撮影画像又は資料画像に日時で関連付けて音声画像登録部1020が記憶部に登録した会議音声を出音するよう入出力制御部1060を介して出音装置190等を制御する。具体的には、検索した資料画像又は撮影画像の日時と検索した会議音声の記録開始日時の時間差を求め、その差の分だけ進めた位置から検索した会議音声を出音する。
【0159】
以下、本発明の第3の実施形態について説明する。
第3の実施例においては、撮影装置130は、例えば、デジタルカメラで構成され、音声画像取込装置150に対し、取り外し可能に接続する場合について説明する。特に、撮影装置130は、撮影時に音声画像取込装置150に接続せず、撮影後に接続する場合について説明する。
【実施例3】
【0160】
本発明の第3の実施形態における情報処理システムは、第2の実施形態における情報処理システムとほぼ同一構成及び機能を有する。よって、第2の実施形態との差異についてのみ説明する。
【0161】
撮影装置130は、会議の様子を撮影し、撮影した撮影画像と撮影画像を取得した日時とを関連付けて記憶する。音声画像取込装置150は、撮影装置130と、例えば、USB(Universal Serial Bus)接続する。
【0162】
音声画像取込装置150は、新たに接続した機器がデジタルカメラであるかを判断し、デジタルカメラであると判断した場合のみ、撮影画像と撮影画像を取得した日時とを関連付けて取得する。
【0163】
次に、音声画像取込装置150は、撮影画像と撮影画像を取得した日時と撮影画像を取得した会場を識別する情報とを関連付けて情報処理装置100へ出力する。
【0164】
情報処理装置100が備える音声画像登録部1020は、音声画像取込装置150から撮影画像と撮影画像を取得した日時と撮影画像を取得した会場を識別する情報とを関連付けて取得する。音声画像登録部1020は、撮影画像と取得日時と会場を識別する情報とを取得すると、記憶部に関連付けて登録する。
【0165】
尚、会議が終了している場合には表4で示した音声画像データテーブルが生成される。また、会議が終了してない場合には表2で示した音声識別情報を音声データIDカラムに保存しない(つまり、NULL文字又は空文字列を保存する)音声画像データテーブルが生成され、会議が終了した後に音声識別情報を音声データIDカラムに保存する。
【0166】
ここで、音声画像登録部1020は、資料画像及び会議音声と資料画像及び会議音声を取得した日時とを関連付けて記憶部に登録し、かつ撮影画像と撮影画像を取得した日時とを関連付けて記憶部に登録する。よって、音声画像登録部1020が撮影画像の登録を、資料画像及び会議音声の登録よりも早く、同時に、又は遅く登録したとしても、最終的に生成される画像データテーブルは表4で表したテーブルと同様のものとなる。
【0167】
以下、本発明の第4の実施形態について説明する。
第4の実施例においては、撮影装置130は、例えば、ウェブカメラで構成され、所定の時間間隔(例えば、1秒間隔)で会議の様子を撮影する場合について説明する。
【実施例4】
【0168】
本発明の第4の実施形態における情報処理システムは、第1の実施形態における情報処理システムとほぼ同一構成及び機能を有する。よって、第1の実施形態との差異についてのみ説明する。
【0169】
音声画像取込装置150は、撮影装置130から撮影画像を取得し、取得した撮影画像に変化が生じた場合に限って取得した撮影画像を処理し、そうでない場合には取得した撮影画像を破棄する。尚、変化の有無については、実施例1で説明した資料画像の変化を判断する方法と同様であるため、説明を省略する。
【0170】
以下、本発明の第5の実施形態について添付図面を参照して説明する。
第5の実施例は、会議音声、資料画像、又は撮影画像からテキスト情報を抽出し、抽出したテキスト情報に基づいて撮影装置130に会議の様子を撮影させるか否かを判定する場合について説明する。
【実施例5】
【0171】
図7は、本発明の第5の実施形態における情報処理システムの構成図である。
本発明の第5の実施形態における情報処理システムは、第1の実施形態における情報処理システムとほぼ同一構成及び機能を有する。よって、第1の実施形態との差異についてのみ説明する。
【0172】
撮影装置130は、画像音声読込装置150のみならず、情報処理装置100に接続し、情報処理装置100から撮影を命じる命令を取得し、取得した命令に従って会議の様子を撮影する。
【0173】
音声画像取込装置150は、分割した会議音声、資料画像、撮影画像、及び会議音声等を取得した会場を識別する情報を、資料画像を生成したタイミング、及び撮影画像を取得したタイミングで情報処理装置100へ出力する点で実施例1と同様であるが、別個に会場を識別する情報と会議音声とをリアルタイムで情報処理装置100へ出力する点で実施例1と異なる。
【0174】
情報処理装置100は、撮影装置130と接続する点で実施例1と異なる。情報処理装置100は、撮影装置130へ撮影を命じる命令を出力する。
【0175】
情報処理装置100は、音声処理部1100、及び重要語判定部1110を更に備える点で実施例1と異なる。音声処理部1100、及び重要語判定部1110の機能は、情報処理装置100の実行するソフトウェア制御により実現される。
【0176】
音声処理部1100は、音声画像取込装置150及び重要語判定部1110に接続している。音声処理部1100は、会議音声の発言内容を構成する単語を抽出する発言単語抽出処理を実行する。
【0177】
ここで、図8を参照して音声処理部1100の実行する発言単語抽出処理について説明する。図8は、音声処理部1100の実行する発言単語抽出処理の一例を説明するためのフローチャートである。
【0178】
先ず、音声処理部1100は、音声画像取込装置150から会議音声と会場を識別する情報とをリアルタイムで取得する(ステップST201)。次に、音声処理部1100は、取得した会議音声に対して音声認識処理を行ってテキスト情報を抽出する(ステップST202)。
【0179】
また、音声処理部1100は、抽出したテキスト情報に対して形態素解析により単語を抽出し、特に英語表記された文字列の場合には、空白部分で分割する等して文字列を抽出して単語を抽出する(ステップST203)。その後、音声処理部1100は、抽出した単語と会場を識別する情報とを重要語判定部1110に出力する(ステップST204)。
【0180】
重要語判定部1110は、撮影装置130、分類基準登録部1040、及び音声処理部1100に接続している。重要語判定部1110は、会議音声の発言内容、資料画像、又は撮影画像を構成する単語が重要な単語であるか否かを判定する重要語判定処理を実行する。
【0181】
ここで、図9を参照して重要語判定部1110の実行する重要語判定処理について説明する。図9は、重要語判定部1110の実行する重要語判定処理の一例を説明するためのフローチャートである。
【0182】
先ず、重要語判定部1110は、分類基準登録部1040及び音声処理部1100から単語と会場を識別する情報とを取得する(ステップST301)。次に、重要語判定部1110は、取得した単語が重要であるか否かを判定する(ステップST302)。重要語判定部1110は、重要であると判定した場合にはステップST303の処理を、そうでない場合には処理を終了する。
【0183】
ステップST302において、重要語判定部1110は、取得した単語が重要であると判定した場合には、会場を識別する情報で識別される会場に設置された撮影装置130に対して撮影命令を出力する(ステップST303)。その後、重要語判定部1110は、処理を終了する。
【0184】
尚、重要語判定部1110は、過去に取得した単語の取得頻度、及び予め定められた品詞等の単語の属性を記憶しており、例えば、固有名詞である単語の場合には、取得頻度の低い単語(珍しい単語)又は新規に取得した単語を重要と判断する。また、重要語判定部1110は、単語と単語の重要度とを予め関係付けて記憶してする構成を採用することもできる。
【0185】
また、重要語判定部1110は、分類基準登録部1040から取得した単語が重要であるか否かの判定結果を分類基準登録部1040へ出力する。分類基準登録部1040は、資料画像又は撮影画像を分類する基準である単語のみならず、単語の重要度をも資料画像又は撮影画像を分類する基準として資料画像又は撮影画像と関連付けて記憶部に登録する。
【0186】
更に、閲覧部1050は、会議音声、資料画像、撮影画像、並びに資料画像及び撮影画像のサムネイルの検索と同時に、資料画像又は撮影画像と関連付けて分類基準登録部1040が記憶部に登録した分類基準である単語及び単語の重要度をも検索する。
【0187】
その後、閲覧部1050は、検索したサムネイルSNと重要な単語とを、例えば、サムネイルSNの下に表示する等して関連付けて表示するよう第1表示部180等を制御する。
【0188】
本実施例においては、撮影装置130が撮影手段に相当し、第1表示装置170及び第2表示装置が表示手段に相当し、第1出音装置180及び第2出音装置230が出音手段に相当し、音声画像登録部1020が音声画像登録手段に相当し、分類基準登録部1040が分類基準登録手段に相当し、重要語判定部1110が判定手段に相当し、閲覧部1050が実行するステップST001ないしステップST005、ステップST101、及びステップST102の処理により検索手段が実現される。
【0189】
以下、本発明の第6の実施形態について添付図面を参照して説明する。
第6の実施例は、会議音声の音量に基づいて撮影装置130に会議の様子を撮影させるか否かを判定する場合について説明する。
【実施例6】
【0190】
図10は、本発明の第6の実施形態における情報処理システムの構成図である。
本発明の第6の実施形態における情報処理システムは、第5の実施形態における情報処理システムとほぼ同一構成及び機能を有する。よって、第1の実施形態との差異についてのみ説明する。
【0191】
情報処理装置100は、音声処理部1100を備えるが、重要語判定部1110を備えない点で実施例5と異なる。音声処理部1100の機能は、音声画像取込装置150の実行するソフトウェア制御により実現される。
【0192】
音声処理部1100は、音声画像取込装置150に接続している。音声処理部1100は、会議音声の音量に基づいて撮影装置130に撮影を行なわせるか否かを判定する判定処理を行なう。
【0193】
ここで、図11を参照して音声処理部1100の実行する判定処理について説明する。図11は、音声処理部1100の実行する判定処理の一例を説明するためのフローチャートである。
【0194】
先ず、音声処理部1100は、音声画像取込装置150から会議音声と会場を識別する情報とを取得する(ステップST401)。次に、音声処理部1100は、取得した会議音声の音量を取得する(ステップST402)。
【0195】
音声処理部1100は、取得した音量が予め定めた音量を超えるか否かを判断する(ステップST403)。ステップST403において、音声処理部1100は、取得した音量が予め定めた音量を超えると判断する場合にはステップST404の処理を、そうでない場合には処理を終了する。
【0196】
ステップST403において、音声処理部1100は、取得した音量が予め定めた音量を超えると判定した場合には、取得した会場を識別する情報で識別される会場に設置された撮影装置130に対して撮影命令を出力する(ステップST404)。その後、音声処理部1100は、処理を終了する。
【0197】
尚、音声処理部1100は、更に分類基準登録部1040に接続し、取得した音量が予め定めた音量を超えた日時と会場を識別する情報とを分類基準登録部1040へ出力する構成を採用できる。この構成において、分類基準登録部1040は、取得した会議音声の音量が予め定めた音量を超えた日時を分類基準として資料画像又は撮影画像と関連付けて記憶部に登録する構成を採用できる。
【0198】
また、閲覧部1050は、会議音声、資料画像、撮影画像、並びに資料画像及び撮影画像のサムネイルのみならず、資料画像又は撮影画像と関連付けて分類基準登録部1040が記憶部に登録した分類基準であって、会議音声の音量が予め定めた音量を超えた日時をも検索する。
【0199】
その後、閲覧部1050は、会議音声の音量が予め定めた音量を超えた日時と関連付けられた資料画像又は撮影画像のサムネイルSNについては、検索したサムネイルSNと会議音声の音量が予め定めた音量を超えたことを表す目印(例えば、所定の音量を超えた日時)とを、例えば、サムネイルSNの下に表示する等して関連付けて表示するよう第1表示部180等を制御する。
【0200】
本実施例においては、撮影装置130が撮影手段に相当し、第1表示装置170及び第2表示装置が表示手段に相当し、第1出音装置180及び第2出音装置230が出音手段に相当し、音声画像登録部1020が音声画像登録手段に相当し、分類基準登録部1040が分類基準登録手段に相当し、音声処理部1100が判定手段に相当し、閲覧部1050が実行するステップST001ないしステップST005、ステップST101、及びステップST102の処理により検索手段が実現される。
【0201】
以下、本発明の第7の実施形態について添付図面を参照して説明する。
第7の実施例は、所定の時間間隔で撮影装置130に会議の様子を撮影させる場合について説明する。
【実施例7】
【0202】
本発明の第7の実施形態における情報処理システムは、第1の実施形態における情報処理システムとほぼ同一構成及び機能を有する。よって、第1の実施形態との差異についてのみ説明する。
【0203】
音声画像取得装置150は、所定の時間間隔で撮影装置130に会議の様子を撮影させる撮影制御処理を実行する点で実施例1と異なる。
【0204】
ここで、図12を参照して、音声画像取得装置150の実行する撮影制御処理について説明する。図12は、音声画像取得装置150の実行する撮影制御処理の一例を説明するためのフローチャートである。
【0205】
先ず、音声画像取得装置150は、撮影開始日時を取得し、撮影開始日時に基づいて撮影予定日時を取得する(ステップST501)。例えば、撮影開始日時を撮影予定日時とする、又は撮影開始日時から所定時間経過後を撮影予定日時とする構成を採用できる。
【0206】
また、撮影開始日時は、例えば、音声画像取得装置150が画像信号を画像生成装置110から入力された日時とする構成を採用できる。また、音声画像取得装置150は、例えば、ボタンで構成される入力部を更に有し、入力部から会議音声、資料画像、及び撮影画像の取得を開始する命令を入力され日時とする構成を採用できる。
【0207】
次に、音声画像取得装置150は、システム日時を取得し、システム日時が撮影予定日時を経過しているか否かを判断する(ステップST502)。音声画像取得装置150は、システム日時が撮影予定日時を経過していると判断する場合にはステップST503の処理を、そうでない場合にはステップST505の処理を実行する。
【0208】
ステップST502において、音声画像取得装置150は、システム日時が撮影予定日時を経過したと判断した場合には、撮影装置130へ撮影命令を出力する(ステップST503)。その後、音声画像取得装置150は、撮影予定日時を撮影予定日時よりも所定時間だけ後の日時に更新する(ステップST504)。その後、音声画像取得装置150は、ステップST502に戻り上記処理を繰り返す。
【0209】
ステップST502において、音声画像取得装置150は、システム日時が撮影予定日時を経過しない判断した場合には、終了シグナルを受信したか否かを判断する(ステップST505)。音声画像取得装置150は、終了シグナルを受信したと判断する場合には処理を終了し、そうでない場合にはステップST506の処理を実行する。
【0210】
ステップST505において、音声画像取得装置150は、終了シグナルを受信しなかったと判断した場合には所定時間スリープする(ステップST506)。その後、上記ステップST502に戻り上記処理を繰り返す。
【0211】
以下、本発明の第8の実施形態について添付図面を参照して説明する。
第8の実施例は、所定の時間間隔で会議の様子を撮影するようユーザに通知する場合について説明する。
【実施例8】
【0212】
本発明の第8の実施形態における情報処理システムは、第7の実施形態における情報処理システムとほぼ同一構成及び機能を有する。よって、第7の実施形態との差異についてのみ説明する。
【0213】
音声画像取得装置150は、例えば、例えば、液晶ディスプレイ、プラズマディスプレイ、又はCRT(Cathode Ray Tube)ディスプレイで構成される表示部、又はスピーカで構成される出音部を有する。音声画像取得装置150は、所定の時間間隔で撮影装置130を操作して会議の様子を撮影するよう促す表示を表示部に表示する、又は音声を出音部から出音する通知制御処理を実行する点で実施例1と異なる。
【0214】
ここで、図13を参照して、音声画像取得装置150の実行する通知制御処理について説明する。図13は、音声画像取得装置150の実行する通知制御処理の一例を説明するためのフローチャートである。
【0215】
音声画像取得装置150の実行するステップST601、ST602、ST604ないしST606の処理は、実施例7で説明したステップST501、ST502、ST504ないしST506の処理と同様であるため、説明を省略する。よって、ステップST603の処理について説明する。
【0216】
ステップST602において、音声画像取得装置150は、システム日時が撮影予定日時を経過したと判断した場合には、音声画像取得装置150の有する表示部に撮影装置130を操作して会議の様子を撮影するよう促す表示を表示する、又は出音部から撮影するよう促す音声を出音する(ステップST603)。その後、音声画像取得装置150は、ステップST604の処理を実行する。
【0217】
情報処理装置100は、機能的には、演算部101がROM102、RAM103、外部記憶装置104の少なくともひとつに格納されたプログラムを実行することにより実現できる。また、このプログラムは、磁気ディスクや光ディスク、半導体メモリ、その他の記録媒体に格納して配布したり、ネットワークを介して配信したりすることにより提供できる。
【0218】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【0219】
上記実施形態では、外部記憶装置はハードディスク(Hard Disk)で構成されるとして説明したが、これに限定されるわけではなく、例えば、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、DVD−ROM(Digital Versatile Disk Read Only Memory)、DVD−RAM(Digital Versatile Disk Random Access Memory)、MO(magneto-optic)、及び、フラッシュメモリ(flash memory)で構成される実施形式を採用できる。
【図面の簡単な説明】
【0220】
【図1】本発明の情報処理システムの実施形態を表す機能ブロック図である。
【図2】本発明の情報処理装置の実施形態を表す機能ブロック図である。
【図3】ソフトウェア制御を実現するための情報処理装置100の一構成例を表す構成図である。
【図4】表示装置が表示する閲覧画面FVの一例を説明するための図である。
【図5】閲覧部の実行する検索処理の一例を説明するためのフローチャートである。
【図6】閲覧部の実行する検索処理の他例を説明するためのフローチャートである。
【図7】本発明の第5の実施形態における情報処理システムの構成図である。
【図8】音声処理部の実行する発言単語抽出処理の一例を説明するためのフローチャートである。
【図9】重要語判定部の実行する重要語判定処理の一例を説明するためのフローチャートである。
【図10】本発明の第6の実施形態における情報処理システムの構成図である。
【図11】音声処理部の実行する判定処理の一例を説明するためのフローチャートである。
【図12】画像音声取得装置の実行する撮影制御処理の一例を説明するためのフローチャートである。
【図13】画像音声取得装置の実行する通知制御処理の一例を説明するためのフローチャートである。
【符号の説明】
【0221】
100…情報処理装置 101…演算装置
102…ROM 103…外部記憶装置
104…外部記憶装置 105…バス
110…画像生成装置 120…音声取得装置
130…撮影装置(撮影手段) 140…画像表示装置
150…音声画像取込装置 170…第1入力装置(入力手段)
180…第1表示装置(表示手段) 190…第1出音装置(出音手段)
200…遠隔端末装置 210…第2入力装置
220…第2表示装置(表示手段) 230…第2出音装置(出音手段)
300…ネットワーク 401〜40n…会議室1〜n
1012…音声画像DB 1013…インデックスDB
1020…音声画像登録部(音声画像登録手段) 1030…テキスト抽出部
1040…分類基準登録部(分類基準登録手段) 1050…閲覧部
1060…入出力制御部 1070…通信部
1100…音声処理部 1110…重要語判定部(判定手段)
AB1,2…書誌情報表示領域 AS1,2…サムネイル表示領域
BTS…検索ボタン FV…閲覧画面
PC…サムネイルページコントロール SB…スクロールバー
SN11〜14,21…サムネイル TBD1,2…開始日付テキストボックス
TBT1,2…開始時刻テキストボックス TBW…検索ワードテキストボックス
TC1〜2…場所タブ
【出願人】 【識別番号】000005496
【氏名又は名称】富士ゼロックス株式会社
【出願日】 平成18年8月17日(2006.8.17)
【代理人】 【識別番号】100087480
【弁理士】
【氏名又は名称】片山 修平


【公開番号】 特開2008−48204(P2008−48204A)
【公開日】 平成20年2月28日(2008.2.28)
【出願番号】 特願2006−222512(P2006−222512)