トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 会議システム及び制御方法、並びにプログラム及び記憶媒体
【発明者】 【氏名】横川 清一

【氏名】河内 達也

【氏名】熊谷 仁

【氏名】五十嵐 康雄

【氏名】和田 俊彦
【要約】 【課題】会議の出席者が通信回線を経由した場合でも、実際に会議を行っている状態に近い会議を進行することができると共に、会議を第三者が事後的に追体験可能な議事録を作成することができる会議システムを提供する。

【構成】会議システム１０は、システムサーバ２０と、複数の端末３０とから構成される。参加者端末は、音声ファイルと、該音声ファイルが各発言のどの発言に対する発言であるか、或いは独立した発言であるかを特定する情報と、発言が賛成意見、質問等をも含む通常意見、及び反対意見のいずれかであるかを特定する情報と、会議番号、及び発言番号を含む制御情報とをシステムサーバに送信する。システムサーバは、当該音声ファイル等を記憶し、発言フォルダ／ツリー生成処理及び音声認識処理を実行する。そして、システムサーバは３Ｄアクション情報及び音声ファイルを各参加者端末に送信する。
【特許請求の範囲】
【請求項１】
通信回線に接続されたシステムサーバ及び複数の端末とから構成される会議システムにおいて、
前記端末は、当該端末を利用する発言者の音声データを取得する取得手段と、当該取得された音声データに発言者を特定する情報、発言時刻を特定する情報、及び所定の属性情報を付与する情報付与手段と、当該情報が付与された音声データを前記システムサーバに送信する送信手段とを備え、
前記システムサーバは、前記端末から送信された音声データを受信する受信手段と、当該受信された音声データに付与された前記情報に基づいて当該音声データの発言者、発言時刻、及び所定の属性を特定する特定手段と、当該発言者、発言時刻、及び所定の属性が特定された音声データを発言者、発言時刻、及び所定の属性に関連付けて記憶する記憶手段と、当該発言者、発言時刻、及び所定の属性が特定された音声データを前記端末に配信する配信手段とを備えることを特徴とする会議システム。
【請求項２】
さらに、前記端末は、当該端末を利用する参照者の音声データに関する参照データを取得する第２の取得手段と、当該取得された参照データを前記システムサーバに送信する第２の送信手段とを備え、
前記システムサーバは、前記端末から送信された参照データを受信する第２の受信手段と、当該受信された参照データに基づいて前記記憶手段に記憶された音声データを検索する検索手段と、当該検索された音声データを前記端末に配信する第２の配信手段とを備えることを特徴とする請求項１記載の会議システム。
【請求項３】
前記参照データは、発言者、発言時刻、及び所定の属性の少なくとも１つを含むことを特徴とする請求項２記載の会議システム。
【請求項４】
さらに、前記システムサーバは前記受信された音声データを音声認識によりテキスト化するテキスト化手段を備え、
前記記憶手段は当該テキスト化された音声データを記憶することを特徴とする請求項１乃至３のいずれか１項に記載の会議システム。
【請求項５】
通信回線に接続されたシステムサーバ及び複数の端末とから構成される会議システムの制御方法であって、
前記端末において、当該端末を利用する発言者の音声データを取得する取得ステップと、当該取得された音声データに発言者を特定する情報、発言時刻を特定する情報、及び所定の属性情報を付与する情報付与ステップと、当該情報が付与された音声データを前記システムサーバに送信する送信ステップとを有し、
前記システムサーバにおいて、前記端末から送信された音声データを受信する受信ステップと、当該受信された音声データに付与された前記情報に基づいて当該音声データの発言者、発言時刻、及び所定の属性を特定する特定ステップと、当該発言者、発言時刻、及び所定の属性が特定された音声データを発言者、発言時刻、及び所定の属性に関連付けて記憶する記憶ステップと、当該発言者、発言時刻、及び所定の属性が特定された音声データを前記端末に配信する配信ステップとを有することを特徴とする制御方法。
【請求項６】
通信回線に接続されたシステムサーバ及び複数の端末とから構成される会議システムの制御方法をコンピュータに実行させるプログラムであって、
前記端末において、当該端末を利用する発言者の音声データを取得する取得モジュールと、当該取得された音声データに発言者を特定する情報、発言時刻を特定する情報、及び所定の属性情報を付与する情報付与モジュールと、当該情報が付与された音声データを前記システムサーバに送信する送信モジュールとを有し、
前記システムサーバにおいて、前記端末から送信された音声データを受信する受信モジュールと、当該受信された音声データに付与された前記情報に基づいて当該音声データの発言者、発言時刻、及び所定の属性を特定する特定モジュールと、当該発言者、発言時刻、及び所定の属性が特定された音声データを発言者、発言時刻、及び所定の属性に関連付けて記憶する記憶モジュールと、当該発言者、発言時刻、及び所定の属性が特定された音声データを前記端末に配信する配信モジュールとを有することを特徴とするプログラム。
【請求項７】
請求項６記載のプログラムを格納するコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、会議システム及び制御方法、並びにプログラム及び記憶媒体に関し、特に、会議の議事録を詳細に作成する会議システム及び制御方法、並びにプログラム及び記憶媒体に関する。
【背景技術】
【０００２】
従来、会議の議事録を自動的に作成する会議システムにおいて、発言者よりもマイク数が少ない場合に、音声認識を行い発言者を特定した上で、音声をテキスト化するインテリジェント会議サポートシステムが開示されている（例えば、特許文献１参照）。
【０００３】
また、発言内容をテキスト化し、発言順に並べて、発言者の顔写真を少なくとも最初の発言箇所に貼り付ける議事進行システムが開示されている（例えば、特許文献２参照）。
【特許文献１】特開２０００−１１２９３１号公報
【特許文献２】特開２００５−１９７８６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の技術では、時系列順の発言の音声をそのまま記録して音声をテキスト化しているので、会議や交渉の論点が多岐にわたる場合においては、どの意見に対して質問、賛成意見、又は反対意見を述べているのかが判り難い場合がある。
【０００５】
本発明の目的は、会議の出席者が通信回線を経由した場合でも、実際に会議を行っている状態に近い会議を進行することができると共に、会議を第三者が事後的に追体験可能な議事録（時間単位、人単位、テーマ（サブテーマ）単位の議事録）を作成することができる会議システム及び制御方法、並びにプログラム及び記憶媒体を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１記載の会議システムは、通信回線に接続されたシステムサーバ及び複数の端末とから構成される会議システムにおいて、前記端末は、当該端末を利用する発言者の音声データを取得する取得手段と、当該取得された音声データに発言者を特定する情報、発言時刻を特定する情報、及び所定の属性情報を付与する情報付与手段と、当該情報が付与された音声データを前記システムサーバに送信する送信手段とを備え、前記システムサーバは、前記端末から送信された音声データを受信する受信手段と、当該受信された音声データに付与された前記情報に基づいて当該音声データの発言者、発言時刻、及び所定の属性を特定する特定手段と、当該発言者、発言時刻、及び所定の属性が特定された音声データを発言者、発言時刻、及び所定の属性に関連付けて記憶する記憶手段と、当該発言者、発言時刻、及び所定の属性が特定された音声データを前記端末に配信する配信手段とを備えることを特徴とする。
【０００７】
請求項５記載の制御方法は、通信回線に接続されたシステムサーバ及び複数の端末とから構成される会議システムの制御方法であって、前記端末において、当該端末を利用する発言者の音声データを取得する取得ステップと、当該取得された音声データに発言者を特定する情報、発言時刻を特定する情報、及び所定の属性情報を付与する情報付与ステップと、当該情報が付与された音声データを前記システムサーバに送信する送信ステップとを有し、前記システムサーバにおいて、前記端末から送信された音声データを受信する受信ステップと、当該受信された音声データに付与された前記情報に基づいて当該音声データの発言者、発言時刻、及び所定の属性を特定する特定ステップと、当該発言者、発言時刻、及び所定の属性が特定された音声データを発言者、発言時刻、及び所定の属性に関連付けて記憶する記憶ステップと、当該発言者、発言時刻、及び所定の属性が特定された音声データを前記端末に配信する配信ステップとを有することを特徴とする。
【０００８】
請求項６記載のプログラムは、通信回線に接続されたシステムサーバ及び複数の端末とから構成される会議システムの制御方法をコンピュータに実行させるプログラムであって、前記端末において、当該端末を利用する発言者の音声データを取得する取得モジュールと、当該取得された音声データに発言者を特定する情報、発言時刻を特定する情報、及び所定の属性情報を付与する情報付与モジュールと、当該情報が付与された音声データを前記システムサーバに送信する送信モジュールとを有し、前記システムサーバにおいて、前記端末から送信された音声データを受信する受信モジュールと、当該受信された音声データに付与された前記情報に基づいて当該音声データの発言者、発言時刻、及び所定の属性を特定する特定モジュールと、当該発言者、発言時刻、及び所定の属性が特定された音声データを発言者、発言時刻、及び所定の属性に関連付けて記憶する記憶モジュールと、当該発言者、発言時刻、及び所定の属性が特定された音声データを前記端末に配信する配信モジュールとを有することを特徴とする。
【０００９】
請求項７記載のコンピュータ読み取り可能な記憶媒体は、請求項６記載のプログラムを格納することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、会議の出席者が通信回線を経由した場合でも、実際に会議を行っている状態に近い会議を進行することができると共に、会議を第三者が事後的に追体験可能な議事録を作成することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態を図面を参照しながら詳述する。
【００１２】
図１は、本発明の実施の形態に係る会議システム１０の構成を概略的に示す模式図であり、主に各構成要素のソフトウェアの構成を示している。
【００１３】
図１において、会議システム１０は、システムサーバ２０と、複数の端末３０とから構成されており、システムサーバ２０と各端末３０とはＲＤＦ（Resource Description Framework）４０を用いて通信を行う。さらに、システムサーバ２０と各端末３０とはＨＴＴＰＳ通信でＨＴＭＬデータ５０の送受信を行う。
【００１４】
システムサーバ２０は、ＷＥＢアクセス部２１と、ＲＤＦアクセス部２２と、仮想協議管理部２３と、議事録編集部２４と、ツリー管理部２５と、ＤＢアクセス部２６と、議事録ＤＢ２７とを備える。
【００１５】
ＷＥＢアクセス部２１は、ＨＴＴＰＳ通信でファイルの送受信を行う。ＲＤＦアクセス部２２は、ＲＤＦ通信データを分析し、変更点をＷＥＢ（ＬＡＮ又はサブＬＡＮ）上の全ての端末に通知する。仮想協議管理部２３は、協議情報を管理し、ＲＤＦを用いて各端末をナビゲートする。議事録編集部２４は、過去協議レビューのため、議事録ＤＢ２７からの情報を編集する。ツリー管理部２５は、会議再現時の音声及び資料をツリー情報に結び付けて議事録ＤＢ２７に保存する。ＤＢアクセス部２６は、議事録ＤＢ２７にドキュメントファイルのアクセスを行う。
【００１６】
端末３０は、３Ｄ仮想映像表示部３１と、同期通信部３２と、多種協議部３３と、音声ファイル変換部３４とを備える。
【００１７】
３Ｄ仮想映像表示部３１は、３Ｄ仮想映像を表示する。同期通信部３２は、協議中の他の参加者から同期を取る。多種協議部３３は、協議の方法別に協議を制御する。音声ファイル変換部３４は、マイクロフォン（電話機）からのデータを音声ファイルに変換する。
【００１８】
図２は、図１におけるシステムサーバ２０のハードウェアの構成を概略的に示すブロック図である。本実施の形態においては図１における端末３０のハードウェアの構成もシステムサーバ２０のハードウェア構成と同様である。
【００１９】
図２において、システムサーバ２０は、ＣＰＵ２０１と、ＲＡＭ２０２と、ＲＯＭ２０３と、ＬＡＮアダプタ２０４と、ビデオアダプタ２０５と、キーボード２０６と、マウス２０７と、ハードディスク２０８と、ＣＤ−ＲＯＭドライブ２０９と、サンプリング回路・Ａ／Ｄ変換回路２１０とを備え、これらは互いにシステムバス２１２を介して接続されている。また、システムサーバ２０は、サンプリング回路・Ａ／Ｄ変換回路２１０にシステムバス２１２を介して接続されたマイクロフォン２１１を備える。
【００２０】
以下、図１の会議システム１０が実行する会議登録遂行処理及び会議再現処理について説明を行う。
【００２１】
図３は、図１の会議システム１０における主催者端末、参加者端末、及びシステムサーバによって実行される会議登録遂行処理を説明する図である。
【００２２】
図３の処理が実行される前に、主催者端末はシステムサーバに接続要求を送信し、接続要求を受信したシステムサーバは主催者端末に認証画面情報を送信し、認証画面情報を受信した主催者端末は認証画面を表示し認証画面から入力されたユーザＩＤ及びパスワード等の入力情報をシステムサーバに送信し、入力情報を受信したシステムサーバは入力情報を照合し主催者端末に会議登録画面を表示させるための登録画面情報を生成する。
【００２３】
図３において、まず、システムサーバはハードディスク２０８に記憶されたアプリケーションプログラムに含まれる登録画面情報を読み出し主催者端末に送信する（ステップＳ４０１）。次いで、登録画面情報を受信した主催者端末は表示部に登録画面を表示する（ステップＳ５０１）。次いで、主催者端末は登録画面から入力された会議登録情報をシステムサーバに送信する（ステップＳ５０２）。ステップＳ５０２において入力される会議登録情報は少なくとも必須情報、例えば会議名称、会議日時、会議参加者、仮想会議室名称、及び会議趣旨・目的を含むものである。また、このとき図５に示すようにＷＥＢブラウザを用いて協議資料をＨＴＴＰＳ通信でシステムサーバ２０に送信することもできる。
【００２４】
次いで、会議登録情報を受信したシステムサーバ２０は会議登録情報に基づく会議情報をＲＡＭ２０２に記憶して、議事録ＤＢ２７に登録する（ステップＳ４０２）。ステップＳ４０２において会議情報の登録時には一意の会議番号が自動的に採番され会議情報内に記憶される。
【００２５】
次いで、システムサーバ２０は会議登録情報に含まれる会議参加者情報に基づいて会議参加要求を各参加者端末に送信する（ステップＳ４０３）。ここで、例えば社内会議において、会議参加者情報には社員コード及びメールアドレスのうち少なくとも一方が含まれており、システムサーバ２０は社員コードをキーとして人事ＤＢサーバ（不図示）に照会要求を送信し、メールアドレス、社員名称、メッセージ用ソフトの連絡先情報、若しくはスケジューラの書込先情報を取得する。また、会議参加要求は参加者へ電子メールの送信、参加者のメッセージ用ソフトへのメッセージの送信、若しくは参加者のスケジューラへのスケジュール情報の追加等により行ってもよい。
【００２６】
そして、主催者端末は会議開始情報をシステムサーバに送信する（ステップＳ５０３）。次いで、会議開始情報を受信したシステムサーバは指定された会議の開始時刻が到来したか否かを判定し、到来した場合は会議番号を含む会議開始メッセージを各参加者端末及び主催者端末に送信し、到来していない場合は開始時刻まで待機して同メッセージを各参加者端末及び主催者端末に送信する（ステップＳ４０４）。なお、システムサーバは主催者端末から会議開始情報を受信することなく当該会議の開始時刻が到来した際に、会議開始メッセージを各参加者端末及び主催者端末に送信してもよい。会議開始メッセージには会議番号又は／及び会議名称が含まれる。会議終了予定時刻を含んでもよい。
【００２７】
次いで、会議開始メッセージを受信した参加者端末は会議開始メッセージを表示部に表示し、参加者により会議に参加する旨のボタン、例えば入室ボタンが押下されると、参加者端末はシステムサーバに会議参加情報を送信する（ステップＳ３０１）。また、このとき図５に示すようにＷＥＢブラウザを用いて協議資料をＨＴＴＰＳ通信でシステムサーバ２０に送信することもできる。
【００２８】
次いで、会議参加情報を受信したシステムサーバは新規参加者登録を行う（ステップＳ４０５）。新規参加者登録では、議事録の会議参加予定者を会議参加者に更新し、参加者の名称を表示する。さらに、協議資料が会議参加情報に添付されていた場合は、添付資料を追加し表示する。次いで、システムサーバはステップＳ４０５における新規参加者登録において新規に登録された参加者を示す３Ｄの画像、例えばキャラクタ又はアバタを参加者端末に表示させるための３Ｄアクション情報を会議番号と共に各参加者端末及び主催者端末に送信する（ステップＳ４０６）。必要に応じて、主催者端末から会議開始宣言メッセージを送信する。
【００２９】
次いで、３Ｄアクション情報を受信した参加者端末は表示部に表示する図６に示すような画面に３Ｄアクション情報及び音声ファイルに基づく３Ｄアクション及び音声を再生表示する（ステップＳ３０２）。そして、参加者端末は表示部に表示する図７に示すような画面において参加者により発言要求操作、例えば発言ボタンの押下が実行されると（ステップＳ３０３）、参加者端末は参加者の音声を録音し、音声ファイルを生成する（ステップＳ３０４）。
【００３０】
次いで、参加者端末は参加者により発言送信操作、例えば送信ボタンの押下が実行されると（ステップＳ３０５）、参加者端末は発言権を取得済みであるか否かを判別し（ステップＳ３０６）、発言権を取得済みでない場合は、参加者端末は発言を要求する参加者端末を特定する情報、会議番号、及び発言権を要求する旨の情報を含む発言権要求情報をシステムサーバに送信する（ステップＳ３０７）。ステップＳ３０５における参加者による発言送信操作では、図８に示すような画面において各発言のどの発言に対する発言であるか、或いは独立した発言であるかを特定する操作、及び発言が賛成意見、質問等をも含む通常意見、及び反対意見のいずれかであるかを特定する操作が必要となる。ステップＳ３０６では、参加者端末はそのＲＡＭ２０２のワークエリアの発言権取得済みフラグがオンである場合に、発言権を取得済みであると判別する。
【００３１】
そして、発言権要求情報を受信したシステムサーバは発言権要求情報をＲＡＭ２０２のワークエリアの発言権授与待ち配列に記憶し、現在の発言の再生が終了し発言権を授与可能か否かを判定し、発言権を授与可能である場合は、最も先に発言権要求情報をシステムサーバに送信した参加者端末に発言権授与情報を送信する（ステップＳ４０７）。なお、発言権は主催者端末から削除することも可能である。発言権授与情報には会議番号、発言番号、発言権優先レベル、及び発言権保有者社員コード等が含まれる。発言権授与情報が送信された参加者端末のシステムサーバにおけるＲＡＭ２０２のワークエリアの発言権授与待ち配列に記憶された情報は削除される。発言権授与情報を受信した参加者端末はそのＲＡＭ２０２のワークエリアの発言権取得済みフラグをオンにする。
【００３２】
次いで、ステップＳ３０６の判別の結果、発言権を取得済みである場合、又はステップＳ４０７において送信された発言権授与情報を受信した場合は、参加者端末は音声ファイルと、該音声ファイルが各発言のどの発言に対する発言であるか、或いは独立した発言であるか（時間単位、人単位、テーマ（サブテーマ）単位の発言）を特定する情報と、発言が賛成意見、質問等をも含む通常意見、及び反対意見のいずれかであるかを特定する情報と、会議番号、及び発言番号を含む制御情報とをシステムサーバに送信し（ステップＳ３０８）、送信が完了した際に、そのＲＡＭ２０２のワークエリアの発言権取得済みフラグをオフにする。
【００３３】
次いで、音声ファイルと、該音声ファイルが各発言のどの発言に対する発言であるか、或いは独立した発言であるかを特定する情報と、発言が賛成意見、質問等をも含む通常意見、及び反対意見のいずれかであるかを特定する情報と、会議番号、及び発言番号を含む制御情報とを受信したシステムサーバは当該音声ファイル等をＲＡＭ２０２に記憶し、後述する図４の発言フォルダ／ツリー生成処理及び音声認識処理を実行する（ステップＳ４０８）。そして、システムサーバは３Ｄアクション情報及び音声ファイルを各参加者端末及び主催者端末に送信する（ステップＳ４０９）。
【００３４】
図４は、図３におけるステップＳ４０８の発言フォルダ／ツリー生成処理及び音声認識処理の手順を示すフローチャートである。
【００３５】
図４の各処理は、夫々システムサーバのＣＰＵ２０１によって実行される。
【００３６】
まず、図４における発言フォルダ／ツリー生成処理について説明を行う。
【００３７】
発言フォルダ／ツリー生成処理では、まず、図３におけるステップＳ３０８において音声ファイルと共に受信した情報に新規発言である旨を示す情報が含まれているか否かを判別し（ステップＳ６０１）、新規発言である旨を示す情報が含まれている場合は、後述する音声認識処理に対して音声認識要求を送信する（ステップＳ６０２）。ステップＳ６０２では、ハードディスク２０８の所定のフォルダのワークファイルに音声認識を要求する音声ファイルのパス、名称、認識フラグ（認識要求時：０、認識開始時：１、認識完了時：２）、及び登録完了フラグ（登録未完了時：０、登録完了時：１）を書き込む。次いで、ＲＡＭ２０２のワークエリアから音声認識処理の処理用フォルダに新規の音声ファイルを複写し（ステップＳ６０３）、ハードディスク２０８に新規音声ファイル用フォルダを生成して（ステップＳ６０４）、ＲＡＭ２０２のワークエリアから新規音声ファイル用フォルダに音声ファイルを保存する（ステップＳ６０５）。
【００３８】
ステップＳ６０１の判別の結果、新規発言である旨を示す情報が含まれていない場合は、音声ファイルと共に受信した情報に含まれる発言区分（発言が賛成意見、質問等をも含む通常意見、及び反対意見のいずれかであるか）、参加者の名称、及びリンク位置情報を判定し（ステップＳ６０６）、判定した発言区分及びリンク位置情報に基づいて新しいリンクを生成し受信した音声ファイルを関連付けることによりツリー情報を生成する（ステップＳ６０７）。
【００３９】
ステップＳ６０５及びステップＳ６０７に続くステップＳ６０８では、ハードディスク２０８の所定のフォルダのワークファイルにおいて認識フラグが２で且つ登録完了フラグが０のレコードがあるか否かを判断する。このレコードとは、音声認識処理は完了したが議事録ＤＢ２７に登録が未完了のテキストデータである。
【００４０】
ステップＳ６０８の判別の結果、認識フラグが２で且つ登録完了フラグが０のレコードがある場合は、議事録ＤＢ２７（会議番号、会議名称、発言番号、発言時刻、発言者名、社員コード、発言区分、発言音声ファイル、及びリンク位置情報）に音声認識処理において変換済みのテキストデータ（発言テキスト）を追加する（ステップＳ６０９）。
【００４１】
続くステップＳ６１０では、変換済みのテキストデータのキーワードを抽出し、他の変換済みのテキストデータを検索する。ここでキーワードとは、例えば、「田中課長は反対のご意見ですが」という発言において「田中課長」、「は」、「反対」、「意見」等の、「鈴木係長のご質問ですが」という発言においては「鈴木係長」、「の」、「質問」等の出席者人名、発言内容等である。この出席者人名、発言内容等をキーにして議事録ＤＢ２７の発言者名と発言区分を検索する。
【００４２】
続くステップＳ６１１では、リンク位置の妥当性を判定する。例えば今回の変換済みテキストに対応する発言があることが検索結果から判明しているにも関わらず、当該変換された元の発言が独立発言として登録されている場合や、関連ありとされている発言とは異なる発言に関連付けられている場合は、リンク位置が妥当でないと判定する。判定結果（妥当：０、妥当でない：１）及び関連ありとされた発言を特定する情報（発言番号）はＲＡＭ２０２のワークエリアに記憶される。
【００４３】
次いで、リンク位置の修正が必要であるか否かをステップＳ６１１における判定結果に基づいて判断し（ステップＳ６１２）、リンク位置の修正が必要である場合は、リンク位置情報を修正する（ステップＳ６１３）。ステップＳ６１３では、関連ありとされている発言の発言番号に関連付けるようにリンク位置情報を修正する。
【００４４】
ステップＳ６０８の判別の結果、認識フラグが２で且つ登録完了フラグが０のレコードがない場合は、ステップＳ６１２の判別の結果、リンク位置の修正が必要でない場合は、及びステップＳ６１３の後に、本処理を終了する。
【００４５】
次に、図４における音声認識処理について説明を行う。音声認識処理は発言フォルダ／ツリー生成処理とは別プロセスでステップＳ４０４の会議開始メッセージ送信時に起動される。
【００４６】
音声認識処理では、まず、ステップＳ７０１でハードディスク２０８の所定のフォルダのワークファイルに音声認識を要求する音声ファイルのパス、名称、認識フラグ：０、及び登録完了フラグ：０のレコードがあるか否かを判定し、該当するレコードが存在する場合は処理をステップＳ７０２に進め、該当するレコードがなければ待機する。
【００４７】
次いで、音声認識を実行し（ステップＳ７０２）、発言フォルダ／ツリー生成処理におけるステップＳ６０２において要求が書き込まれたワークファイルの、今回音声認識した音声ファイル名で特定されるレコードの認識フラグを１に更新する。音声認識は公知の技術（例えば、特開平７−１６０２８９公報で開示された音声認識技術）を用いる。すなわち、図２におけるサンプリング回路２１０で、音声入出力装置であるマイクロフォン２１１から入力された音声信号をサンプリングして保持している。次に、Ａ／Ｄ変換回路２１０で、サンプリング回路２１０でサンプリングされて保持された音声信号（アナログ信号）をデジタル信号に変換し、次にハードディスク２０８からＲＡＭ２０２に読み出された特徴抽出プログラムで、デジタル信号に変換された音声データに基づいて、その音声データの特徴を解析する。具体的には、波形自体の特徴やＦＦＴによる周波数成分の時間的変化の特徴を解析する。更に、ハードディスク２０８からＲＡＭ２０２に読み出された比較プログラムで、特徴抽出プログラムで解析された音声データの特徴と、ハードディスク２０８からＲＡＭ２０２に読み出された参照パターンデータに記憶されている基準音声パターンとを比較することにより、その音声データを認識する。また、音声認識に必要な各種データはＲＡＭ２０２に記憶されている。
【００４８】
次いで、公知の技術を用いて仮名漢字変換を行う（ステップＳ７０３）。具体的には、例えば特開平０６−７５９４５号公報で開示された仮名漢字変換技術を用いる。すなわち、漢字仮名混じり文字列の語幹となる文字列を検出する語幹検出ステップと、該語幹検出ステップにより検出された語幹文字列の活用法或いは活用語尾を求める活用法検出ステップと、該活用法検出ステップにより検出された語幹と活用法とに応じて当該語幹に含まれる漢字を仮名文字列に変換する変換ステップと、を有する仮名漢字変換方法を用いる。
【００４９】
次いで、音声ファイル全体の音声について音声認識及び仮名漢字変換を行った結果作成された仮名漢字混じりのテキストをＲＡＭ２０２のワークエリアからハードディスク２０８に保存する（ステップＳ７０４）。次いで、ハードディスク２０８の所定のフォルダのワークファイルの認識フラグを２に変更する（ステップＳ７０５）。次いで、作成された仮名漢字混じりのテキストを議事録ＤＢ２７の登録用のフォルダに移動する（ステップＳ７０６）。そして、ハードディスク２０８のワークファイルの登録完了フラグを１に更新して（ステップＳ７０７）、処理をステップＳ７０１に戻す。なお、発言フォルダ／ツリー生成処理からＲＰＣ（リモートプロシージャコール）等で音声認識処理を呼び出して実行させる実施形態も可能である。
【００５０】
図３の会議登録遂行処理によれば、会議の出席者が通信回線を経由した場合でも、実際に会議を行っている状態に近い会議を進行することができると共に、会議を第三者が事後的に追体験可能な議事録を作成することができる。
【００５１】
図９は、図１の会議システム１０における参照端末、及びシステムサーバによって実行される会議再現処理を説明する図である。本処理では、議事録を参照端末から検索して議事録ＤＢ２７に記憶された会議を再現する再現処理の手順を示している。
【００５２】
本処理において参照端末とは、会議に参加しなかったが会議の内容を知る必要と権限を持つ人が操作する端末であり、会議参加者が後で議事内容を確認する場合に操作する端末も含まれる。
【００５３】
図９の処理が実行される前に、参照端末はシステムサーバに接続要求を送信し、接続要求を受信したシステムサーバは参照端末に認証画面情報を送信し、認証画面情報を受信した参照端末は認証画面を表示し認証画面から入力されたユーザＩＤ及びパスワード等の入力情報をシステムサーバに送信し、入力情報を受信したシステムサーバは入力情報を照合し参照端末に議事録検索画面を表示させるための画面情報を生成する。
【００５４】
図９において、まず、システムサーバは検索画面情報を参照端末に送信する（ステップＳ９０１）。次いで、検索画面情報を受信した参照端末は表示部に検索条件入力画面を表示する（ステップＳ８０１）。次いで、参照端末のマウス２０７やキーボード２０６から検索条件が入力され、検索ボタンが押下されると（ステップＳ８０２）、参照端末は検索条件をシステムサーバに送信する（ステップＳ８０３）。
【００５５】
次いで、参照端末から検索条件を受信したシステムサーバはＲＡＭ２０２のワークエリアに検索条件を記憶して、記憶した検索条件に基づいて議事録ＤＢ２７を検索し、ヒットした会議の一覧情報をＲＡＭ２０２のワークエリアに記憶する（ステップＳ９０２）。次いで、システムサーバはヒットした会議の一覧情報を会議番号と共に参照端末に送信する（ステップＳ９０３）。
【００５６】
次いで、会議の一覧情報と会議番号を受信した参照端末は図１０に示すようなヒット件一覧表示画面を表示部に表示し（ステップＳ８０４）、ユーザにより当該画面においてどのボタンが操作されたかを判定する（ステップＳ８０５）。
【００５７】
次いで、参照端末はユーザにより再現要求操作、例えば再現ボタンの押下が実行されると（ステップＳ８０６）、参照端末はシステムサーバに会議番号と共に再現ファイルの要求情報を送信する（ステップＳ８０７）。次いで、再現ファイルの要求情報及び会議番号を受信したシステムサーバはＲＡＭ２０２のワークエリアに会議番号を記憶し、記憶した会議番号をキーにして議事録ＤＢ２７を検索して議事録情報をＲＡＭ２０２に読み出し、議事録の再現ツリー情報を生成して（ステップＳ９０４）、当該再現ツリー情報を参照端末に送信する（ステップＳ９０５）。
【００５８】
次いで、議事録の再現ツリー情報を受信した参照端末は図１１に示すような再現ツリーを表示する。ここで、再現ツリーとは会議中のある発言に対する１つ又はそれ以上の意見や質問をツリー構造で再現表示したものである。
【００５９】
次いで、参照端末はユーザにより再現ツリー中の特定のビューの選択操作が実行されると（ステップＳ８０９）、選択されたビューを特定する情報（発言番号）を会議番号と共にシステムサーバに送信する（ステップＳ８１０）。
【００６０】
次いで、照会端末から特定のビューの選択情報（会議番号と発言番号）を受信したシステムサーバは、ＲＡＭ２０２のワークエリアに会議番号を記憶して、参照端末に図１２（Ａ）及び図１２（Ｂ）に示すような画面においてビューの再現表示を表示させるための情報を議事録ＤＢ２７から読み出して送信する（ステップＳ９０６）。
【００６１】
次いで、ビューの再現表示を表示させるための情報を受信した参照端末は、図１２（Ａ）及び図１２（Ｂ）に示すような画面において、ビューを再現表示する。
【００６２】
図９の会議再現処理によれば、第三者が会議を事後的に追体験することができる。
【００６３】
以下、図１の会議システム１０が実行する会議登録遂行処理の変形例について説明を行う。
【００６４】
図１３は、図１の会議システム１０における主催者端末、参加者端末、及びシステムサーバによって実行される採決機能を有する会議登録遂行処理を説明する図である。
【００６５】
図１３の処理は、図３の処理と基本的に同じであり、図３のステップと同一のステップには同一符号を付して重複した説明を省略し、以下に図３の処理と異なる部分についてのみ説明する。
【００６６】
図１３において、主催者端末は主催者により採決要求操作、例えば採決要求ボタンの押下が実行されると（ステップＳ１２０１）、主催者端末はシステムサーバに会議番号を含む採決要求情報を送信する（ステップＳ１２０２）。
【００６７】
次いで、採決要求情報を受信したシステムサーバは採決要求情報をＲＡＭ２０２のワークエリアに記憶し、会議番号を含む採決要求情報を各参加者端末に送信する（ステップＳ１１０１）。
【００６８】
次いで、採決要求情報を受信した参加者端末は表示部に採決入力画面を表示し（ステップＳ１００１）、参加者により採決が入力されると、会議番号を含む採決情報をシステムサーバに送信する（ステップＳ１００２）。
【００６９】
次いで、システムサーバは一定時間（３０秒乃至１分程度）各参加者端末から採決情報（参加者社員番号、賛否区分）を受信し、採決結果を集計して（ステップＳ１１０２）、会議番号を含む採決結果を各参加者端末及び主催者端末に送信し（ステップＳ１１０３）、会議番号をキーとして採決結果を含む議事録データを議事録ＤＢ２７に保存する（ステップＳ１１０４）。
【００７０】
次いで、採決結果を受信した参加者端末及び主催者端末は夫々採決結果を表示部に表示する（ステップＳ１００３及びステップＳ１２０３）。
【００７１】
図１３の採決機能を有する会議登録遂行処理によれば、さらに実際に会議を行っている状態に近い会議を進行することができる。
【００７２】
図１４は、図１の会議システム１０における当事者端末、当事者端末（相手方）、及びシステムサーバによって実行される契約交渉機能を有する会議登録遂行処理を説明する図である。
【００７３】
図１４の処理は、図３の処理と基本的に同じであり、図３のステップと同一のステップには同一符号を付して重複した説明を省略し、以下に図３の処理と異なる部分についてのみ説明する。図１４の処理においては、図３における主催者端末が当事者端末、図３における参加者端末が当事者端末（相手方）に対応する。
【００７４】
図１４において、当事者端末は当事者により契約締結要求操作、例えば契約締結要求ボタンの押下が実行されると（ステップＳ１５０１）、当事者端末はシステムサーバに会議番号を含む契約締結要求情報を送信する（ステップＳ１５０２）。
【００７５】
次いで、契約締結要求情報を受信したシステムサーバは契約締結要求情報をＲＡＭ２０２のワークエリアに記憶し、会議番号を含む契約締結要求情報を相手方当事者端末に送信する（ステップＳ１４０１）。
【００７６】
次いで、契約締結要求情報を受信した相手方当事者端末は表示部に契約締結諾否入力画面を表示し（ステップＳ１３０１）、相手方当事者により諾否が入力されると、図１５に示す画面において会議番号を含む諾否情報をシステムサーバに送信する（ステップＳ１３０２）。
【００７７】
次いで、システムサーバは一定時間（３０秒乃至１分程度）相手方当事者端末から諾否情報を受信して、会議番号を含む諾否結果を当事者端末及び相手方当事者端末に送信し（ステップＳ１４０２）、会議番号をキーとして契約成立結果及び締結版の契約書等の諾否結果を含む議事録データを議事録ＤＢ２７に保存する（ステップＳ１４０３）。
【００７８】
次いで、諾否結果を受信した当事者端末及び相手方当事者端末は夫々諾否結果を表示部に表示する（ステップＳ１３０３及びステップＳ１５０３）。
【００７９】
図１４の契約交渉機能を有する会議登録遂行処理によれば、さらに実際に会議を行っている状態に近い会議を進行することができる。
【００８０】
本実施の形態における図４の発言フォルダ／ツリー生成処理及び音声認識処理において、システムサーバ２０におけるハードディスク２０８内のアプリケーションプログラムとして音声認識プログラム（音声ファイルの各音を認識してテキストに変換するプログラム）を更に備えて、会議や契約交渉が一区切りついたときに音声認識プログラムを別プロセスで実行して議事録ＤＢ２７に音声テキストを追加してもよい。また、音声認識を行わずに音声ファイルの添付のみにして、音声認識を行わない構成にしてもよく、会議終了後に一括して音声認識処理及び認識したテキストの関連付け処理を行ってもよい。この場合は、会議終了後に全発言について実行されることになる。
【００８１】
また、本発明の目的は、前述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。
【００８２】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した各実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８３】
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ等の光ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【００８４】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれる。
【００８５】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【００８６】
【図１】本発明の実施の形態に係る会議システムの構成を概略的に示す模式図であり、主に各構成要素のソフトウェアの構成を示している。
【図２】図１におけるシステムサーバのハードウェアの構成を概略的に示すブロック図である。
【図３】図１の会議システムにおける主催者端末、参加者端末、及びシステムサーバによって実行される会議登録遂行処理を説明する図である。
【図４】図３におけるステップＳ４０８の発言フォルダ／ツリー生成処理及び音声認識処理の手順を示すフローチャートである。
【図５】ＷＥＢブラウザを用いた協議資料のＨＴＴＰＳ通信を説明する図である。
【図６】３Ｄアクション及び音声が再生表示された画面を説明する図である。
【図７】参加者による発言要求操作時に再生表示される画面を説明する図である。
【図８】参加者による発言送信操作時に再生表示される画面を説明する図である。
【図９】図１の会議システムにおける参照端末、及びシステムサーバによって実行される会議再現処理を説明する図である。
【図１０】参照端末に表示されるヒット件一覧表示画面を説明する図である。
【図１１】参照端末に表示される再現ツリーを説明する図である。
【図１２】（Ａ）及び（Ｂ）は参照端末に表示されるビューの再現表示を説明する図である。
【図１３】図１の会議システムにおける主催者端末、参加者端末、及びシステムサーバによって実行される採決機能を有する会議登録遂行処理を説明する図である。
【図１４】図１の会議システム１０における当事者端末、当事者端末（相手方）、及びシステムサーバによって実行される契約交渉機能を有する会議登録遂行処理を説明する図である。
【図１５】相手方当事者端末に表示される契約締結諾否入力画面を説明する図である。
【符号の説明】
【００８７】
１０ 会議システム
２０ システムサーバ
２７ 議事録ＤＢ
３０ 端末
２０１ ＣＰＵ
２０２ ＲＡＭ
２０８ ハードディスク
【出願人】 【識別番号】３９０００２７６１
【氏名又は名称】キヤノンマーケティングジャパン株式会社
【出願日】 平成１８年６月２９日（２００６．６．２９）
【代理人】 【識別番号】１００１２５２５４
【弁理士】
【氏名又は名称】別役 重尚

【識別番号】１００１１８２７８
【弁理士】
【氏名又は名称】村松 聡

【識別番号】１００１３８９２２
【弁理士】
【氏名又は名称】後藤 夏紀
【公開番号】 特開２００８−１１２７２（Ｐ２００８−１１２７２Ａ）
【公開日】 平成２０年１月１７日（２００８．１．１７）
【出願番号】 特願２００６−１８０４３１（Ｐ２００６−１８０４３１）