トップ :: G 物理学 :: G10 楽器;音響




【発明の名称】 感情検出方法及び感情検出装置ならびに記録媒体
【発明者】 【氏名】光吉 俊二
【要約】 【課題】本発明は被験者である人間の感情をより正確に検出可能な感情検出方法及び感情検出装置ならびに記録媒体を提供することを目的とする。

【解決手段】被験者の感情を検出するための感情検出方法であって、音声信号を入力し、入力した音声信号から音声の強度，音声の出現速度を表すテンポ及び音声の各単語内の強度変化パターンを表す抑揚をそれぞれ検出し、検出された音声の強度，音声のテンポ及び音声の抑揚のそれぞれについて変化量を求め、求めた変化量に基づいて、少なくとも怒り，悲しみ及び喜びのそれぞれの感情状態を表す信号を生成することを特徴とする。
【特許請求の範囲】
【請求項１】 被験者の感情を検出するための感情検出方法であって、音声信号を入力し、入力した音声信号から音声の強度，音声の出現速度を表すテンポ及び音声の各単語内の強度変化パターンを表す抑揚をそれぞれ検出し、検出された音声の強度，音声のテンポ及び音声の抑揚のそれぞれについて変化量を求め、求めた変化量に基づいて、少なくとも怒り，悲しみ及び喜びのそれぞれの感情状態を表す信号を生成することを特徴とする感情検出方法。
【請求項２】 被験者の感情を検出するための感情検出装置であって、音声信号を入力する音声入力手段と、前記音声入力手段が入力した音声信号から音声の強度を検出する強度検出手段と、前記音声入力手段が入力した音声信号から音声の出現速度をテンポとして検出するテンポ検出手段と、前記音声入力手段が入力した音声信号から音声の単語内の強度変化パターンを表す抑揚を検出する抑揚検出手段と、前記強度検出手段が検出した音声の強度，前記テンポ検出手段が検出した音声のテンポ及び前記抑揚検出手段が検出した音声の抑揚のそれぞれについて変化量を求める変化量検出手段と、前記変化量検出手段が検出した変化量に基づいて、少なくとも怒り，悲しみ及び喜びのそれぞれの感情状態を表す信号を出力する感情検出手段とを設けたことを特徴とする感情検出装置。
【請求項３】 請求項２の感情検出装置において、前記抑揚検出手段に、単語毎に分離されて入力される音声信号から特定の周波数成分を抽出するバンドパスフィルタ手段と、前記バンドパスフィルタ手段により抽出された信号のパワースペクトルをその強度に基づいて複数の領域に分離する領域分離手段と、前記領域分離手段により分離された複数の領域の各々の中心位置の時間間隔に基づいて抑揚の値を算出する抑揚計算手段とを設けたことを特徴とする感情検出装置。
【請求項４】 請求項２の感情検出装置において、被験者の少なくとも顔の画像情報を入力する撮像手段と、前記撮像手段が入力した画像情報から顔面各部に関する位置情報を検出する画像認識手段と、顔面各部の特徴量の基準情報を保持する画像基準情報保持手段と、前記画像認識手段の検出した位置情報と前記画像基準情報保持手段の保持する基準情報とに基づいて画像特徴量を検出する画像特徴量検出手段とを更に設けるとともに、前記感情検出手段が、前記画像特徴量検出手段の検出した画像特徴量の変化に応じて感情状態を推定することを特徴とする感情検出装置。
【請求項５】 請求項２の感情検出装置において、前記感情検出手段の検出した感情状態の情報を逐次入力して蓄積する感情情報蓄積手段と、前記感情情報蓄積手段に蓄積された過去の感情状態の情報のうち、記憶時点から所定の時間が経過した情報を削除するとともに、削除対象の情報のうち、少なくとも感情変化が所定以上に大きい情報及び予め定めた変化パターンに適合する情報については削除対象から除外する忘却処理手段とを更に設けたことを特徴とする感情検出装置。
【請求項６】 請求項５の感情検出装置において、被験者の発した音声もしくは被験者の入力した文字の情報を処理して文法解析を行い文章の意味を表す発言情報を生成する文章認識手段と、前記文章認識手段の生成した発言情報を、前記感情状態の情報と同期した状態で感情情報蓄積手段に蓄積する蓄積制御手段とを更に設けたことを特徴とする感情検出装置。
【請求項７】 請求項２の感情検出装置において、検出された感情状態に基づいて基準無音時間を決定する無音時間決定手段と、前記無音時間決定手段の決定した基準無音時間を利用して、音声の文章の区切りを検出する文章区切り検出手段とを更に設けたことを特徴とする感情検出装置。
【請求項８】 被験者の感情を検出するための計算機で実行可能な感情検出プログラムを記録した記録媒体であって、前記感情検出プログラムには、音声信号を入力する手順と、入力した音声信号から音声の強度，音声の出現速度を表すテンポ及び音声の各単語内の強度変化パターンを表す抑揚をそれぞれ検出する手順と、検出された音声の強度，音声のテンポ及び音声の抑揚のそれぞれについて変化量を求める手順と、求めた変化量に基づいて、少なくとも怒り，悲しみ及び喜びのそれぞれの感情状態を表す信号を生成する手順とを設けたことを特徴とする記録媒体。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、人間の感情を検出するために用いる感情検出方法及び感情検出装置ならびに記録媒体に関する。本発明は、医療分野における感情検出にも利用できるし、人工知能や人工感性の一部分として様々なシステムに利用することもできる。
【０００２】
【従来の技術】本発明に関連のある従来技術は、例えば特開平５−１２０２３号公報，特開平９−２２２９６号公報及び特開平１１−１１９７９１号公報に開示されている。特開平５−１２０２３号公報においては、音声の特徴量として、音声の継続時間，音声のフォルマント周波数及び音声の周波数毎の強度をそれぞれ検出している。また、各々の特徴量について基準信号とのずれを検出し、検出したずれ量からファジー推論により感情の検出を行うことを開示している。
【０００３】特開平９−２２２９６号公報においては、音声の特徴量として、音声の発生速度（単位時間あたりのモーラ数），音声ピッチ周波数，音量及び音声スペクトルを検出している。また、検出した音声の特徴量と、ＨＭＭ（隠れマルコフモデル：Hidden Markov Model）の統計処理を行った結果とを用いて感情を検出することを開示している。
【０００４】特開平１１−１１９７９１号公報においては、ＨＭＭを用いて音素スペクトルの遷移状態の確率に基づいて感情を検出することを開示している。
【０００５】
【発明が解決しようとする課題】しかしながら、従来の感情検出方法では感情の検出精度が低く、特定の限定された言葉について感情を検出できたとしても、実際の人間の感情を正確に検出できるものではない。従って、例えば比較的単純なゲーム装置の限定的な用途においてのみ感情検出方法が実用化されているのが実情である。
【０００６】本発明は、被験者である人間の感情をより正確に検出可能な感情検出方法及び感情検出装置ならびに記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段】請求項１は、被験者の感情を検出するための感情検出方法であって、音声信号を入力し、入力した音声信号から音声の強度，音声の出現速度を表すテンポ及び音声の各単語内の強度変化パターンを表す抑揚をそれぞれ検出し、検出された音声の強度，音声のテンポ及び音声の抑揚のそれぞれについて変化量を求め、求めた変化量に基づいて、少なくとも怒り，悲しみ及び喜びのそれぞれの感情状態を表す信号を生成することを特徴とする。
【０００８】請求項１においては、被験者から入力される音声の強度，テンポ及び抑揚の各々の変化量を怒り，悲しみ及び喜びのそれぞれの感情状態に対応付けて感情を検出している。このような方法を用いることにより、従来よりも正確に感情を検出することが可能である。請求項２は、被験者の感情を検出するための感情検出装置であって、音声信号を入力する音声入力手段と、前記音声入力手段が入力した音声信号から音声の強度を検出する強度検出手段と、前記音声入力手段が入力した音声信号から音声の出現速度をテンポとして検出するテンポ検出手段と、前記音声入力手段が入力した音声信号から音声の単語内の強度変化パターンを表す抑揚を検出する抑揚検出手段と、前記強度検出手段が検出した音声の強度，前記テンポ検出手段が検出した音声のテンポ及び前記抑揚検出手段が検出した音声の抑揚のそれぞれについて変化量を求める変化量検出手段と、前記変化量検出手段が検出した変化量に基づいて、少なくとも怒り，悲しみ及び喜びのそれぞれの感情状態を表す信号を出力する感情検出手段とを設けたことを特徴とする。
【０００９】請求項２の感情検出装置においては、音声入力手段，強度検出手段，テンポ検出手段，抑揚検出手段，変化量検出手段及び感情検出手段を設けることにより、請求項１の感情検出方法を実施することができる。請求項３は、請求項２の感情検出装置において、前記抑揚検出手段に、単語毎に分離されて入力される音声信号から特定の周波数成分を抽出するバンドパスフィルタ手段と、前記バンドパスフィルタ手段により抽出された信号のパワースペクトルをその強度に基づいて複数の領域に分離する領域分離手段と、前記領域分離手段により分離された複数の領域の各々の中心位置の時間間隔に基づいて抑揚の値を算出する抑揚計算手段とを設けたことを特徴とする。
【００１０】バンドパスフィルタ手段は、単語毎に分離されて入力される音声信号から特定の周波数成分を抽出する。領域分離手段は、検出されたパワースペクトルをその強度に基づいて複数の領域に分離する。抑揚計算手段は、前記領域分離手段により分離された複数の領域の各々の中心位置の時間間隔に基づいて抑揚の値を算出する。
【００１１】請求項３においては、音声の特定の周波数成分に関する単語内のエネルギー分布パターンを複数の領域の間隔を表す時間の値として検出し、その時間の長さを抑揚として利用している。請求項４は、請求項２の感情検出装置において、被験者の少なくとも顔の画像情報を入力する撮像手段と、前記撮像手段が入力した画像情報から顔面各部に関する位置情報を検出する画像認識手段と、顔面各部の特徴量の基準情報を保持する画像基準情報保持手段と、前記画像認識手段の検出した位置情報と前記画像基準情報保持手段の保持する基準情報とに基づいて画像特徴量を検出する画像特徴量検出手段とを更に設けるとともに、前記感情検出手段が、前記画像特徴量検出手段の検出した画像特徴量の変化に応じて感情状態を推定することを特徴とする。
【００１２】請求項４においては、音声だけでなく、被験者の顔の表情に基づいて感情状態を推定している。一般に、人間の感情状態はその人の顔の表情に反映されるので、顔の表情を検出することにより感情状態を把握することができる。そこで、請求項４では、前記感情検出手段は画像特徴量検出手段の検出した画像特徴量の変化に基づいて感情状態を推定している。
【００１３】請求項５は、請求項２の感情検出装置において、前記感情検出手段の検出した感情状態の情報を逐次入力して蓄積する感情情報蓄積手段と、前記感情情報蓄積手段に蓄積された過去の感情状態の情報のうち、記憶時点から所定の時間が経過した情報を削除するとともに、削除対象の情報のうち、少なくとも感情変化が所定以上に大きい情報及び予め定めた変化パターンに適合する情報については削除対象から除外する忘却処理手段とを更に設けたことを特徴とする。
【００１４】請求項５においては、検出された過去の感情状態の情報を感情情報蓄積手段に蓄積しておくことができる。また、検出してから長い時間の経過した古い情報については感情情報蓄積手段から自動的に削除されるので、感情情報蓄積手段に必要とされる記憶容量を減らすことができる。
【００１５】但し、感情変化が所定以上に大きい情報や、予め定めた変化パターンに適合する情報のように特徴的な情報については削除対象から自動的に除外される。このため、特徴的な情報は古くなってもそのまま感情情報蓄積手段に保持される。従って、人間の記憶と同じように、後で役に立つ印象的な情報については古くなっても感情情報蓄積手段から読み出して再生することができる。
【００１６】請求項６は、請求項５の感情検出装置において、被験者の発した音声もしくは被験者の入力した文字の情報を処理して文法解析を行い文章の意味を表す発言情報を生成する文章認識手段と、前記文章認識手段の生成した発言情報を、前記感情状態の情報と同期した状態で感情情報蓄積手段に蓄積する蓄積制御手段とを更に設けたことを特徴とする。
【００１７】文章認識手段は、被験者の発した音声もしくは被験者がキーボードなどを用いて入力した文字の情報を処理して文法解析を行い文章の意味を表す発言情報を生成する。文法解析により、例えば「５Ｗ３Ｈ」、すなわち「誰が」，「何を」，「いつ」，「どこで」，「なぜ」，「どうやって」，「どのくらい」，「いくら」を表す発言情報を得ることができる。
【００１８】蓄積制御手段は、前記文章認識手段の生成した発言情報を、前記感情状態の情報と同期した状態で感情情報蓄積手段に蓄積する。請求項６においては、感情情報蓄積手段を参照することにより、過去の任意の時点における感情情報だけでなく、そのときの状況を表す発言情報を取り出すことができる。
【００１９】感情情報蓄積手段に保持された情報については、様々な用途で利用することができる。例えば、感情検出装置自体の感情推定機能が不正確であった場合には、感情情報蓄積手段に保持された過去の検出結果に基づいて感情推定に利用されるデータベースを修正することができる。
【００２０】請求項７は、請求項２の感情検出装置において、検出された感情状態に基づいて基準無音時間を決定する無音時間決定手段と、前記無音時間決定手段の決定した基準無音時間を利用して、音声の文章の区切りを検出する文章区切り検出手段とを更に設けたことを特徴とする。音声の認識や感情の検出などを行う場合には、文章毎の区切りを検出してそれぞれの文章を抽出する必要がある。一般的には、文章と文章との区切りには無音区間が存在するので、無音区間が現れたタイミングで複数の文章を分離すればよい。
【００２１】しかしながら、無音区間の長さは一定ではない。特に、話者の感情の状態に対応して無音区間の長さは変化する。このため、無音区間の判定のために一定の閾値を割り当てた場合には、文章の区切りの検出に失敗する可能性が高くなる。請求項７においては、例えば直前に検出された感情状態を利用して基準無音時間を決定し、この基準無音時間を用いて音声の文章の区切りを検出するので、話者の感情が変化した場合であっても正しく文章の区切りを検出できる。
【００２２】請求項８は、被験者の感情を検出するための計算機で実行可能な感情検出プログラムを記録した記録媒体であって、前記感情検出プログラムに音声信号を入力する手順と、入力した音声信号から音声の強度，音声の出現速度を表すテンポ及び音声の各単語内の強度変化パターンを表す抑揚をそれぞれ検出する手順と、検出された音声の強度，音声のテンポ及び音声の抑揚のそれぞれについて変化量を求める手順と、求めた変化量に基づいて、少なくとも怒り，悲しみ及び喜びのそれぞれの感情状態を表す信号を生成する手順とを設けたことを特徴とする。
【００２３】請求項８の記録媒体に記録された感情検出プログラムを計算機を用いて実行することにより、請求項１の感情検出方法を実施することができる。
【００２４】
【発明の実施の形態】本発明の感情検出方法及び感情検出装置の１つの実施の形態について、図１〜図６を参照して説明する。この形態は全ての請求項に対応する。
【００２５】図１は、この形態の感情検出装置の構成を示すブロック図である。図２は抑揚検出部の構成を示すブロック図である。図３は感情の状態の変化と音声の強度，テンポ及び抑揚との関係を示すグラフである。図４は抑揚検出部における音声信号処理の過程を示すタイムチャートである。図５は忘却処理部の動作を示すフローチャートである。図６は感情感性記憶ＤＢに記憶された情報の構成例を示す模式図である。
【００２６】この形態では、請求項２の音声入力手段，強度検出手段，テンポ検出手段，抑揚検出手段，変化量検出手段及び感情検出手段は、それぞれマイク１１，強度検出部１７，テンポ検出部１８，抑揚検出部１９，感情変化検出部２２及び音声感情検出部２３に対応する。また、請求項３のバンドパスフィルタ手段，領域分離手段及び抑揚計算手段は、それぞれバンドパスフィルタ５１，比較部５３及び領域間隔検出部５５に対応する。請求項４の撮像手段，画像認識手段，画像基準情報保持手段，画像特徴量検出手段及び感情検出手段は、それぞれテレビカメラ３１，画像認識部３２，顔パターンＤＢ３３，顔感情検出部３４及び顔感情検出部３４に対応する。
【００２７】更に、請求項５の感情情報蓄積手段及び忘却処理手段はそれぞれ感情感性記憶ＤＢ４１及び忘却処理部４２に対応する。請求項６の文章認識手段及び蓄積制御手段は、それぞれ文章認識部２６及び同期処理部４３に対応する。請求項７の無音時間決定手段及び文章区切り検出手段は文章検出部１６に対応する。図１を参照すると、この感情検出装置にはマイク１１，Ａ／Ｄ変換器１２，信号処理部１３，音声認識部２０，強度検出部１７，テンポ検出部１８，抑揚検出部１９，一時記憶部２１，感情変化検出部２２，音声感情検出部２３，感情パターンＤＢ（データベースの略：以下同様）２４，キーボード２５，文章認識部２６，テレビカメラ３１，画像認識部３２，顔パターンＤＢ３３，顔感情検出部３４，文字認識部３９，感情感性記憶ＤＢ４１，忘却処理部４２，同期処理部４３，人間性情報ＤＢ４４，個人情報ＤＢ４５，専門情報ＤＢ４６及び感情認識部６０が備わっている。
【００２８】また、音声認識部２０には信号処理部１３，音素検出部１４，単語検出部１５及び文章検出部１６が設けてある。音声認識部２０には、市販の音声認識（事前言語）デバイスの機能も含まれている。図１において、音声認識部２０，強度検出部１７，テンポ検出部１８，抑揚検出部１９，一時記憶部２１，感情変化検出部２２及び音声感情検出部２３は、音声から感情を検出するための回路である。
【００２９】この感情検出装置は、感情の検出対象となる相手の人間の情報を読み取るための入力手段として、マイク１１，キーボード２５及びテレビカメラ３１を備えている。すなわち、マイク１１から入力される音声，キーボード２５から入力される文字情報及びテレビカメラ３１から入力される顔の表情などの情報を利用して相手の人間の感情を検出する。
【００３０】なお、実際にはマイク１１から入力される音声だけに基づいて感情を検出することも可能であり、キーボード２５から入力される文字情報だけに基づいて感情を検出することも可能であり、テレビカメラ３１から入力される顔の表情だけに基づいて相手の人間の感情を検出することも可能である。しかし、複数の情報源から得られる情報を総合的に判断した方が感情の検出精度を高めるうえで効果的である。
【００３１】まず、音声に関する処理について説明する。マイク１１から入力された音声信号は、Ａ／Ｄ変換器１２でサンプリングされ、ディジタル信号に変換される。Ａ／Ｄ変換器１２の出力に得られる音声のディジタル信号は、音声認識部２０に入力される。
【００３２】信号処理部１３は、音声の強度検出に必要な周波数成分を抽出する。強度検出部１７は、信号処理部１３の抽出した信号からその強度を検出する。例えば、音声信号の振幅の大きさを平均化した結果を強度として利用することができる。音声の強度を検出するための平均化の周期については、例えば１０秒程度に定める。但し、１０秒以内であっても文章毎の区切りを検出した場合には、文章の最初から区切りを検出した時点までの平均化を行う。すなわち、音声の文章毎にそれぞれの強度を検出する。
【００３３】音声認識部２０に備わった音素検出部１４は、入力される音声の音素毎の区切りを検出する。例えば、「今日はいい天気ですね」の文章が音声で入力された場合には、「きょ／う／は／い／い／て／ん／き／で／す／ね」のように音素毎の区切りを検出する。また、音声認識部２０に備わった単語検出部１５は、入力される音声の単語毎の区切りを検出する。例えば、「今日はいい天気ですね」の文章が音声で入力された場合には、「きょう／は／いい／てんき／ですね」のように単語毎の区切りを検出する。
【００３４】また、音声認識部２０に備わった文章検出部１６は、入力される音声の文章毎の区切りを検出する。特定の長さ以上の無音状態を検出した場合に、文章毎の区切りが現れたものとみなす。無音状態の長さの閾値には、（０．１〜２）秒程度の値が割り当てられる。また、この閾値は一定ではなく、直前に検出された感情の状態を反映するように自動的に変更される。
【００３５】テンポ検出部１８は、音素検出部１４から出力される音素毎の区切りの信号を入力して、単位時間に現れた音素の数をテンポとして検出する。テンポの検出周期については、例えば１０秒程度の時間が割り当てられる。しかし、文章の区切りを検出した場合には、１０秒以内であってもその時点までで音素数のカウントを中止してテンポの値を計算する。つまり、文章毎にテンポが検出される。
【００３６】抑揚検出部１９には、単語検出部１５が区切りを検出した単語毎に区分されて、音声信号が入力される。抑揚検出部１９は、入力される音声信号から各単語内及び文章検出部１６における文章毎の区切り内の音声の強度変化パターンを表す抑揚を検出する。これにより、抑揚検出部１９は区切りの中での特徴的な強度パターンを検出する。
【００３７】抑揚検出部１９の内部には、図２に示すように、バンドパスフィルタ５１，絶対値変換部５２，比較部５３，領域中心検出部５４及び領域間隔検出部５５が備わっている。また、抑揚検出部１９における各部の信号ＳＧ１，ＳＧ２，ＳＧ３，ＳＧ４の波形の例が図４に示されている。なお、図４における各信号の縦軸は振幅又は強度を表している。また、図４の例では音声から取り出された１つの単語の長さが約１．２秒になっている。
【００３８】バンドパスフィルタ５１は、入力された信号ＳＧ１の中から抑揚の検出に必要な周波数成分だけを抽出する。この例では、８００Ｈｚ〜１２００Ｈｚの範囲内の周波数成分だけがバンドパスフィルタ５１の出力に信号ＳＧ２として現れる。図４を参照すると、単語内の抑揚による強度変化のパターンが信号ＳＧ２に現れていることが分かる。
【００３９】信号の計算処理を容易にするために、抑揚検出部１９には絶対値変換部５２を設けてある。絶対値変換部５２は、入力される信号の振幅をその絶対値に変換する。従って、絶対値変換部５２の出力には図４に示す信号ＳＧ３が現れる。比較部５３は、信号ＳＧ３の大きさを閾値と比較して閾値よりも大きい成分だけを信号ＳＧ４として出力する。すなわち、比較部５３は信号ＳＧ３のパワースペクトルの中で値の大きな成分だけを出力する。なお、比較部５３に印加する閾値については、判別分析法と呼ばれる方法を用いて適応的に決定している。
【００４０】図４を参照すると、信号ＳＧ４には音声の単語における抑揚パターンに相当する２つの領域Ａ１，Ａ２が明確に現れている。領域中心検出部５４は、２つの領域Ａ１，Ａ２のそれぞれの中心に相当する位置が現れた時間ｔ１，ｔ２を検出する。領域間隔検出部５５は、領域中心検出部５４の検出した２つの時間ｔ１，ｔ２に関する時間差を領域間隔Ｔｙとして検出する。この領域間隔Ｔｙの値は、音声の単語における抑揚パターンに相当する。実際には、領域間隔Ｔｙの値を平均化した結果を抑揚の値として利用している。
【００４１】なお、１つの単語の中で信号ＳＧ４に３つ以上の領域が現れる場合もある。３つ以上の領域が現れた場合には、互いに隣接する２つの領域について領域間隔Ｔｙをそれぞれ計算し、求められた複数の領域間隔Ｔｙを平均化した結果を抑揚の値として利用する。人間の感情の状態は、例えば図３に示すように変化する。また、怒り，悲しみ，喜びなどの感情を正しく把握するためには、強度，テンポ，抑揚のような特徴量の変化を検出することが重要である。
【００４２】図１に示す感情検出装置においては、過去の特徴量の参照を可能にするため、強度検出部１７が出力する強度，テンポ検出部１８が出力するテンポ及び抑揚検出部１９が出力する抑揚の値を一時的に一時記憶部２１に記憶しておく。また、感情変化検出部２２は、強度検出部１７が出力する現在の強度，テンポ検出部１８が出力する現在のテンポ及び抑揚検出部１９が出力する現在の抑揚の値と、一時記憶部２１に保持された過去の（現在よりも少し前の時刻の）強度，テンポ及び抑揚の値とを入力して、感情状態の変化を検出する。つまり、音声の強度の変化，テンポの変化及び抑揚の変化をそれぞれ検出する。
【００４３】音声感情検出部２３は、感情変化検出部２２が出力する音声の強度の変化，テンポの変化及び抑揚の変化を入力し、現在の感情の状態を推定する。感情の状態として、この例では怒り，悲しみ及び喜びの３種類の状態をそれぞれ推定している。
【００４４】感情パターンＤＢ２４には、音声の強度の変化，テンポの変化及び抑揚の変化のパターンと怒りの状態とを関連付ける情報と、音声の強度の変化，テンポの変化及び抑揚の変化のパターンと悲しみの状態とを関連付ける情報と、音声の強度の変化，テンポの変化及び抑揚の変化のパターンと喜びの状態とを関連付ける情報とが予め保持されている。
【００４５】音声感情検出部２３は、感情パターンＤＢ２４に保持された情報を推定規則として参照しながら、感情変化検出部２２が出力する強度の変化，テンポの変化及び抑揚の変化のパターンに基づいて現在の感情の状態を推定する。音声感情検出部２３によって推定された怒り，悲しみ及び喜びの３種類の各々の状態を表す情報は、感情認識部６０及び感情感性記憶ＤＢ４１に入力される。感情感性記憶ＤＢ４１は、音声感情検出部２３から入力される現在の感情の状態を逐次記憶され、蓄積される。
【００４６】従って、感情感性記憶ＤＢ４１に記憶された情報を読み出すことにより、過去の感情の状態を再生することができる。一方、音声としてマイク１１から入力された文章の内容（相手の発言内容）は、文章認識部２６で認識される。文章認識部２６の入力には、音声認識部２０で認識された各音素に対応する文字情報や、単語の区切り及び文章の区切りを表す情報が入力される。また、キーボード２５から入力された文字情報も文章認識部２６に入力される。
【００４７】文章認識部２６は、入力される文字列の単語毎の認識及び構文解析を行い、文章の内容を自然言語として把握する。実際には、「５Ｗ３Ｈ」、すなわち「誰が」，「何を」，「いつ」，「どこで」，「なぜ」，「どうやって」，「どのくらい」，「いくら」を表す発言情報を認識する。文章認識部２６が認識した発言情報は感情認識部６０に入力される。
【００４８】次に、相手の顔の表情から感情を検出するための処理について説明する。テレビカメラ３１は、図１の感情検出装置の被験者となる人間の少なくとも顔の部分を撮影する。テレビカメラ３１の撮影した画像、すなわち人間の顔の表情が含まれる画像が画像認識部３２に入力される。なお、テレビカメラ３１の撮影した画像の情報は文字認識部３９に入力される。すなわち、文章の映像をテレビカメラ３１で撮影した場合には、文字認識部３９は撮影された映像から文章の各文字を認識する。文字認識部３９の認識した文字情報は文章認識部２６に入力される。
【００４９】画像認識部３２は、入力される画像の中から特徴的な要素を認識する。具体的には、被験者の顔における目，口，眉毛，頬骨の部分をそれぞれ認識し、顔の中における目，口，眉毛，頬骨のそれぞれの相対的な位置を検出する。また、画像認識部３２は顔の表情の変化に伴う目，口，眉毛，頬骨のそれぞれの位置の変化及び首を振るなどの表現を検出するために位置の追跡を常に行う。
【００５０】顔パターンＤＢ３３には、顔の中における目，口，眉毛，頬骨のそれぞれの位置に関する基準位置の情報（被験者の平常時の顔の表情に相当する情報）が予め保持されている。なお、顔パターンＤＢ３３の内容を任意に変更することも可能である。また、顔パターンＤＢ３３には顔の表情の変化と６種類の感情（喜び，怒り，悲しみ，恐れ，楽しみ，驚き）のそれぞれとの対応関係を表す規則情報が予め保持されている。
【００５１】顔感情検出部３４は、画像認識部３２が認識した目，口，眉毛，頬骨のそれぞれの位置と顔パターンＤＢ３３に保持された基準位置の情報とを用いて特徴量、すなわち平常時の位置に対する表情の違いを検出する。また、顔感情検出部３４は検出した特徴量の変化量及び変化の速さと、顔パターンＤＢ３３に保持された規則情報とに基づいて、６種類の感情（喜び，怒り，悲しみ，恐れ，楽しみ，驚き）のそれぞれの状態を推定する。推定された６種類の感情の状態を表す情報は、顔感情検出部３４から出力されて感情認識部６０及び感情感性記憶ＤＢ４１に入力される。
【００５２】感情認識部６０は、音声感情検出部２３から入力される感情（怒り，悲しみ，喜び）の状態を表す情報と、文章認識部２６から入力される発言情報と、顔感情検出部３４から入力される感情（喜び，怒り，悲しみ，恐れ，楽しみ，驚き）の状態を表す情報とを総合的に判断して最終的な感情の状態を推定する。発言情報については、その文章の内容（５Ｗ３Ｈ）を予め定めた規則に従って判断することにより、発言情報に含まれている感情（喜び，怒り，悲しみ，恐れ，楽しみ，驚き）の状態を推定することができる。
【００５３】音声感情検出部２３が音声から推定した感情の状態を表す情報と、文章認識部２６が音声又はキーボード２５から入力された文字から認識した発言内容の情報と、顔感情検出部３４が顔の表情から推定した感情の状態を表す情報とが、それぞれ感情感性記憶ＤＢ４１に入力されて逐次記憶される。感情感性記憶ＤＢ４１に記憶されたそれぞれの情報には、それが検出された時刻あるいは時間ならびに年月日が付加される。
【００５４】感情感性記憶ＤＢ４１に入力される情報のうち、音声感情検出部２３から入力される感情の情報と、文章認識部２６から入力される発言内容の情報と、顔感情検出部３４から入力される感情の情報とは互いに関連付けて把握しなければならない。そこで、同期処理部４３は感情感性記憶ＤＢ４１に蓄積された複数種類の情報を、それらの検出された時間（入力された時間）及び年月日によって互いに関連付ける。例えば、図６に示されるように、音声感情検出部２３の推定した怒り，悲しみ及び喜びの感情の状態を表す情報と発言の内容（５Ｗ３Ｈ）の情報とを、それらの時間によって互いに関連付ける。
【００５５】ところで、感情感性記憶ＤＢ４１には比較的大量の情報を蓄積できる十分な記憶容量が備わっている。しかしながら、記憶容量には限りがあるのでこの装置を長期間に渡って使い続けるためには蓄積する情報の量を抑制する必要がある。
【００５６】そこで、忘却処理部４２が設けてある。忘却処理部４２は、古くなった情報を感情感性記憶ＤＢ４１上から自動的に削除する。但し、特定の条件に適合する情報については古くなった場合でも削除せずに保存される。忘却処理部４２の動作について、図５を参照しながら説明する。図５のステップＳ１１においては、感情感性記憶ＤＢ４１に蓄積されている多数のデータのそれぞれについて、記憶された時刻（あるいは検出された時刻）及び年月日の情報を参照する。
【００５７】ステップＳ１２では、現在の時刻とステップＳ１１で参照したデータの時刻とに基づいて、該当するデータが記憶されてから予め定めた一定の期間が経過したか否かを識別する。記憶してから一定の期間が経過した古いデータを処理する場合には、ステップＳ１３以降の処理に進む。一定の期間が経過していない比較的新しいデータについては、そのまま保存される。
【００５８】ステップＳ１３では、データが感情の状態を表す情報である場合に、その感情の変化量（前後の感情との違い）を調べる。感情の変化量が予め定めた閾値を超える場合にはステップＳ１３からＳ１７に進むので、そのデータが古い場合であってもそのままデータは保存される。感情の変化量が閾値以下の場合には、ステップＳ１３からＳ１４に進む。
【００５９】ステップＳ１４では、そのデータに関する感情のパターンを検出し、そのパターンが予め定めた特定のパターンと一致するか否かを識別する。すなわち、複数の感情の状態及び発言内容の組み合わせが、「印象が強い」状態を表す特定のパターンと一致するか否かを調べる。検出したパターンが特定のパターンと一致した場合には、ステップＳ１４からＳ１７に進むので、そのデータが古い場合であってもそのままデータは保存される。パターンが一致しない場合にはステップＳ１４からＳ１５に進む。
【００６０】ステップＳ１５では、データが発言内容である場合に、その内容と予め定めた発言内容（印象に残りやすい発言）とが一致するか否かを識別する。なお、完全に一致しなくても、類似性が高い場合には「一致」とみなすこともできる。データの発言内容が予め定めた発言内容と一致した場合には、ステップＳ１５からＳ１７に進むので、そのデータが古い場合であっても、そのままデータは保存される。
【００６１】ステップＳ１５で一致しない場合には、ステップＳＳ１６において当該データは削除される。上記の処理は感情感性記憶ＤＢ４１上の全てのデータについて実行される。また、図５に示す忘却処理は定期的に繰り返し実行される。この忘却処理を実行留周期については、個人の個性として任意に変更することができる。なお、ステップＳ１４，Ｓ１５では予め容易されたパターンＤＢ（図示せず）を参照して処理を行う。このパターンＤＢについては、入力情報を学習することにより自動的に内容が更新される。
【００６２】なお、図５では処理を簡略化して表してある。実際には、感情の変化量，感情のパターン及び発言の内容の全てを総合的に判断する。すなわち、感情の変化量が大きい情報と、感情のパターンが一致した情報と、発言内容が同一もしくは近似する情報とが存在する場合には、総合的に優先順位を判断する。具体的には、発言内容が同一もしくは近似する情報の優先順位が最も大きく、感情のパターンが一致した情報の優先順位が２番目に高く、感情の変化量が大きい情報の優先順位は低い。従って、発言内容が同一もしくは近似する情報は忘却処理で削除されにくく、古くなっても記憶として残る。
【００６３】上記のような忘却処理部４２の処理によって、感情感性記憶ＤＢ４１上の古くなったデータについては、感情の変化が大きいもの、「印象が強い」とみなされるパターンであるもの、幾度も入力を繰り返されたもの、及び発言の内容が印象に残りやすいもののみがその強度と内容に合わせて順位をつけてそのまま保存される。その結果、感情感性記憶ＤＢ４１上の古いデータについては、一部分のみが残った不完全なデータとなる。このようなデータは、人間の記憶における過去の曖昧な記憶と同じような内容になる。
【００６４】感情感性記憶ＤＢ４１に蓄積された過去の感情の状態及び発言内容を読み出してデータを分析することにより、例えばこの感情検出装置が正しく動作しているか否かを判断したり、感情の推定に利用される各部のデータベースの内容を改良するように更新することも可能になる。感情感性記憶ＤＢ４１に蓄積されたデータについては、その内容に応じて更に振り分けられ、人間性情報ＤＢ４４，個人情報ＤＢ４５又は専門情報ＤＢ４６に記憶される。
【００６５】人間性情報ＤＢ４４には、性別，年齢，攻撃性，協調性，現在の感情などのように被験者の性格を決定付ける情報や行動の決定パターンの情報が保持される。また、個人情報ＤＢ４５には、個人の住所，現在の状況，環境，発言内容（５Ｗ３Ｈ）などの情報が保持される。専門情報ＤＢ４６には、職業，経歴，職業適性格，職業的行動決定パターンなどの情報が保持される。
【００６６】人間性情報ＤＢ４４，個人情報ＤＢ４５及び専門情報ＤＢ４６から出力されるのは、個人のモラルパターン情報である。このモラルパターン情報と過去の相手の感情とに基づいて相手の感性を察知することができる。なお、図１に示す感情検出装置の機能をコンピュータのソフトウェアにより実現する場合には、コンピュータが実行するプログラム及び必要なデータを、例えばＣＤ−ＲＯＭなどの記録媒体に記録しておけばよい。
【００６７】なお、図１に示すマイク１１を電話機の受話器に置き換えてもよいし、文字などの情報を入力する手段としてマウスを設けてもよい。また、図１に示すテレビカメラ３１については、光学式カメラ，ディジタルカメラ，ＣＣＤカメラのような様々な撮像手段のいずれでも置き換えることができる。
【００６８】
【発明の効果】本発明の感情検出方法及び感情検出装置ならびに記録媒体によれば、より正確に被験者の感情を検出することができる。
【出願人】 【識別番号】５００４３０８７７
【氏名又は名称】株式会社エイ・ジー・アイ
【出願日】 平成１２年９月１３日（２０００．９．１３）
【代理人】 【識別番号】１０００７２７１８
【弁理士】
【氏名又は名称】古谷 史旺
【公開番号】 特開２００２−９１４８２（Ｐ２００２−９１４８２Ａ）
【公開日】 平成１４年３月２７日（２００２．３．２７）
【出願番号】 特願２０００−２７８３９７（Ｐ２０００−２７８３９７）