トップ :: G 物理学 :: G10 楽器;音響




【発明の名称】 感性発生方法及び感性発生装置並びにソフトウェア
【発明者】 【氏名】光吉 俊二
【要約】 【課題】本発明はより人間に近い状態で感性を出力することが可能な感性発生方法及び感性発生装置並びに記録媒体を提供することを目的とする。

【解決手段】感性発生対象の少なくとも理性及び意志を決定付ける個性情報を予め保持しておき、相手の感情もしくは環境の状態を表す状況情報を入力し、前記状況情報に基づいて、少なくとも快さの程度を表す第１の本能パラメータと、危険度を表す第２の本能パラメータと、達成度もしくは変化の程度を表す第３の本能パラメータとを含む本能的動機付け情報を生成し、生成された前記本能的動機付け情報に基づいて、少なくとも喜び，怒り及び悲しみの基本感情パラメータを含む感情情報を生成し、前記個性情報に基づいて、生成される前記感情情報を制御することを特徴とする感性発生方法。
【特許請求の範囲】
【請求項１】 感性発生対象の少なくとも理性，定められた特性及び意志を決定付ける個性情報を予め保持しておき、相手の感情もしくは環境の状態を表す状況情報を入力し、前記状況情報に基づいて、少なくとも快さの程度を表す第１の本能パラメータと、危険度を表す第２の本能パラメータと、達成度及び変化の程度を表す第３の本能パラメータとを含む本能的動機付け情報を生成し、生成された前記本能的動機付け情報に基づいて、少なくとも喜び，怒り及び悲しみの基本感情パラメータを含む感情情報を生成し、前記個性情報に基づいて、生成される前記感情情報を制御することを特徴とする感性発生方法。
【請求項２】 相手の感情及び環境，意志の状態を表すエピソード状況情報を入力し、前記エピソード状況情報に基づいて、少なくとも快さの程度を表す第１の本能パラメータと、危険度を表す第２の本能パラメータと、達成度もしくは変化の程度を表す第３の本能パラメータとを含む本能的動機付け情報を生成する本能決定手段と、前記本能決定手段から出力される本能的動機付け情報に基づいて、少なくとも喜び，怒り及び悲しみの基本感情パラメータを含む感情情報を生成する感情生成手段と、感性発生対象の少なくとも理性及び感性的意志を決定付ける個性情報を提供する個性情報提供手段と、前記個性情報提供手段から提供される個性情報に基づいて、前記感情生成手段から出力される感情情報を制御する感情制御手段とを設けたことを特徴とする感性発生装置。
【請求項３】 請求項２の感性発生装置において、前記感情生成手段に、周期的に変化する環境もしくは生体の生活リズムを表す情報を生成する生活リズム発生手段と、前記生活リズム発生手段が出力する生活リズムの情報に応じた確率に従って、前記感情生成手段における自発感情を制御する自発感情制御手段とを設けたことを特徴とする感性発生装置。
【請求項４】 請求項２の感性発生装置において、前記感情生成手段に、前記基本感情パラメータと前記本能的動機付け情報とを対応付けるパターン情報を保持する本能−感情対応情報保持手段と、前記本能決定手段から出力される本能的動機付け情報と前記本能−感情対応情報保持手段のパターン情報との整合／不整合の確率を表す情報を出力する整合確率学習手段とを設けたことを特徴とする感性発生装置。
【請求項５】 請求項２の感性発生装置において、前記感情生成手段に、少なくとも最後に生成された自己の感情情報を入力して次に生成する自己の感情情報に反映する感情帰還制御手段を設けたことを特徴とする感性発生装置。
【請求項６】 請求項２の感性発生装置において、前記感情制御手段は、入力される感情情報に対して感性発生対象の個性である生活リズムの情報を反映することを特徴とする感性発生装置。
【請求項７】 請求項２の感性発生装置において、過去の状況，エピソード及びその結果を示す状況情報を蓄積する知識データベースと、新たに入力された状況情報に似た過去の状況情報を前記知識データベースから検索して抽出し、過去の状況情報を前記感情制御手段に与える知識照合手段と、新たに入力された状況及びその結果を示す状況情報によって前記知識データベースの内容を更新するとともに、前記知識データベースに蓄積された状況情報のうち優先度の低いものについては時間的に古い順番で内容の重さに合わせて自動的に削除するデータ更新制御手段とを更に設けたことを特徴とする感性発生装置。
【請求項８】 請求項２の感性発生装置において、音声信号を入力する音声入力手段と、前記音声入力手段が入力した音声信号から音声の強度を検出する強度検出手段と、前記音声入力手段が入力した音声信号から音声の出現速度をテンポとして検出するテンポ検出手段と、前記音声入力手段が入力した音声信号から音声の単語内の強度変化パターンを表す抑揚を検出する抑揚検出手段と、前記強度検出手段が検出した音声の強度，前記テンポ検出手段が検出した音声のテンポ及び前記抑揚検出手段が検出した音声の抑揚のそれぞれについて変化量を求める変化量検出手段と、前記変化量検出手段が検出した変化量に基づいて、少なくとも怒り，悲しみ及び喜びのそれぞれの感情状態を表す信号を出力する感情検出手段とを更に設けたことを特徴とする感性発生装置。
【請求項９】 請求項８の感性発生装置において、前記音声入力手段から入力される音声を認識して文字情報を出力する音声認識手段と、前記音声認識手段が認識した音声の情報を自然言語処理して入力された音声の意味を表す意味情報を生成する自然言語処理手段とを更に設けたことを特徴とする感性発生装置。
【請求項１０】 感性発生制御に利用されるコンピュータで実行可能なプログラム及びデータをを備えるソフトウェアであって、前記プログラムには、相手の感情もしくは環境の状態を表す状況情報を入力し、前記状況情報に基づいて、少なくとも快さの程度を表す第１の本能パラメータと、危険度を表す第２の本能パラメータと、達成度もしくは変化の程度を表す第３の本能パラメータとを含む本能的動機付け情報を生成する手順と、生成された前記本能的動機付け情報に基づいて、少なくとも喜び，怒り及び悲しみの基本感情パラメータを含む感情情報を生成する手順と、感性発生対象の少なくとも理性及び意志を決定付ける個性情報を提供する手順と、前記個性情報に基づいて、生成された前記感情情報を制御する手順とを設けたことを特徴とするソフトウェア。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、感性発生方法及び感性発生装置並びに記録媒体に関し、仮想的な人間やロボットの感性制御として様々な用途の様々なシステムに利用することができる。
【０００２】
【従来の技術】本発明と関連のある従来技術としては、例えば特開平１１−２６５２３９号公報に開示された「感情生成装置及び感情生成方法」が知られている。人間などの内部状態を表す感情は、そのときの状況に応じて様々に変化する。特開平１１−２６５２３９号公報においては、予測不可能な状況における感情の生成を実現するための技術を開示している。
【０００３】すなわち、予測可能な状況に照らして状況を評価し、装置自身の感情を発生させる。また、実際に発生した過去の感情とそのときの状況とを分析し、それぞれの状況に特有な予測不可能な付帯条件及びそれに対応する感情を学習する。新たに入力された状況が学習した付帯条件を満足する場合には、その付帯条件に対応する感情を出力する。
【０００４】このような装置によって生成された感情の状態は、例えば出力される音声や映像に反映される。
【０００５】
【発明が解決しようとする課題】従来の装置は、単に入力された状況の情報から感情を直接生成しているにすぎない。現実の人間においては、本能，理性，個性など様々なパラメータが複雑に影響し、その結果として行動，発言，表情などが変化する。従来の装置では、人間の本能，理性，個性などを結果に精密に反映させることができない。
【０００６】本能及び感情は情動とみなすことができる。また、本能は基本的な生物的情動とその感情発生の動機になる。また、人間は感情をそのまま出力しているのではなく、理性や個性によって制御された感性を出力していると考えられる。本発明は、より人間に近い状態で感性を出力することが可能な感性発生方法及び感性発生装置並びに記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段】請求項１の感性発生方法は、感性発生対象の少なくとも理性，定められた特性及び意志を決定付ける個性情報を予め保持しておき、相手の感情もしくは環境の状態を表す状況情報を入力し、前記状況情報に基づいて、少なくとも快さの程度を表す第１の本能パラメータと、危険度を表す第２の本能パラメータと、達成度及び変化の程度を表す第３の本能パラメータとを含む本能的動機付け情報を生成し、生成された前記本能的動機付け情報に基づいて、少なくとも喜び，怒り及び悲しみの基本感情パラメータを含む感情情報を生成し、前記個性情報に基づいて、生成される前記感情情報を制御することを特徴とする。
【０００８】請求項１においては、感情を生成するための動機付けとなる本能的動機付け情報を、入力される状況情報（相手の感情，意志，周囲の状況など）に基づいて生成する。つまり、状況情報から本能的動機付け情報が生成され、その本能的動機付け情報に基づいて感情情報が生成される。また、生成される感情情報は前記個性情報に応じて制御される。このため、個人の理性や意志によって制御された感情、すなわち感性の情報を出力することができる。
【０００９】また、本能的動機付け情報を介して感情情報を生成するので、生成する感情をより精密かつ容易に制御することができる。例えば、人間が既に危険であると認識している状態で危険な状態に遭遇した場合に発生する感情と、危険を全く感じていない人が突如として危険な状態に遭遇した場合に発生する感情とは異なるが、このような感情の違いを再現することもできる。
【００１０】なお、本能パラメータとしては上記以外に注目度（拒絶度），確信度（戸惑い度），追随度（主張度）などを更に加えるのが望ましい。また、感情情報を構成する基本感情パラメータには、上記以外に驚き，恐れ，苦しみ，嫌悪，軽蔑，接近，逃避，嫉み，羨望，従属，いらだち，不安などを更に加えるのが望ましい。請求項２の感性発生装置は、相手の感情及び環境，意志の状態を表すエピソード状況情報を入力し、前記エピソード状況情報に基づいて、少なくとも快さの程度を表す第１の本能パラメータと、危険度を表す第２の本能パラメータと、達成度もしくは変化の程度を表す第３の本能パラメータとを含む本能的動機付け情報を生成する本能決定手段と、前記本能決定手段から出力される本能的動機付け情報に基づいて、少なくとも喜び，怒り及び悲しみの基本感情パラメータを含む感情情報を生成する感情生成手段と、感性発生対象の少なくとも理性及び感性的意志を決定付ける個性情報を提供する個性情報提供手段と、前記個性情報提供手段から提供される個性情報に基づいて、前記感情生成手段から出力される感情情報を制御する感情制御手段とを設けたことを特徴とする。
【００１１】請求項２においては、本能決定手段，感情生成手段，個性情報提供手段及び感情制御手段を設けることにより、請求項１の感性発生方法を実施することができる。従って、個人の理性や意志によって制御された感情、すなわち感性の情報を出力することができる。また、本能的動機付け情報を介して感情情報を生成するので、生成する感情をより精密かつ容易に制御することができる。
【００１２】請求項３は、請求項２の感性発生装置において、前記感情生成手段に、周期的に変化する環境もしくは生体の生活リズムを表す情報を生成する生活リズム発生手段と、前記生活リズム発生手段が出力する生活リズムの情報に応じた確率に従って、前記感情生成手段における自発感情を制御する自発感情制御手段とを設けたことを特徴とする。
【００１３】例えば、温度，湿度のような自然環境条件は不規則ではあるが気象，季節，時刻などの変化に伴って周期的に変化する。また、それぞれの人間についても個別に肉体のリズム，感情のリズム，知能のリズムなどを有していると考えられる。このような周期的に変化するリズムは、実際の人間の感情に様々な影響を及ぼすと考えられる。
【００１４】請求項３の自発感情制御手段は、生活リズム発生手段が出力する生活リズムの情報に応じた確率に従って、前記感情生成手段における自発感情を制御する。従って、環境もしくは生体の生活リズムに合わせて出力する感情を変えることができる。請求項４は、請求項２の感性発生装置において、前記感情生成手段に、前記基本感情パラメータと前記本能的動機付け情報とを対応付けるパターン情報を保持する本能−感情対応情報保持手段と、前記本能決定手段から出力される本能的動機付け情報と前記本能−感情対応情報保持手段のパターン情報との整合／不整合の確率を表す情報を出力する整合確率学習手段とを設けたことを特徴とする。
【００１５】請求項４においては、本能的動機付け情報とパターン情報との整合の確率を整合確率学習手段から得て感情の判断要素として利用することができる。例えば、人間の精神状態が第１の状態から他の第２の状態に変化する場合には、途中で第３の状態を経由して状態が遷移するので、第３の状態ではあるパターン情報と一時的に整合する可能性がある。しかし、この場合には第３の状態で整合したパターン情報はあまり利用価値がない。整合確率学習手段で得られる整合の確率を利用することにより、確率の低いパターン情報の感情が生成されるのを抑制することができる。
【００１６】請求項５は、請求項２の感性発生装置において、前記感情生成手段に、少なくとも最後に生成された自己の感情情報を入力して次に生成する自己の感情情報に反映する感情帰還制御手段を設けたことを特徴とする。人間の感情は様々な動機の入力によって連鎖的に変化すると考えることができる。例えば、平常状態の人に対して怒るべき動機を与えた場合に発生する感情の怒りの程度と、既に怒っている人に対して更に怒るべき動機を与えた場合に発生する感情の怒りの程度とは大きく異なる。
【００１７】請求項５においては、感情帰還制御手段を設けることにより、直前に発生した感情の状態を入力に帰還して次に発生する感情に反映することができる。従って、より人間に近い感情を生成することができる。請求項６は、請求項２の感性発生装置において、前記感情制御手段は、入力される感情情報に対して感性発生対象の個性である生活リズムの情報を反映することを特徴とする。
【００１８】請求項６においては、生活リズムの情報を感性に反映することができる。例えば、人間が乗り気の場合と乗り気でない場合とでは理性などによる判断の結果に違いが発生する。このような感性の違いを生活リズムの反映により再現することができる。請求項７は、請求項２の感性発生装置において、過去の状況，エピソード及びその結果を示す状況情報を蓄積する知識データベースと、新たに入力された状況情報に似た過去の状況情報を前記知識データベースから検索して抽出し、過去の状況情報を前記感情制御手段に与える知識照合手段と、新たに入力された状況及びその結果を示す状況情報によって前記知識データベースの内容を更新するとともに、前記知識データベースに蓄積された状況情報のうち優先度の低いものについては時間的に古い順番で内容の重さに合わせて自動的に削除するデータ更新制御手段とを更に設けたことを特徴とする。
【００１９】請求項７においては、知識データベースに過去の状況及びその結果を示す状況情報が蓄積されている。例えば、あるエピソードの状況とその最終的な結果がうまくいったかどうかなどを示す情報が蓄積されている。このため、現在の状況に似た過去の状況情報を知識データベースから取得して感情の制御に利用することができる。
【００２０】ところで、知識データベースには時間の経過に伴って新たに発生した情報を順次に追加しなければならない。しかしながら、知識データベースを構成する装置の記憶容量は有限である。また、蓄積した情報量が増えるに従って処理速度が低下することになる。しかし、請求項７ではデータ更新制御手段の制御により、優先度の低い状況情報は時間的に古い順番で知識データベースから自動的に削除される。このため、人間の忘却と同様な結果を実現することができ、記憶容量の不足や処理速度の低下を防止できる。
【００２１】請求項８は、請求項２の感性発生装置において、音声信号を入力する音声入力手段と、前記音声入力手段が入力した音声信号から音声の強度を検出する強度検出手段と、前記音声入力手段が入力した音声信号から音声の出現速度をテンポとして検出するテンポ検出手段と、前記音声入力手段が入力した音声信号から音声の単語内の強度変化パターンを表す抑揚を検出する抑揚検出手段と、前記強度検出手段が検出した音声の強度，前記テンポ検出手段が検出した音声のテンポ及び前記抑揚検出手段が検出した音声の抑揚のそれぞれについて変化量を求める変化量検出手段と、前記変化量検出手段が検出した変化量に基づいて、少なくとも怒り，悲しみ及び喜びのそれぞれの感情状態を表す信号を出力する感情検出手段とを更に設けたことを特徴とする。
【００２２】請求項８においては、音声から抽出した特徴量に基づいて相手の感情状態を検出することができる。従って、相手の感情に応じた自己感情を生成することができる。請求項９は、請求項８の感性発生装置において、前記音声入力手段から入力される音声を認識して文字情報を出力する音声認識手段と、前記音声認識手段が認識した音声の情報を自然言語処理して入力された音声の意味を表す意味情報を生成する自然言語処理手段とを更に設けたことを特徴とする。
【００２３】請求項９においては、相手が話す言葉について意味情報が得られるので、この意味情報を理解した結果を自己の感性に反映させることができる。請求項１０の記録媒体は、感性発生制御に利用されるコンピュータで実行可能なプログラム及びデータを備えるソフトウェアであって、前記プログラムには、相手の感情もしくは環境の状態を表す状況情報を入力し、前記状況情報に基づいて、少なくとも快さの程度を表す第１の本能パラメータと、危険度を表す第２の本能パラメータと、達成度もしくは変化の程度を表す第３の本能パラメータとを含む本能的動機付け情報を生成する手順と、生成された前記本能的動機付け情報に基づいて、少なくとも喜び，怒り及び悲しみの基本感情パラメータを含む感情情報を生成する手順と、感性発生対象の少なくとも理性及び意志を決定付ける個性情報を提供する手順と、前記個性情報に基づいて、生成された前記感情情報を制御する手順とを設けたことを特徴とする。
【００２４】請求項１０のソフトウェアを入力して所定のコンピュータでプログラムを実行することにより、請求項１の感性発生方法を実施することができる。
【００２５】
【発明の実施の形態】本発明の感性発生方法及び感性発生装置並びに記録媒体の１つの実施の形態について、図１〜図１１を参照して説明する。この形態は、全ての請求項に対応する。
【００２６】図１は感性発生装置を用いたシステムの構成例を示すブロック図である。図２は本能情報生成部の構成を示すブロック図である。図３は感情情報生成部の構成を示すブロック図である。図４は感情反応パターンＤＢにおける反応パターンモデルの例を示す模式図である。図５は感性思考認知部の構成を示すブロック図である。図６は感情検出装置の構成を示すブロック図である。図７は抑揚検出部の構成を示すブロック図である。図８は感情の状態の変化と音声の強度，テンポ及び抑揚との関係を示すグラフである。
【００２７】図９は抑揚検出部における音声信号処理の過程を示すタイムチャートである。図１０は忘却処理部の動作を示すフローチャートである。図１１は感情感性記憶ＤＢに記憶された情報の構成例を示す模式図である。この形態では、請求項２の本能決定手段，感情生成手段，個性情報提供手段及び感情制御手段は、それぞれ本能情報生成部１１０，感情情報生成部１３０，個人ＤＢ（データベースの略、以下同様）１６３及び感性思考認知部１５０に対応する。また、請求項３の生活リズム発生手段及び自発感情制御手段は、それぞれ多変量解析部１３６及び自発感情制御部１３７に対応する。
【００２８】また、請求項４の本能−感情対応情報保持手段及び整合確率学習手段は、それぞれ感情反応パターンＤＢ１４１及び学習処理部１３５に対応する。請求項５の感情帰還制御手段は基本感情パラメータ生成部１３３及び一時記憶ＤＢ１４２に対応する。請求項７の知識データベース，知識照合手段及びデータ更新制御手段は、それぞれ知識ＤＢ１６１，照合処理部１５２及び更新処理部１５６に対応する。
【００２９】請求項８の音声入力手段，強度検出手段，テンポ検出手段，抑揚検出手段，変化量検出手段及び感情検出手段は、それぞれマイク１１，強度検出部１７，テンポ検出部１８，抑揚検出部１９，感情変化検出部２２及び音声感情検出部２３に対応する。また、請求項９の音声認識手段及び自然言語処理手段は、それぞれ音声認識部２０及び文章認識部２６に対応する。
【００３０】図１に示すシステムは、任意の人間とコンピュータ（仮想的な人間）との間での自然な感性的な対話を実現することを想定して構成してある。この例では、コンピュータの相手となる人間の感情を検出するために感情検出装置２００が設けてあり、コンピュータ自身の人格や感性を対話に反映するために感性発生装置１００を設けてある。
【００３１】また、様々な環境情報を入力するために環境情報入力装置３００を設けてある。環境情報入力装置３００は、例えば日付，時刻，気象情報，場所，映像の情報などを出力する。なお、自律的に動作するシステムに感性発生装置１００を利用することもできる。例えば、予め創作したシナリオの情報を感性発生装置１００に入力すれば、そのシナリオに応じた反応を感性発生装置１００の出力から得ることができる。その場合、感情検出装置２００は不要である。
【００３２】また、図１の例では対話を実現するために必要な装置が感性発生装置１００の出力に接続してあるが、感性発生装置１００が出力する感性データは様々な用途に利用することができる。例えば、データ通信で感性発生装置１００を利用する場合には、文字情報を出力すればよいので、音声を出力する必要はない。また、感性発生装置１００から出力される感性データを映像や音楽並びに情報検索や機械の制御に反映させることも可能である。
【００３３】次に、感性発生装置１００の構成及び動作について説明する。なお、感情検出装置２００については後で説明する。図１に示すシステムについては、実際にはコンピュータシステムとその上で実行されるソフトウェアプログラムとで構成することもできるし、専用のハードウェアとして実現することもできる。また、ソフトウェアプログラムや使用するデータについては、任意の記録媒体に保存しておき記録媒体からコンピュータに読み込んで実行することができる。なお、以下の説明においては、図１のシステム自体をコンピュータと称する。
【００３４】感性発生装置１００の入力には大きく分けて２種類のデータＤ１及びＤ２が入力される。データＤ１は相手の感情を表す情報である。また、データＤ２は自然言語処理された文字情報であり、相手の意志，状況及び環境の情報を含む。自然言語処理により、データＤ２は「５Ｗ３Ｈ」、すなわち「誰が」，「何を」，「いつ」，「どこで」，「なぜ」，「どうやって」，「どのくらい」，「いくら」を表す情報として入力される。
【００３５】実際には、次のような様々な情報を感性発生装置１００の入力として利用することが可能である。（Ａ）時間的性質に関わる発声の強弱，リズム，テンポ，ポーズ，音階，音程，旋律，音の調和，周波数などの変化パターン並びに基本感情（怒り，喜び，悲しみ，嫌悪，驚愕，恐れなど）の度合い。
【００３６】（Ｂ）音調的性質に関わる発声のアクセント，太さ，緻密さ，明るさ，粗さ，音色（ＪＩＳ−Ｚ８１０９），フォルマント，イントネーション，卓立（話し言葉のある部分を際立たせて意味を明快にするプロミネンス）などの情報。
（Ｃ）強勢ストレスの性質に関わる単語，文節内容，文中の強勢配分，超文節的特徴情報，人工知能により生成される特徴情報など。
【００３７】（Ｄ）談話分析されたテキスト情報，エピソード情報（意味情報，人工知能の認知した情報を含む）など。これらの情報のうち、（Ａ）及び（Ｂ）は話者の意図や情緒の影響を受ける。このような情緒は、感情検出装置２００を用いて検出することができる。図１に示すように、感性発生装置１００は本能情報生成部１１０，韻律パターンＤＢ１２１，本能言語意味付け辞書１２２，感情情報生成部１３０，感情反応パターンＤＢ１４１，一時記憶ＤＢ１４２，感性思考認知部１５０，知識ＤＢ１６１，感性ＤＢ１６２，個人ＤＢ１６３及びモラルハザードＤＢ１６４を備えている。
【００３８】感性発生装置１００の機能は、基本的に本能情報生成部１１０，感情情報生成部１３０及び感性思考認知部１５０の３つの機能要素に区分することができる。まず最初に、本能情報生成部１１０について説明する。図２に示すように、本能情報生成部１１０には韻律パターン同調度認識部１１１，本能パラメータ生成部１１２及び辞書検索部１１３が備わっている。
【００３９】韻律パターン同調度認識部１１１が参照する韻律パターンＤＢ１２１には、このコンピュータ（仮想的な人間）に入力される韻律パターンの辞書が予め保存されている。韻律とは発話のリズム要素であり、音節，単語，句，文，発話全体（単語より長い連続音声）に対して現れる音声的音韻的特質を表す。すなわち、前記（Ａ），（Ｂ）の入力情報と同等のコンピュータ自体のパターン情報が個性情報として韻律パターンＤＢ１２１に保持されている。
【００４０】韻律パターン同調度認識部１１１は、感情検出装置２００などから入力される相手の感情解析データＤ１を韻律パターンＤＢ１２１に保持された韻律パターンと比較して両者の同期度合い及び同調度合いを認識する。韻律パターン同調度認識部１１１の出力には、強い語気の有無や感情律変化などを表す情報が現れる。一方、本能言語意味付け辞書１２２には本能刺激に関する情報が予め登録されている。具体的には、強勢ストレスの性質に関わる単語や文中の強勢配分パターンや超文節的特徴を表す様々な情報が本能刺激と関連付けて辞書として保持されている。
【００４１】辞書検索部１１３は、文字情報として入力されるデータＤ２（相手の意志や状況）について本能言語意味付け辞書１２２の内容との比較を行い、会話の内容から本能的な反応情報を生成する。本能パラメータ生成部１１２は、韻律パターン同調度認識部１１１から入力される情報，辞書検索部１１３から入力される情報及びデータＤ３に基づいて、本能的動機付け情報Ｄ４を生成する。データＤ３は、感性発生装置１００の出力からフィードバックされる情報であり、このコンピュータが提案したエピソードや希望反応パターンである。
【００４２】この例では、本能的動機付け情報Ｄ４には確信度（又は戸惑い度），快度（又は不快度），危険度（又は安全度），注目度（又は拒絶度），達成度（又は変化度）及び追随度（又は主張度）の６つの本能パラメータが含まれている。本能パラメータ生成部１１２は、次のようにして各本能パラメータの値を決定する。
【００４３】快度（不快度）：コンピュータが提案した内容や望んだ状況エピソードに近づくと快度が加算されその逆だと減算される。また、予め心地いいと定めた韻律に近づくと快度が加算されその逆だと減算される。
危険度（安全度）：予めコンピュータが危険とみなした内容や危険と想定される状況エピソードに近づくと危険度が加算され、その逆だと減算される。また、予め危険とされた韻律に近づくと危険度が加算され、その逆だと減算される。
【００４４】達成度（変化度）：予め成功・達成と定めた内容や成功・達成と想定された状況エピソードに近づくと達成度が加算されその逆だと減算される。また、急激な変調としてみなした特定の韻律に近づくと変化度が加算されその逆だと減算される。
注目度（拒絶度）：予め拒絶・否定とした内容や拒絶・否定と想定される状況エピソードに近づくと拒絶度が加算（注目度が減算）されその逆だと減算（加算）される。また、強い主張や度重なる主張を検出した場合や強い韻律に近づくと注目度が加算される。また、不快として定めた韻律に近づくと拒絶度が加算される。
【００４５】追随度（主張度）：予め自己卑下・自己否定として定めた内容や想定される状況エピソードに近づくと追随度が加算（主張度が減算）され、予め得意として定めた内容が現れた場合には主張度が加算（追随度が減算）される。また、予め不安として定めた韻律が現れると主張度が加算される。なお、強い韻律に近づくと反発度を加算したり、自己否定度を加算する場合もある。
【００４６】確信度（戸惑い度）：戸惑いの内容や想定される状況エピソードに近づくと、本能に関する各種刺激（入力）の認識率が低い場合（例えば７０％以下）、戸惑い度は認識率に反比例して発生する。認識率は声の調子や会話の内容により判断される。
【００４７】なお、上記のような制御を実現するために、コンピュータが望む内容と状況エピソードの韻律を予め個性として決定しておく。上記のように、相手の感情情報がコンピュータの個人的な本能を刺激し、各本能パラメータの値が変化する。本能情報生成部１１０から出力される本能的動機付け情報Ｄ４は、感情情報生成部１３０に入力される。次に、感情情報生成部１３０について説明する。
【００４８】感情情報生成部１３０は、図３に示すように反応パターン検索部１３４，学習処理部１３５，多変量解析部１３６，自発感情制御部１３７及び基本感情パラメータ生成部１３３を備えている。また、反応パターン検索部１３４，学習処理部１３５及び感情反応パターンＤＢ１４１はレスポデントシステム１３１を構成し、多変量解析部１３６及び自発感情制御部１３７はオペラントシステム１３２を構成している。
【００４９】レスポデントシステム１３１は、刺激誘導による感情を発生するために設けてある。オペラントシステム１３２は、自発感情（リビドー）を生成するために設けてある。レスポデントシステム１３１で使用される感情反応パターンＤＢ１４１には、本能的動機付け情報Ｄ４と基本感情パラメータとの対応関係を表す反応パターンモデルの情報が予め保持されている。この反応パターンモデルについては、例えば図４のように表すことができる。
【００５０】なお、１つのコンピュータで複数の人間の人格を選択的に再現する場合には、複数の人間のそれぞれ、あるいは個性のタイプ別に対応する反応パターンモデルを感情反応パターンＤＢ１４１に予め登録しておき、選択した人間の個性に合わせて反応パターンモデルを選択すればよい。この例では、本能的動機付け情報Ｄ４として入力される本能パラメータとして前述の確信度（又は戸惑い度），快度（又は不快度），危険度（又は安全度），注目度（又は拒絶度），達成度（又は変化度）及び追随度（又は主張度）の６つを想定している。
【００５１】また、感情情報生成部１３０から出力する基本感情パラメータとしては、次の１５種類のパラメータを想定している。但し、括弧内は影響を受ける本能パラメータを表している。
１．怒り（不快）
２．喜び・陽気（快）
３．悲しみ（未達成・停滞・不快）
４．驚き（達成・衝撃）
５．恐れ（危険・緊張）
６．苦しみ（危険・緊張・不快）
７．嫌悪（拒絶・拒否・不快）
８．軽蔑（拒絶・弛緩）
９．接近（快・安全）
１０．逃避・回避（危険・緊張・不快）
１１．嫉み（不快・怒り・羨望・注目）
１２．積極（安全・快・確信）
１３．従属（達成・追随）
１４．いらだち・闘争（主張・停滞・不快・危険）
１５．不安（危険・緊張・戸惑い・不快）
感情反応パターンＤＢ１４１には、１５種類の基本感情パラメータのそれぞれについて、１つ又は複数の基本感情パラメータとの関連を示す反応パターンが保持されている。
【００５２】反応パターン検索部１３４は、感情反応パターンＤＢ１４１を検索し、入力される本能的動機付け情報Ｄ４とそれぞれの基本感情パラメータの反応パターンとの整合／不整合を調べ、整合した基本感情パラメータの情報をデータＤ６として出力する。学習処理部１３５は、感性思考認知部１５０から出力される情報Ｄ３と、反応パターン検索部１３４から出力される相手の次の反応感情に基づいてパターンマッチングのあり方に関する確率を学習し、感情反応パターンＤＢ１４１の内容を学習結果に応じて変更する。
【００５３】一方、オペラントシステム１３２の入力には、例えば気象情報，季節情報，時刻情報などを含む環境情報（Ｄ２）が入力される。多変量解析部１３６は、入力される様々な環境情報について多変量解析を行い、その結果として生活リズム情報を出力する。生活リズム情報には、短期リズム（例えば１時間周期），生活リズム（例えば２４時間周期），感情長期リズム（例えば２８日周期），肉体長期リズム（例えば２３日周期），知能リズム（例えば３３日周期）のように周期が一定の規則的な（正弦波状の）リズムと、温度，湿度，天気などの不規則なリズムとがある。
【００５４】自発感情制御部１３７は、多変量解析部１３６から出力される生活リズム情報リズムの中で、予め定めた範囲内の確率に従って、自発感情（リビドー）を出力する。基本感情パラメータ生成部１３３は、レスポデントシステム１３１から出力される基本感情パラメータ及び整合率の情報と、オペラントシステム１３２から出力される自発感情とを総合的に判断した結果（１５種類の基本感情パラメータからなる情報）を自己感情情報Ｄ５として出力する。
【００５５】また、出力された自己感情情報Ｄ５は一時記憶ＤＢ１４２に一時的に記憶され、基本感情パラメータ生成部１３３の入力にフィードバックされる。基本感情パラメータ生成部１３３は、一時記憶ＤＢ１４２からフィードバックされる情報を直前の自己感情として入力し、それを次回の感情判断結果に反映する。また、基本感情パラメータ生成部１３３が総合的な判断を行う際には、個性情報１４３として定められた個性に従って、各部の優先度や影響度を決定する。
【００５６】例えば、直情型の個性を再現する場合には、レスポデントシステム１３１の影響度を大きく（８０％以上）するとともに直前の自己感情の影響も大きくする。また、思考型の個性を再現する場合には、オペラントシステム１３２の出力が安定している環境下において、レスポデントシステム１３１の影響度を小さく（３０％以下）にするとともに直前の自己感情の影響も小さくする。
【００５７】感情情報生成部１３０から出力される自己感情情報Ｄ５は感性思考認知部１５０に入力される。感情情報生成部１３０には、図５に示すように重み付け処理部１５１，照合処理部１５２，多変量解析部１５３，総合直感意志決定部１５４及び更新処理部１５６が備わっている。重み付け処理部１５１は、入力される自己感情情報Ｄ５に対して個性情報１５５に応じた重み付けを行う。重み付けされた自己感情情報が重み付け処理部１５１から出力される。
【００５８】一方、照合処理部１５２の入力にはデータＤ２として環境，状況，相手の意志などを表すエピソード及びその結果を含む文字情報（５Ｗ３Ｈ）が入力される。照合処理部１５２が参照する知識ＤＢ１６１には、過去のエピソード及びその結果並びにそれらの意味を表す意味情報が文字情報（５Ｗ３Ｈ）の形式で知識として蓄積されている。また、知識ＤＢ１６１上の知識は各々のデータが得られた時刻の情報を含み、時刻の順番に従って並べてある。
【００５９】この例では、知識ＤＢ１６１上の知識は、長期記憶，宣言的記憶及び手続き記憶に分類できる。宣言的記憶とは、言葉による記憶であり特定の時間・空間的文脈の中での出来事であるエピソード情報と一般的知識としての意味情報を表す。手続き記憶は方法や手法に関する記憶を表す。エピソード情報は、時間，場所，内容，意志（賛同，反対，好意など），人称，数量，重さ，状況，状態，相手の個人情報，情動，意図（目的），態度，対人関係などを含む。意味情報は、言語辞書及び感性辞書に相当する。個人情報としては、個人の気質，性格，情緒性，社会適応性（社交性），欲求，葛藤，態度，優越，コンプレックス，興味，適正，道徳性，思考パターン，感情特異点，執着内容（及びその程度），タブー語，嗜好性，善悪基準などが考えられる。
【００６０】この例では、次のような文法に従って、知識の情報を知識ＤＢ１６１に蓄積してある。但し、目的に応じてデータベースの構成内容は変更される。
物語＝場面＋プロット＋解決場面＝登場人物＋場所＋時間テーマ＝（出来事）＋目標プロット＝エピソードエピソード＝下位目標＋試み＋結果試み＝出来事＋エピソード結果＝出来事＋状態解決＝出来事＋状態下位目標，目標＝望ましい状態登場人物，場所，時間＝状態また、更新処理部１５６の働きにより知識ＤＢ１６１には新たな情報が逐次追加される。また、繰り返し行われる忘却処理によって不要な情報は自動的に知識から削除される。すなわち、優先度の高いデータを除き時間的に古くなったデータから順番に削除する。例えば反復して利用された知識や印象が強いと判断されたデータについては優先的に扱い、古くなっても削除しない。また、忘却の程度や各データの優先順位については個性に応じて変更することができる。
【００６１】照合処理部１５２は、入力されるデータＤ２に基づいてそれに近い過去のエピソード及び結果を知識ＤＢ１６１から検索して抽出し、入力データと抽出された知識との照合を行う。学習処理部１５７は、入力されるエピソードの結果に基づいて、そのエピソードに対する自己価値観の情報を学習により生成する。すなわち、学習処理部１５７は入力されるエピソードの結果から満足度及び快，不快の度合い付けを行う。
【００６２】多変量解析部１５３は、重み付け処理部１５１から入力される重み付けされた感情情報と、照合処理部１５２から入力されるエピソード情報及び結果情報と、学習処理部１５７から入力される自己価値観の情報と、個人ＤＢ１６３から入力される自己意志及び自己本能の情報とを多変量解析し、その結果を総合直感意志決定部１５４に出力する。
【００６３】総合直感意志決定部１５４は、個人ＤＢ１６３及びモラルハザードＤＢ１６４の内容を判断辞書として利用し、多変量解析部１５３から入力される情報を総合的に判断し、何を自発的に実行するかと、その結果をデータＤ３として出力する。個人ＤＢ１６３には、次に示すような様々な情報が辞書情報として保持されている。
【００６４】１．個性情報：（ａ）個性のタイプ毎の度合いに応じた判断基準：タイプとしてはステレオタイプ，他者志向型，内部志向型，伝統志向型，攻撃志向型，協調志向型，ストレス克服型，ストレス発散型などが考えられる。また、達成動機度やリアクタンス度も判断基準として利用できる。
【００６５】（ｂ）認知スタイルの判断基準：「熟慮型」と「衝動型」との区別や「場依存型」と「場独立型」との区別による認知スタイルを判断基準とする。
（ｃ）性格による判断基準：日本人の場合には、人格検査法やＴＰＩ（東京大学版総合性格検査）などにより分類される個人の気質，性格，情緒性，社会適応性（社交性），欲求，葛藤，態度，コンプレックス，興味，適正，道徳性，思考パターン，感情特異点，執着内容（及びその度合い），タブー語，嗜好性，善悪基準，恥の基準，罪の基準，快・不快の基準などを判断基準として利用する。
【００６６】（ｄ）ネガティビリティー・バイアスの判断基準：ネガティブな情報を大きくとらえやすくするためにバイアスを与えて性格形成に利用する。
（ｅ）粘着固執時間の判断基準：相手の認知情報やエピソード及び感情情報に対する固執度とそれに対する反応対応時間を決定する。
【００６７】２．イド無意識反応基準情報：（ａ）本能を刺激する内容の単語辞書及び文節辞書。
（ｂ）個性別の忍耐度，粘着度，直情度のための各種本能反応時間の基準。
（ｃ）個性として決定された相手の感情に対応する自己本能パターン。
３．ホメオスタシス（抑制）の基準情報：全体的な本能の出力を調和と安定に維持しようとするための判断基準。
【００６８】４．自我意識反応基準情報：個性による自己の意志を表す判断基準の情報。また、判断辞書としては真偽，正誤，適不適のような再認判断や同定判断に利用される情報と、快不快などの本能判断に利用される情報と、複雑さ，重さなどの対象についての個別認識判断に利用される情報と、同，大小，異，類似のような対象間の相対認知判断に利用される情報と、記憶の確信度や知識の正確さなどのメタ記憶判断に利用される情報と、真，善，愛などの抽象判断に利用される情報と、帰納的判断に利用される情報などが含まれている。
【００６９】また、モラルハザードＤＢ１６４には、職業モラル，個人モラル，根本的モラルなどに関する辞書情報が保持されている。例えば、職業モラルとしては「建築家としては完全な計算を求める」，「仕事は何より優先する」，「プロとして誇りを持っている」などが登録される。また、個人モラルとしては「僕は女性を大切にする（私は男の人に偉そうにしない）」，「田舎を誇りに思う」，「日本人を誇りに思う」などが登録される。根本的モラルとしては、「殺人はいけない」，「親を大切にする」，「自分は男（女）である」などが登録される。
【００７０】総合直感意志決定部１５４は、感情情報生成部１３０によって生成された自己感情の情報を重み付け処理部１５１，照合処理部１５２，多変量解析部１５３により解析し、このコンピュータの個性や意志を表す個人ＤＢ１６３上の判断辞書及びモラルハザードＤＢ１６４上の判断辞書に基づいて抑制し、何に対してどのような自己感情反応（感性）をどれくらい出力するのかを決定する。決定の際には、その時の環境や状況並びに相手の意志を反映する。
【００７１】感性思考認知部１５０には、次のような機能が備わっている。
１．強い印象や語彙あるいは急激な感情変化を検出した場合には個性に応じて判断の周期を変更する。例えば、急に大声で強い内容を主張した場合には判断周期を短くする。
２．個性による自己のバイオリズムに反応して乗り気のときと気分が乗らないときとで異なる感性判断を行う。
【００７２】３．自己の快・不快や感情量に応じて異なる感性判断を行う。
４．現在の状況を表す情報について知識ＤＢ１６１上の知識を利用して理性的な価値判断を行い、感情の判断結果の影響を反映して最終的な意志を決定する。
５．価値判断を行う際には、社会的価値，職業的価値，生活的価値，個人的価値などのそれぞれの立場で判断する。また、社会的価値，職業的価値，生活的価値及び個人的価値のそれぞれを更に細かく区別して判断する。例えば、社会的価値については、宗教，審美，社会，政治，経済，倫理のそれぞれの観点について価値を算出する。
【００７３】６．意志決定の判断材料として、満足・不満足，損得・利害，安全・危険などのそれぞれに関する価値の判断を行う。安全に関する価値判断を行う場合には、例えば次のように判断する。
（ａ）第三者が自己に「不快」を加えようとしている場合には敵対感情及び防衛反応についての価値を生成する。
【００７４】（ｂ）自分が第三者に「不快」を加えようとしている場合には敵対感情及び攻撃反応についての価値を生成する。
（ｃ）第三者に別の何かが「不快」を加えようとしているときに第三者に自分が味方しようとするときは好意感情及び協調攻撃反応についての価値を生成する。
【００７５】７．生成された価値情報は感性ＤＢ１６２に蓄積され、それ以降の判断材料として利用される。なお、感性思考認知部１５０には人間と同じような様々な学習機能が備わっているので、経験を積み重ねることにより個人ＤＢ１６３や感性ＤＢ１６２の内容も逐次更新される。
【００７６】感性思考認知部１５０においては、様々な価値などの数値を基礎とする総合的な判断によって結果を出力するので、人工知能のような論理的な推理や判断は行わない。つまり、感性思考認知部１５０から出力されるデータＤ３は、コンピュータ自身の直感的な判断で得られる感性情報である。次に、図１の感性発生装置１００の入力に接続された感情検出装置２００の具体例について説明する。
【００７７】図６に示すように、この感情検出装置にはマイク１１，Ａ／Ｄ変換器１２，信号処理部１３，音声認識部２０，強度検出部１７，テンポ検出部１８，抑揚検出部１９，一時記憶部２１，感情変化検出部２２，音声感情検出部２３，感情パターンＤＢ２４，キーボード２５，文章認識部２６，テレビカメラ３１，画像認識部３２，顔パターンＤＢ３３，顔感情検出部３４，文字認識部３９，感情感性記憶ＤＢ４１，忘却処理部４２，同期処理部４３，人間性情報ＤＢ４４，個人情報ＤＢ４５，専門情報ＤＢ４６及び感情認識部６０が備わっている。
【００７８】また、音声認識部２０には信号処理部１３，音素検出部１４，単語検出部１５及び文章検出部１６が設けてある。音声認識部２０には、市販の音声認識（自然言語）デバイスの機能も含まれている。図６において、音声認識部２０，強度検出部１７，テンポ検出部１８，抑揚検出部１９，一時記憶部２１，感情変化検出部２２及び音声感情検出部２３は、音声から感情を検出するための回路である。
【００７９】この感情検出装置は、感情の検出対象となる相手の人間の情報を読み取るための入力手段として、マイク１１，キーボード２５及びテレビカメラ３１を備えている。すなわち、マイク１１から入力される音声，キーボード２５から入力される文字情報及びテレビカメラ３１から入力される顔の表情などの情報を利用して相手の人間の感情を検出する。
【００８０】なお、実際にはマイク１１から入力される音声だけに基づいて感情を検出することも可能であり、キーボード２５から入力される文字情報だけに基づいて感情を検出することも可能であり、テレビカメラ３１から入力される顔の表情だけに基づいて相手の人間の感情を検出することも可能である。しかし、複数の情報源から得られる情報を総合的に判断した方が感情の検出精度を高めるうえで効果的である。
【００８１】まず、音声に関する処理について説明する。マイク１１から入力された音声信号は、Ａ／Ｄ変換器１２でサンプリングされ、ディジタル信号に変換される。Ａ／Ｄ変換器１２の出力に得られる音声のディジタル信号は、音声認識部２０に入力される。信号処理部１３は、音声の強度検出に必要な周波数成分を抽出する。強度検出部１７は、信号処理部１３の抽出した信号からその強度を検出する。例えば、音声信号の振幅の大きさを平均化した結果を強度として利用することができる。
【００８２】音声の強度を検出するための平均化の周期については、例えば１０秒程度に定める。但し、１０秒以内であっても文章毎の区切りを検出した場合には、文章の最初から区切りを検出した時点までの平均化を行う。すなわち、音声の文章毎にそれぞれの強度を検出する。音声認識部２０に備わった音素検出部１４は、入力される音声の音素毎の区切りを検出する。例えば、「今日はいい天気ですね」の文章が音声で入力された場合には、「きょ／う／は／い／い／て／ん／き／で／す／ね」のように音素毎の区切りを検出する。
【００８３】また、音声認識部２０に備わった単語検出部１５は、入力される音声の単語毎の区切りを検出する。例えば、「今日はいい天気ですね」の文章が音声で入力された場合には、「きょう／は／いい／てんき／ですね」のように単語毎の区切りを検出する。また、音声認識部２０に備わった文章検出部１６は、入力される音声の文章毎の区切りを検出する。特定の長さ以上の無音状態を検出した場合に、文章毎の区切りが現れたものとみなす。無音状態の長さの閾値には、（０．１〜２）秒程度の値が割り当てられる。また、この閾値は一定ではなく、直前に検出された感情の状態を反映するように自動的に変更される。
【００８４】テンポ検出部１８は、音素検出部１４から出力される音素毎の区切りの信号を入力して、単位時間に現れた音素の数をテンポとして検出する。テンポの検出周期については、例えば１０秒程度の時間が割り当てられる。しかし、文章の区切りを検出した場合には、１０秒以内であってもその時点までで音素数のカウントを中止してテンポの値を計算する。つまり、文章毎にテンポが検出される。
【００８５】抑揚検出部１９には、単語検出部１５が区切りを検出した単語毎に区分されて、音声信号が入力される。抑揚検出部１９は、入力される音声信号から各単語内及び文章検出部１６における文章毎の区切り内の音声の強度変化パターンを表す抑揚を検出する。これにより、抑揚検出部１９は区切りの中での特徴的な強度パターンを検出する。
【００８６】抑揚検出部１９の内部には、図７に示すように、バンドパスフィルタ５１，絶対値変換部５２，比較部５３，領域中心検出部５４及び領域間隔検出部５５が備わっている。また、抑揚検出部１９における各部の信号ＳＧ１，ＳＧ２，ＳＧ３，ＳＧ４の波形の例が図９に示されている。なお、図９における各信号の縦軸は振幅又は強度を表している。また、図９の例では音声から取り出された１つの単語の長さが約１．２秒になっている。
【００８７】バンドパスフィルタ５１は、入力された信号ＳＧ１の中から抑揚の検出に必要な周波数成分だけを抽出する。この例では、８００Ｈｚ〜１２００Ｈｚの範囲内の周波数成分だけがバンドパスフィルタ５１の出力に信号ＳＧ２として現れる。図９を参照すると、単語内の抑揚による強度変化のパターンが信号ＳＧ２に現れていることが分かる。
【００８８】信号の計算処理を容易にするために、抑揚検出部１９には絶対値変換部５２を設けてある。絶対値変換部５２は、入力される信号の振幅をその絶対値に変換する。従って、絶対値変換部５２の出力には図９に示す信号ＳＧ３が現れる。比較部５３は、信号ＳＧ３の大きさを閾値と比較して閾値よりも大きい成分だけを信号ＳＧ４として出力する。すなわち、比較部５３は信号ＳＧ３のパワースペクトルの中で値の大きな成分だけを出力する。なお、比較部５３に印加する閾値については、判別分析法と呼ばれる方法を用いて適応的に決定している。
【００８９】図９を参照すると、信号ＳＧ４には音声の単語における抑揚パターンに相当する２つの領域Ａ１，Ａ２が明確に現れている。領域中心検出部５４は、２つの領域Ａ１，Ａ２のそれぞれの中心に相当する位置が現れた時間ｔ１，ｔ２を検出する。領域間隔検出部５５は、領域中心検出部５４の検出した２つの時間ｔ１，ｔ２に関する時間差を領域間隔Ｔｙとして検出する。この領域間隔Ｔｙの値は、音声の単語における抑揚パターンに相当する。実際には、領域間隔Ｔｙの値を平均化した結果を抑揚の値として利用している。
【００９０】なお、１つの単語の中で信号ＳＧ４に３つ以上の領域が現れる場合もある。３つ以上の領域が現れた場合には、互いに隣接する２つの領域について領域間隔Ｔｙをそれぞれ計算し、求められた複数の領域間隔Ｔｙを平均化した結果を抑揚の値として利用する。人間の感情の状態は、例えば図８に示すように変化する。また、怒り，悲しみ，喜びなどの感情を正しく把握するためには、強度，テンポ，抑揚のような特徴量の変化を検出することが重要である。
【００９１】図６に示す感情検出装置においては、過去の特徴量の参照を可能にするため、強度検出部１７が出力する強度，テンポ検出部１８が出力するテンポ及び抑揚検出部１９が出力する抑揚の値を一時的に一時記憶部２１に記憶しておく。また、感情変化検出部２２は、強度検出部１７が出力する現在の強度，テンポ検出部１８が出力する現在のテンポ及び抑揚検出部１９が出力する現在の抑揚の値と、一時記憶部２１に保持された過去の（現在よりも少し前の時刻の）強度，テンポ及び抑揚の値とを入力して、感情状態の変化を検出する。つまり、音声の強度の変化，テンポの変化及び抑揚の変化をそれぞれ検出する。
【００９２】音声感情検出部２３は、感情変化検出部２２が出力する音声の強度の変化，テンポの変化及び抑揚の変化を入力し、現在の感情の状態を推定する。感情の状態として、この例では怒り，悲しみ及び喜びの３種類の状態をそれぞれ推定している。感情パターンＤＢ２４には、音声の強度の変化，テンポの変化及び抑揚の変化のパターンと怒りの状態とを関連付ける情報と、音声の強度の変化，テンポの変化及び抑揚の変化のパターンと悲しみの状態とを関連付ける情報と、音声の強度の変化，テンポの変化及び抑揚の変化のパターンと喜びの状態とを関連付ける情報とが予め保持されている。
【００９３】音声感情検出部２３は、感情パターンＤＢ２４に保持された情報を推定規則として参照しながら、感情変化検出部２２が出力する強度の変化，テンポの変化及び抑揚の変化のパターンに基づいて現在の感情の状態を推定する。音声感情検出部２３によって推定された怒り，悲しみ及び喜びの３種類の各々の状態を表す情報は、感情認識部６０及び感情感性記憶ＤＢ４１に入力される。感情感性記憶ＤＢ４１は、音声感情検出部２３から入力される現在の感情の状態を逐次記憶され、蓄積される。
【００９４】従って、感情感性記憶ＤＢ４１に記憶された情報を読み出すことにより、過去の感情の状態を再生することができる。一方、音声としてマイク１１から入力された文章の内容（相手の発言内容）は、文章認識部２６で認識される。文章認識部２６の入力には、音声認識部２０で認識された各音素に対応する文字情報や、単語の区切り及び文章の区切りを表す情報が入力される。また、キーボード２５から入力された文字情報も文章認識部２６に入力される。
【００９５】文章認識部２６は、入力される文字列の単語毎の認識及び構文解析を行い、文章の内容を自然言語として把握する。実際には、「５Ｗ３Ｈ」、すなわち「誰が」，「何を」，「いつ」，「どこで」，「なぜ」，「どうやって」，「どのくらい」，「いくら」を表す発言情報を認識する。文章認識部２６が認識した発言情報は感情認識部６０に入力される。
【００９６】次に、相手の顔の表情から感情を検出するための処理について説明する。テレビカメラ３１は、図６の感情検出装置の被験者となる人間の少なくとも顔の部分を撮影する。テレビカメラ３１の撮影した画像、すなわち人間の顔の表情が含まれる画像が画像認識部３２に入力される。なお、テレビカメラ３１の撮影した画像の情報は文字認識部３９に入力される。すなわち、文章の映像をテレビカメラ３１で撮影した場合には、文字認識部３９は撮影された映像から文章の各文字を認識する。文字認識部３９の認識した文字情報は文章認識部２６に入力される。
【００９７】画像認識部３２は、入力される画像の中から特徴的な要素を認識する。具体的には、被験者の顔における目，口，眉毛，頬骨の部分をそれぞれ認識し、顔の中における目，口，眉毛，頬骨のそれぞれの相対的な位置を検出する。また、画像認識部３２は顔の表情の変化に伴う目，口，眉毛，頬骨のそれぞれの位置の変化及び首を振るなどの表現を検出するために位置の追跡を常に行う。
【００９８】顔パターンＤＢ３３には、顔の中における目，口，眉毛，頬骨のそれぞれの位置に関する基準位置の情報（被験者の平常時の顔の表情に相当する情報）が予め保持されている。なお、顔パターンＤＢ３３の内容を任意に変更することも可能である。また、顔パターンＤＢ３３には顔の表情の変化と６種類の感情（喜び，怒り，悲しみ，恐れ，楽しみ，驚き）のそれぞれとの対応関係を表す規則情報が予め保持されている。
【００９９】顔感情検出部３４は、画像認識部３２が認識した目，口，眉毛，頬骨のそれぞれの位置と顔パターンＤＢ３３に保持された基準位置の情報とを用いて特徴量、すなわち平常時の位置に対する表情の違いを検出する。また、顔感情検出部３４は検出した特徴量の変化量及び変化の速さと、顔パターンＤＢ３３に保持された規則情報とに基づいて、６種類の感情（喜び，怒り，悲しみ，恐れ，楽しみ，驚き）のそれぞれの状態を推定する。推定された６種類の感情の状態を表す情報は、顔感情検出部３４から出力されて感情認識部６０及び感情感性記憶ＤＢ４１に入力される。
【０１００】感情認識部６０は、音声感情検出部２３から入力される感情（怒り，悲しみ，喜び）の状態を表す情報と、文章認識部２６から入力される発言情報と、顔感情検出部３４から入力される感情（喜び，怒り，悲しみ，恐れ，楽しみ，驚き）の状態を表す情報とを総合的に判断して最終的な感情の状態を推定する。発言情報については、その文章の内容（５Ｗ３Ｈ）を予め定めた規則に従って判断することにより、発言情報に含まれている感情（喜び，怒り，悲しみ，恐れ，楽しみ，驚き）の状態を推定することができる。
【０１０１】音声感情検出部２３が音声から推定した感情の状態を表す情報と、文章認識部２６が音声又はキーボード２５から入力された文字から認識した発言内容の情報と、顔感情検出部３４が顔の表情から推定した感情の状態を表す情報とが、それぞれ感情感性記憶ＤＢ４１に入力されて逐次記憶される。感情感性記憶ＤＢ４１に記憶されたそれぞれの情報には、それが検出された時刻あるいは時間ならびに年月日が付加される。
【０１０２】感情感性記憶ＤＢ４１に入力される情報のうち、音声感情検出部２３から入力される感情の情報と、文章認識部２６から入力される発言内容の情報と、顔感情検出部３４から入力される感情の情報とは互いに関連付けて把握しなければならない。そこで、同期処理部４３は感情感性記憶ＤＢ４１に蓄積された複数種類の情報を、それらの検出された時間（入力された時間）及び年月日によって互いに関連付ける。例えば、図１１に示されるように、音声感情検出部２３の推定した怒り，悲しみ及び喜びの感情の状態を表す情報と発言の内容（５Ｗ３Ｈ）の情報とを、それらの時間によって互いに関連付ける。
【０１０３】ところで、感情感性記憶ＤＢ４１には比較的大量の情報を蓄積できる十分な記憶容量が備わっている。しかしながら、記憶容量には限りがあるのでこの装置を長期間に渡って使い続けるためには蓄積する情報の量を抑制する必要がある。そこで、忘却処理部４２が設けてある。忘却処理部４２は、古くなった情報を感情感性記憶ＤＢ４１上から自動的に削除する。但し、特定の条件に適合する情報については古くなった場合でも削除せずに保存される。
【０１０４】忘却処理部４２の動作について、図１０を参照しながら説明する。図１０のステップＳ１１においては、感情感性記憶ＤＢ４１に蓄積されている多数のデータのそれぞれについて、記憶された時刻（あるいは検出された時刻）及び年月日の情報を参照する。ステップＳ１２では、現在の時刻とステップＳ１１で参照したデータの時刻とに基づいて、該当するデータが記憶されてから予め定めた一定の期間が経過したか否かを識別する。記憶してから一定の期間が経過した古いデータを処理する場合には、ステップＳ１３以降の処理に進む。一定の期間が経過していない比較的新しいデータについては、そのまま保存される。
【０１０５】ステップＳ１３では、データが感情の状態を表す情報である場合に、その感情の変化量（前後の感情との違い）を調べる。感情の変化量が予め定めた閾値を超える場合にはステップＳ１３からＳ１７に進むので、そのデータが古い場合であってもそのままデータは保存される。感情の変化量が閾値以下の場合には、ステップＳ１３からＳ１４に進む。
【０１０６】ステップＳ１４では、そのデータに関する感情のパターンを検出し、そのパターンが予め定めた特定のパターンと一致するか否かを識別する。すなわち、複数の感情の状態及び発言内容の組み合わせが、「印象が強い」状態を表す特定のパターンと一致するか否かを調べる。検出したパターンが特定のパターンと一致した場合には、ステップＳ１４からＳ１７に進むので、そのデータが古い場合であってもそのままデータは保存される。パターンが一致しない場合にはステップＳ１４からＳ１５に進む。
【０１０７】ステップＳ１５では、データが発言内容である場合に、その内容と予め定めた発言内容（印象に残りやすい発言）とが一致するか否かを識別する。なお、完全に一致しなくても、類似性が高い場合には「一致」とみなすこともできる。データの発言内容が予め定めた発言内容と一致した場合には、ステップＳ１５からＳ１７に進むので、そのデータが古い場合であっても、そのままデータは保存される。
【０１０８】ステップＳ１５で一致しない場合には、ステップＳＳ１６において当該データは削除される。上記の処理は感情感性記憶ＤＢ４１上の全てのデータについて実行される。また、図１０に示す忘却処理は定期的に繰り返し実行される。この忘却処理を実行留周期については、個人の個性として任意に変更することができる。なお、ステップＳ１４，Ｓ１５では予め容易されたパターンＤＢ（図示せず）を参照して処理を行う。このパターンＤＢについては、入力情報を学習することにより自動的に内容が更新される。
【０１０９】なお、図１０では処理を簡略化して表してある。実際には、感情の変化量，感情のパターン及び発言の内容の全てを総合的に判断する。すなわち、感情の変化量が大きい情報と、感情のパターンが一致した情報と、発言内容が同一もしくは近似する情報とが存在する場合には、総合的に優先順位を判断する。具体的には、発言内容が同一もしくは近似する情報の優先順位が最も大きく、感情のパターンが一致した情報の優先順位が２番目に高く、感情の変化量が大きい情報の優先順位は低い。従って、発言内容が同一もしくは近似する情報は忘却処理で削除されにくく、古くなっても記憶として残る。
【０１１０】上記のような忘却処理部４２の処理によって、感情感性記憶ＤＢ４１上の古くなったデータについては、感情の変化が大きいもの、「印象が強い」とみなされるパターンであるもの、幾度も入力を繰り返されたもの、及び発言の内容が印象に残りやすいもののみがその強度と内容に合わせて順位をつけてそのまま保存される。その結果、感情感性記憶ＤＢ４１上の古いデータについては、一部分のみが残った不完全なデータとなる。このようなデータは、人間の記憶における過去の曖昧な記憶と同じような内容になる。
【０１１１】感情感性記憶ＤＢ４１に蓄積された過去の感情の状態及び発言内容を読み出してデータを分析することにより、例えばこの感情検出装置が正しく動作しているか否かを判断したり、感情の推定に利用される各部のデータベースの内容を改良するように更新することも可能になる。感情感性記憶ＤＢ４１に蓄積されたデータについては、その内容に応じて更に振り分けられ、人間性情報ＤＢ４４，個人情報ＤＢ４５又は専門情報ＤＢ４６に記憶される。
【０１１２】人間性情報ＤＢ４４には、性別，年齢，攻撃性，協調性，現在の感情などのように被験者の性格を決定付ける情報や行動の決定パターンの情報が保持される。また、個人情報ＤＢ４５には、個人の住所，現在の状況，環境，発言内容（５Ｗ３Ｈ）などの情報が保持される。専門情報ＤＢ４６には、職業，経歴，職業適性格，職業的行動決定パターンなどの情報が保持される。
【０１１３】人間性情報ＤＢ４４，個人情報ＤＢ４５及び専門情報ＤＢ４６から出力されるのは、個人のモラルパターン情報である。このモラルパターン情報と過去の相手の感情とに基づいて相手の感性を察知することができる。なお、図６に示すマイク１１を電話機の受話器に置き換えてもよいし、文字などの情報を入力する手段としてマウスを設けてもよい。
【０１１４】また、図６に示すテレビカメラ３１については、光学式カメラ，ディジタルカメラ，ＣＣＤカメラのような様々な撮像手段のいずれでも置き換えることができる。
【０１１５】
【発明の効果】以上説明したように、本発明においては感情を生成するための動機付けとなる本能的動機付け情報を入力される状況情報（相手の感情，周囲の状況など）に基づいて生成し、その本能的動機付け情報に基づいて感情情報が生成される。更に、生成される感情情報は個性情報に応じて制御される。
【０１１６】このため、個人の理性や意志によって制御された感情、すなわち感性の情報を出力することができる。また、本能的動機付け情報を介して感情情報を生成するので、生成する感情をより精密かつ容易に制御することができる。
【出願人】 【識別番号】５００４３０８７７
【氏名又は名称】株式会社エイ・ジー・アイ
【出願日】 平成１３年１月１６日（２００１．１．１６）
【代理人】 【識別番号】１０００７２７１８
【弁理士】
【氏名又は名称】古谷 史旺
【公開番号】 特開２００２−２１５１８３（Ｐ２００２−２１５１８３Ａ）
【公開日】 平成１４年７月３１日（２００２．７．３１）
【出願番号】 特願２００１−７７２６（Ｐ２００１−７７２６）