トップ :: A 生活必需品 :: A61 医学または獣医学;衛生学




【発明の名称】 機器制御装置
【発明者】 【氏名】森 靖英

【氏名】佐川 浩彦
【要約】 【課題】時間に伴って変化する作業者の心理状態を精度よく判定し、機器の制御に供すること。

【構成】生理信号を入力すると同時に、音声入力やボタン操作によって、ユーザの心理状態を時々刻々自己申告させ、生理指標とユーザの申告情報の組を同時に解析することで、心理状態を判断し、その結果を制御に用いる。また、その判断ルールを学習させることにより、利用期間が長くなるほど信頼性のある心理状態判定を可能とする。学習にあたっては、装置の判断結果に対するユーザの判定入力を求め、それを用いる。
【特許請求の範囲】
【請求項１】
少なくとも一つの生理指標を取得する取得部と、
利用者から申告される情報を入力する情報入力部と、
上記整理指標と上記申告情報とを用いて利用者の心理状態を判定する解析部と、
該心理状態に基いて、該機器の制御情報を生成する生成部とを有することを特徴とする機器制御装置。
【請求項２】
請求項１に記載の機器制御装置において、上記申告情報は、音声、押しボタン、ジェスチャのいずれか一つまたはそれらの組み合わせによって入力されることを特徴とする機器制御装置。
【請求項３】
請求項１に記載の機器制御装置において、上記申告情報はその時刻もしくはその付近の時刻における上記利用者の心理状態を申告させるものであることを特徴とする機器制御装置。
【請求項４】
上記解析部は、上記生理情報と上記申告情報のそれぞれ緊張、中立、弛緩の３つに分類し、その組み合わせパターンにて心理状態を判定することを特徴とする請求項１乃至３のいずれかに記載の機器制御装置。
【請求項５】
上記解析部は、上記生理情報と上記申告情報の解析結果の双方の時間的な変化パターンによる判断基準を用いて心理状態を判定することを特徴とする請求項１乃至３のいずれかに記載の機器制御装置。
【請求項６】
請求項１に記載の計測装置において、同時刻もしくはその付近の時刻における申告情報と生理指標を関連付けて学習することを特徴とする機器制御装置。
【請求項７】
請求項４に記載の計測装置において、同時刻の生理指標と申告情報に加えて、システムの判断結果をユーザがさらに評価した結果を再入力し、上記学習に供することを特徴とする機器制御装置。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、脳波、心電、呼吸波等の生理指標を用いて心理状態を計測する方法を備えた機器制御装置に関するものである。
【背景技術】
【０００２】
心理状態を計測するための生理指標は、その種類、解析方法共に、多数提案されている。例えば、心電図の信号波形中、最も高いピーク（R）を見つけ、その時間間隔（R-R間隔）の変化を見る方法、脳波を周波数解析し、周波数の領域にて判定する方法、皮膚インピーダンスの振動反応が起こったかどうかを見る方法、呼吸の周波数変化を見る方法、等である（例えば、非特許文献１参照）。
【０００３】
これらの手法は、人間の心理状態、特に緊張／弛緩の状態を反映した指標であることが実験的に示されている（例えば、非特許文献１参照）が、心理状態への追従速度、耐ノイズ性、身体運動との併用可能性などが異なる。例えば、呼吸の周波数変化を見る場合、呼吸自体の周波数の低さから、一般的に解析には長い時間間隔を設定する必要がある。一方、皮膚インピーダンスの振動反応を見る方法では、比較的瞬時に反応が現れるとされているが、その反面、微弱抵抗の測定であるため、ノイズに弱い。従って、多くの生理指標抽出の研究では、複数のチャンネルを併用することで信頼性を向上する試みが提案されている。
【０００４】
しかしながら、たとえ複数の生理指標を用いた場合でも、生理指標だけで正確に心理状態を常に高い精度で算出するのは難しいのが現状である。さらに、多くの生理指標は、本来は安静に近い状態で計測すべきものであるため、本発明の目的である、機器の制御等の作業をしているユーザの状態を計測したい場合には、さらに難易度が増す。例えば、皮膚インピーダンスを計測している最中に近くの筋肉の運動が起った場合、大きなノイズが発生して解析のために十分な信号が得られない事態が生じる。
【０００５】
以上の理由から、何らかの作業をしているユーザの心理状態を計測する必要がある場合、心理状態計測の精度と時間変化への追従性が問題となっている。
【０００６】
一方、ユーザが作業を行っている際に、その作業に干渉せずに別途指示を出す方法として、音声認識などを用いる方法がある。
生理指標の計測と共に音声認識を用いる方法についての発明では、下記特許文献１が公開されている。が、そこでの音声利用は、自動車の車間距離に対する指示やそれに対する感想に限定されており、心理状態自体を申告するものではない。
【０００７】
また、心理状態計測を用いて自動対話の補助を行う装置については、下記の特許文献２があるが、この発明では、主目的である対話そのものを成立させることが目的であるため、ユーザの発話内容を心理状態計測のためだけに用いることができない。
【０００８】
【非特許文献１】産業技術総合研究所人間福祉医工学研究部門編 「人間計測ハンドブック」 朝倉書店 ２００３年９月１日
【特許文献１】特開２００４−３４８８１号公報
【特許文献２】特開２００４−２３３６９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述したように、従来の心理状態の計測方法では精度の低さと時間追従性に問題があった。本発明が解決しようとする課題は、特に、作業を行っているユーザの心理状態計測を機器の制御に供することを目的として、補助的な入力も併用することで、時々刻々変動する心理状態の変化を精度よく計測することである。
【課題を解決するための手段】
【００１０】
本願で開示する代表的な発明の概要は以下の通りである。
少なくとも一つの生理指標を取得する取得部と、利用者から申告される情報を入力する情報入力部と、上記整理指標と上記申告情報とを用いて利用者の心理状態を判定する解析部と、該心理状態に基いて、該機器の制御情報を生成する生成部とを有する機器制御装置。
【発明の効果】
【００１１】
意識的な申告情報がつけられているため、判定精度と追従性の確保のみならず、ユーザが後からデータをみて内容を把握しやすいという利点をもつ。
【００１２】
また、前述したように、対話システムに心理状態計測を併用した発明は存在するが、本発明は対話が主眼ではないため、制御のための専用入力として、無制約に発話その他のモードを用いることが可能である。一方、本発明では、音声は専ら心理状態の自己申告に用いることが特徴であり、それによって、自己申告内容そのものから心理状態の推定精度の向上を図ることが可能となる。
【発明を実施するための最良の形態】
【００１３】
作業中のユーザに対して、作業に干渉しない範囲で、生理信号を採取するための各種センサを体に装着すると共に、マイクあるいは、押しボタン等を装備して、意識的なユーザからの申告情報を入力し、それら両者のデータを解析用計算機に入力し、解析を行う。その結果はユーザに提示するためのランプ、ブザー、音声、あるいは、操作中の機械への制御信号などとして計算機から出力される。
【実施例１】
【００１４】
図１は、本発明を機器の操作に適用した実施例を示すブロック図である。各部は子コンピュータに各部の実行プログラムが読み込まれることで実行されていも良い。
今、ユーザ101は本装置を用いて、自動車の運転等の機器の操作を行っているとする。このとき、ユーザの基本的な心理状態の時間変動を、なるべく短い時間間隔ごとに、なるべく正確に知ることが目的である。
【００１５】
まず、図１中、ユーザ101に設置した各種の生理信号取得センサによって、脳波、心拍、心電、脈波、皮膚インピーダンス等の生理信号が計測される。これらは取得センサによって自動的に収集される情報である。102の生理信号解析部では、これらの生理信号から、ユーザの緊張・弛緩状態等の心理状態を推定する。
ここで、生理信号からユーザの心理状態を推定するための解析は、様々な先行研究によって提案されている手法を組み合わせて行う。例えば、心電図の信号波形のピークを見つけ、その時間間隔の変化を見る（R-R間隔）、脳波の周波数変化を見る、皮膚インピーダンスの振動反応を見る、呼吸の重心周波数を見る、等である（例えば、非特許文献１参照）。
【００１６】
さらに、これらの中から複数のセンサを用いる場合には、それらのセンサによる複数の信号を用いて、多数決を取る等によって、判定の信頼性をあげることが可能である。
【００１７】
また、図１の103に示す、操作情報を解析して心理状態推定の補助とすることも可能である。例えば、機械操作が、自動車の運転作業である場合、ブレーキのタイミングや、ハンドル操作のプロファイルによって、心理状態推定の補助とすることか可能である。
【００１８】
以上の解析によって、ユーザの心理状態が、緊張／中立／弛緩のいずれであるかを時々刻々算出する。また、解析の結果、緊張／弛緩の程度を数値として出力してもよい。
ここで、時間間隔の取り扱いについて説明する。今、同一状態がほぼ継続するとみなせる程度に短時間であって、かつ、データ解析が可能な長さを持つ時間間隔（時間窓）を一つ決め、その時間間隔一つ分のことを、以後「単位時間」と呼ぶ。単位時間をどの程度の時間間隔とすべきかについては、検出時間分解能に対する要請、および、精度に対する要請の両者で決まる。一般に、単位時間を長くすれば精度は向上するが、時間分解能は低下する。例えば、機械操作の制御のための最低限の時間分解能が0.5秒程度以下である場合、それを単位時間とする。
【００１９】
以上述べた生理指標入力の一方で、図１において104のマイクから入力された音声を用いて、105の音声認識部にて申告情報が入力される。
音声によって申告情報を入力する場合は、正確さの観点から、あらかじめ決めておいた単語を発話することを基本とする。例えば、緊張系ワードとして「緊張」「びっくり」「おどろき」「ドキドキ」等を用意し、一方、弛緩系ワードとして「リラックス」「のんびり」「退屈」「眠い」等を発話させる。なお、音声認識の方法については、既存の手法を用いる。その他の申告情報としては、その形態を限定するものではなく、例えば、選択押しボタン等の入力や、カメラを使ったジェスチャ入力等の方式も可能であり、操作内容と干渉しない限り、どのような手法を用いても良い。
【００２０】
なお、入力のタイミングをユーザに教えるため、定期的に音や照明でプロンプト信号を入れる、あるいは、生理信号が特定のパターンになった場合にプロンプト信号を入れる、等を行う。プロンプト提示の方法は、ブザーやチャイム音で知らせる方法、特定のランプの点灯で知らせる方法、「状態はどうですか」等音声によって入れる方法、などが可能である。
【００２１】
本実施例では、以上の方法によってほぼ同時刻に入力された生理信号と申告情報の組み合わせを簡単のため、同時刻の入力と呼ぶ。生理指標に対する申告情報のずれをどこまで許容して、同時刻の入力とするかは、実験的に決定すべきパラメータである。
【００２２】
以上で説明したとおり、本発明の特徴の一つは、本発明における申告情報は機器制御の指示内容などではなく、心理状態そのものの申告であることである。すなわち、音声他による申告内容は、心理状態を判断するためだけに用いる。この方法により、生理指標データの信頼性を大きく向上させ、機器制御の際の信頼性および安全性を確保することが可能となる。
【００２３】
本発明のもう一つの特徴は、上記で入力した生理指標と申告情報の双方を組み合わせた心理状態の判断手段の内容である。その詳細を以下で説明する。
【００２４】
上記で述べた入力手順によって、生理指標と申告情報が同時刻に入力された後、図１中の106の統合部によって、統合処理が行われる。図2に最も簡単な統合処理のフローチャートを示す。まず201において、生理指標の解析結果である、緊張／中立／弛緩の値を入力する。202では、申告情報として、緊張系／なし／弛緩系のどれかが入力される。203にて、判断ルールから、現在の組み合わせに該当するものを参照し、204にて該当ルールが存在した場合には、205にて心理状態を判断する。一方、ルールがない場合にはなにもしない。図3に、最も簡単な判断ルールとして、同時刻入力のみを用いた判断ルールの例を示す。なお、申告情報にもエラーや入力忘れが起こりうるため、それらも考慮する。
【００２５】
まず生理指標が「緊張」と解析された場合に、申告情報も緊張系であった場合（301）、高い信頼性をもって緊張状態にあり、かつ、それを自覚していることがわかる。このことはまた、その時点が緊張誘発イベントの直上にあるわけではなく、逆に「緊張した」という意識入力が可能な状態にまで時間が経過したことも意味する。以上のことから、「緊張誘発イベントが生起した後、しかるべき時間が経過している」ことがわかる。他の可能性として、生理指標と申告情報の両方が誤っている可能性があるが、二重のエラーであるため、まずはないと判断させる。但し、実施例２にて後述するように、実例の蓄積によって、両者誤りであるという判断に一定の割合を当てても良い。
【００２６】
次に、生理指標が「緊張」であり、意識入力は「ない」場合（302）であるが、これは、（１）緊張誘発イベントの直後であって、まだ申告情報を入れる余裕がない状態か、（２）緊張状態が続くが、申告情報忘れであるか、（３）生理指標の解析エラーであるか、のどれかである。
【００２７】
次に、生理指標が「緊張」であり、申告情報は逆の弛緩系である場合（303）、（1）生理指標の解析エラーであるか、(２) 申告情報が誤っているか、である。しかしながらいずれにしても、中立からは遠い極端な状況が生起していることも考えられ、経過を見る必要がある。
【００２８】
次に、生理指標が「中立」で、申告情報が「緊張系」または「弛緩系」の場合（304）、（１）生理指標を信頼して中立とする、（２）申告情報を信用する、（３）両方信用しない、のどれかであり、経過を見る必要があるが（３）はまれであるとして除く。
【００２９】
次に、生理指標が「中立」で、申告情報が「なし」の場合（305）、（１）中立、（２）両方信用しない（経過を見る）のどちらかであるが、（２）はまれであるとして除き、原則として、なにもないと判断する。
【００３０】
最後に、生理指標が「弛緩」の場合（306）は、図３に示すとおり、生理指標が「緊張」の場合と逆の判断とすればよい。
【００３１】
以上の判断ルールによって、複数の候補が出る場合が多いが、それらの場合にも、過去のデータによる出現頻度で重み付けした値や、生理指標の緊張／弛緩度合いの大きさを用いて、どちらかの状態であると判断する。ただし、上述したように、生理指標と申告情報が、互いに逆の入力となった場合などを中心に、判断を行わずに次の入力を待つ場合もある。
【００３２】
以上で述べた判断ルールは、単一の同時の入力のみを用いて判断するものであったが、この判断ルールをより精密にした方法として、状態の履歴を考慮した判断方法を述べる。ここで、変化履歴を考慮するにあたっては、過去の時刻をどのくらい遡って考慮するかを決めておく必要がある。以後、一つ隣のデータまでの遡り時間間隔をステップ間隔と呼ぶ。ステップ間隔は処理に有効な時間間隔を一つ選べばよく、一般に前述した単位時間とは異なっていてよい。
【００３３】
次に、過去のいくつの状態を同時に考慮するかが問題となる。本実施例では最も簡単な一ステップ前の状態のみ考慮する方式を述べるが、より多ステップの状態を同時に考慮することも可能である。但し、一ステップの遡りを行っただけでも、全ての組合せ状態は、３ｘ３ｘ３ｘ３＝81通りとなるため、一般的にはそれらの組合せ状態に対するルール記述が必要である。しかし、実際の運用では、それらの組み合わせの中から、ユーザの心理状態を知る目的上、有用な状態の組み合わせのみのルールで運用可能である。
【００３４】
図４は、一ステップ遡りの場合のパターンを類別して、最も可能性の高い判断ルールを要約したものである。すなわち、着目すべき信号パターンは、（１）生理指標が「中立」から「緊張」「弛緩」のいずれかに変化した場合に、申告情報も「なし」から同じく緊張系、弛緩系が入力された場合（401）、（２）同じく、生理指標が「中立」から「緊張」「弛緩」のいずれかに変化した場合で、申告情報は「なし」のままである場合（402）、（３）生理指標は、「緊張」または「弛緩」が連続して続く場合に、申告情報が「なし」から緊張系、弛緩系が入力された場合（403）、（４）同じく、生理指標は、「緊張」または「弛緩」が連続して続く場合に、申告情報は「なし」のままである場合（404）、（５）生理指標も申告入力も「緊張」または「弛緩」が連続している場合（405）、などが着目すべきパターンの類別として挙げられる。
【００３５】
（１）は、生理指標と申告情報の状態変化のレスポンスがシンクロしている。｛緊張／弛緩｝状態であって、それを意識することができていることから、小さい｛緊張／弛緩｝状態に入ったという可能性が最も高いと判断される（401）。（２）は、生理指標に変化があったが、意識入力がない場合で、申告情報が必要と感じないほど微小なものか、あるいは逆に、強い｛緊張／弛緩｝状態に入ったため、申告情報を入れられないという状態を推測できる。そのどちらであるかは、さらに経過を見る必要がある（402）。（３）は、（２）の後に起こりうる状態であるが、一つ遅れて申告情報が入った場合である。この場合、申告情報が入ったことによって、緊張状態なら、すぐに意識入力ができないほど重いものであることが推測できる（403）。（４）の場合は、連続しているのが緊張状態なら、さらに経過を見る必要があり、弛緩状態なら、最悪の場合、居眠り状態等に陥っている可能性が高くなる（404）。最後に、（５）の場合は、上述した、単一ステップの場合と同じ判断がより信頼性高く行えることになる（405）。
【００３６】
以上の判断処理における必要なパラメータをまとめると、（１）単位時間間隔、ステップ間隔の両時間間隔、（２）生理指標と申告情報との「同時刻」判断の閾値、（３）同時刻に入力された生理信号と申告情報によってユーザの状態を判断するためのルールの３組である。
（心理状態の分類には色々あると思いますが、本実施例で、弛緩・緊張を採用した理由＝本実施例の判定手法の効果について記載下さい。又、他の分類もありうると思いますが、そうした場合にどういったものが想定されうるかについても言及されていると良いと思います、）
以上の手順に従って、ユーザの心理状態について判断された後、図1の制御情報生成部107にて示したように、操作機械の制御命令108の出力や、あるいは、ユーザ提示情報生成部109で生成した、ユーザ情報110を提示する。あるいは、信頼性が低い組合せの場合、判断を保留し、次の時刻の信号を待つ。
【００３７】
ここで、制御情報の例としては、乗り物の運転の場合、強度の緊張状態であると判断した場合には、ゆるやかに減速する等の制御を行う、等である。また、ユーザ提示情報としては、音声や映像による状況のお伝えを基本とする。例えば、緊張状態の時は「リラックスしましょう」と音声で呼びかける、逆に、弛緩が過ぎる場合に「集中してください」と警報を出す、等である。その他のユーザ提示コンテンツとして、緊張状態の場合にリラックスのきっかけとなるための、音、照明、振動、香り等を与え、弛緩状態が過ぎるようであれば、覚醒作用を促す音、照明、振動、香り等を与える等の方法も可能である。
【実施例２】
【００３８】
実施例１で述べたように、ユーザ状態について正確な判断をするためには、ある程度の時間ステップをまとめて見る必要がある。実施例１の後半では、一ステップ前の状態を踏まえた例を述べた。しかしながら、踏まえるステップ数を長くとればとるほど、判断ルールが複雑になるという問題が生じる。また、信頼性向上のためには、申告情報を頻繁に入れる必要があることで、ユーザに煩わしさを与えるという問題も生じる。
【００３９】
本実施例では、これらの問題点を解決するため、実施例１と同じく生理指標と申告情報の両データを取得しつつ、同時に必要なルールを学習により獲得する方法について説明する。
【００４０】
まず、本実施例では、実施例１にて説明した判断ルールに信頼重みという変数を加えて拡張する。通常の判断ルールは、生理指標状態と申告情報内容のペアから判断を与えるものであるが、それぞれの判断ルールに対して、それがどの程度確からしいかについての信頼重みを付与する。すなわち、同じ生理指標状態と申告情報内容のペアから、異なった判断を導くルールを複数用意し、それらにそれぞれ独立した信頼重みを与える。
【００４１】
図５に信頼重み付きの場合の判断フローを示す。今、考慮するステップ数をnとする。まず、この信頼重み付きルール群（501）に対して、nステップの間の生理指標状態（502）と申告情報内容（503）をそれぞれ入力した時、該当判断ルールを参照して（504）それが存在したとき（505、一般に複数存在する）、そのルールの中から信頼重みの大きさを比較し、最も信頼性が高い判断を最終的判断とする（506）。
【００４２】
以上の枠組みの下で、学習は、この数値を変化させることによって行う。図６は、学習の手順を示すフローである。
【００４３】
まず、601にて、生理指標、および、申告情報の双方が入力される。それらを用いて、602にて現在設定しておいたルールに従って、実施例１におけるのと同じように判断を行う。
【００４４】
次に、603にてユーザはそれらの判断そのものが正しかったかどうかの判定を行う（以後、「ユーザ判定」と呼ぶ）。もしユーザ判定が「不具合あり」だった場合には（604）、修正を行うための「不具合あり」を示す教示（以後、不具合教示）を行う。ここで不具合教示は、申告情報と同様に音声にてキーワードを発話することによって行うか、ボタン入力等でもよい。
【００４５】
また、ユーザによる教示以外にも、システム自身によって、過去の判断に関する何らかの異常性を検知できるのであれば、それを不具合教示としてもよい。例えば、自動車の操作系であれば、適正速度を越えようとする、軽いスリップ起こす、等の検知等を用いてもよい。
【００４６】
以上に述べた方法により不具合教示が入力された場合、過去に遡ってどの判断が問題であったのかを推定し、その時に採用した判断ルールの信頼重みを一定の量または割合だけ小さくし、実現されなかった他の信頼重みを相対的に大きくすることで学習とする（605）。
【００４７】
ここで、遡り時間間隔が重要になるが、最も簡単には、システムの動作時間から経験的に固定値を設定しておく方法がある。例えば、自動車操作系で、何らかの判断をするまで平均１秒、ユーザによる不具合レポートまで平均３秒であることが多い場合、４秒前に相当する判断ルールの重みを変更することとなる。また、この特定の時間間隔には誤差が大きい場合には、遡り時間の直上だけでなく、その前後の時間の判断結果にも一定の重み変更を加えることも可能である。
【００４８】
以上で述べた学習方法は、信頼重みを用いた単純な学習方法であったが、もっと複雑な推論機構を設定して、それを学習することも可能である。すなわち、考慮ステップ中の生理指標値と申告情報の値を特徴量の組と考え、それらから適切な判断を出力するという関係の学習であると考えた場合、ニューラルネットワークや、確率ネットワーク、決定木等を用いて学習させることも可能である（例えば、人工知能学会編 「人工知能学事典」 共立出版 ２００５年１２月１０日 を参照）。
【００４９】
また逆に、より単純な学習方法として、上記で述べたユーザによる事後判定も行わず、生理指標パターンと申告情報の共起頻度のみから、重みを変化させる学習方法も可能である。
【産業上の利用可能性】
【００５０】
本発明は、生理指標として、複数のセンサと申告情報を併用して、信頼性を向上させることによって、オフィス作業はもとより、交通系、機械系等の制御への応用等、広い用途に適用できる。
【図面の簡単な説明】
【００５１】
【図１】本発明を機械の操作等に適用した実施例を示すブロック図である。（実施例１）
【図２】心理状態の判断手順を示すフローチャートである。（実施例１）
【図３】同時刻の信号のみを利用した場合の判断ルールを示す説明図である。（実施例１）
【図４】一ステップ遡りの場合のパターンを類別して、可能性の高い判断ルールを要約して示す説明図である。（実施例１）
【図５】信頼重み付き判断ルールを用いた場合の心理状態の判断手順を示すフローチャートである。（実施例２）
【図６】判断ルールの学習手順を示すフローチャートである。（実施例２）
【符号の説明】
【００５２】
ユーザ １０１
整理信号解析部 １０２
操作情報入力部 １０３
マイク １０４。
【出願人】 【識別番号】５９１１３２３３５
【氏名又は名称】株式会社ザナヴィ・インフォマティクス
【出願日】 平成１８年６月２６日（２００６．６．２６）
【代理人】 【識別番号】１００１００３１０
【弁理士】
【氏名又は名称】井上 学
【公開番号】 特開２００８−４９７（Ｐ２００８−４９７Ａ）
【公開日】 平成２０年１月１０日（２００８．１．１０）
【出願番号】 特願２００６−１７４７３０（Ｐ２００６−１７４７３０）