| 【発明の名称】 |
叫び声を用いたロボットの緊急停止方法及びシステム |
| 【発明者】 |
【氏名】原 功
【氏名】浅野 太
【氏名】後藤 真孝
【氏名】緒方 淳
|
| 【要約】 |
【課題】ロボットの動作環境内の人が誰でも簡単に、且つ、特殊な装置なしにロボットの動作を緊急停止させることができる叫び声によるロボットの緊急停止方法及びシステムを提供する。
【構成】ロボットに設けられたマイクロフォンアレイ等で構成される音声音響入力部に入力された音声音響信号に対して周波数解析を行い、前記解析結果から得られた基本周波数の変動量とスペクトル包絡の変形量に基づいて、叫び声の音響的特徴を定量的に捉え、前記音響的特徴に基づいて、前記入力された音声音響信号が叫び声であると判定する信頼度を評価し、前記信頼度が所定の評価基準値を超えた場合に前記ロボットの動作を緊急停止させる。 |
【特許請求の範囲】
【請求項1】 ロボットに設けられた音声音響入力部に入力された音声音響信号に対して周波数解析を行い、前記解析結果から得られた基本周波数の変動量とスペクトル包絡の変形量に基づいて、叫び声の音響的特徴を定量的に捉え、前記音響的特徴に基づいて、前記入力された音声音響信号が叫び声であると判定する信頼度を評価し、前記信頼度が所定の評価基準値を超えた場合に前記ロボットの動作を緊急停止することを特徴とする叫び声を用いたロボットの緊急停止方法。 【請求項2】 前記基本周波数と前記スペクトル包絡は、最も優勢な高調波構造に基づいて推定することを特徴とする請求項1記載の叫び声を用いたロボットの緊急停止方法。 【請求項3】 ロボットに設けられた音声音響入力部に入力された音声音響入力信号に対して周波数解析を行い、基本周波数の変動量とスペクトル包絡の変形量を算出する周波数解析手段と、 前記周波数解析手段により算出された基本周波数の変動量とスペクトル包絡の変形量に基づいて、叫び声の音響的特徴を定量的に捉え、前記音響的特徴に基づいて、前記入力された音声音響信号が叫び声であると判定する信頼度を評価し、前記信頼度が所定の評価基準値を超えた場合に叫び声検出信号を出力する叫び声判定手段と、 前記叫び声判定手段が出力する叫び声検出信号に基づいて前記ロボットの動作を緊急停止させる緊急停止手段とを備えたことを特徴とする叫び声を用いたロボットの緊急停止システム。 【請求項4】 前記周波数解析手段は、前記基本周波数と前記スペクトル包絡を最も優勢な高調波構造に基づいて推定すること特徴とする請求項3記載の叫び声を用いたロボットの緊急停止システム。
|
【発明の詳細な説明】【技術分野】 【0001】 本発明は、ロボットの動作を緊急停止させるシステムに関し、特に人間と共存した環境で動作するロボットを叫び声の検出により緊急停止させるシステムに関する。 【背景技術】 【0002】 近年、家庭やオフィスのような生活環境において人間と共存しながらサービスを提供する様々なロボットの研究開発が進められており、2025年には、家事支援や高齢者の自立支援、介助・介護等のための次世代ロボットの実用化が期待されている。 【0003】 ロボットが人間と共存した環境で動作する時、動作中のロボットの可動範囲内に人間が不用意に進入してしまう場合や、予期せぬ障害物により転倒してしまう場合にも、人間・ロボットの両者の安全を確保する安全システムが必要不可欠である。 【0004】 そのような安全システムとしては、異常検出時に実行中の動作を一時停止するシステムが考えられるが、現在のロボットでは、オペレータの監視により異常を検出し、ロボット本体または操作パネル等にある緊急停止ボタンを介して停止信号を送信するというシステムがほとんどである。 【0005】 また、従来、音声入力によって指示を与えて動作させる産業ロボットにおいて、現在動作に対する禁止動作がメモリされた記憶手段と、音声入力部からの禁止動作が入力された場合に動作を一旦停止させる停止手段とを備え、音声指示入力が行われた場合にその音声指示入力が前記禁止動作か否かを判断して、禁止動作であれば、前記停止手段によって産業用ロボットを自動的に一旦停止させることにより、好ましくない動作への移行を防止して安全を確保する技術が提案されている(特許文献1参照)。 【特許文献1】特開平6−32587号公報 【発明の開示】 【発明が解決しようとする課題】 【0006】 前述したような、オペレータの監視により異常を検出し、ロボット本体または操作パネル等にある緊急停止ボタンを介して停止信号を送信するというシステムにおいては、ロボットの動作を監視している人が安全システムの一部となるために、監視者のヒューマンエラーによる事故を防ぐことは難しい。 【0007】 また、特許文献1で提案されているシステムにおいては、現在動作に対応させて記憶された禁止動作が指示された場合のみ、動作の停止を行うようにしているため、産業ロボットの可動範囲内に人間が不用意に進入してしまったような場合には、前記禁止動作を咄嗟に指示してロボットの動作を停止させることは極めて困難である。 【0008】 本出願の発明者らは、これまでテレビなどの雑音がある生活環境において、ロボットと人間が自然なコミュニケーションを実現するために、マイクロホンアレイと視覚システムを用いた音声インターフェースの開発を進めてきた(非特許文献1参照)。 【0009】 【非特許文献1】I.Hara, F.Asano, H.Asoh, N.Ichimura, Y.Kawai, F.Kanehiro,H.Hirukawa and K.Yamamoto, “Robust speech interface based on audio and video information fusion for humanoid HRP-2”, in Proc. of I ROS-2004, pp.2404-2410,2004. 【0010】 ロボットの緊急停止システムでは、この音声インターフェースを用いて、「止まれ」などの停止用音声コマンドを認識して実現することも可能であるが、音声認識による手法では、その発話の完了後でなければ正確に認識することが難しいため、1.5〜2秒程度の遅延が生じる。 【0011】 また、音声認識システムでは、認識可能な言語による制限も存在する。人間共存型のロボットシステムにおいて、特に人とロボット間の事故を未然に防ぐためには、より即応的で発話者やその発話言語、発話方向に依存しない音声インターフェースの実現が必要である。 【0012】 そこで、本発明は、前述したような従来のロボットの停止システムにおける問題点を解決し、ロボットの動作環境内の人が誰でも簡単に、且つ、特殊な装置なしにロボットの動作を緊急停止させることができる、叫び声によるロボットの緊急停止方法及びシステムを提供することを目的とする。 【課題を解決するための手段】 【0013】 人間の日常会話では、「えー」や「あのー」のような言い淀みや韻律のような非言語情報が多く見られる。本出願の発明者らは、この非言語情報を積極的に使って安定で効率的な音声インターフェースを実現しており(非特許文献2参照)、言い淀みの中でも母音を引き伸ばす有声休止が持つ音響的特徴を、生活雑音下でも音響信号処理のみで安定して検出する手法を提案している(特許文献2、非特許文献3参照)。 【0014】 【特許文献2】特許第3376487号公報 【非特許文献2】後藤真孝, ”非言語情報を活用した音声インターフェース”,情報処理学会 音声言語情報処理研究会 研究報告 2004-SLP-52-7, Vol.2004, No.74, pp.41-46, 2004. 【非特許文献3】後藤真孝, 伊藤克亘, 速水悟, ”自然発話中の有声休止箇所のリアルタイム検出システム”,電子情報通信学会論文誌 D-II Vol.J83-D-II No.11, pp.2330-2340,2000. 【0015】 本出願の発明者らは、緊急事態を知らせる場合によく使われる「止まれー!」や「Freeeeeze!」のような “叫び声”にも母音の引き伸ばし部分が含まれることに着目し、前述したような従来技術の課題の解決を試みた。 【0016】 前記課題を解決するため、本発明の叫び声によるロボットの緊急停止方法は、ロボットに設けられた音声音響入力部に入力された音声音響信号に対して周波数解析を行い、前記解析結果から得られた基本周波数の変動量とスペクトル包絡の変形量に基づいて、叫び声の音響的特徴を定量的に捉え、前記音響的特徴に基づいて、前記入力された音声音響信号が叫び声であると判定する信頼度を評価し、前記信頼度が所定の評価基準値を超えた場合に前記ロボットの動作を緊急停止するようにしたものである。 【0017】 本発明の叫び声によるロボットの緊急停止方法においては、前記基本周波数と前記スペクトル包絡は、最も優勢な高調波構造に基づいて推定することが望ましい。 【0018】 また、本発明の叫び声によるロボットの緊急停止システムは、ロボットに設けられた音声音響入力部に入力された音声音響入力信号に対して周波数解析を行い、基本周波数の変動量とスペクトル包絡の変形量を算出する周波数解析手段と、前記周波数解析手段により算出された基本周波数の変動量とスペクトル包絡の変形量に基づいて、叫び声の音響的特徴を定量的に捉え、前記音響的特徴に基づいて、前記入力された音声音響信号が叫び声であると判定する信頼度を評価し、前記信頼度が所定の評価基準値を超えた場合に叫び声検出信号を出力する叫び声判定手段と、前記叫び声判定手段が出力する叫び声検出信号に基づいて前記ロボットの動作を緊急停止させる緊急停止手段とを備えたものである。 【0019】 本発明のロボットの緊急停止システムにおいては、前記周波数解析手段は、前記基本周波数と前記スペクトル包絡を最も優勢な高調波構造に基づいて推定するものであることが望ましい。 【発明の効果】 【0020】 本発明によれば、ロボットの動作範囲内に人間が不用意に入り込んだ場合や、予期しない障害物の存在により、ロボットが転倒する恐れがある場合に、特殊な装置を必要とせずに、発話者の言語に依存しない叫び声によって、即応的にロボットの動作を緊急停止させることができるため、人間とロボットとが共存する環境において、両者の安全を確保することができる。 【発明を実施するための最良の形態】 【0021】 日常会話において頻繁に発生する言い淀みの中でも母音を引き伸ばす有声休止には、(A)基本周波数の変動が小さい、(B)スペクトル包絡の変形が小さいという2つの音響的な特徴がある(前述の非特許文献3参照)。 【0022】 緊急停止を知らせる「止まれー」などの“叫び声”にもこの有声休止と同様な母音を引き伸ばす部分が存在する。また、“叫び声”をロボットの緊急停止システムに使用することにより、次の3つの利点がある。 1)発話が容易であること。( “叫ぶ”という行為自体が、緊急時の自然な行為である。) 2)SN比が大きいこと。(通常時の発話と比較して大きな声で発話する。) 3)言語に依存しないこと。(母音の引き伸ばし部分が重要であるため、発話者の言語に依存しない。) したがって、叫び声を用いたロボットの緊急停止システムにおいては、実用面において、非常に確実な動作が期待される。 【0023】 先述の(A)、(B)2つの特徴から、毎時刻tにおける入力信号中の基本周波数F0(t)と、スペクトル包絡Env(n,t) の推定を行い、過去一定期間のそれぞれの変化量Af(t)、As(t)の持続的な累積値を評価することで、母音の引き伸ばしを伴う“叫び声”を検出することができる。 【0024】 図1は、本発明のロボット緊急停止システムの1実施形態を示すものであって、ヒューマノイドロボットの動作を制御する音声インターフェイスシステムに、本発明の叫び声を用いたロボットの緊急停止システム(以下、単に緊急停止システムという。)を統合したシステムを示す図である。 【0025】 同図に示すシステムにおいては、通常時は、前記ロボットが搭載するマイクロホンアレイと広視野カメラを用いたロバスト音声インターフェース(前出の非特許文献1参照)を用いて、ユーザからの命令を音源分離、雑音除去、音声認識の処理を介して認識することで、コマンドインタプリタに対して当該ロボットに動作命令を発行している。 【0026】 音声認識の前処理の部分は、1.5 秒から2 秒の周期で動作しているため、緊急時など即応的な命令の発行には向いていない。そこで、緊急時には、緊急停止システム1がマイクロフォンアレイから直接入力された叫び声により、ロボットの動作制御モジュールへ直接緊急停止信号を送出してロボットの動作を緊急停止できるようにしている。 【0027】 前記緊急停止システム1は、叫び声検出モジュール2と緊急停止モジュール3から構成されており、叫び声検出モジュール2は、本発明における音声音響入力部としてのマイクロフォンアレイから入力された音響信号が叫び声か否かを判定し、当該音響信号が叫び声であると判定した場合に叫び声検出信号を出力するようになっている。 【0028】 一方、緊急停止モジュール3は、叫び声検出モジュール2から叫び声検出信号を受け取ると、ロボットの動作を制御している動作制御モジュールへ緊急停止信号を出力し、ロボットの動作を緊急停止させる機能を有している。 【0029】 また、叫び声検出モジュール2からの叫び声検出信号は、ロボットのコマンドインタプリタ(コマンドインターフェース)へも同時に送られる。当該信号を受けたコマンドインタプリタは、その時点において実行中の動作シーケンスを破棄するとともに、音声命令の受付を一旦停止する。 【0030】 本実施形態においては、緊急停止モジュール3は、ロボットの危険な状態が回避された後、手動により、コマンドインタプリタへ復帰信号を出力できるようになっていて、コマンドインタプリタが当該復帰信号を受信した後は、再び音声命令の受付が可能に構成されている。 【0031】 これによって、緊急時の叫び声にも即応的に対応でき、特に、複数の方向からの音響信号を拾うことができるマイクロフォンアレイを用いることで、全方向からの入力に対しても対応することが可能になっている。 【0032】 なお、緊急停止モジュール3では、ロボットを即時停止状態にするために、非特許文献4に記載の緊急停止動作生成アルゴリズムを用いている。このアルゴリズムによれば、ロボットの歩行動作時においても、実時間で安定した停止動作と復帰動作を実現することが可能である。 【非特許文献4】M.Morisawa,S.Kajita, K.Harada, K.Fujiwara, F.Kanehiro,K.Kaneko and H.Hirukawa, “Emergency stop algorithm forwalking humanoid robots”, in Proc of IROS-2005, pp.31-37, 2005. 【0033】 図2に示すように、緊急停止システム1が備えている叫び声検出モジュール2は、周波数解析手段2Aと叫び声判定手段2Bから構成されている。 【0034】 また、図3は、本発明のロボット緊急停止システム1の動作フローを示す図であって、先ず、ロボットに搭載された、音声音響入力部としてのマイクロフォンアレイから送られてきた音響信号を叫び声検出モジュール2が検知すると(step1)、周波数解析手段2Aは、瞬時周波数λ(ω,t)を算出し(step2)、これに基づいて周波数成分ψf(t)の抽出を行う(step3)。 【0035】 次に、周波数解析手段2Aは、入力された音響信号中で最も優勢な(パワーの大きい)高調波構造の基本周波数FF0 (t)を音声の基本周波数として推定する(step4)。ここで、基本周波数FF0 (t)は、下記の(数1)で示す関数 PF0(F,t)を定義し、これを最大とする周波数して算出する。 【0036】 【数1】
【0037】 なお、(数1)の式中においては、周波数をあらわすxとFはHzではなく、下記の(数2)により定義されるcentという単位を用いてある。 【数2】
【0038】 また、前記(数1)において、p(x;F)は基本周波数がFの高調波成分だけを通過させるフィルタ関数であり、Ψ’p(x,t)は、周波数軸がcentの単位で表現された(対数表現された)周波数成分のパワー分布関数である。ここで、周波数成分のパワー分布関数は、周波数成分を求め、この各周波数における短時間フーリエ変換を行うことで定義される関数である。(前出の特許文献2参照。) 【0039】 次に、周波数解析手段2Aは、図3のstep5に示すように、スペクトル包絡の推定を行う。ここでは、スペクトル包絡の推定は、実環境で様々な雑音による影響を少なくするため、前述した基本周波数FF0(t)の高調波構造上にある局所的な情報だけを利用して行い、最初に、基本周波数FF0(t)の第k次高調波成分のパワーPow(k,t;FF0(t)) を基本周波数の整数倍の周波数を中心とするガウス分布で重み付けしながら、その近傍の最大パワーとして算出する。 【0040】 次に、周波数解析手段2Aは、線形スケールの周波数軸上で、隣接するPow(k,t;FF0(t))の間を直線補間してスペクトル包絡を求める。スペクトル包絡の計算には、日本語の母音の第1、第2フォルマントをとらえるような上限周波数(3200Hz)を考慮し、さらに、包絡の大局的な変形を捉える必要があるため、前述した直線補間で求めたスペクトル包絡を、粗い周波数分解能ζ(200Hz)でリサンプリングして、低いほうからn(1≦n≦Nmax(15))点目の周波数nζにおけるスペクトル包絡Env(n,t)を求める。 【0041】 最後に、肺からの呼気によるAM変調の影響を除去するために、(数3)に示す条件を満たすように正規化を行っている。 【数3】
【0042】 次に、周波数解析手段2Aは、step4で推定した基本周波数FF0(t)から、step6において、その変動量Af(t)を算出するとともに、step5で推定したスペクトル包絡Env(n,t)から、step7において、スペクトル包絡の変形量As(t)を算出する。 【0043】 次のstep8において、叫び声判定手段2Bは、前述した基本周波数の変動量Af(t)とスペクトル包絡の変形量As(t)から叫び声らしさPfp(t) の推定を行う。ここで、叫び声らしさPfp(t) は、(数4)に示すように定義している。 【0044】 【数4】
【0045】 ここで、Sf(t)、 Ss(t)はそれぞれ一定期間(10フレームシフト)の基本周波数の変動量Af(t)の平均、スペクトル包絡の変形量As(t)の平均を表している。また、Rは2つの特徴に対する重み付けを決める定数、Wは、主に考慮する変動・変形の範囲を決める定数であって、本実施形態においては、R=0.034、W=0.575としている。 【0046】 次のstep9において、叫び声判定手段2Bは叫び声の検知を行う。ここでは、前述したように推定された叫び声らしさPfp(t) が閾値Tminを超えたか否かを判定し、閾値Tmin以下である場合には、緊急停止システム1が備える図示しない記憶手段に累積値Sの値を0として記憶させ、step1以降の処理を再実行させる。 【0047】 一方、step9において、Pfp(t) が閾値Tminを超えたと判定された場合には、さらに次のstep10において、叫び声らしさの累積値S+Pfp(t)が閾値Tacm を超えたか否かを判定し、閾値Tacm 以下である場合には、前記記憶手段が記憶している累積値SをS+Pfp(t)に更新して、step1以降の処理を再実行させる。 【0048】 また、step10において、叫び声判定手段2Bが叫び声らしさの累積値S+Pfp(t)が閾値Tacm を超えたと判定した場合には、叫び声検出モジュール2から緊急停止モジュール3へ叫び声検出信号が出力される。そして、これを受けた緊急停止モジュール3は、step11において、ロボットの動作制御モジュールへ緊急停止信号を出力し、ロボットの動作を停止させる。 【0049】 ロボットが停止し、危険な要因を取り除いて安全確認を行った後、緊急停止モジュール3から手動でロボット側に復帰信号を出力することにより、復帰処理が終了する(step12)。前記復帰処理が完了すると、前記累積値Sの値は0にリセットされる。 【0050】 以上に説明した緊急停止システム1は、ロボット側と必要なデータを授受可能なインターフェースを備えた汎用のコンピュータによって構成してもよく、その場合には、前述した図3に示すstep1〜step12の各ステップの処理を行うプログラムを前記コンピュータのメモリに読み込んで実行させることで、前述した緊急停止システム1を実現することができる。 【0051】 さらに、前述した実施形態においては、図1に示すように緊急停止システム1は、平常時のロボットの動作を制御するシステムの部分とは独立させて設けているが、ロボットに搭載されるコンピュータが高い処理能力を有している場合には、前記コンピュータに平常時のロボットの動作を制御するための処理と併せて、緊急時に叫び声で停止させるための緊急停止システムとしての処理を行わせるようにしてもよい。 【実施例】 【0052】 本発明の有効性を確認するために、前述した図1に示したシステムにより、叫び声による緊急停止実験を行った。図4に示すように、“Voice”で示された位置に人が座わり、そこから5m離れた位置からロボットを1.35km/hの速度で接近歩行させて、手前2mまで近づいた地点で「Freeeeeeeze!」と叫び声を上げることで緊急停止させるようにした。 【0053】 図5は、この実験時にロボットに搭載されたマイクロフォンアレイの一つのマイクに入力された音響波形であって、同図の時刻Aで発話を開始し、時刻Bで“叫び声”の検出を行い、時刻Cで緊急停止動作を完了した。このときの人の発話レベルと、ロボット自身の歩行動作により発生した雑音のレベルは、それぞれ75dBA、 63dBA(音のレベルはそれぞれ音源から1m離れた位置で計測した値)であった。 【0054】 この実験においては、叫び声の発話開始から約1.2秒で緊急停止動作が行われ、約30cm以内の歩行でロボットを停止させることができた。この結果は、通常時の音声認識周期よりも短く、ロボットが特定の停止用音声コマンドを認識する場合よりも迅速に停止可能であることを示している。 【0055】 次に、環境雑音のある状態において、ロボットの緊急停止が可能な叫び声のレベルを調査した。人間の叫び声のレベルを正確に調整することは困難であるため、あらかじめ録音した叫び声を図4における“Voice”の位置に設置したスピーカーから流し、65dBAから75dBAまでレベルを変化させて計測を行った。 【0056】 一方、環境雑音として、“Noise”の位置から男声ボーカル入りのジャズ音楽(楽曲はRWC 研究用音楽データベース(非特許文献5参照)RWCMDB-J-2001 No.36)を65dBAで流し続けた。 【非特許文献5】後藤真孝, 橋口博樹, 西村拓一, 岡隆一, ”RWC研究用音楽データベース:研究目的で利用可能な著作権処理済み楽曲・楽器音データベース”, 情報処理学会論文誌 Vol.45, No.3, 2004. 【0057】 この実験結果においては、70dBA以上の叫び声であれば、約4m 離れた場所でもほぼ100%で緊急停止動作をさせることができた。先に行った実験では、人の叫び声のレベルが75dBAであったことを考慮すると、通常の生活環境下では、今回実装した本発明の緊急停止システムは、実用面で十分に有効であると考えられる。 【産業上の利用可能性】 【0058】 本発明の叫び声によるロボットの緊急停止方法及びシステムは、家庭における家事支援や高齢者の自立支援、介助、介護等や、オフィスにおける業務の支援等、人間と共存しながらサービスを提供するロボットの緊急停止技術として好適に利用することができる。さらに、工場等の中で人間と共存する環境で動作する産業用ロボットや、自律走行する無人走行車等の緊急停止技術としても広く利用可能である。 【図面の簡単な説明】 【0059】 【図1】ヒューマノイドロボットの動作を制御する音声インターフェイスシステムに本発明に係る緊急停止システムを統合したシステム構成を示す図である。 【図2】本発明に係る緊急停止システムのブロック図である。 【図3】本発明に係る緊急停止システムの動作フローを示す図である。 【図4】叫び声によるロボットの緊急停止実験における、叫び声の発話位置と環境雑音の発音源の位置との関係を示す図である。 【図5】緊急停止実験時にロボットのマイクロフォンに入力された叫び声の音響波形を示す図である。 【符号の説明】 【0060】 1 緊急停止システム 2 叫び声検出モジュール 2A 周波数解析手段 2B 叫び声判定手段 3 緊急停止モジュール(緊急停止手段)
|
| 【出願人】 |
【識別番号】301021533 【氏名又は名称】独立行政法人産業技術総合研究所
|
| 【出願日】 |
平成18年8月28日(2006.8.28) |
| 【代理人】 |
|
| 【公開番号】 |
特開2008−49462(P2008−49462A) |
| 【公開日】 |
平成20年3月6日(2008.3.6) |
| 【出願番号】 |
特願2006−231291(P2006−231291) |
|