音声認識装置

トップ :: G 物理学 :: G10 楽器;音響

【発明の名称】	音声認識装置
【発明者】	【氏名】西浦敬信【氏名】中村哲
【要約】	【課題】話者の方向又は位置を推定して音声認識率を向上させることができる音声認識装置を提供する。【解決手段】複数のマイクロホンを所定の間隔で並置してなるマイクロホンアレー１０を備えた音声認識装置において、方向推定部１３は、各マイクロホンから出力される電気信号に基づいてマイクロホンアレーで受信される少なくとも１つの音源の方位角を推定し、ビームフォーミング部１４は、各マイクロホンから出力される電気信号に基づいて推定された少なくとも１つの音源の方位角の方向に対応する少なくとも１つのビーム信号を生成する。次いで、音源判定部１６は各ビーム信号に基づいて音声のＨＭＭと雑音ＨＭＭとを用いて各ビーム信号が音声であるか非音声であるかを判定し、音声認識部１７は音声であると判定されたときに、当該ビーム信号に対して音声認識を行って音声認識結果を出力する。

【特許請求の範囲】
【請求項１】複数のマイクロホンを所定の間隔で並置してなるマイクロホンアレーと、上記各マイクロホンから出力される電気信号に基づいて上記マイクロホンアレーで受信される少なくとも１つの音源の方位角又は位置を推定する推定手段と、上記各マイクロホンから出力される電気信号に基づいて上記推定手段により推定された少なくとも１つの音源の方位角又は位置の方向に対応する少なくとも１つのビーム信号を生成するビームフォーミング手段と、上記ビームフォーミング手段により生成された少なくとも１つのビーム信号に基づいて、音声の隠れマルコフモデルと、雑音の隠れマルコフモデルとを用いて、上記各ビーム信号が音声であるか非音声であるかを判定する判定手段と、上記判定手段により音声であると判定されたときに、当該ビーム信号に対して音声認識を行って音声認識結果を出力する音声認識手段とを備えたことを特徴とする音声認識装置。
【請求項２】上記雑音の隠れマルコフモデルは、複数の環境音に基づいて生成された混合ガウス分布を有する隠れマルコフモデルであることを特徴とする請求項１記載の音声認識装置。

【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、マイクロホンアレーを備えた音声認識装置に関する。
【０００２】
【従来の技術】テレビ会議システムや音声による機器の制御において、発話者から離れた位置にあるマイクロホンで発話者の音声を高音質に受音することは極めて重要である。そこで発話者から離れた位置にあるマイクロホンでも発話者の音声を高音質に受音する方法としてマイクロホンアレーが注目されている。しかし、マイクロホンアレーを用いて高音質に発話者の音声を受音するためには、発話者の方向又は位置を推定することが必要となる。
【０００３】
【発明が解決しようとする課題】しかしながら、これまでの方向又は位置推定に関する研究では、音源位置を推定（例えば、従来技術文献１「安部正人，“多数センサによる音源推定”，音響学会論文誌，Ｖｏｌ．５１，Ｎｏ．５，ｐｐ．３８４－３８９，１９９５年」など参照。）することは多数試みられているが、話者の方向や位置を推定することは困難であった。また、これに伴って、別の方向からの雑音を収集して、音声認識率を向上させることができないという問題点があった。
【０００４】本発明の目的は以上の問題点を解決し、話者の方向又は位置を推定して音声認識率を向上させることができる音声認識装置を提供することにある。
【０００５】
【課題を解決するための手段】本発明に係る音声認識装置は、複数のマイクロホンを所定の間隔で並置してなるマイクロホンアレーと、上記各マイクロホンから出力される電気信号に基づいて上記マイクロホンアレーで受信される少なくとも１つの音源の方位角又は位置を推定する推定手段と、上記各マイクロホンから出力される電気信号に基づいて上記推定手段により推定された少なくとも１つの音源の方位角又は位置の方向に対応する少なくとも１つのビーム信号を生成するビームフォーミング手段と、上記ビームフォーミング手段により生成された少なくとも１つのビーム信号に基づいて、音声の隠れマルコフモデルと、雑音の隠れマルコフモデルとを用いて、上記各ビーム信号が音声であるか非音声であるかを判定する判定手段と、上記判定手段により音声であると判定されたときに、当該ビーム信号に対して音声認識を行って音声認識結果を出力する音声認識手段とを備えたことを特徴とする。
【０００６】また、上記音声認識装置において、上記雑音の隠れマルコフモデルは、好ましくは、複数の環境音に基づいて生成された混合ガウス分布を有する隠れマルコフモデルであることを特徴とする。
【０００７】
【発明の実施の形態】以下、図面を参照して本発明に係る実施形態について説明する。
【０００８】図１は、本発明に係る一実施形態である音声認識装置の構成を示すブロック図である。この実施形態に係る音声認識装置は、特に、マイクロホンアレー１０を備え、方向推定部１３と、ビームフォーミング部１４と、音源判定部１６とを備えたことを特徴としている。すなわち、本実施形態では、マイクロホンアレー１０で受信された音源信号に基づいて方向推定を行ってビーム信号を生成し、生成されたビーム信号に基づいて、ＨＭＭを用いた音声モデル及び環境音の雑音モデルにより音声であるか非音声であるかの識別（音源判定）を行い、音源が或る特定の話者であるかどうか識別を行い、さらに音源が話者であればその音声に対して音声認識を行うことを特徴としている。
【０００９】例えば，図２に示すように、マイクロホンアレー１０に対して正面方向から音声、右方向から非音声のホワイトノイズが到来する場合を考える。ここで、高音質に音声を受音するためには、音源方向を推定し、その後、推定方向に対してビームフォーミングを行う必要がある。しかしながら、この状況において音源方向を推定することができても、話者がどの方向であるのかわからない。そこで、本実施形態においては、音声のみを高音質に受音するために音源判定部１６により音源の識別を行う。図１の音声認識装置においては、ビームフォーミング部１４により形成された高音質に受音した音のビーム信号に対して、音源判定部１６において、様々な環境音から作成した環境音の雑音モデルと音声モデルを用いて尤度を計算し、音声及び非音声の識別を行うことにより、音源が話者であるかどうか識別する。さらに音源が話者であれば、音声認識部１７によりその音声に対して認識を行う。
【００１０】本実施形態において、ＨＭＭを用いた音声モデル及び環境音の雑音モデルにより音源識別を行うためには、モデル作成のためにあらかじめ様々な環境音が必要となる。そこで、本実施形態では、ＲＷＣＰ実環境音声・音響データベース（以下、ＲＷＣＰ－ＤＢという。）（例えば、従来技術文献２「S. Nakamura et al.,”Data Collection in Real Acoustical Environments for Sound Scene Understanding and Hands-Free Speech Recognition”,Proc. Eurospeech99, pp.2255-2258, 1999」参照。）を用いて環境音の雑音モデルを作成した。表１に環境音データベースの内容を示す。表１では９種類の系統を示しているが、全体のデータとして約１００種類１０，０００サンプルの環境音が存在する。
【００１１】
【表１】
環境音データベース――――――――――――――――――――――――――――――――――― 音源の系統音源の例―――――――――――――――――――――――――――――――――――衝撃系木質木板を木棒で叩くなど金属金板を金棒で叩くなどプラスチックプラケースを木棒で叩くなどセラミックガラスを叩くなど―――――――――――――――――――――――――――――――――――動作系粒子落下系豆を箱に注ぐなどガス噴射系スプレーの噴射など摩擦系ノコギリを引くなど破裂破壊系割箸を折るなど弾性音系拍手など―――――――――――――――――――――――――――――――――――特徴的金属小物系鈴を鳴らすなど紙系紙を破るなど楽器系ラッパの音など電子音系電話の呼出音など機械系ゼンマイの音など―――――――――――――――――――――――――――――――――――【００１２】本実施形態において、雑音波形データベースメモリ２２は、上述の９２種類の環境音の波形信号を格納し、雑音ＨＭＭ生成部３２は、雑音波形データベースメモリ２２内の環境音である雑音の波形信号に基づいて、公知のＥＭ（Expectation Maximization）アルゴリズムを用いて、出力尤度が最大となるように、例えば３状態で複数混合の混合ガウス分布を有する雑音隠れマルコフモデル（以下、隠れマルコフモデルをＨＭＭという。）を生成して、雑音ＨＭＭメモリ４２に出力して格納する。一方、音素ラベル付き音声波形データベースメモリ２１は、例えば特定話者が所定の文章（テキスト）を読み上げたときの音声波形信号を音素ラベル付きで格納し、音素ＨＭＭ生成部３１は、音声波形データベースメモリ２１内の音声波形信号に基づいて、各音素毎に、複数の信号データを用い、かつＥＭアルゴリズムを用いて、出力尤度が最大となるように、例えば合計５４音素であり、各音素で３状態で複数混合の混合ガウス分布を有する音素ＨＭＭを生成し、各音素ＨＭＭをそれぞれ音素ＨＭＭメモリ４１－１乃至４１－５４に出力して格納する。ここで、これら５４個の音素ＨＭＭは特定話者の音声ＨＭＭを構成しており、上述の雑音ＨＭＭとともに音源判定部１６における音声か非音声かの識別で用いる。なお、音声認識部１７のために、不特定話者の音素ベースの単語ＨＭＭが予め公知の方法で生成されて、音素ベース単語ＨＭＭメモリ５１に格納されている。
【００１３】図１において、マイクロホンアレー１０は、複数のマイクロホン１１を所定の間隔で１直線上に並置して構成され、各マイクロホン１１は入力される音声又は非音声を受信した後、それぞれ音声信号又は非音声信号である電気信号に変換してＡ／Ｄ変換器１２に出力する。次いで、Ａ／Ｄ変換器１２は、各マイクロホン１１から出力される電気信号を所定のサンプリング周波数でディジタルデータ信号にＡ／Ｄ変換して方向推定部１３及びビームフォーミング部１４に出力する。
【００１４】方向推定部１３は、入力されるディジタルデータ信号のうち所定のしきい値レベル以上の信号を計算対象とし、例えば公知の白色化相互相関法（以下、ＣＳＰ法という。）（例えば、従来技術文献３「T. Nishiura et al., "Localizationof Multiple Sound Sources Based on a CSP Analysis with a Microphone Array", Proceedings of ICASSP2000, pp.1053--1056, 2000」参照。）を用いて、複数のディジタルデータ信号のＣＳＰ係数及び到来時間差（ＤＯＡ：Delay of Arrivals）を推定する。具体的には、以下の数１に示すように、複数のディジタルデータ信号をフーリエ変換して振幅で正規化を行った後、位相差を計算し、逆フーリエ変換を行ってＣＳＰ係数を計算する。次いで、ＣＳＰ係数の大きくなる時間差（相関の強い時間差）τを計算することにより、到来時間差の推定を行うことができる。ここで、音源が１つしか存在しないときは、音源方向を推定するときは、数１及び数２により時間差τを計算した後、数３を用いて方位角θを推定する。推定された方位角θは方向推定部１３からビームフォーミング部１４に出力される。なお、以下の式では、マイクロホンｉ，ｊで信号ｓ_i（ｎ），ｓ_j（ｎ）を受信したものとし、ｃは音速、ｄはマイクロホン間隔、Ｆｓはサンプリング周波数である。
【００１５】
【数１】ＣＳＰ_i,j（ｋ）＝ＤＦＴ－１［（ＤＦＴ［ｓ_i（ｎ）］ＤＦＴ［ｓ_j（ｎ）］^*）／（｜ＤＦＴ［ｓ_i（ｎ）］｜｜ＤＦＴ［ｓ_j（ｎ）］｜）］
【数２】τ＝ａｒｇｍａｘ（ＣＳＰ_ij（ｋ））
【数３】θ＝ｃｏｓ^-1（ｃ・τ／（Ｆｓ・ｄ））
【００１６】また、音源が複数存在する場合においても公知の方法により同様に方位角θを計算でき、この場合、複数の方位角θの情報がビームフォーミング部１４に出力され、ビームフォーミング部１４は複数のビーム信号を生成する。なお、方向推定においては、ＣＳＰ法を用いているが、本発明はこれに限らず、ＣＳＰ係数の加算法とビームフォーミングを用いた複数音源方向のクラスタリングを組み合わせた改善法、ビームフォーミングによる音源推定法、ＭＵＳＩＣ法による音源方向推定法や、最小分散法による音源方向推定法などの公知の方法を用いてもよい。また、本実施形態においては、方向推定のみを行っているが、マイクロホンアレー１０を２組備え、互いに並置された２組のマイクロホンアレー１０を用いて２本のビームの交差点を音源の位置として特定するように構成してもよい。
【００１７】ビームフォーミング部１４は、方向推定部１３からの方位角情報に基づいて重み係数を計算する制御部と、互いに縦続接続された複数の遅延線と、各遅延線のタップからの信号を上記重み係数で乗算する乗算器と、各乗算器からの出力信号を加算する加算器とを備えて構成され、いわゆるトランスバーサルフィルタ回路又は遅延和アレー回路と呼ばれる回路である。ビームフォーミング部１４は、Ａ／Ｄ変換器１２から出力される各ディジタルデータ信号と、方位角情報に基づいて、方向推定部１３で推定された少なくとも１つの方位角における少なくとも１つのビーム信号を生成して特徴抽出部１５に出力する。次いで、特徴抽出部１５は、入力される少なくとも１つのビーム信号に基づいて、例えば１６次のメルケプストラム係数と、１６次のΔメルケプストラム係数と、Δパワーとを含む特徴ベクトルを抽出して音源判定部１６及び音声認識部１７に出力する。そして、音源判定部１６は、入力される各ビーム信号の特徴ベクトルに基づいて、音素ＨＭＭメモリ４１－１乃至４１－５４内の音声ＨＭＭと、雑音ＨＭＭメモリ４２内の非音声の雑音ＨＭＭとを用いて尤度を計算して最大の尤度を有するＨＭＭを選択することにより、音声であるか非音声（雑音又は環境音）であるか、音声のときはどの音素であるかを判定して、その判定情報を音声認識部１７に出力する。さらに、音声認識部１７は、音源判定部１６により入力された音源の信号が音声と判断されたときに、特徴抽出部１５から順次出力される特徴ベクトルに基づいて、音素ベース単語ＨＭＭメモリ５１内の単語ＨＭＭを用いて尤度を計算して最尤基準により音声認識を行い、音声認識結果の文字列を出力する。
【００１８】以上の実施形態において、方向推定部１３と、ビームフォーミング部１４と、特徴抽出部１５と、音源判定部１６と、音声認識部１７と、音素ＨＭＭ生成部３１と、雑音ＨＭＭ生成部３２とは、例えばディジタル計算機などのコンピュータで構成され、また、音声波形データベースメモリ２１と、雑音波形データベースメモリ２２と、音素ＨＭＭメモリ４１－１乃至４１－５４と、雑音ＨＭＭメモリ４２と、音素ベース単語ＨＭＭメモリ５１とは、例えばハードディスクメモリなどの記憶装置で構成される。
【００１９】
【実施例】上述のＲＷＣＰ－ＤＢには、様々な環境においてマイクロホンアレー１０を用いて測定した音響伝達特性も存在する。そこで、ＲＷＣＰ－ＤＢ中の音響伝達特性と環境音・音声を用いて仮想実環境実験を行った。この実施例においては、音源位置が既知である場合の、音源識別性能を実験的に評価した。図２に実験環境を示す。音源はマイクロホンアレー１０に対して正面方向に目的の音源、右方向に雑音源が存在する。次いで、表２に実験条件を示す。この実験条件下において１つのマイクロホン１１及びマイクロホンアレー１０を用いて、各ＳＮＲにおける音源識別性能を評価した。
【００２０】
【表２】
実験条件―――――――――――――――――――――――――――――――――――マイクロホンアレー：素子数１４，素子間隔２．８３ｃｍビームフォーミング部：遅延和アレーサンプリング周波数：１２ｋＨｚ―――――――――――――――――――――――――――――――――――フレーム長：３２ｍｓｅｃ．（ハミング窓）
フレーム周期：８ｍｓｅｃ．
特徴ベクトル：ＭＦＣＣ，ΔＭＦＣＣ，ΔパワーＨＭＭ：ガウス混合型ＨＭＭ音響モデル数：音声５４モデル（５４音素），非音声（雑音）１モデル―――――――――――――――――――――――――――――――――――音声データベース：出願人が所有する音声データベースセットＡ音声モデル学習：特定の話者ＭＨＴで２６２０語―――――――――――――――――――――――――――――――――――非音声データベース：ＲＷＣＰ－ＤＢ非音声（雑音）モデル学習：環境音９２種類×２０―――――――――――――――――――――――――――――――――――テスト（オープン）：音声：特定の話者ＭＨＴで音韻バランス２１６語非音声：環境音９２種類―――――――――――――――――――――――――――――――――――音響伝達特性：ＲＷＣＰ－ＤＢ残響時間：０．０，０．３，１．３ｓｅｃ．
―――――――――――――――――――――――――――――――――――ＳＮＲ：－５，０，５，１０，１５，２０ｄＢ―――――――――――――――――――――――――――――――――――【００２１】本実験では、音声２１６単語と環境音９２種類の合わせて３０８音に対して、音声・非音声に対する音源識別率により性能を評価した。さらに、識別結果が音声の場合には音声認識を行い、音声認識性能の評価を行った。
【００２２】図３は、１つのマイクロホンを用いたときの比較例の音声認識装置の実験結果であって、無響室及び残響可変室における信号対雑音電力比（ＳＮＲ）に対する音声識別率及び音声認識率を示すグラフであり、図４は、本実施形態のマイクロホンアレー１０を備えた音声認識装置の実験結果であって、無響室及び残響可変室における信号対雑音電力比（ＳＮＲ）に対する音声識別率及び音声認識率を示すグラフである。すなわち、図３は、１つのマイクロホンを用いたときの比較例の音声認識装置を用いたときの、無響室及び残響可変室における実験結果であり、横軸が信号対雑音電力比（ＳＮＲ）であり、縦軸は、棒グラフのとき音源識別率を示し、折れ線グラフのとき音声認識率を示す。また、図４は、本実施形態のマイクロホンアレー１０を備えた音声認識装置を用いたときの、無響室及び残響可変室における実験結果であり、横軸が信号対雑音電力比（ＳＮＲ）であり、縦軸は、棒グラフのとき音源識別率を示し、折れ線グラフのとき音声認識率を示す。
【００２３】図３及び図４から明らかなように、１つのマイクロホンよりもマイクロホンアレーを使用したほうが、音源識別率及び音声認識率が明らかに向上している。これよりマイクロホンアレーの有効性が確認できる。
【００２４】さらに、図４よりＳＮＲが０ｄＢの場合、残響可変室［残響時間Ｔ₆₀＝１．３ｓｅｃ．］でも音源識別率は９０％以上であり、また、無響室と残響可変室［Ｔ₆₀＝０．３ｓｅｃ．］では音源識別率は９８％以上であった。この音源識別率はＳＮＲが２０ｄＢの結果と全く変わらないことから、ＳＮＲが低い環境下でも高精度な音源識別が可能であることがわかる。しかしながら、ＳＮＲが０ｄＢである場合の音声認識率は無響室で約８８％、残響可変室［Ｔ₆₀＝０．３ｓｅｃ．］では約６８％となりＳＮＲが２０ｄＢの場合よりも大きく劣化している。今後、より高音質な音声受音が可能なビームフォーマの検討が必要であると考えられる。しかしながら、マイクロホンアレーを用いたＨＭＭに基づく音源識別という観点から評価した場合、高残響下（残響可変室［Ｔ₆₀＝１．３ｓｅｃ．］）において低ＳＮＲの環境でも高識別性能であることから、音源の位置が予めわかっているならば、その音源が話者であるかどうか十分に識別できることがわかった。
【００２５】この実験から明らかなように、本実施形態に係る音声認識装置によれば、方向推定部１３により音源の位置を推定することにより、音源が音声であるか非音声であるかの識別率を従来技術に比較して向上させることができるとともに、音声であるときの音声認識率を従来技術に比較して大幅に向上させることができる。また、複数の環境音に基づいて生成された雑音ＨＭＭを用いて音源識別を行ったので、環境音や雑音の種類によらず、多数の種類の環境音や雑音に対して非音声の識別を従来技術に比較して高い識別率で行うことができる。
【００２６】
【発明の効果】以上詳述したように本発明によれば、複数のマイクロホンを所定の間隔で並置してなるマイクロホンアレーを備えた音声認識装置において、マイクロホンアレーで受信される少なくとも１つの音源の方位角又は位置を推定する推定手段と、上記各マイクロホンから出力される電気信号に基づいて推定された少なくとも１つの音源の方位角又は位置の方向に対応する少なくとも１つのビーム信号を生成するビームフォーミング手段と、生成された少なくとも１つのビーム信号に基づいて、音声の隠れマルコフモデルと、雑音の隠れマルコフモデルとを用いて、上記各ビーム信号が音声であるか非音声であるかを判定する判定手段と、音声であると判定されたときに、当該ビーム信号に対して音声認識を行って音声認識結果を出力する音声認識手段とを備えて音声認識装置を構成したので、音源が音声であるか非音声であるかの識別率を従来技術に比較して向上させることができるとともに、音声であるときの音声認識率を従来技術に比較して大幅に向上させることができる。
【００２７】また、複数の環境音に基づいて生成された雑音ＨＭＭを用いて音源識別を行ったので、環境音や雑音の種類によらず、多数の種類の環境音や雑音に対して非音声の識別を従来技術に比較して高い識別率で行うことができる。

【出願人】	【識別番号】５００２０９０３３【氏名又は名称】株式会社エイ・ティ・アール音声言語通信研究所
【出願日】	平成１２年９月１９日（２０００．９．１９）
【代理人】	【識別番号】１０００６２１４４【弁理士】【氏名又は名称】青山葆（外２名）
【公開番号】	特開２００２－９１４６９（Ｐ２００２－９１４６９Ａ）
【公開日】	平成１４年３月２７日（２００２．３．２７）
【出願番号】	特願２０００－２８３５１５（Ｐ２０００－２８３５１５）