トップ :: G 物理学 :: G10 楽器;音響




【発明の名称】 音声認識システム
【発明者】 【氏名】瀬尾 尋

【氏名】駒村 光弥

【氏名】外山 聡一
【要約】 【課題】乗法性歪と加法性雑音に対してロバストな音声認識システムを提供する。

【解決手段】ＨＭＭ法で作成した音声ＨＭＭ５から乗法性歪Ｈm(cep)を減算（合成）し、ＨＭＭ法で作成した雑音ＨＭＭ６から発話音声の乗法性歪Ｈa(cep)を減算（合成）し、それぞれの減算結果Ｓm(cep)と｛Ｎm(cep)−Ｈa(cep)｝を合成することによってケプストラム領域での合成ＨＭＭ１８を作成する。発話音声のケプストラムＲa(cep)から乗法性歪Ｈa(cep)を減算（合成）することで得られるケプストラムＲ^a(cep)と合成ＨＭＭ１８のケプストラム領域での分布Ｒ^m(cep)とを照合し、最大尤度を与える合成ＨＭＭを音声認識結果とする。
【特許請求の範囲】
【請求項１】 少なくとも乗法性歪を含んだ音声に基づいて作成された音響モデルと雑音モデルを合成することで得られる合成モデルと、乗法性歪と加法性雑音を含んだ発話音声とを照合することで音声認識を行う音声認識システムであって、前記発話音声に含まれる乗法性歪の特徴成分を抽出する第１の抽出手段と、前記音響モデルに含まれる乗法性歪の特徴成分を抽出する第２の抽出手段と、前記発話音声と前記第１の抽出手段の抽出した前記乗法性歪の特徴成分とを合成する第１の演算手段と、前記音響モデルと前記第２の抽出手段の抽出した前記乗法性歪の特徴成分とを合成する第２の演算手段と、前記雑音モデルと前記第１の抽出手段の抽出した前記乗法性歪の特徴成分とを合成する第３の演算手段と、前記第２の演算手段の演算結果と前記第３の演算手段の演算結果とを合成することにより前記合成モデルを作成する作成手段とを備え、前記第１の演算手段の演算結果と前記合成モデルとを照合することにより、音声認識を行うことを特徴とする音声認識システム。
【請求項２】 少なくとも乗法性歪を含んだ音声に基づいて作成された音響モデルと雑音モデルを合成することで得られる合成モデルと、乗法性歪と加法性雑音を含んだ発話音声とを照合することで音声認識を行う音声認識システムであって、前記発話音声に含まれる乗法性歪の特徴成分を抽出する第１の抽出手段と、前記音響モデルに含まれる乗法性歪の特徴成分を抽出する第２の抽出手段と、前記発話音声と前記第１の抽出手段の抽出した前記乗法性歪の特徴成分を合成する第１の演算手段と、前記雑音モデルと、前記第１の抽出手段の抽出した前記乗法性歪の特徴成分と、前記雑音モデルに前記第２の抽出手段の抽出した前記乗法性歪の特徴成分とを合成する第２の演算手段と、前記音響モデルと前記第２の演算手段の演算結果とを合成することにより前記合成モデルを作成する作成手段と、前記合成モデルと前記第２の抽出手段の抽出した前記乗法性歪の特徴成分とを合成する第３の演算手段とを備え、前記第１の演算手段の演算結果と前記第３の演算手段の演算結果とを照合することにより、音声認識を行うことを特徴とする音声認識システム。
【請求項３】 少なくとも乗法性歪を含んだ音声に基づいて作成された音響モデルと雑音モデルを合成することで得られる合成モデルと、乗法性歪と加法性雑音を含んだ発話音声とを照合することで音声認識を行う音声認識システムであって、前記発話音声に含まれる乗法性歪の特徴成分を抽出する第１の抽出手段と、前記音響モデルに含まれる乗法性歪の特徴成分を抽出する第２の抽出手段と、前記発話音声と、前記第１の抽出手段の抽出した前記乗法性歪の特徴成分と、前記発話音声に前記第２の抽出手段の抽出した前記乗法性歪の特徴成分とを合成する第１の演算手段と、前記雑音モデルと、前記第１の抽出手段の抽出した前記乗法性歪の特徴成分と、前記雑音モデルに前記第２の抽出手段の抽出した前記乗法性歪の特徴成分とを合成する第２の演算手段と、前記音響モデルと前記第２の演算手段の演算結果とを合成することにより前記合成モデルを作成する作成手段とを備え、前記第１の演算手段の演算結果と前記合成モデルとを照合することにより、音声認識を行うことを特徴とする音声認識システム。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、雑音や、伝送系等の歪みに対してロバスト（頑健）な音声認識システムに関する。
【０００２】
【従来の技術】従来、例えば車載用ナビゲーション装置等の電子機器では、マンマシンコニュニケーション等を可能にする音声認識システムが注目され、図４に示すような情報処理アルゴリズムに基づいて構成された音声認識システムが知られている。
【０００３】この音声認識システムは、隠れマルコフモデル（Hidden Markov Model：ＨＭＭ）を用いて単語やサブワード（音素、音節など）単位の音響モデル（音声ＨＭＭ）を作成しておき、認識すべき音声が発話されると、その発話音声のケプストラムの時系列である観測値系列を生成して、観測値系列と音声ＨＭＭとを照合し、最大尤度を与える音声ＨＭＭを選んでこれを認識結果として出力する。
【０００４】より具体的には、音声データベースに実験的に収集して記憶しておいた大量の音声データＲmを１０〜２０msec程度のフレーム単位に区分けし、各フレーム単位のデータを順次にケプストラム（Cepstrum）演算することにより、ケプストラムの時系列を求め、更にこのケプストラムの時系列を音声の特徴量として学習処理し、音響モデル（音声ＨＭＭ）のパラメータに反映させることで、単語やサブワード単位の音声ＨＭＭを作成している。
【０００５】実際に発話が行われると、その発話音声のデータＲaを上記同様のフレーム単位に区分けして入力し、各フレーム単位の発話音声データを順次にケプストラム演算することによってケプストラムの時系列である観測値系列を生成し、観測値系列と音声ＨＭＭとを単語やサブワード単位で照合して、観測値系列と最も尤度の高い音声ＨＭＭを音声認識結果として出力することにより、音声認識が行われている。
【０００６】ところが、音声ＨＭＭを作成するための音声データＲmを収集する際、マイクロフォンや電気伝送系等における乗法性歪の影響を受けた音声データＲmが収集されてしまい、精度の良い音声ＨＭＭを生成することが困難になる場合や、認識すべき発話音声が発話された際、室内雑音や背景雑音等の加法性雑音と、口元からマイクロフォンまでの空間的伝達特性、マイクロフォンや電気伝送系等における乗法性歪などが発話データＲaに悪影響を及ぼす場合があることから、加法性雑音と乗法性歪の影響を受け難い音声認識システム、すなわちロバスト（robust）な音声認識システムの構築が重要な課題となっている。
【０００７】こうした課題に対処すべく、加法性雑音に対してはＨＭＭ合成法、乗法性歪に対してはケプストラム平均正規化法（Cepstrum Mean Normalization：ＣＭＮ）が提案されている。
【０００８】ＨＭＭ合成法を適用した音声認識システムは、図５に示すように、ＨＭＭ法で作成した音声の音響モデル（音声ＨＭＭ）と加法性雑音の音響モデル（雑音ＨＭＭ）とを備え、更に音声ＨＭＭと雑音ＨＭＭを合成することによって加法性雑音を含んだ音声の雑音重畳音響モデル（合成ＨＭＭ）を作成し、その合成ＨＭＭと発話音声データに基づいて生成した観測値系列とを照合して、最も尤度の高い合成ＨＭＭを音声認識結果として出力するようになっている。
【０００９】ここで、音声ＨＭＭは、加法性雑音を含まないクリーンな音声のデータＳmをフレーム化し、ケプストラム演算及び学習処理することによって作成されている。
【００１０】雑音ＨＭＭは、非音声区間から収集した雑音データＮmを上記同様にフレーム化し、ケプストラム演算及び学習処理することによって作成されている。
【００１１】合成ＨＭＭは、音声ＨＭＭと雑音ＨＭＭとを線形領域で足し合わせることによって作成されている。ただし、音声ＨＭＭと雑音ＨＭＭはケプストラム領域（cep）での分布Ｓm(cep)とＮm(cep)として表されるため、ケプストラム領域のまま合成ＨＭＭを求めることはできない。
【００１２】このため、まず、音声ＨＭＭの分布Ｓm(cep)と雑音ＨＭＭの分布Ｎm(cep)をそれぞれコサイン変換することによって対数スペクトル領域（log）での分布Ｓm(log)とＮm(log)に変換し、更に指数変換することによって線形スペクトル領域（lin）での分布Ｓm(lin)とＮm(lin)に変換した後、音声データベース２の音声Ｒmの平均パワーと加法性雑音Ｎmの平均パワーの比、及び発話音声ＲaのＳＮ比で決まる所定係数ｋを分布Ｎm(lin)に乗算して分布Ｓm(lin)に加算することにより、雑音付加音声の線形スペクトル領域での分布Ｒm(lin)＝Ｓm(lin)＋ｋ・Ｎm(lin)を求めている。そして、雑音付加音声の分布Ｒm(lin)を対数変換することによって対数スペクトル領域（log）での分布Ｒm(log)に変換し、更に逆コサイン変換して雑音付加音声のケプストラム領域（cep）での分布Ｒm(cep)を求めることにより、合成ＨＭＭを作成している。
【００１３】このＨＭＭ合成法によると、実際の発話音声Ｒaは、線形スペクトル領域（lin）ではクリーンな音声Ｓa(lin)と加法性雑音Ｎa(lin)との加算Ｒa(lin)＝Ｓa(lin)＋Ｎa(lin)で表されるのに対し、雑音付加音声モデル（合成ＨＭＭ）も線形スペクトル領域（lin）ではクリーンな音声Ｓm(lin)と加法性雑音ｋ・Ｎm(lin)との加算Ｒm(lin)＝Ｓm(lin)＋ｋ・Ｎm(lin)で表されることから、観測値系列Ｒa(cep)と合成ＨＭＭの分布Ｒm(cep)とを照合する際に、加法性雑音の影響を抑えることができるとされている。尚、係数ｋは所定の定数である。
【００１４】次に、ＣＭＮ法を適用した音声認識システムは、図６に示すように、乗法性歪を含んだ音声データＲmを予め収集して音声データベースに記憶しておき、その音声データＲmをフレーム化しケプストラム演算及び学習処理することによって音声ＨＭＭが作成されている。すなわち、乗法性歪をＨm、乗法性歪の無いクリーンな音声をＳmとすると、音声ＨＭＭはケプストラム領域（cep）での分布Ｒm(cep)＝Ｈm(cep)＋Ｓm(cep)として構成されている。
【００１５】更に、乗法性歪のケプストラムは音声のケプストラムの長時間平均で推定され得るという仮定に基づいて、音声ＨＭＭの分布Ｒm(cep)を所定時間平均することにより乗法性歪Ｈm(cep)を求めると共に、分布Ｒm(cep)から乗法性歪Ｈm(cep)を減算することにより、クリーンな音声のケプストラム領域（cep）での分布Ｓm（cep）を生成している。
【００１６】実際に発話がなされると、その発話音声のデータＳaをフレーム化してケプストラム演算することにより、クリーンな音声Ｓaに実際の乗法性歪Ｈaが含まれた発話音声のケプストラムＲa(cep)＝Ｓa(cep)＋Ｈa(cep)を求め、更に、乗法性歪のケプストラムは音声のケプストラムの長時間平均で推定され得るという仮定に基づいて、発話音声のケプストラムＲa(cep)を所定時間平均することによって乗法性歪Ｈa(cep)を求め、更に発話音声のケプストラムＲa(cep)から乗法性歪Ｈa(cep)を減算することにより、クリーンな音声ＳaのケプストラムＳa(cep)を生成し、そのケプストラムＳa(cep)と音声ＨＭＭから求めた分布Ｓm（cep）とを照合して、最も尤度の高い音声ＨＭＭを認識結果として出力している。
【００１７】このように、ＣＭＮ法では、乗法性歪Ｈm（cep）を取り除いたケプストラム領域（cep）での分布Ｓm(cep)と、乗法性歪Ｈa(cep)を取り除いた発話音声のケプストラムＳa(cep)とを照合するので、乗法性歪に対してロバストな音声認識が可能であるとされている。
【００１８】また、ＣＭＮ法を用いた他の音声認識システムとして、図７に示す構成のものも知られている。この音声認識システムでは、図６に示した音声認識システムと同様に、音声ＨＭＭの分布Ｒm(cep)を所定時間平均することにより乗法性歪Ｈm(cep)を求めている。更に、発話音声のケプストラムＲa(cep)＝Ｓa(cep)＋Ｈa(cep)を求めると共に、この発話音声のケプストラムＲa(cep)を所定時間平均することによって乗法性歪Ｈa(cep)を求め、更に発話音声のケプストラムＲa(cep)から乗法性歪Ｈa(cep)を減算することによってクリーンな発話音声のケプストラムＳa(cep)を生成している。
【００１９】ただし、音声ＨＭＭの分布Ｒm(cep)から求めた乗法性歪Ｈm(cep)とクリーンな発話音声のケプストラムＳa(cep)とを加算することで、乗法性歪Ｈm(cep)を含んだケプストラムＳa(cep)＋Ｈm(cep)を生成し、音声ＨＭＭの分布Ｒm(cep)＝Ｈm(cep)＋Ｓm(cep)とケプストラムＳa(cep)＋Ｈm(cep)とを照合して、最も尤度の高い音声ＨＭＭを認識結果として出力するようになっている。
【００２０】したがって、図７に示した音声認識システムも、図６に示した音声認識システムと同様に、乗法性歪のケプストラムは音声のケプストラムの長時間平均で推定され得るという仮定に基づいた処理を行うことで、乗法性歪に対してロバストな音声認識が可能であるとされている。
【００２１】また、図８に示すように、ＨＭＭ合成法とＣＭＮ法とを併用することで、拡張性を持たせた音声認識システムも知られている。
【００２２】この音声認識システムは、図５に示したのと同様に音声の音響モデル（音声ＨＭＭ）と雑音の音響モデル（雑音ＨＭＭ）を作成し、音声ＨＭＭのケプストラム領域（cep）での分布Ｒm(cep)を所定時間平均することによって得られる乗法性歪Ｈm(cep)を分布Ｒm(cep)から減算することにより、乗法性歪を除いた音声の分布Ｓm(cep)を求めている。
【００２３】そして、このクリーンな音声のケプストラム領域での分布Ｓm(cep)と雑音ＨＭＭのケプストラム領域での分布Ｎm(cep)とをそれぞれコサイン変換することで対数スペクトル領域での分布Ｓm(log)とＮm(log)を求め、更に指数変換することで線形スペクトル領域（lin）での分布Ｓm(lin)とＮm(lin)を求めた後、ＳＮ比で決まる所定係数ｋを分布Ｎm(lin)に乗算して分布Ｓm(lin)に加算することにより、雑音付加音声の分布Ｒ'm(lin)＝Ｓm(lin)＋ｋ・Ｎm(lin)を求めている。
【００２４】そして、雑音付加音声の分布Ｒ'm(lin)を対数変換することによって対数スペクトル領域（log）での分布Ｒ'm(log)に変換し、更に逆コサイン変換して雑音付加音声のケプストラム領域（cep）での分布Ｒ'm(cep)を求めることにより、合成ＨＭＭを作成している。
【００２５】つまり、合成ＨＭＭは、音声Ｒmから乗法性歪Ｈmが除去され、その乗法性歪Ｈmの除去された音声に加法性雑音Ｎmを付加することによって生じる雑音付加音声のケプストラムとして構成されている。
【００２６】実際に発話がなされると、その発話音声のデータＲaをフレーム化してケプストラム演算することにより、クリーンな音声Ｓaに実際の乗法性歪Ｈaと加法性雑音Ｎaが含まれた発話音声のケプストラムＲa(cep)＝Ｈa(cep)＋Ｒ^a(cep)を求めた後、ケプストラムＲa(cep)を所定時間平均することによって乗法性歪Ｈa(cep)を求めると共に、発話音声のケプストラムＲa(cep)から乗法性歪Ｈa(cep)を減算することにより、乗法性歪Ｈa（cep）を除いた発話音声のケプストラムＲ^a(cep)を生成している。つまり、ケプストラムＲ^a(cep)は、乗法性歪Ｈaが除去されているが加法性雑音Ｎaを含んでいる発話音声のケプストラムとなっている。
【００２７】そして、そのケプストラムＲ^a(cep)と合成ＨＭＭの分布Ｒm(cep)とを照合して、最も尤度の高い合成ＨＭＭを認識結果として出力している。
【００２８】
【発明が解決しようとする課題】ところが、上記図８に示したＣＭＮ法とＨＭＭ合成法とを適用した音声認識システムにあっては、合成ＨＭＭと発話音声のケプストラムＲ^a(cep)とを照合することで音声認識を行うことにしているが、合成ＨＭＭが発話音声に対して適切な照合対象としてモデル化されていないという問題があった。
【００２９】すなわち、実際に発話された発話音声Ｒaに乗法性歪Ｈaと加法性雑音Ｎaが含まれている場合、その発話音声Ｒaは、クリーンな発話音声Ｓaに乗法性歪みＨaと加法性雑音Ｎaが重畳しているものとして、次式（１）に示すような線形スペクトル領域（lin）で表すことができる。
Ｒa(lin)＝Ｈa(lin)Ｓa(lin)＋Ｎa(lin) ＝Ｈa(lin)｛Ｓa(lin)＋Ｎa(lin)／Ｈa(lin)｝ ＝Ｈa(lin)Ｒ^a(lin) …(1) 図８に示した音声認識システムでは、この線形スペクトル領域（lin）で表される発話音声Ｒaをフレーム化してケプストラム演算を施すことで、次式（２）に示すような発話音声ＲaのケプストラムＲa(cep)を求めている。
Ｒa(cep)＝Ｈa(cep)＋Ｒ^a(cep) …(2) そして、ケプストラム領域（cep）での乗法性歪Ｈa(cep)をＣＭＮ法によって除去することにより、照合すべきケプストラムＲ^a(cep) を求めている。尚、ケプストラムＲ^a(cep)は、上記式（１）中の線形スペクトル｛Ｓa(lin)＋Ｎa(lin)／Ｈa(lin)｝に対応している。
【００３０】これに対し、合成ＨＭＭは、図８を参照して説明したように、雑音付加音声に基づいて生成されており、その雑音付加音声を線形スペクトル領域（lin）で表すと次式（３）、合成ＨＭＭのケプストラム領域（cep）での表記は次式（４）となる。
Ｒ'm(lin)＝Ｓm(lin)＋ｋ・Ｎm(lin) …(3) Ｒ'm(cep)＝ＩＤＣＴ〔ｌｏｇ｛Ｒ'm(lin)｝〕
＝ｃｅｐ〔Ｒ'm(lin)〕 …(4) 尚、演算子ｌｏｇは対数変換、ＩＤＣＴは逆コサイン変換、ｃｅｐは対数変換の逆コサイン変換、すなわちＩＤＣＴ〔ｌｏｇ｛ ｝〕である。
【００３１】ここで、上記式（２）と（４）を対比すると、まず、上記式（２）に示した発話音声Ｒaに基づいて生成されるケプストラムＲ^a(cep)は、式（１）中の線形スペクトル｛Ｓa(lin)＋Ｎa(lin)／Ｈa(lin)｝に対応していることから、加法性雑音Ｎa(lin)を乗法性歪Ｈa(lin)で割算した成分が含まれるのに対し、上記式（４）に示した合成ＨＭＭのケプストラムＲ'm(cep)は、式（３）に示した線形スペクトルＳm(lin)＋ｋ・Ｎm(lin) に対応していることから、加法性雑音Ｎm(lin)を何らかの乗法性歪で割算するようなことは行われていない。
【００３２】したがって、合成ＨＭＭは、実際の発話音声を認識するための照合対象として適切にモデル化されていないという問題があった。
【００３３】本発明は、上記従来の問題点を克服すると共に、加法性雑音と乗法性歪に対してロバストな音声認識システムを提供することを目的とする。
【００３４】
【課題を解決するための手段】上記目的を達成するため本発明は、少なくとも乗法性歪を含んだ音声に基づいて作成された音響モデルと雑音モデルを合成することで得られる合成モデルと、乗法性歪と加法性雑音を含んだ発話音声とを照合することで音声認識を行う音声認識システムであって、上記発話音声に含まれる乗法性歪の特徴成分を抽出する第１の抽出手段と、上記音響モデルに含まれる乗法性歪の特徴成分を抽出する第２の抽出手段と、上記発話音声と上記第１の抽出手段の抽出した上記乗法性歪の特徴成分とを合成する第１の演算手段と、上記音響モデルと上記第２の抽出手段の抽出した上記乗法性歪の特徴成分とを合成する第２の演算手段と、上記雑音モデルと上記第１の抽出手段の抽出した上記乗法性歪の特徴成分とを合成する第３の演算手段と、上記第２の演算手段の演算結果と上記第３の演算手段の演算結果とを合成することにより上記合成モデルを作成する作成手段とを備え、上記第１の演算手段の演算結果と上記合成モデルとを照合することにより、音声認識を行うことを特徴とする。
【００３５】かかる構成を有する音声認識システムによると、第２の演算手段は音響モデルに乗法性歪を合成した演算結果を出力し、第３の演算手段は雑音モデルに乗法性歪を合成した演算結果を出力する。これら第２，第３の演算手段の演算結果を作成手段が合成することにより、音響モデルと雑音モデルと上記乗法性歪との情報を有する合成モデルを作成する。
【００３６】第１の演算手段は、乗法性歪と加法性雑音を含んだ発話音声に、第１の抽出手段の抽出した乗法性歪を合成することにより、合成モデルの有する音響モデルに相当する発話音声と、雑音モデルに相当する加法性雑音と、乗法性歪に相当する乗法性歪との情報を有する演算結果を出力する。
【００３７】そして、第１の演算手段の演算結果と合成モデルは、共通した情報を有することになり、第１の演算手段の演算結果と合成モデルとを照合することにより、加法性雑音と乗法性歪に対してロバストで、適切な音声認識が実現される。
【００３８】また、上記目的を達成するため本発明は、少なくとも乗法性歪を含んだ音声に基づいて作成された音響モデルと雑音モデルを合成することで得られる合成モデルと、乗法性歪と加法性雑音を含んだ発話音声とを照合することで音声認識を行う音声認識システムであって、上記発話音声に含まれる乗法性歪の特徴成分を抽出する第１の抽出手段と、上記音響モデルに含まれる乗法性歪の特徴成分を抽出する第２の抽出手段と、上記発話音声と上記第１の抽出手段の抽出した上記乗法性歪の特徴成分を合成する第１の演算手段と、上記雑音モデルと上記第１の抽出手段の抽出した上記乗法性歪の特徴成分と上記雑音モデルに上記第２の抽出手段の抽出した上記乗法性歪の特徴成分とを合成する第２の演算手段と、上記音響モデルと上記第２の演算手段の演算結果とを合成することにより上記合成モデルを作成する作成手段と、上記合成モデルと上記第２の抽出手段の抽出した上記乗法性歪の特徴成分とを合成する第３の演算手段とを備え、上記第１の演算手段の演算結果と上記第３の演算手段の演算結果とを照合することにより、音声認識を行うことを特徴とする。
【００３９】かかる構成を有する音声認識システムによると、第２の演算手段は雑音モデルに第１の抽出手段の抽出した乗法性歪を合成し、且つ雑音モデルに第２の抽出手段の抽出した乗法性歪を合成する。この第２の演算手段による演算結果と音響モデルを作成手段が合成することにより、音響モデルと雑音モデルと上記乗法性歪との情報を有する合成モデルを作成し、更に、第３の演算手段が合成モデルから第２の抽出手段の抽出した乗法性歪を合成して出力する。
【００４０】第１の演算手段は、乗法性歪と加法性雑音を含んだ発話音声に、第１の抽出手段の抽出した乗法性歪を合成することにより、合成モデルの有する音響モデルに相当する発話音声と、雑音モデルに相当する加法性雑音と、乗法性歪に相当する乗法性歪との情報を有する演算結果を出力する。
【００４１】そして、第１の演算手段の演算結果と第３の演算手段の演算結果は、共通した情報を有することになり、これらの演算結果を照合することで、加法性雑音と乗法性歪に対してロバストで、適切な音声認識が実現される。
【００４２】また、上記目的を達成するため本発明は、少なくとも乗法性歪を含んだ音声に基づいて作成された音響モデルと雑音モデルを合成することで得られる合成モデルと、乗法性歪と加法性雑音を含んだ発話音声とを照合することで音声認識を行う音声認識システムであって、上記発話音声に含まれる乗法性歪の特徴成分を抽出する第１の抽出手段と、上記音響モデルに含まれる乗法性歪の特徴成分を抽出する第２の抽出手段と、上記発話音声と上記第１の抽出手段の抽出した上記乗法性歪の特徴成分と上記発話音声に上記第２の抽出手段の抽出した上記乗法性歪の特徴成分とを合成する第１の演算手段と、上記雑音モデルと上記第１の抽出手段の抽出した上記乗法性歪の特徴成分と上記雑音モデルに上記第２の抽出手段の抽出した上記乗法性歪の特徴成分とを合成する第２の演算手段と、上記音響モデルと上記第２の演算手段の演算結果とを合成することにより上記合成モデルを作成する作成手段とを備え、上記第１の演算手段の演算結果と上記合成モデルとを照合することにより、音声認識を行うことを特徴とする。
【００４３】かかる構成を有する音声認識システムによると、第２の演算手段は雑音モデルに第１の抽出手段の抽出した乗法性歪を合成し、且つ雑音モデルに第２の抽出手段の抽出した乗法性歪を合成する。この第２の演算手段による演算結果と音響モデルを作成手段が合成することにより、音響モデルと雑音モデルと上記乗法性歪との情報を有する合成モデルを作成する。
【００４４】第１の演算手段は、乗法性歪と加法性雑音を含んだ発話音声に、第１の抽出手段の抽出した乗法性歪を合成すると共に、第２の抽出手段の抽出した乗法性歪を合成することで、合成モデルの有する音響モデルに相当する発話音声と、雑音モデルに相当する加法性雑音と、乗法性歪に相当する乗法性歪との情報を有する演算結果を出力する。
【００４５】そして、第１の演算手段の演算結果と合成モデルとが共通した情報を有することになり、第１の演算手段の演算結果と合成モデルとを照合することで、加法性雑音と乗法性歪に対してロバストで、適切な音声認識が実現される。
【００４６】
【発明の実施の形態】以下、本発明の実施の形態を図面を参照して説明する。尚、図１は本発明の音声認識システムの第１の実施の形態の構成を示すブロック図、図２は第２の実施の形態の構成を示すブロック図、図３は第３の実施の形態の構成を示すブロック図である。
【００４７】まず、これら第１〜第３の実施形態を説明するに当たり、符号を説明する。音声認識システムが音響モデル（音声ＨＭＭ）を生成するために用いる音声データをＲm、雑音モデル（雑音ＨＭＭ）を生成するために用いる加法性雑音をＮm、実際に発話された発話音声のデータをＲaとする。上記音声データＲmは、雑音を含まないクリーンな音声Ｓmに乗法性歪Ｈmが重畳したものとして表す。また、発話音声Ｒaは、雑音を含まないクリーンな発話音声Ｓmに乗法性歪Ｈaと加法性雑音Ｎaが重畳したものとして表す。
【００４８】更に、線形スペクトル領域の情報には（lin）、対数スペクトル領域の情報には（log）、ケプストラム領域の情報には（cep）を付加して示すこととする。例えば、音響モデル（音声ＨＭＭ）を生成するために用いる音声データＲmの線形スペクトルを、Ｒm(lin)＝Ｈm(lin)Ｓm(lin)のようにして示すこととする。
【００４９】（第１の実施の形態）図１において、第１の実施形態の音声認識システムには、実験的に収集された多量の音声データＲmを記憶する音声データベース１と、実験的に収集された加法性雑音のデータＮmを記憶する雑音データベース２とが備えられている。
【００５０】音声データＲmは、静寂環境の下で被験者の発話した音声をマイクロフォンで集音し、所定のサンプリング周波数でＡ／Ｄ変換する等の一般的な手法によって収集される。このため、音声データＲmは、加法性雑音を殆ど含まないが、マイクロフォンや電気伝送系等による乗法性歪Ｈmを含む可能性のあるデータである。
【００５１】加法性雑音のデータＮmは、上記実験の際に時非音声区間から収集した雑音に基づいて生成したデータである。
【００５２】更に、隠れマルコフモデルＨＭＭを用いて作成された音声の音響モデル（音声ＨＭＭ）５及び雑音の音響モデル（雑音ＨＭＭ）６が備えられている。
【００５３】ここで、信号処理部３が音声データベース１中の音声データＲmを１０〜２０msec程度のフレーム単位に区分けして入力し、各フレーム単位のデータを順次にケプストラム（Cepstrum）演算することにより、ケプストラムの時系列を求め、更にこのケプストラムの時系列を音声の特徴量として学習処理することにより、単語やサブワード単位の音声ＨＭＭ５を作成している。
【００５４】また、信号処理部４が雑音データベース２中の加法性雑音のデータＮmを上記同様にフレーム単位に区分けして入力し、各フレーム単位のデータを順次にケプストラム演算することによりケプストラムの時系列を求め、更にこのケプストラムの時系列を加法性雑音の特徴量として学習処理することにより、雑音ＨＭＭ６を作成している。
【００５５】こうして作成された音声ＨＭＭ５と雑音ＨＭＭ６に対して、平均演算部７、減算器８，９、コサイン変換部１０，１１、指数変換部１２，１３、乗算器１４、加算器１５が図示するように所定の関係で接続され、更に、加算器１５の出力には、対数変換部１６と逆コサイン変換部１７、及び雑音付加音声の音響モデルである合成ＨＭＭ１８が従属に接続され、合成ＨＭＭ１８のケプストラム領域（cep）での分布Ｒ^m(cep)を認識部２２に供給するようになっている。
【００５６】また、実際に発話が行われると、その発話音声をマイクロフォン（図示省略）で集音し、所定のサンプリング周波数でＡ／Ｄ変換する等の一般的な手法を施すことにより、デジタルの発話音声データＲaにして信号処理部１９に入力するようになっている。
【００５７】したがって、発話音声のデータＲaは、マイクロフォンや電気伝送系等による乗法性歪Ｈaと、背景雑音や室内雑音（例えば自動車の車室内で生じる雑音）等の加法性雑音Ｎaとを含んだデータである。
【００５８】そして、信号処理部１９は、発話音声のデータＲaを１０〜２０msec程度のフレーム単位に区分けして入力し、各フレーム単位のデータを順次にケプストラム演算することにより、ケプストラムの時系列Ｒa(cep)を求めて出力する。
【００５９】更に、信号処理部１９に続けて平均演算部２０と減算器２１が設けられており、減算器２１が出力する観測値系列Ｒ^a(cep)を認識部２２に供給するようになっている。
【００６０】上記の平均演算部７は、音声ＨＭＭ５のケプストラム領域（cep）での分布Ｒm(cep)を所定時間平均することで、分布Ｒm(cep)に含まれている乗法性歪Ｈm(cep)を求め、減算器８は、分布Ｒm(cep)から、平均演算部７で求められた乗法性歪Ｈm(cep)を減算することにより、乗法性歪を除去したクリーンな音声のケプストラム領域（cep）での分布Ｓm(cep)を生成する。
【００６１】コサイン変換部１０は、上記の分布Ｓm(cep)をコサイン変換することで対数スペクトル領域（lin）での分布Ｓm(log)に変換し、指数変換部１２は、分布Ｓm(log)を指数変換することで、線形スペクトル領域（lin）での分布Ｓm(lin)を求める。
【００６２】減算器９は、雑音ＨＭＭのケプストラム領域（cep）での分布Ｎm(cep)から、平均演算部２０で求められた乗法性歪Ｈa(cep)を減算処理するようになっている。すなわち、平均演算部２０は、実際に発話が行われて信号処理部１９から出力されるフレーム単位毎の発話音声データＲaのケプストラムＲa(cep)を所定時間（所定フレーム分）平均することで乗法性歪Ｈa(cep)を求め、更にこの乗法性歪Ｈa(cep)を減算器９に供給することで、上記の減算処理を行わせるようになっている。
【００６３】コサイン変換部１１は、減算器９による減算結果Ｎm(cep)−Ｈa(cep)をコサイン変換することで、対数スペクトル領域（log）での減算結果Ｎm(log)−Ｈa(log)を求め、更に指数変換部１３は、減算結果Ｎm(log)−Ｈa(log)を指数変換することで、線形スペクトル領域（lin）での除算結果Ｎm(lin)／Ｈa(lin)を求める。
【００６４】そして、乗算器１４が、音声データベース２の音声Ｒmの平均パワーと加法性雑音Ｎmの平均パワーの比、及び発話音声ＲaのＳＮ比で決まる所定値の係数ｋを除算結果Ｎm(lin)／Ｈa(lin)に乗算して加算器１５に供給することで、加算器１５では、乗算器１４の出力ｋ・｛Ｎm(lin)／Ｈa(lin)｝と指数変換部１２の出力Ｓm(lin)との加算が行われ、この結果、線形スペクトル領域での加算結果Ｒ^m(lin)が生成される。
【００６５】尚、加算結果Ｒ^m(lin)は、次式（５）で表されるように、乗法性歪Ｈmの取り除かれた音声Ｓmに加法性雑音Ｎmと乗法性歪Ｈaとを重畳させることによって得られる雑音付加音声Ｒ^mの線形スペクトルとなる。
Ｒ^m(lin)＝Ｓm(lin)＋ｋ・｛Ｎm(lin)／Ｈa(lin)｝ …(5) 対数変換部１６は、加算器１５で生成された雑音付加音声の線形スペクトルＲ^m(lin)を対数変換することで、雑音付加音声の対数スペクトルＲ^m(log)を求め、更に逆コサイン変換部１７がこの対数スペクトルＲ^m(log)を逆コサイン変換することによって雑音付加音声のケプストラムＲ^m(cep)を求めることにより、雑音付加音声の音響モデル（ケプストラム領域での音響モデル）である合成ＨＭＭ１８を作成している。そして、合成ＨＭＭ１８のケプストラム領域での分布Ｒ^m(cep)が単語やサブワード単位で認識部２２に供給される。
【００６６】減算器２１は、上記した平均演算部２０から出力されるケプストラム領域（cep）での乗法性歪Ｈa(cep)と、信号処理部１９からフレーム単位で出力されるケプストラム領域（cep）での発話音声Ｒa(cep)とを入力し、次式（６）で表されるように、発話音声Ｒa(cep)から乗法性歪Ｈa(cep)を減算することによって、乗法性歪が除去されたケプストラム領域（cep）での発話音声Ｒ^a（cep）の時系列、すなわち観測値系列Ｒ^a（cep）を生成して認識部２２に供給する。
Ｒ^a（cep）＝Ｒa(cep)−Ｈa(cep) …(6)認識部２２は、観測値系列Ｒ^a（cep）と合成ＨＭＭ１８のケプストラム領域での分布Ｒ^m(cep)とを照合し、最も尤度の高いＨＭＭを音声認識結果として出力する。
【００６７】かかる構成を有する本実施形態の音声認識システムは、減算器９を備えて、雑音ＨＭＭ６のケプストラム領域（cep）での分布Ｎm（cep）から、発話音声Ｒaのケプストラム領域（cep）での平均値（すなわち、乗法性歪）Ｈa（cep）を減算するようにしたので、上記式（５）の右辺第２項に示されるように、上記雑音付加音声の線形スペクトルＲ^m(lin)には、加法性雑音Ｎm(lin)を乗法性歪Ｈa(lin)で割算した成分が含まれることになり、更に、この成分を含んだ合成ＨＭＭ１８がモデル化されることになる。
【００６８】そして、実際に発話される発話音声Ｒaを線形スペクトル領域（lin）で表記すると、Ｒa(lin)＝Ｈa(lin)｛Ｓa(lin)＋Ｎa(lin)／Ｈa(lin)｝＝Ｈa(lin)Ｒ^a(lin)であるから、上記式（６）で表される観測値系列Ｒ^a(cep)は、線形スペクトル領域では、Ｒ^a(lin)＝Ｓa(lin)＋Ｎa(lin)／Ｈa(lin)となり、上記雑音付加音声の線形スペクトルＲ^m(lin)と同様に、加法性雑音Ｎa(lin)を乗法性歪Ｈa(lin)で割算した成分が含まれることになるから、合成ＨＭＭ１８は発話音声を音声認識するための照合対象として適切にモデル化されている。
【００６９】このように、本実施形態の音声認識システムによれば、音声認識に用いるための合成ＨＭＭ１８を適切にモデル化することができると共に、加法性雑音と乗法性歪に対処した構成としているため、加法性雑音と乗法性歪に対してロバストで音声認識率の向上を図ることができる。
【００７０】（第２の実施の形態）次に、第２の実施形態の音声認識システムを図２に基づいて説明する。尚、図２中、図１と同一又は相当する部分を同一符号で示している。
【００７１】図２において、第１の実施形態との相違点を述べると、本実施形態の音声認識システムでは、平均演算部７が音声ＨＭＭ５のケプストラム領域（cep）での分布Ｒm(cep)を所定時間平均して乗法性歪のケプストラムＨm(cep)を求めると、このケプストラムＨm(cep)を加減算器２００に供給するようになっている。また、コサイン変換部１０には、音声ＨＭＭ５のケプストラム領域（cep）での分布Ｒm(cep)がそのまま供給され、指数変換器１２の出力が線形スペクトル音声ＨＭＭ１００を介して加算器１５に供給されている。
【００７２】加減算器２００には、上記の乗法性歪のケプストラムＨm(cep)の他、雑音ＨＭＭ６のケプストラム領域（cep）での分布Ｎm(cep)と、平均演算部２０からの乗法性歪のケプストラムＨa(cep)が供給され、次式（７）で表されるように、加減算結果σ(cep)が求められる。
σ(cep)＝Ｈm(cep)＋Ｎm(cep)−Ｈa(cep) …(7)また、減算器３００が備えられ、合成ＨＭＭ１８のケプストラム領域（cep）での分布Ｈm(cep)＋Ｒ^m(cep)から平均演算部７の乗法性歪のケプストラムＨm(cep)を減算して認識部２２に供給するようになっている。
【００７３】かかる構成を備えた本音声認識システムでは、音声ＨＭＭ５のケプストラム領域（cep）での分布Ｒm(cep)をコサイン変換部１０がコサイン変換して指数変換部１２が指数変換することにより、線形スペクトル領域での分布Ｒm(lin)＝Ｈm(lin)Ｓm(lin)を求め、音声ＨＭＭ１００が求まる。
【００７４】更に、音声ＨＭＭ１００の線形スペクトル領域での分布Ｒm(lin)＝Ｈm(lin)Ｓm(lin)が加算器１５に供給される。
【００７５】加減算器２００から出力されるケプストラム領域（cep）の加減算結果σ(cep)は、コサイン変換部１１でコサイン変換されて指数変換部１３で指数変換されることにより、線形スペクトル領域（lin）での加減算結果Ｈm(lin)Ｎm(lin)／Ｈa(lin)に変換され、更に乗算器１４で所定係数ｋが乗算されることにより、ｋ・｛Ｈm(lin)Ｎm(lin)／Ｈa(lin)｝となって加算器１５に供給される。
【００７６】したがって、加算器１５では次式（８）で表されるように、音声Ｒmに乗法性歪Ｈm，Ｈaと加法性雑音Ｎmとを重畳させることによって得られる雑音付加音声の線形スペクトルＨm(lin)Ｒ^m(lin)となる。
Ｈm(lin)Ｒ^m(lin) ＝Ｈm(lin)Ｓm(lin)＋ｋ・｛Ｈm(lin)Ｎm(lin)／Ｈa(lin)｝ ＝Ｈm(lin)｛Ｓm(lin)＋ｋ・Ｎm(lin)／Ｈa(lin)｝ …(8) この雑音付加音声の線形スペクトルＨm(lin)Ｒ^m(lin)を対数変換部１６が対数変換し更に逆コサイン変換部１８が逆コサイン変換することで、雑音付加音声のケプストラムＨm(cep)＋Ｒ^m(cep)を求め、雑音付加音声の音響モデル（ケプストラム領域での音響モデル）である合成ＨＭＭ１８が作成されている。
【００７７】そして、減算器３００が、合成ＨＭＭ１８のケプストラム領域での分布Ｈm(cep)＋Ｒ^m(cep)から、平均演算部７の求めた乗法性歪のケプストラムＨm(cep)を減算することで、乗法性歪Ｈmの除かれた雑音付加音声のケプストラムＲ^m(cep)を認識部２２に供給している。このように、本実施形態の音声認識システムによれば、認識部２２では、雑音付加音声のケプストラムＲ^m(cep)と発話音声のケプストラムＲ^a(cep)とが照合されるようになっている。
【００７８】そして、雑音付加音声のケプストラムＲ^m(cep)は、上記式（８）に示した線形スペクトルｋ・Ｎm(lin)／Ｈa(lin)に相当する成分が含まれ、発話音声のケプストラムＲ^a(cep)にも線形スペクトルＮa(lin)／Ｈa(lin)に相当する成分が含まれることから、合成ＨＭＭ１８は発話音声を音声認識するための照合対象として適切にモデル化されている。
【００７９】このように、本実施形態の音声認識システムによれば、音声認識に用いるための合成ＨＭＭ１８を適切にモデル化することができると共に、加法性雑音と乗法性歪に対して対処した構成としているため、加法性雑音と乗法性歪に対してロバストで音声認識率の向上を図ることができる。
【００８０】（第３の実施の形態）次に、第３の実施形態の音声認識システムを図３に基づいて説明する。尚、図３中、図２と同一又は相当する部分を同一符号で示している。
【００８１】図３に示す本実施形態と図２に示した第２の実施形態との相違点を述べると、第２の実施形態の音声認識システムでは、平均演算部７が求めた乗法性歪のケプストラムＨm(cep)を減算器３００に供給し、その減算器３００が合成ＨＭＭ１８のケプストラム領域（cep）での分布Ｈm(cep)＋Ｒ^m(cep)から乗法性歪のケプストラムＨm(cep)を減算して認識部２２に供給している。更に、減算器２１が求めた発話音声のケプストラムＲ^a(cep)を認識部２２に供給し、認識部２２が発話音声のケプストラムＲ^a(cep)と減算器３００からのケプストラムＲ^m(cep)とを照合して、音声認識を行う構成となっている。
【００８２】これに対し本実施形態の音声認識システムでは、図３に示すように、減算器２１と認識部２２との間に加算器４００が設けられ、平均演算部７の求めた乗法性歪のケプストラムＨm(cep)と減算器２１からの発話音声のケプストラムＲ^a(cep)とを加算することで得られるケプストラム領域（cep）での加算結果Ｈm(cep)＋Ｒ^a(cep)を認識部２２に供給するようになっている。更に、図２に示した減算器３００は本音声認識システムには設けられておらず、合成ＨＭＭ１８のケプストラム領域（cep）での分布Ｈm(cep)＋Ｒ^m(cep)を認識部２２に供給し、認識部２２が上記の加算結果Ｈm(cep)＋Ｒ^a(cep)と分布Ｈm(cep)＋Ｒ^m(cep)とを照合することによって、音声認識を行う構成となっている。
【００８３】ここで、発話音声Ｒaの線形スペクトルＲa(lin)は、上記式（１）に示したように、Ｒa(lin)＝Ｈa(lin)Ｓa(lin)＋Ｎa(lin)＝Ｈa(lin)｛Ｓa(lin)＋Ｎa(lin)／Ｈa(lin)｝＝Ｈa(lin)Ｒ^a(lin) で表されることから、減算器２１は線形スペクトル｛Ｓa(lin)＋Ｎa(lin)／Ｈa(lin)｝に対応したケプストラムＲ^a(cep)を出力し、更に加算器４００は、線形スペクトルＨm(lin)｛Ｓa(lin)＋Ｎa(lin)／Ｈa(lin)｝に対応するケプストラムＨm(cep)＋Ｒ^a(cep)を生成して認識部２２に供給する。
【００８４】一方、合成ＨＭＭ１８から認識部２２へは、上記式（８）に示したように、雑音付加音声の線形スペクトルＨm(lin)Ｒ^m(lin)＝Ｈm(lin)Ｓm(lin)＋ｋ・｛Ｈm(lin)Ｎm(lin)／Ｈa(lin)｝＝Ｈm(lin)｛Ｓm(lin)＋ｋ・Ｎm(lin)／Ｈa(lin)｝に対応したケプストラムＨm(cep)＋Ｒ^m(cep)が供給される。
【００８５】このように本実施形態の音声認識システムによれば、線形スペクトル｛ｋ・Ｎa(lin)／Ｈa(lin)｝で表される成分を含んだケプストラムＨm(cep)＋Ｒ^a(cep)と、線形スペクトル｛ｋ・Ｎm(lin)／Ｈa(lin)｝で表される成分を含んだケプストラムＨm(cep)＋Ｒ^m(cep)とを認識部２２が照合することから、音声認識率の向上を図ることができ、更に加法性雑音と乗法性歪に対してロバストな音声認識システムを実現することができる。
【００８６】尚、以上の第１〜第３の実施形態の説明では、音声と雑音との加算や、音声から雑音を減算する等の演算処理を、スペクトル領域又はケプルトラム領域において行うこととしているが、これらの加算と減算の演算処理は、音声と雑音等をスペクトル領域又はケプストラム領域にて合成することを意味している。例えば、図３中の加算器４００が発話音声のケプストラムＲ^a(cep)と平均演算部７からの乗法性歪のケプストラムＨm(cep)とを加算することで、それらの加算結果Ｈm(cep)＋Ｒ^a(cep)を求めているが、かかるケプストラム領域での加算は、Ｒ^a(cep)とＨm(cep)とを合成することを意味している。また、図３中の減算器２１が発話音声のケプストラムＲa(cep)から平均演算部２０の生成した乗法性歪のケプストラムＨa(cep)を減算することで、それらの減算結果Ｒ^a(cep)＝Ｒa(cep)−Ｈm(cep)を求めているが、かかるケプストラム領域での減算は、Ｒa(cep)とＨa(cep)とを合成することを意味している。
【００８７】
【発明の効果】以上説明したように本発明の音声認識システムによれば、音響モデルと雑音モデルとを合成することによって作成する合成モデルを、発話音声に含まれている乗法性歪と加法性雑音の情報に合わせて作成し、その合成モデルに基づいて発話音声との照合を行うようにしたので、整合のとれた照合が可能となって、乗法性歪と加法性雑音に対してロバストな音声認識が可能となる。
【出願人】 【識別番号】０００００５０１６
【氏名又は名称】パイオニア株式会社
【出願日】 平成１２年９月１８日（２０００．９．１８）
【代理人】 【識別番号】１０００６３５６５
【弁理士】
【氏名又は名称】小橋 信淳
【公開番号】 特開２００２−９１４７８（Ｐ２００２−９１４７８Ａ）
【公開日】 平成１４年３月２７日（２００２．３．２７）
【出願番号】 特願２０００−２８２３４８（Ｐ２０００−２８２３４８）