トップ :: G 物理学 :: G10 楽器;音響




【発明の名称】 音声認識システム
【発明者】 【氏名】瀬尾 尋

【氏名】駒村 光弥

【氏名】外山 聡一
【要約】 【課題】乗法性歪と加法性雑音に対してロバストな音声認識システムを提供する。

【解決手段】乗法性歪を有する音声ＨＭＭ１０と加法性雑音の初期雑音ＨＭＭ１７から、初期合成ＨＭＭ１６を生成すると共に、ヤコビアン行列算出部１９によりヤコビアン行列〔Ｊ〕ijを算出しておく。実際に発話された発話音声から求めた乗法性歪の推定値Ｈa^(cep)と、非発話期間に得られる加法性雑音Ｎa(cep)と、初期雑音ＨＭＭ１７の加法性雑音Ｎm(cep)とを合成した雑音変動分Ｎamh(cep)にヤコビアン行列を乗算し、その乗算結果と初期合成ＨＭＭ１６を合成して、適応ＨＭＭ２６を生成する。こうすることにより、実際の発話音声から生成される観測値系列ＲＮa(cep)と整合性のとれた適応ＨＭＭ２６を予め生成しておくことができ、観測値系列ＲＮa(cep)と適応ＨＭＭ２６とを照合して音声認識を行う際に、乗法性歪と加法性歪の影響を相殺して、クリーンな音声だけで音声認識を行ったのと等価な効果が得られ、ロバストな音声認識システムが実現される。
【特許請求の範囲】
【請求項１】 予め収集した乗法性歪を含んだ音声から生成された音声モデルと、予め収集した加法性雑音から生成された雑音モデルと、前記音声モデルに含まれる前記乗法性歪を推定する第１の推定手段と、前記音声モデルと、前記第１の推定手段で推定された前記乗法性歪の第１の推定値と、前記雑音モデルの加法性雑音とを合成処理することによって得られる雑音付加音声に基づいて生成された合成音声モデルと、前記雑音モデルの加法性雑音と前記雑音付加音声とからヤコビアン行列を算出する算出手段と、発話音声に含まれる乗法性歪を推定する第２の推定手段と、非発話期間に生じる加法性雑音と、前記雑音モデルの加法性雑音と、前記第２の推定手段で推定された前記乗法性歪の第２の推定値とを合成処理することで雑音変化分を求めると共に、前記雑音変化分に前記算出手段で算出されたヤコビアン行列を乗算する第１の演算手段と、前記演算手段の求めた乗算結果と前記合成音声モデルとを合成処理することによって生成された適応モデルと、発話音声と前記第２の推定手段で推定された前記乗法性歪の第２の推定値とを合成処理することにより観測値系列を生成する第２の演算手段とを備え、前記観測値系列と前記適応モデルとを照合することにより音声認識を行うことを特徴とする音声認識システム。
【請求項２】 前記演算手段は、ケプストラム領域において、前記加法性雑音から、前記雑音モデルの加法性雑音と、前記第２の推定手段で推定された前記雑音の第２の推定値とを減算することにより、前記合成処理を行うことを特徴とする請求項１記載の音声認識システム。
【請求項３】 予め収集した乗法性歪を含んだ音声から生成された音声モデルと、予め収集した加法性雑音から生成された雑音モデルと、前記音声モデルに含まれる前記乗法性歪を推定する第１の推定手段と、認識結果に基づいて前記音声モデルに含まれる発話音声毎の誤差を含んだ前記乗法性歪を推定する第２の推定手段と、前記雑音モデルの加法性雑音と前記第１の推定手段で推定された前記乗法性歪に第１の推定値を合成する第１の演算手段と、前記第１の演算手段の合成結果と前記音声モデルとを合成処理することによって得られる雑音付加音声に基づいて生成された合成音声モデルと、前記第１の演算手段の合成結果と前記雑音付加音声とからヤコビアン行列を算出する算出手段と、発話音声に含まれる発話音声毎の誤差を含んだ乗法性歪を推定する第３の推定手段と、非発話期間に生じる加法性雑音と、前記第１の演算手段の合成結果と、前記第２の推定手段で推定された前記発話音声毎の誤差を含んだ前記乗法性歪の第２の推定値と、前記第３の推定手段で推定された前記発話音声毎の誤差を含んだ前記乗法性歪の第３の推定値とを合成処理することで雑音変化分を求めると共に、前記雑音変化分に前記算出手段で算出されたヤコビアン行列を乗算する第２の演算手段と、前記第２の演算手段の求めた乗算結果と前記合成音声モデルとを合成処理することによって生成された適応モデルと、発話音声と前記第３の推定手段で推定された前記発話音声毎の誤差を含んだ前記乗法性歪の第３の推定値とを合成処理することにより観測値系列を生成する第３の演算手段とを備え、前記観測値系列と前記適応モデルとを照合することにより音声認識を行うことを特徴とする音声認識システム。
【請求項４】 前記演算手段は、ケプストラム領域において、前記加法性雑音に対し、前記第２の推定手段で推定された前記発話音声毎の誤差を含んだ前記乗法性歪の第２の推定値を加算すると共に、前記第１の演算手段の合成結果と前記第３の推定手段で推定された前記発話音声毎の誤差を含んだ前記乗法性歪の第３の推定値とを減算することにより、前記合成処理を行うことを特徴とする請求項３記載の音声認識システム。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、雑音や、伝送系等の歪みに対してロバスト（頑健）な音声認識システムに関する。
【０００２】
【従来の技術】従来、例えば車載用ナビゲーション装置等の電子機器では、マンマシンコニュニケーション等を可能にする音声認識システムが注目され、図３に示すような情報処理アルゴリズムに基づいて構成された音声認識システムが知られている。
【０００３】この音声認識システムは、隠れマルコフモデル（Hidden Markov Model：ＨＭＭ）を用いて単語やサブワード（音素、音節など）単位の音響モデル（音声ＨＭＭ）を予め生成しておき、認識すべき音声Ｒaが発話されると、その発話音声Ｒaのケプストラムの時系列である観測値系列Ｒa(cep)を生成して、観測値系列Ｒa(cep)と音声ＨＭＭとを照合し、最大尤度を与える音声ＨＭＭを選んでこれを認識結果として出力する。
【０００４】より具体的に述べると、この音声認識システムには、ＨＭＭ法によって上記の音声ＨＭＭを生成する音声ＨＭＭ生成部５が備えられ、この音声ＨＭＭ生成部５は、音声データベース１とフレーム化部２とケプストラム演算部３及び学習部４を備えて構成されている。
【０００５】音声データベース１に実験的に収集して記憶しておいた被験者の大量の音声データＲmをフレーム化部２が１０〜２０msec程度のフレーム単位に区分けし、各フレーム単位のデータをケプストラム演算部３が順次にケプストラム（Cepstrum）演算することにより、ケプストラムの時系列Ｒm(cep)を求める。
【０００６】更に、学習部４がこのケプストラムの時系列Ｒm(cep)を音声の特徴量(特徴ベクトルとする)として学習処理し、音響モデル（音声ＨＭＭ）のパラメータに反映させることで、単語やサブワード単位の音声ＨＭＭ６を予め生成している。
【０００７】実際に発話が行われると、その発話音声のデータＲaをフレーム化部７がフレーム化部２と同様のフレーム単位で区分けして入力し、各フレーム単位の発話音声データをケプストラム演算部８が順次にケプストラム演算することによってケプストラムの時系列である観測値系列Ｒa(cep)を生成する。
【０００８】そして、照合部９が観測値系列Ｒa(cep)と音声ＨＭＭ６とを単語やサブワード単位で照合し、観測値系列Ｒa(cep)と最も尤度の高い音声ＨＭＭを音声認識結果として出力する。
【０００９】ところが、図３の音声認識システムでは、音声ＨＭＭ６を生成するための音声データＲmを収集する際、マイクロフォンや電気伝送系等における乗法性歪の影響を受けた音声データＲmが収集されてしまい、精度の良い音声ＨＭＭ６を生成することが困難になるという問題があった。
【００１０】更に、認識すべき発話音声Ｒaが発話された際、室内雑音や背景雑音等の加法性雑音と、口元からマイクロフォンまでの空間的伝達特性、マイクロフォンや電気伝送系等における乗法性歪などが観測値系列Ｒa(cep)に悪影響を及ぼすことになり、音声認識率の低下を招来するという問題があった。
【００１１】こうした問題のため、加法性雑音と乗法性歪の影響を受け難い音声認識システム、すなわちロバスト（robust）な音声認識システムの構築が重要な課題となっていた。
【００１２】本願発明者は、上記のような課題に対処すべく、加法性雑音に対してはＨＭＭ合成法、乗法性歪に対してはケプストラム平均正規化法（Cepstrum Mean Normalization：ＣＭＮ）を適用することにより、ロバストな音声認識システムの実現を試みた。
【００１３】図４は、その音声認識システムの構成を示すブロック図である。この音声認識システムは、音声ＨＭＭ１０と初期雑音ＨＭＭ１７と初期合成ＨＭＭ１６及び適応ＨＭＭ２６を備え、認識すべき音声が発話されると、その発話音声から求めたケプストラム時系列である観測値系列ＲＮa（cep）と適応ＨＭＭ２６とを単語やサブワード単位で照合部２９が照合し、観測値系列ＲＮa（cep）と最も尤度の高い適応ＨＭＭを音声認識結果として出力する。
【００１４】更に、ＨＭＭ合成法を適用すると演算量が多くなることから、その演算量を削減して処理の高速化を実現するために、テイラー展開に基づくモデル適応法が用いられている。すなわち、ヤコビアン行列Ｊと呼ばれるテイラー展開の一次微係数行列を算出するヤコビアン行列算出部１９を設けることによって、演算量の削減を行うこととしている。
【００１５】上記の音声ＨＭＭ１０は、実験的に収集した加法性雑音を含まない発話音声Ｒmを用いてＨＭＭ法により予め生成される音響モデルである。すなわち、音声ＨＭＭ１０は、図３に示した音声ＨＭＭ生成部５と同様なＨＭＭ法の処理によって予め生成されている。
【００１６】尚、無響室内などで被験者の発話音声Ｒmを実験的に収集することにより、加法性雑音の影響の無い音声ＨＭＭ１０を生成しているが、マイクロフォンや電気伝送系等における乗法性歪の影響は除去されないため、音声ＨＭＭ１０は乗法性歪の影響が残された音響モデルとなっている。
【００１７】したがって、実験的に収集した発話音声Ｒmを、クリーンな音声（加法性雑音及び乗法性歪を有さない音声）Ｓmと乗法性歪Ｈmとからなるものとして、線形スペクトル領域（lin）で表記すれば、クリーンな音声Ｓmと乗法性歪Ｈmとの線形スペクトルの積Ｒm(lin)＝Ｓm(lin)Ｈm(lin)で表され、また、ケプストラム領域（cep）で表記すれば、クリーンな音声Ｓmと乗法性歪Ｈmとのケプストラムの和Ｒm(cep)＝Ｓm (cep)＋Ｈm(cep)で表される。
【００１８】更に、音声ＨＭＭ１０を線形スペクトル領域（lin）で表せば、Ｒm(lin)＝Ｓm(lin)Ｈm(lin)で表され、また、ケプストラムル領域（cep）で表せば、Ｒm(cep)＝Ｓm (cep)＋Ｈm(cep)で表される。
【００１９】上記の初期雑音ＨＭＭ１７は、非音声区間の音（加法性雑音に相当する）を初期雑音データＮmとして収集し、その初期雑音データＮmを用いて学習される音響モデルであり、図３に示した音声ＨＭＭ生成部５と同様な処理によって予め生成されている。したがって、初期雑音ＨＭＭ１７を線形スペクトル領域（lin）で表せばＮm(lin)となり、また、ケプストラム領域（cep）で表せば、Ｎm(cep)となっている。
【００２０】初期合成ＨＭＭ１６は、次の処理によって生成されている。音声ＨＭＭ１０から平均演算部１１と減算器１２へ、ケプストラム領域（cep）での音声（音響モデル）Ｒm(cep)＝Ｓm(cep)＋Ｈm(cep)を供給し、平均演算部１１がＣＭＮ法によって、音響モデル学習用の音声データベース内の特徴ベクトルを平均することや音声ＨＭＭの平均ベクトルの平均をとること等によって乗法性歪の推定値Ｈm^(cep)を求めて、減算器１２へ供給するようになっている。これにより、減算器１２では、Ｒm(cep)−Ｈm^(cep)の演算が行われ、乗法性歪の推定値Ｈm^(cep)が除かれた音声Ｓm'(cep)を出力する。
【００２１】ここで、推定値Ｈm^(cep)と乗法性歪Ｈm(cep)とがほぼ等しいと近似することで、乗法性歪の無い音声Ｓm'(cep)が得られたとしている。
【００２２】次に、逆ケプストラム変換部１３がケプストラム領域の音声Ｓm'(cep)を線形スペクトル領域の音声Ｓm'(lin)に変換して加算器１４に供給すると共に、逆ケプストラム変換部１８が初期雑音ＨＭＭ１７から出力されるケプストラム領域の初期雑音（初期雑音の音響モデル）Ｎm(cep)を線形スペクトル領域の初期雑音Ｎm(lin)に変換して加算器１４に供給する。これにより、加算器１４は、線形スペクトル領域の音声Ｓm'(lin)と合成雑音Ｎm(lin)とを加算することにより、加法性雑音付加音声Ｒm'(lin)＝Ｓm'(lin)＋Ｎm(lin)を生成し、ケプストラム変換部１５に供給する。
【００２３】そして、ケプストラム変換部１５が加法性雑音付加音声Ｒm'(lin)をケプストラム領域の加法性雑音付加音声Ｒm'(cep)に変換し、初期合成ＨＭＭ１６を生成することとしている。
【００２４】従って、初期合成ＨＭＭ１６は、加法性雑音付加音声Ｒm'(cep)によって特徴付けられた音響モデルとなっており、次式（１）のように表される。
【００２５】
【数１】

尚、上記式（１）中の、ｃｅｐ〔 〕は、ケプストラム変換部１５で行われるケプストラム変換、ｃｅｐ-1〔 〕は、逆ケプストラム変換部１３，１８で行われる逆ケプストラム変換を表している。
【００２６】次に、ヤコビアン行列算出部１９の機能を説明する。上記したように、演算量を削減するために、ヤコビアン行列算出部１９が設けられており、実使用環境における加法性雑音Ｎa(cep)と初期雑音ＨＭＭ１７からの初期雑音のスペクトルＮm(cep)との間の変動ΔＮm(cep)＝Ｎa(cep)−Ｎm(cep)は小さいと仮定し、テイラー展開を用いてその雑音スペクトルの変動分ΔＮm(cep)に対応する合成モデルの変動分を求め、求めた変動分に応じて初期合成モデル１６を補償し、その補償によって求めた音響モデルを適応ＨＭＭ２６としている。
【００２７】より詳細に述べれば、仮に、乗法性歪及び加法性雑音を含まないクリーンな音声Ｓmの線形スペクトルをＳm(lin)、乗法性歪は重畳しないが加法性雑音の重畳した音声Ｒmの線形スペクトルをＲm(lin)、加法性雑音Ｎmの線形スペクトルをＮm(lin)とすると、線形スペクトルＲm(lin)は、【数２】

となる。更に、加法性雑音の重畳した音声Ｒmをケプストラム領域で表すと、【数３】

となる。ここで、ＩＤＣＴ〔 〕は、離散逆コサイン変換、ＤＣＴ〔 〕は、離散コサイン変換、ｌｏｇ（ ）は、対数変換、ｅｘｐ（ ）は、指数変換である。
【００２８】上記式（３）において、仮にクリーンな音声Ｓmは変動せず、加法性雑音ＮmがＮaに変動した場合の音声Ｒmcを考えることとし、その音声ＲmcとＲmとのケプストラム領域での変動ΔＲm(cep)と、変動後の音声のケプストラムＲmc(cep)をテイラー展開の一次微分項のみで見ると、次式（４），（５）の関係が得られる。
【数４】

【数５】

【００２９】そこで、ヤコビアン行列算出部１９は、テイラー展開の一次微係数Ｊ＝∂Ｒm(cep)／∂Ｎm(cep)に、加算器１４からの線形スペクトル領域の加法性雑音付加音声Ｒm'(lin)と逆ケプストラム変換部１８からの線形スペクトル領域の初期雑音Ｎm(lin)とをそれぞれケプストラム領域に変換して適用することにより、次式（６）で表されるｉ行ｊ列のヤコビアン行列〔Ｊ〕ijを予め算出しておき、実際の発話環境で生じる加法性雑音のモデルに基づいて初期合成ＨＭＭ１６を適応的に補償して適応ＨＭＭ２６を生成する際に、加法性雑音の変動分にヤコビアン行列〔Ｊ〕ijを乗算するだけで、合成モデルの変動分が求まり、この合成モデルの変動分を初期合成モデルに加えることで適応モデルを簡単に生成することができるようにしている。
【００３０】
【数６】

尚、上記式（６）中のＦikは、コサイン変換行列、Ｆkj-1 は、逆コサイン変換行列である。
【００３１】次に、適応ＨＭＭ２６の生成工程を説明する。この音声認識システムに設けられている発話開始スイッチ（図示省略）をユーザーがオン操作すると、マイクロフォン（図示省略）によって発話音声を収集すると共に、フレーム化部２０が収集した発話音声のデータＲaを所定時間毎にフレーム化し、更にケプストラム演算部２１がケプストラム領域（cep）の発話音声データＲa（cep）にして、音声認識の処理を行うようになっている。
【００３２】まず、ユーザーが上記の発話開始スイッチをオン操作すると、実際に発話が開始されるまでの非発話期間内に、スイッチ素子２２が接点ａ側に切り替わるようになっている。従って、ユーザーが発話しようとする環境内の背景雑音等（加法性雑音）ＮaのケプストラムＮa(cep)がスイッチ素子２２を介して減算器２３に供給される。
【００３３】減算器２３は、背景雑音ＮaのケプストラムＮa(cep)から初期雑音ＨmのケプストラムＮm(cep)を減算し、その減算結果Ｎa(cep)−Ｎm(cep)を掛け算器２４に供給し、掛け算器２４は、上記の減算結果Ｎa(cep)−Ｎm(cep)にヤコビアン行列〔Ｊ〕ijを乗算し、その乗算結果Ｊ〔Ｎa(cep)−Ｎm(cep)〕を加算器２５に供給し、加算器２５は、乗算結果Ｊ〔Ｎa(cep)−Ｎm(cep)〕と初期合成ＨＭＭ１６の音響モデルＲm^(cep)を単語やサブワード単位で加算する。これにより、実際の発話環境における背景雑音Ｎaによって適応的に補償された適応ＨＭＭ２６が生成される。つまり、適応ＨＭＭ２６をケプストラム領域（cep）で表すと、【数７】

となる。尚、式（７）中のｃｅｐ〔 〕はケプストラム変換を表している。
【００３４】こうして、適応ＨＭＭ２６の生成が行われると、スイッチ素子２２が接点ｂ側に切り替わり、認識すべき発話音声Ｒaをケプストラム領域の発話音声Ｒa(cep)として入力する。ここで、発話音声Ｒaはクリーンな音声Ｓaと乗法性歪Ｈaと加法性雑音Ｎaの各線形スペクトルＳa(lin)とＨa(lin)とＮa(lin)の成分を含んでいるものとすると、ケプストラム領域の発話音声Ｒa(cep)は、Ｒa(cep)＝ｃｅｐ〔Ｓa(lin)Ｈa(lin)＋Ｎa(lin)〕で表される。
【００３５】そこで、平均演算部２７がＣＭＮ法によって乗法性歪Ｈa(cep)の推定値Ｈa^(cep)を求め、減算器２８が発話音声Ｒa(cep)から推定値Ｈa^(cep)を減算し、その減算結果Ｒa(cep)−Ｈa^(cep)を観測値系列ＲＮa(cep)として照合部２９に供給している。
【００３６】そして、照合部２９が、観測値系列ＲＮa(cep)と適応ＨＭＭ２６とを単語やサブワード単位で照合し、観測値系列ＲＮa(cep)と最も尤度の高い適応ＨＭＭを認識結果として出力する。すなわち、観測値系列ＲＮa(cep)は、【数８】

となり、この式（８）で表される観測値系列ＲＮa(cep)と上記式（７）で表される適応ＨＭＭ２６の特徴ベクトルＲadp(cep)とを照合することで、音声認識を行っている。
【００３７】
【発明が解決しようとする課題】ところで、図４に示した本願発明者が提案した音声認識システムでは、適応ＨＭＭ２６と発話音声の観測値系列ＲＮa(cep)とを照合することで音声認識を行うことにしているが、適応ＨＭＭ２６が観測値系列ＲＮa(cep)に対して適切な照合対象として未だ十分にモデル化されていないという問題があった。
【００３８】すなわち、上記式（７）と（８）を対比すると、適応ＨＭＭ２６は、クリーンな音声の線形スペクトルＳm(lin)に加法性雑音の線形スペクトルＮa(lin)を加算し、それをケプストラム変換することで特徴付けられているのに対し、観測値系列ＲＮa(cep)は、クリーンな音声の線形スペクトルＳa(lin)に、加法性雑音の線形スペクトルＮa(lin)と乗法性歪の線形スペクトルＨa^(lin)との比Ｎa(lin)／Ｈa^(lin)を加算し、それをケプストラム変換することで特徴付けられている。
【００３９】したがって、適応ＨＭＭ２６は、乗法性歪の影響を除くことが可能な十分なモデルとはなっておらず、このため、適応ＨＭＭ２６と観測値系列ＲＮa(cep)とを照合部２９が照合した場合に、観測値系列ＲＮa(cep)と最も尤度の高い適応ＨＭＭ２６を求めることができない場合が発生し、ひいては音声認識率の向上を図ることができなくなる場合があるという問題があった。
【００４０】本発明は、上記従来の問題点を克服すると共に、加法性雑音と乗法性歪に対してロバストな音声認識システムを提供することを目的とする。
【００４１】
【課題を解決するための手段】上記目的を達成するため本発明の音声認識システムは、予め収集した乗法性歪を含んだ音声から生成された音声モデルと、予め収集した加法性雑音から生成された雑音モデルと、上記音声モデルに含まれる上記乗法性歪を推定する第１の推定手段と、上記音声モデルと上記第１の推定手段で推定された上記乗法性歪の第１の推定値と上記雑音モデルの加法性雑音とを合成処理することによって得られる雑音付加音声に基づいて生成された合成音声モデルと、上記雑音モデルの加法性雑音と上記雑音付加音声とからヤコビアン行列を算出する算出手段と、発話音声に含まれる乗法性歪を推定する第２の推定手段と、非発話期間に生じる加法性雑音と、上記雑音モデルの加法性雑音と、上記第２の推定手段で推定された上記乗法性歪の第２の推定値とを合成処理することで雑音変化分を求めると共に、上記雑音変化分に上記算出手段で算出されたヤコビアン行列を乗算する第１の演算手段と、上記演算手段の求めた乗算結果と上記合成音声モデルとを合成処理することによって生成された適応モデルと、発話音声と上記第２の推定手段で推定された上記乗法性歪の第２の推定値とを合成処理することにより観測値系列を生成する第２の演算手段とを備え、上記観測値系列と上記適応モデルとを照合することにより音声認識を行うことを特徴とする。
【００４２】かかる構成の音声認識システムによると、乗法性歪を有する音声モデルと、第１の推定手段で推定された雑音（乗法性歪）の第１の推定値と、雑音モデルの加法性雑音とを合成処理することによって雑音付加音声が生成され、その雑音付加音声から合成音声モデルが生成されている。
【００４３】また、雑音変化分は、非発話期間に生じる加法性雑音と、雑音モデルの加法性雑音と、第２の推定手段で推定された雑音（乗法性歪）の第２の推定値とを合成処理することによって生成される。
【００４４】また、ヤコビアン行列は、雑音モデルの加法性雑音と、雑音付加音声（すなわち、乗法性歪を有する音声モデルと、第１の推定手段で推定された雑音（乗法性歪）の第１の推定値と、雑音モデルの加法性雑音とを合成処理することによって求められる音声）とから算出される。
【００４５】適応モデルは、雑音変化分とヤコビアン行列との乗算結果と、合成音声モデルとを合成処理することで生成される。すなわち、適応モデルは、合成音声モデルと雑音変化分とヤコビアン行列との情報を有するモデルとなる。
【００４６】発話がなされると、第２の演算手段が、乗法性歪及び加法性歪みを含んだ発話音声に、上記第２の推定手段で推定された雑音（乗法性歪）の第２の推定値を合成処理することにより観測値系列を生成する。
【００４７】そして、観測値系列と適応モデルとを照合することで音声認識が行われる。
【００４８】ここで、観測値系列と照合される適応モデルは、観測値系列に含まれる雑音成分と整合性のとれた雑音成分が含まれる。このため、上記の観測値系列と適応モデルとの照合を行うと、雑音成分の影響を相殺して、音声モデルのクリーンな音声と発話されたクリーンな発話音声との照合を行ったのと同等の効果が得られる。このため、乗法性歪と加法性歪に対してロバストで、適切な音声認識が実現される。
【００４９】また、上記目的を達成するため本発明の音声認識システムは、予め収集した乗法性歪を含んだ音声から生成された音声モデルと、予め収集した加法性雑音から生成された雑音モデルと、上記音声モデルに含まれる上記乗法性歪を推定する第１の推定手段と、認識結果に基づいて上記音声モデルに含まれる発話音声毎の誤差を含んだ上記乗法性歪を推定する第２の推定手段と、上記雑音モデルの加法性雑音と上記第１の推定手段で推定された上記乗法性歪に第１の推定値を合成する第１の演算手段と、上記第１の演算手段の合成結果と上記音声モデルとを合成処理することによって得られる雑音付加音声に基づいて生成された合成音声モデルと、上記第１の演算手段の合成結果と上記雑音付加音声とからヤコビアン行列を算出する算出手段と、発話音声に含まれる発話音声毎の誤差を含んだ乗法性歪を推定する第３の推定手段と、非発話期間に生じる加法性雑音と上記第１の演算手段の合成結果と上記第２の推定手段で推定された上記発話音声毎の誤差を含んだ上記乗法性歪の第２の推定値と上記第３の推定手段で推定された上記発話音声毎の誤差を含んだ上記乗法性歪の第３の推定値とを合成処理することで雑音変化分を求めると共に、上記雑音変化分に上記算出手段で算出されたヤコビアン行列を乗算する第２の演算手段と、上記第２の演算手段の求めた乗算結果と上記合成音声モデルとを合成処理することによって生成された適応モデルと、発話音声と上記第３の推定手段で推定された上記発話音声毎の誤差を含んだ上記乗法性歪の第３の推定値とを合成処理することにより観測値系列を生成する第３の演算手段とを備え、上記観測値系列と上記適応モデルとを照合することにより音声認識を行うことを特徴とする。
【００５０】かかる構成の音声認識システムによると、適応モデルは、雑音変化分とヤコビアン行列との乗算結果と、合成音声モデルとを合成処理することで生成される。すなわち、適応モデルは、合成音声モデルと雑音変化分とヤコビアン行列との情報を有するモデルとなる。
【００５１】そして、発話がなされると、第３の演算手段が、乗法性歪及び加法性歪みを含んだ発話音声に、上記第３の推定手段で推定された雑音（乗法性歪）の第３の推定値を合成処理することにより観測値系列を生成し、その観測値系列と適応モデルとを照合することで音声認識が行われる。
【００５２】ここで、観測値系列と照合される適応モデルは、観測値系列に含まれる雑音成分と整合性のとれた雑音成分が含まれる。このため、上記の観測値系列と適応モデルとの照合を行うと、雑音成分の影響を相殺して、音声モデルのクリーンな音声と発話されたクリーンな発話音声との照合を行ったのと同等の効果が得られる。このため、乗法性歪と加法性歪に対してロバストで、適切な音声認識が実現される。
【００５３】
【発明の実施の形態】以下、本発明の実施の形態を図面を参照して説明する。尚、図１は本発明の音声認識システムの第１の実施の形態の構成を示すブロック図、図２は第２の実施の形態の構成を示すブロック図である。
【００５４】まず、これら第１，第２の実施形態を説明するに当たり、符号の説明をする。
【００５５】後述する音声ＨＭＭ１０を生成するために用いられる時間領域の音声をＲm、初期雑音ＨＭＭ１７を生成するために用いられる時間領域の加法性雑音をＮm、実際に発話された時間領域の発話音声をＲaとする。
【００５６】また、上記の音声Ｒmは、予め実験的に収集され、雑音を含まないクリーンな音声Ｓmに乗法性歪Ｈmが重畳したものとする。また、発話音声Ｒaは、雑音を含まないクリーンな発話音声Ｓaに乗法性歪Ｈaと加法性雑音Ｎaが重畳したものとする。また、実際に発話が行われていないときの室内雑音等の背景雑音も符号Ｎaで示すこととする。
【００５７】更に、線形スペクトル領域の情報には（lin）、ケプストラム領域の情報には（cep）を付加して示すこととする。例えば、初期雑音ＨＭＭ１７の音響モデルのケプストラム領域での表記をＮm(cep)、線形スペクトル領域での表記をＮm(lin)のようにして示すこととする。
【００５８】（第１の実施の形態）第１の実施形態を図１を参照して説明する。尚、図１中、図４と同一又は相当する部分を同一符号で示している。
【００５９】この音声認識システムには、音声ＨＭＭ１０と、初期雑音ＨＭＭ１７、初期合成ＨＭＭ１６、適応ＨＭＭ２６及び、適応ＨＭＭ２６を生成する際の演算量を大幅に削減するためのヤコビアン行列算出部１９が備えられ、認識すべき音声が発話されると、その発話音声から求めたケプストラム時系列である観測値系列ＲＮa（cep）と適応ＨＭＭ２６とを単語やサブワード単位で照合部２９が照合し、観測値系列ＲＮa（cep）と最も尤度の高い適応ＨＭＭを音声認識結果として出力する。
【００６０】音声ＨＭＭ１０は、実験的に収集した加法性雑音を含まない音声Ｒmを用いてＨＭＭ法により予め生成された音響モデルである。ただし、無響室内などで被験者の音声Ｒmを実験的に収集することにより、加法性雑音の影響の無い音声ＨＭＭ１０を生成しているが、マイクロフォンや電気伝送系等における乗法性歪の影響は除去されないため、音声ＨＭＭ１０は乗法性歪Ｈmの影響が残された音響モデルとなっている。
【００６１】したがって、音声ＨＭＭ１０を線形スペクトル領域（lin）で表記すれば、クリーンな音声Ｓmと乗法性歪Ｈmとの線形スペクトルＳm(lin)，Ｈm(lin)の積Ｒm(lin)＝Ｓm(lin)Ｈm(lin)で表され、ケプストラム領域（cep）で表記すれば、クリーンな音声Ｓmと乗法性歪ＨmとのケプストラムＳm(cep)，Ｈm(cep)の和Ｒm(cep)＝Ｓm(cep)＋Ｈm(cep)で表される。
【００６２】初期雑音ＨＭＭ１７は、上記の実験によって非音声区間の音（加法性雑音に相当する）を初期雑音データＮmとして収集し、その初期雑音データＮmを用いてあらかじめ学習された音響モデルである。したがって、初期雑音ＨＭＭ１７を線形スペクトル領域（lin）で表せばＮm(lin)となり、また、ケプストラム領域（cep）で表せばＮm(cep)となっている。
【００６３】初期合成ＨＭＭ１６は、音声ＨＭＭ１０と初期雑音ＨＭＭ１７との音響モデルを線形スペクトル領域で加算し、更にその加算結果をケプストラム領域の音響モデルに変換することによって予め生成されている。
【００６４】つまり、実際に音声認識すべき音声が発話される前に、音声ＨＭＭ１０から平均演算部１１と減算器１２へ、ケプストラム領域（cep）での音声（音響モデル）Ｒm(cep)＝Ｓm(cep)＋Ｈm(cep)を供給し、平均演算部１１がＣＭＮ法によって乗法性歪Ｈm(cep)の推定値Ｈm^(cep)を求め、更に、減算器１２がＲm(cep)−Ｈm^(cep)の演算を行うことによって、乗法性歪の推定値Ｈm^(cep)を除いた音声Ｓm'(cep)を生成する。更に、逆ケプストラム変換部１３がケプストラム領域の音声Ｓm'(cep)を線形スペクトル領域の音声Ｓm'(lin)に変換すると共に、逆ケプストラム変換部１８が初期雑音ＨＭＭ１７からのケプストラム領域の初期雑音（初期雑音の音響モデル）Ｎm(cep)を線形スペクトル領域の初期雑音Ｎm(lin)に変換し、更に、加算器１４が線形スペクトル領域の音声Ｓm'(lin)と初期雑音Ｎm(lin)とを加算することにより、加法性雑音付加音声Ｒm'(lin)＝Ｓm'(lin)＋Ｎm(lin)を生成する。そして、ケプストラム変換部１５が加法性雑音付加音声Ｒm'(lin)をケプストラム領域の加法性雑音付加音声Ｒm'(cep)に変換し、初期合成ＨＭＭ１６を生成する。
【００６５】したがって、初期合成ＨＭＭ１６は、上記式（１）で表記されるように、加法性雑音付加音声Ｒm'(cep)によって特徴付けられた音響モデルとなっている。
【００６６】ヤコビアン行列算出部１９は、逆ケプストラム変換部１８にて生成される初期雑音Ｎm(lin)と加算器１４にて生成される加法性雑音付加音声Ｒm'(lin)とを入力し、これら線形スペクトル領域の初期雑音Ｎm(lin)と加法性雑音付加音声Ｒm'(lin)とをケプストラム領域に変換して上記式（６）に導入することにより、テイラー展開の一次微係数行列であるヤコビアン行列Ｊ＝∂Ｒm'(cep)／∂Ｎm(cep)を各サブワード合成ＨＭＭ毎に予め作成する。
【００６７】適応ＨＭＭ２６は、本音声認識システムに設けられている発話開始スイッチ（図示省略）をユーザーがオン操作し、ユーザーが実際に発話を開始するまでにマイクロフォン（図示省略）で集音される加法性雑音に相当する背景雑音Ｎaに応じて、初期合成ＨＭＭ１６を適応的に補償することによって生成される音響モデルであり、上記した実際の発話開始前に予め生成されるようになっている。
【００６８】更に、フレーム化部２０と、ケプストラム演算部２１、スイッチ素子２２、加減算器２３、掛け算器２４、加算器２５、平均演算部２７、減算器２８が備えられている。
【００６９】フレーム化部２０は、上記の発話開始スイッチがオン操作されて上記のマイクロフォンが集音状態となると、そのマイクロフォンから出力されアナログデジタル変換された背景雑音（加法性雑音に相当する）Ｎaや発話音声Ｒaを入力し、所定時間ずつのフレーム単位に区分けして出力する。
【００７０】ケプストラム演算部２１は、フレーム単位の背景雑音Ｎaや発話音声Ｒaをケプストラム演算することにより、背景雑音Ｎaや発話音声ＲaのケプケプストラムＮa(cep)，Ｒa(cep)を生成して出力する。
【００７１】スイッチ素子２２は、上記発話開始スイッチがオン操作されて実際に発話が行われるまでの非発話期間内に接点ａ側に切り替わることで、背景雑音のケプストラムＮa(cep)を加減算器２３側へ供給する。また、実際に発話が行われる期間では接点ｂ側に切り替わり、発話音声のケプストラムＲa(cep)を平均演算部２７及び加算器２８側へ供給する。
【００７２】平均演算部２７は、発話音声のケプストラムＲa(cep)をＣＭＮ法によって平均演算し、そのケプストラムＲa(cep)に含まれている乗法性歪Ｈaのケプストラムの推定値Ｈa^(cep)を求める。
【００７３】尚、平均演算部２７には、推定値Ｈa^(cep)を記憶する半導体メモリ等の記憶部（図示省略）が備えられており、発話開始スイッチが操作される毎に、前回発話されたときに求めた推定値Ｈa^(cep)を出力すると共に、今回の発話の際に求めた推定値Ｈa^(cep)に更新して記憶するようになっている。
【００７４】加減算器２３は、ケプストラム領域での演算により、背景雑音Ｎa(cep)から乗法性歪の推定値Ｈa^(cep)と初期雑音Ｎm(cep)とを減算する。これにより、次式（９）で表される加法性雑音ケプストラム変化分Ｎamh(cep)を求めて、掛け算器２４に供給する。
【数９】

掛け算器２４は、加法性雑音ケプストラム変化分Ｎamh(cep)にヤコビアン行列Ｊを乗算し、その乗算結果Ｊ〔Ｎamh(cep)〕＝Ｊ〔Ｎa(cep)−Ｈa^(cep)−Ｎm(cep)〕を加算器２５に供給する。
【００７５】加算器２５は、上記の乗算結果Ｊ〔Ｎamh(cep)〕と初期合成ＨＭＭ１６の音響モデルＲm'(cep)を単語やサブワード単位で加算する。これにより、実際の発話環境における背景雑音Ｎaによって適応的に補償された適応ＨＭＭ２６を生成する。つまり、適応ＨＭＭ２６をケプストラム領域（cep）で表すと、【数１０】

となる。尚、上記式（１０）のｃｅｐ〔 〕は、ケプストラム変換を表している。
【００７６】次に、かかる構成の音声認識システムの動作を説明する。まず、上記したように、実際の音声認識を開始する前に、音声ＨＭＭ１０と初期雑音ＨＭＭ１７と初期合成ＨＭＭ１６が予め作成され、更にヤコビアン行列算出部１９によってヤコビアン行列Ｊが作成される。
【００７７】次に、ユーザーにより発話開始スイッチがオン操作されると、図示しないマイクロフォンが集音状態になり、実際に発話が開始される前の非発話期間に、スイッチ素子２２が接点ａ側に切り替わり、背景雑音Ｎaを入力する。これにより、フレーム化部２０とケプストラム演算部２１及びスイッチ素子２２を通じて、背景雑音ＮaのケプストラムＮa(cep)が加減算器２３に供給される。更に、加減算器２３には、平均演算部２７から前回の発話時に求めた乗法性歪の推定値Ｈa^(cep)が供給されると共に、初期雑音ＨＭＭ１７から初期雑音Ｎm(cep)が供給される。
【００７８】そして、加減算器２３が上記式（９）で表される加法性雑音ケプストラム変化分Ｎamh(cep)を求め、掛け算器２４が加法性雑音ケプストラム変化分Ｎamh(cep)にヤコビアン行列Ｊを乗算し、更に、加算器２５がその乗算結果Ｊ〔Ｎamh(cep)〕と初期合成ＨＭＭ１６を単語やサブワード単位で加算することにより、適応ＨＭＭ２６を生成する。
【００７９】次に、適応ＨＭＭ２６の生成が終了すると、スイッチ素子２２は接点ｂ側に切り替わる。そして、ユーザーが実際に発話すると、フレーム化部２０及びケプストラム演算部２１がその発話音声Ｒaをケプストラム領域の発話音声Ｒa(cep)にし、スイッチ素子２２を介して平均演算部２７と減算器２８に供給する。
【００８０】これにより、平均演算部２７が、ＣＭＮ法によって発話音声Ｒa(cep)に含まれている乗法性歪Ｈaのケプストラム領域での推定値Ｈa^(cep)を新たに生成して記憶すると共に、その新たに生成した推定値Ｈa^(cep)を加減算器２８に供給する。
【００８１】そして、加減算器２８が、発話音声Ｒa(cep)から推定値Ｈa^(cep)を減算することで、乗法性歪を除いた観測値系列ＲＮa(cep)＝Ｒa(cep)−Ｈa^(cep)を生成し、照合部２９が、観測値系列ＲＮa(cep)と適応ＨＭＭ２６とを単語やサブワード単位で照合し、最大尤度の得られる適応ＨＭＭを音声認識結果として出力する。
【００８２】ここで、観測値系列ＲＮa(cep)は、上記式（８）に示したように、クリーンな音声の線形スペクトルＳa(lin)に、加法性雑音の線形スペクトルＮa(lin)と乗法性歪の線形スペクトルＨa^(lin)との比Ｎa(lin)／Ｈa^(lin)を加算し、それをケプストラム変換することで特徴付けられている。一方、適応ＨＭＭ２６は、上記式（１０）に示したように、クリーンな音声の線形スペクトルＳm(lin)に、加法性雑音の線形スペクトルＮa(lin)と乗法性歪の線形スペクトルＨa^(lin)との比Ｎa(lin)／Ｈa^(lin)を加算し、それをケプストラム変換することで特徴付けられている。
【００８３】つまり、適応ＨＭＭ２６と観測値系列ＲＮa(cep)の雑音のスペクトルが共にＮa(lin)／Ｈa^(lin)となることから、適応ＨＭＭ２６は、観測値系列ＲＮa(cep)に対して整合性のとれた音響モデルとなっている。
【００８４】更に、照合部２９が観測値系列ＲＮa(cep)と適応ＨＭＭ２６を照合する際、雑音のスペクトルが共にＮa(lin)／Ｈa^(lin)であることから、これら適応ＨＭＭ２６と観測値系列ＲＮa(cep)の雑音（加法性雑音と乗法性歪）の影響を実質的に相殺して、クリーンな音声Ｓm(cep)とクリーンな発話音声Ｓa(cep)とを照合することになるため、音声認識率を向上することができる。
【００８５】このように、本実施形態の音声認識システムによれば、適応ＨＭＭ２６を実際の発話の際に求まる観測値系列ＲＮa(cep)に対して整合性のとれた音響モデルとすることができると共に、加法性雑音と乗法性歪に対処した構成としているため、加法性雑音と乗法性歪に対してロバストで音声認識率の向上を図ることができる。更に、ヤコビアン行列を適用するための適切な構成を実現しており、音声認識に要する時間の大幅短縮が可能となっている。
【００８６】（第２の実施の形態）次に、第２の実施形態の音声認識システムを図２に基づいて説明する。尚、図２中、図１と同一又は相当する部分を同一符号で示している。
【００８７】図２において、第１の実施形態との相違点を述べると、本実施形態の音声認識システムでは、２つの平均演算部１１ａ，１１ｂと、加算器１２a、減算器２３ａ、加算器３０が備えられている。
【００８８】尚、図１中の加算器１２は設けられておらず、音声ＨＭＭ１０のケプストラム領域の音声Ｒm(cep)が逆ケプストラム変換部１３に直接供給されるようになっている。
【００８９】第１の平均演算部１１ａは、音声ＨＭＭ１０の平均ベクトルの全平均を求める等、大量な音声ＨＭＭの情報量の平均を求めることにより、乗法性歪の推定値Ｈm1^(cep)を求める。
【００９０】第２の平均演算部１１ｂは、1つ前の発話時においてＨa^(後述)推定に使用された発話音声区間(過去数発話分)の、認識結果に対応するサブワード音声ＨＭＭの平均ベクトルを平均することで、真の乗法性歪Ｈm(cep)に発話音声に応じて異なる乗法性歪の誤差分Ｈme(cep)を含んだ形の、推定値Ｈm1^(cep)とも推定値Ｈm^(cep)とも異なる新たな乗法性歪の推定値Ｈm2^(cep)＝Ｈm(cep)＋Ｈme(cep)を生成する。
【００９１】加算器１２ａは、初期雑音ＨＭＭ１７からの初期雑音Ｎm(cep)と第１の平均演算部１１ａからの推定値Ｈm1^(cep)とを加算し、その加算結果Ｎmh(cep)＝Ｎm(cep)＋Ｈm1^(cep)を加減算器２３ａ及び逆ケプストラム変換部１８に供給する。
【００９２】加減算器２３ａは、上記の加減算器２３ａからの加算結果Ｎmh(cep)の他、第２の平均演算部１１ｂからの推定値Ｈm2^(cep)が供給され、更に非発話期間中に、平均演算部２７からの推定値Ｈa^(cep)と背景雑音Ｎa(cep)が供給される。これにより、加減算器２３ａでは、次式（１１）で表されるように、適応ＨＭＭ２６を生成するために用いる加法性雑音ケプストラム変化分Ｎamh'(cep)が生成される。
【数１１】

【００９３】本実施形態の初期合成ＨＭＭ１６は、図示するように、加算器１２ａで生成される加算結果Ｎmh(cep)と、音声ＨＭＭ１０からの乗法性歪Ｈmの除かれていない音声Ｒm(cep)とによって予め生成されている。すなわち、乗法性歪Ｈmの除かれていない音声Ｒm(cep)を逆ケプストラム変換部１３が線形スペクトル領域の音声Ｒm(lin)に変換し、逆ケプストラム変換部１８が上記の加算結果Ｎmh(cep)を線形スペクトル領域の加算結果Ｎmh(lin)に変換する。そして、加算器１４がＲm(lin)とＮmh(lin)を加算し、その加算演算によって生成される加法性雑音付加音声Ｒmh(lin)＝Ｒm(lin)＋Ｎmh(lin)をケプストラム変換部１５がケプストラム領域の加法性雑音付加音声Ｒmh(cep)に変換することにより、初期合成ＨＭＭ１６が生成されている。したがって、初期合成ＨＭＭ１６は、次式（１２）で表される。
【数１２】

尚、式（１２）中のｃｅｐ〔 〕はケプストラム変換を表している。
【００９４】本実施形態の平均演算部２７は、発話期間中に発話音声ＲaのケプストラムＲa(cep)がスイッチ素子２２の接点ｂを経由して供給されると、Ｒa(cep)に含まれている真の乗法性歪Ｈa(cep)に、発話音声に応じて異なる乗法性歪の誤差分Ｈae(cep)が含まれた形となり、乗法性歪の推定値はＨa^(cep)＝Ｈa(cep)＋Ｈae(cep)と表される。
【００９５】したがって、図１に示した第１の実施形態の平均演算部２７は、乗法性歪Ｈa(cep)の時間平均をＨa^(cep)としているのに対し、図２に示す本実施形態の平均演算部２７は、上記Ｈa(cep)＋Ｈae(cep)をＨa^(cep)としている点が異なっている。ここで、Ｈaeは発話内容によって変動する乗法性歪推定値の誤差である。発話内容は認識結果が正しければ認識結果に一致する。Ｈm2＾推定時にも認識結果を用いてＨa^推定時の発話内容を対応させている。よって、Ｈae≒Ｈmeとなり発話音声に応じて異なる乗法性歪の誤差の対応が取れることになる。
【００９６】本実施形態のヤコビアン行列算出部１９は、逆ケプストラム変換部１８にて生成される雑音Ｎmh(lin)と加算器１４にて生成される加法性雑音付加音声Ｒmh(lin)とを入力し、これら線形スペクトル領域の雑音Ｎmh(lin)と加法性雑音付加音声Ｒmh(lin)とをケプストラム領域に変換して上記式（６）に導入することにより、テイラー展開の一次微係数Ｊ＝∂Ｒmh(cep)／∂Ｎmh(cep)をヤコビアン行列Ｊとして予め作成する。
【００９７】そして、掛け算器２４が、このヤコビアン行列Ｊと加減算器２３ａからの加法性雑音ケプストラム変化分Ｎamh'(cep)とを乗算することにより、その乗算結果Ｊ〔Ｎamh'(cep)〕を加算器２５に供給し、更に加算器２５が乗算結果Ｊ〔Ｎamh'(cep)〕と初期合成ＨＭＭ１６を加算することで、適応ＨＭＭ２６を生成する。
【００９８】尚、乗算結果Ｊ〔Ｎamh'(cep)〕は、上記式（１１）の関係から、Ｊ〔Ｎa(cep)＋Ｈm2^(cep)−Ｈa^(cep)−Ｎm(cep)−Ｈm1^(cep)〕となり、適応ＨＭＭ２６は、【数１３】

となる。
【００９９】加算器３０は、発話時に加減算器２８から供給される発話音声Ｒa(cep)と推定値Ｈa^(cep)との差Ｒa(cep)−Ｈa^(cep)に、第２の平均演算部１１ｂからの推定値Ｈm2^(cep)を加算することで、観測値系列ＲＮah(cep)＝Ｒa(cep)−Ｈa^(cep)＋Ｈm2^(cep)を生成して照合部２９に供給する。したがって、観測値系列ＲＮah(cep)は、次式（１４）で表記されるように、【数１４】

となる。
【０１００】次に、かかる構成の本音声認識システムの動作を説明する。まず、上記したように、実際の音声認識を開始する前に、音声ＨＭＭ１０と初期雑音ＨＭＭ１７と初期合成ＨＭＭ１６が予め作成され、更にヤコビアン行列算出部１９によってヤコビアン行列Ｊが作成される。
【０１０１】次に、ユーザーにより発話開始スイッチがオン操作されると、図示しないマイクロフォンが集音状態になり、実際に発話が開始される前の非発話期間に、スイッチ素子２２が接点ａ側に切り替わり、背景雑音Ｎaを入力する。これにより、フレーム化部２０とケプストラム演算部２１及びスイッチ素子２２を通じて、背景雑音ＮaのケプストラムＮa(cep)が加減算器２３ａに供給される。更に、加減算器２３ａには、平均演算部２７から前回の発話時に求めた乗法性歪の推定値Ｈa^(cep)が供給されると共に、加算器１２ａからの雑音Ｎmh(cep)と、第２の平均演算部１１ｂからの推定値Ｈm2^(cep)が供給される。Ｈm2^(cep)は1つ前の発話時においてＨa^(後述)推定に使用された発話音声区間(過去数発話分)の、認識結果に対応するサブワード音声ＨＭＭの平均ベクトルを平均することで、推定される。
【０１０２】そして、加減算器２３ａが上記式（１１）で表される加法性雑音ケプストラム変化分Ｎamh'(cep)を求め、掛け算器２４が加法性雑音ケプストラム変化分Ｎamh'(cep)にヤコビアン行列Ｊを乗算し、更に、加算器２５がその乗算結果Ｊ〔Ｎamh'(cep)〕と初期合成ＨＭＭ１６を単語やサブワード単位で加算することにより、適応ＨＭＭ２６を生成する。
【０１０３】次に、適応ＨＭＭ２６の生成が終了すると、スイッチ素子２２は接点ｂ側に切り替わる。そして、ユーザーが実際に発話すると、フレーム化部２０及びケプストラム演算部２１がその発話音声Ｒaをケプストラム領域の発話音声Ｒa(cep)にし、スイッチ素子２２を介して平均演算部２７と減算器２８に供給する。
【０１０４】これにより、平均演算部２７が、乗法性歪Ｈaのケプストラム領域での推定値Ｈa^(cep)を新たに生成して記憶する。加減算器２８には１つ前の発話時に推定した、更新前のＨa^(cep)を供給する。
【０１０５】そして、加減算器２８が、発話音声Ｒa(cep)から推定値Ｈa^(cep)を減算することで、乗法性歪を除いた観測値系列ＲＮah(cep)＝Ｒa(cep)−Ｈa^(cep)を生成し、照合部２９が、観測値系列ＲＮah(cep)と適応ＨＭＭ２６とを単語やサブワード単位で照合し、最大尤度の得られる適応ＨＭＭを音声認識結果として出力する。
【０１０６】ここで、観測値系列ＲＮah(cep)は上記式（１４）で表され、適応ＨＭＭ２６は上記式（１３）で表される。すなわち、観測値系列ＲＮah(cep)と適応ＨＭＭ２６の雑音スペクトルが共にＮa(lin)Ｈm2^(lin)／Ｈa^(lin)となることから、適応ＨＭＭ２６は、観測値系列ＲＮa(cep)に対して整合性のとれた音響モデルとなっている。
【０１０７】更に、照合部２９が観測値系列ＲＮa(cep)と適応ＨＭＭ２６を照合する際、雑音のスペクトルが共にＮa(lin)Ｈm2^(lin)／Ｈa^(lin)であることから、クリーンな音声Ｓm(cep)に乗法性歪Ｈm(cep)が重畳した音声Ｓm(cep)Ｈm(cep)とクリーンな発話音声Ｓa(cep)に乗法性歪Ｈa(cep)が重畳した音声Ｓa(cep)Ｈa(cep)とを照合することになる。このため、Ｎa(lin)Ｈm2^(lin)／Ｈa^(lin)の影響を実質的に相殺して照合することが可能となり、更に、乗法性歪Ｈm(cep)とＨa(cep)の影響を実質的に相殺して照合することが可能となる。つまり、加法性雑音と乗法性歪みとの両者の影響を実質的に相殺することが可能となり、クリーンな音声Ｓm(cep)とクリーンな発話音声Ｓa(cep)とを照合することになるため、音声認識率を向上することができる。
【０１０８】このように、本実施形態の音声認識システムによれば、適応ＨＭＭ２６を実際の発話の際に求まる観測値系列ＲＮah(cep)に対して整合性のとれた音響モデルとすることができると共に、加法性雑音と乗法性歪に対処した構成としているため、加法性雑音と乗法性歪に対してロバストで音声認識率の向上を図ることができる。更に、ヤコビアン行列を適用するための適切な構成を実現しており、音声認識に要する時間の大幅短縮が可能となっている。
【０１０９】尚、以上の第１，第２の実施形態の説明では、音声と雑音との加算や、音声から雑音を減算する等の演算処理を、スペクトル領域又はケプルトラム領域において行うこととしているが、これらの加算と減算の演算処理は、音声と雑音等をスペクトル領域又はケプストラム領域にて合成することを意味している。例えば、図２中の加減算器２８が、発話音声Ｒa(cep)から推定値Ｈa^(cep)を減算することで、それらの差Ｒa(cep)−Ｈa^(cep)を求めているが、かかるケプストラム領域での減算は、Ｒa(cep)とＨa^(cep)とを合成することを意味している。また、図２中の加算器３０が、加減算器２８からの差Ｒa(cep)−Ｈa^(cep)に第２の平均演算部１１ｂからの推定値Ｈm2^(cep)を加算することで、観測値系列ＲＮah(cep)を求めているが、かかるケプストラム領域での加算は、差Ｒa(cep)−Ｈa^(cep)と推定値Ｈm2^(cep)とを合成することを意味している。
【０１１０】
【発明の効果】以上説明したように本発明の音声認識システムによれば、音声モデルと雑音モデルから合成音声モデルを生成すると共に、その合成音声モデルを基準のモデルとして乗法性歪と加法性雑音の情報を予め含んだ適応モデルを生成しておき、実際に発話がなされると、発話音声から生成する観測値系列と適応モデルとを照合することで音声認識を行う構成とし、更に、適応モデルを観測値系列と整合性のとれる構成にしたので、乗法性歪と加法性歪に対してロバストで、適切な音声認識を行うことが可能な音声認識システムを提供することができる。
【０１１１】また、ヤコビアン行列を適用して演算量の大幅低減を実現するのに好適な構成の音声認識システムを提供することができ、よって、高速な音声認識システムを提供することができる。
【出願人】 【識別番号】０００００５０１６
【氏名又は名称】パイオニア株式会社
【出願日】 平成１２年９月１８日（２０００．９．１８）
【代理人】 【識別番号】１０００６３５６５
【弁理士】
【氏名又は名称】小橋 信淳
【公開番号】 特開２００２−９１４８５（Ｐ２００２−９１４８５Ａ）
【公開日】 平成１４年３月２７日（２００２．３．２７）
【出願番号】 特願２０００−２８２３４９（Ｐ２０００−２８２３４９）