トップ :: G 物理学 :: G10 楽器;音響




【発明の名称】 音声認識用音響モデル生成装置および記録媒体
【発明者】 【氏名】世木 寛之

【氏名】小早川 健

【氏名】尾上 和穂

【氏名】佐藤 庄衛

【氏名】今井 亨

【氏名】田中 英輝

【氏名】安藤 彰男
【要約】 【課題】音響モデルの生成時間を短縮する。

【解決手段】同一ラベルの音声データを特徴が類似するもの同士の集合に分割し、分割した集合内の音声データで音響モデルを生成する。
【特許請求の範囲】
【請求項１】 時間区分された音響ラベルファイルおよび該音響ラベルファイルに対応した音声データから音声認識で使用する音響モデルを生成する音響モデル生成装置において、前記時間区分された音響ファイルに基づき同一ラベルに属する音声データを抜き出し、当該抜き出された音声データを分割する分割手段と、当該同一ラベルごとに分割された音声データから音響モデルを生成する手段とを具えたことを特徴とする音声認識用音響モデル生成装置。
【請求項２】 請求項１に記載の音声認識用音響モデル生成装置において、前記分割手段は、音声データの特徴が類似するものを集めることにより前記抜き出された音声データを分割することを特徴とする音声認識用音響モデル生成装置。
【請求項３】 請求項２に記載の音声認識用音響モデル生成装置において、前記分割手段は分割された音声データの数がほぼ等しくなるように分割を行うことを特徴とする音声認識用音響モデル生成装置。
【請求項４】 コンピュータに実装されてるプログラムであって、時間区分された音響ラベルファイルおよび該音響ラベルファイルに対応した音声データから音声認識で使用する音響モデルを生成するためのプログラムを記録した記録媒体において、前記プログラムは、前記時間区分された音響ファイルに基づき同一ラベルに属する音声データを抜き出し、当該抜き出された音声データを分割する分割ステップと、当該同一ラベルごとに分割された音声データから音響モデルを生成するステップとを具えたことを特徴とする記録媒体。
【請求項５】 請求項４に記載の記録媒体において、前記分割ステップでは、音声データの特徴が類似するものを集めることにより前記抜き出された音声データを分割することを特徴とする記録媒体。
【請求項６】 請求項５に記載の記録媒体において、前記分割ステップでは分割された音声データの数がほぼ等しくなるように分割を行うことを特徴とする記録媒体。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、音声認識で使用する音響モデルを生成するための音声認識用音響モデル生成装置および記録媒体に関する。
【０００２】
【従来の技術】ニュース番組へのリアルタイム自動字幕付与を目的として、大語彙連続音声認識の研究を行っている。これまで、音響モデルとしては混合正規分布型のＨＭＭを使用してきた［今井他，“ニュース番組自動字幕化のための音声認識システム”，音声言語情報処理研究会，２３−１１，ｐｐ．５９−６４（１９９８．１０）］。Ｔｒｅｅ−ｂａｓｅｄ ｃｌｕｓｔｅｒｉｎｇ［Ｓ．Ｊ．Ｙｏｕｎｇ，”Ｔｒｅｅ−ｂａｓｅｄ ｓｔａｔｅ ｔｙｉｎｇ ｆｏｒ ｈｉｇｈ ａｃｃｕｒａｃｙ ａｃｏｕｓｔｉｃｓ ｍｏｄｅｌｉｎｇ”，Ｐｒｏｃ．ＡＲＰＡ Ｈｕｍａｎ Ｌａｎｇｕａｇｅ Ｔｅｃｈｎｏｌｏｇｙ Ｗｏｒｋｓｈｏｐ，ｐｐ．３０７−３１２（１９９４）］を使用した混合正規分布型のトライフォンＨＭＭの学習では、モノフォンの初期モデルをトライフォンにし、状態共有化されたトライフォンＨＭＭを作成する［世木他，“状態共有トライフォンＨＭＭの学習における決定木とモデル数の検討”，音講論集，３−Ｑ−３，ｐｐ．１２３−１２４（１９９９．９）］。その後混合数を一つずつ増加していく。
【０００３】
【発明が解決しようとする課題】この間ＨＭＭの構造を変化させるたびに、音響モデルの種となる初期の音響モデルからＥＭアルゴリズムを数回繰り返して音響モデルの正規分布の数を少しずつ増加させるのが通常である。したがって、最終的なＨＭＭを得るまでにＥＭアルゴリズムを多数回繰り返す必要があり、音響モデルを生成する場合の学習時間の削減が課題と考えられる。なお、ＥＭアルゴリズムについては「パターン認識と学習のアルゴリズム」、上坂吉則他著、文一総合出版、ｐｐ１２９〜１３２を参照されたい。
【０００４】そこで、本発明の目的は、音響モデルの生成時間を低減することが可能な音声認識用音響モデル生成装置および記録媒体を提供することにある。
【０００５】
【課題を解決するための手段】このような目的を達成するために、請求項１に記載の発明は、時間区分された音響ラベルファイルおよび該音響ラベルファイルに対応した音声データから音声認識で使用する音響モデルを生成する音響モデル生成装置において、前記時間区分された音響ファイルに基づき同一ラベルに属する音声データを抜き出し、当該抜き出された音声データを分割する分割手段と、当該同一ラベルごとに分割された音声データから音響モデルを生成する手段とを具えたことを特徴とする。
【０００６】請求項２に記載の発明は、請求項１に記載の音声認識用音響モデル生成装置において、前記分割手段は、音声データの特徴が類似するものを集めることにより前記抜き出された音声データを分割することを特徴とする。
【０００７】請求項３に記載の発明は、請求項２に記載の音声認識用音響モデル生成装置において、前記分割手段は分割された音声データの数がほぼ等しくなるように分割を行うことを特徴とする。
【０００８】請求項４の発明は、コンピュータに実装されてるプログラムであって、時間区分された音響ラベルファイルおよび該音響ラベルファイルに対応した音声データから音声認識で使用する音響モデルを生成するためのプログラムを記録した記録媒体において、前記プログラムは、前記時間区分された音響ファイルに基づき同一ラベルに属する音声データを抜き出し、当該抜き出された音声データを分割する分割ステップと、当該同一ラベルごとに分割された音声データから音響モデルを生成するステップとを具えたことを特徴とする。
【０００９】請求項５の発明は、請求項４に記載の記録媒体において、前記分割ステップでは、音声データの特徴が類似するものを集めることにより前記抜き出された音声データを分割することを特徴とする。
【００１０】請求項６の発明は、請求項４に記載の記録媒体において、前記分割ステップでは分割された音声データの数がほぼ等しくなるように分割を行うことを特徴とする。
【００１１】
【発明の実施の形態】以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１２】本実施形態では以下の音響モデル生成手順を用いる。すなわち、■状態共有した後、あらかじめアラインメント付けされた学習データを数個のクラスタに分割する。
■分割された学習データを用いてＨＭＭのパラメータを直接計算する。
【００１３】このような生成手順を使用した実験の結果、本実施形態では従来法よりも学習速度の向上に効果が得られた。
【００１４】以下に、より詳細な音響モデルの生成方法を説明する。
【００１５】（１）音響モデルの作成生成■ 初期音響モデルを利用し学習データのアラインメントをとり、各学習データとモデル、状態の対応関係を得る。
【００１６】■ 各トライフォンの各状態で学習データの平均と分散を計算し、Ｔｒｅｅ−ｂａｓｅｄ ｃｌｕｓｔｅｒｉｎｇを行い、状態共有を行う。
【００１７】■ 共有されている各状態に属する学習データに対し、学習データ数をなるべく等しくするように２分割していく。この操作を３回繰り返し、８分割にする。
【００１８】■ 分割された学習データで平均と分散を計算し、これをＨＭＭの正規分布の平均と分散とする。重みは全て１／８とする。
【００１９】学習データの分割時に必要となる距離ＬS（Ｘt）は対数尤度を使用した。
【００２０】
【数１】

【００２１】ここで、Ｘtはｔフレーム目の特徴ベクトル、μS、ΣSは状態クラスターＳの平均と分散、ｎは特徴ベクトルの次元数である。
【００２２】学習データは、２つのクラスターで対数尤度が大きい方に属するとしたが、各クラスターで学習データ数をなるべく等しくするため以下の処理を行った。
【００２３】片方のクラスターに属する学習データが分割前のデータ数の半分になったときには、残りのデータを暫定的に他方に属することにする。このように２分割したクラスターごとに新しい平均と分散を計算し、これらを使ってデータを再度分割する。このような手順を、対数尤度が小さい方に属した学習データの数の変化がある閾値以下になるまで繰り返す。
【００２４】（２）従来法との学習時における処理時間の違い今回の行った手法と従来法との学習時における処理時間について考える。それぞれの処理で、主な部分を占めるのが正規分布の出力確率の計算であるので、出力確率の計算回数で比較することにする。
【００２５】従来のＥＭアルゴリズムでは連結学習であるため、アクティブになっている状態の数だけ出力確率を計算する必要がある。一方、今回の手法の場合は、あらかじめアラインメントをとり学習データとモデルの状態を対応つけてしまうため、その状態だけで出力確率を計算すればよい。
【００２６】また、１つの状態で出力確率で計算する時に、従来のＥＭアルゴリズムでは、その状態の混合数の数だけ正規分布の出力確率を計算する必要がある。一方、今回の手法の場合は、混合数を増加させても２分割であるので、距離の計算は２つのクラスターでしか計算しない。したがって、計算する正規分布の数は絶えず２つである。
【００２７】以上の理由により、ＥＭアルゴリズムの場合に比べて、本手法では計算時間を大幅に短縮できる。
【００２８】（３）認識実験上記音響モデル生成方法に従って認識実験を行った結果を以下に示す。
（３．１） 音響モデル（３．１．１） 音響パラメータ使用した音響分析パラメータは以下のとおりである。
【００２９】
【表１】

【００３０】（３．１．２） 学習データ学習データとしては、ニュースデータベース、および２４人の男性アナウンサーにより発声されたバランス文２０８９２文、５４．６時間を使用した。いずれも発声者は男性のみである。
（３．２） 言語モデル言語モデル学習データは‘９１．４．１〜’９９．１０．２７までのニュース原稿を使用した。総文章数１２０万文、総単語数６８５０万語である。語彙の大きさは２０Ｋで、バックオフスムージングにはＧｏｏｄ Ｔｕｒｉｎｇを使用している。
（３．３） デコーダー（音声認識装置）
２パスのデコーダで、１パス目はｂｉｇｒａｍで２００ｂｅｓｔ文を出力し、２パス目はｔｒｉｇｒａｍでリスコアリングし一番良いスコアの文を出力する。
（３．４） 評価データ評価データには‘９９．１０．２８のニュースの男性アナウンサーによるクリーンスピーチ１６２文（５８８９単語）を使用した。第１パスはｂｉｇｒａｍでパープレキシティ７９．２６、第２パスではｔｒｉｇｒａｍでパープレキシティ３５．６９、ＯＯＶは０．９０パーセントである。
【００３１】（４）認識結果（４．１） 従来法との比較両手法とも、初期音響モデルとして、アナウンサーが読み上げたバランス文２４６１文に人手でモデルの区間付けを行ったラベルから作成したモノフォンの音響モデルを使用した。
【００３２】本手法で作成された音響モデルを使用したときの認識率と、従来法により作成された音響モデルを使用した認識結果を表２に示す。
【００３３】
【表２】

【００３４】従来法と本手法と認識率の差はほとんどなかった。本手法の学習に必要な計算時間は、従来法の約４０％まで、短縮された。
【００３５】また、本手法で作成した音響モデルから２回ＥＭアルゴリズムで出力確率（平均、分散、重み）と遷移確率を再推定した場合の認識結果を表２の中段に示す。ＥＭアルゴリズムでパラメータの再推定を繰り返すことにより、認識率が上昇することが分かる。
（４．２） アラインメントによる認識結果の比較本手法では初めに区分されたラベルファイルが必要であるが、そのラベルファイルが高精度である方が、生成される音響モデルも高精度になると考えられる。そこで、従来法により作成したトライフォンＨＭＭ（認識性能としては表２下段）をアラインメントに使用して音響モデルを作成した。結果を表３に示す。
【００３６】４．１で述べたモノフォンによるアラインメントで作成した場合と比べ認識率が改善された。さらに２回ＥＭアルゴリズムを繰り返したが、認識率はほとんど改善されなかった。
【００３７】
【表３】

【００３８】（４．３） 混合数による変化混合数を８から１６、３２に増やした認識実験を行った。１６混合と３２混合で認識実験を行った結果を表４に示す。アラインメントには４．１で述べたモノフォンの音響モデルを使用した。８混合の認識実験と同様に、混合数を変えても、本手法で作成した音響モデルと従来法による音響モデルとで認識率はほぼ同じになる。本手法のあとに再推定を繰り返すことにより認識率が上昇するのも、８混合の時と同様である。
【００３９】学習に必要な計算時間は、３２混合の時で従来法の約１０％となり、かなり短縮されていることが分かる。
【００４０】
【表４】

【００４１】（５）結論今回の実験より、本手法が従来の作成方法よりも早く音響モデルを作成することができ、従来とほぼ同等の認識率が得られることを示した。また、本手法でパラメータを推定した後にＥＭアルゴリズムを２回行うことにより、最初のアラインメントをとる音響モデルによらず従来法と同等の認識率が得られることを示した。
【００４２】上述の音響モデル生成方法を適用した音響モデル生成装置を次に説明する。
【００４３】音響モデル生成装置としてはパーソナルコンピュータなどの市販の各種の汎用コンピュータを使用できるのでハード構成の説明は簡単に留める。本実施形態では市販のコンピュータに後述の音響モデル生成用のプログラムを実装することにより、市販のコンピュータが音響モデル生成装置として機能する。
【００４４】図１は汎用コンピュータの概略構成を示す。図１において、ＣＰＵ１０はシステムメモリにロードされた音響モデル生成プログラムを実行して音響モデルを生成する。
【００４５】システムメモリ２０は、ＣＰＵ１０が実行する音響モデル生成プログラム、このプログラムの実行のために必要なデータ、演算結果等を一時記憶する。
【００４６】入出力インターフェース（Ｉ／Ｏ）３０はマイクロホンと接続し、音響モデル作成のための音声データ、この場合、音声信号を上記学習データとして入力する。マイクロホンからはアナログの音声信号が出力されるので入出力インターフェース３０において、音声信号はＣＰＵ１０が処理可能なデジタル信号に変換される。
【００４７】ハードディスク４０は、上記音響モデル生成プログラムを保存目的で記憶する。入力装置５０の中には、ＣＰＵ１０に対してコマンドを入力したり演算に使用する情報を入力するための以下の機器、すなわち、キーボードおよびマウス、および音響モデル生成プログラムが記録された記録媒体、たとえば、ＣＤＲＯＭから音響モデル生成プログラムを読み取るハードディスクドライブが含まれている。
【００４８】ディスプレイ６０は入力装置５０から入力された情報等を表示する。なお、本発明にしたがって生成した音響モデルを使用して音声認識を行いたい場合には、ハードディスク４０に音声認識プログラムをインストールすればよい。
【００４９】また、生成した音響モデルを専用の音声認識装置に転送したい場合には、通信インターフェースを用意すればよい。
【００５０】記録媒体からハードディスク４０にインストールされた音響モデル生成プログラムは入力装置５０のマウス等の指示に応じてＣＰＵ１０によりシステムメモリ２０にロードされた後、ＣＰＵ１０により実行される。以下、ＣＰＵ１０により実行される音響モデル生成処理を図２を参照して説明する。図２は音響モデル生成プログラムの処理手順を機能表現したフローチャートである。音響モデル生成プログラムは、Ｃ言語、Ｃ＋＋言語等各種のプログラム言語で記載可能であり、当業者であれば、本願明細書の記載に基づき実際に使用するプログラムを作成可能であろう。
【００５１】図２において、時間区分されたラベルファイル、すなわち、アナウンサーなどが発話する内容をローマ字読みなどの文字で表現し、音韻の区切りを示す区切り記号を含むラベルファイルは、キーボード、フロッピー（登録商標）ディスクなどから入力され、ＣＰＵ１０によりシステムメモリ２０の専用領域内に一時記憶される（ステップＳ１０）。
【００５２】次に、上記ラベルファイルと同じ内容を有するアナウンサーの音声がＣＰＵ１０の制御によりマイクロホンからＩ／Ｏ３０を介してシステムメモリ２０の専用領域に一時記憶される（ステップＳ２０）。
【００５３】ＣＰＵ１０は上述した音声データ分割方法にしたがって、同一のラベルごとに、音声データを抜き出し、その特徴が類似するもの同士を集めることにより同一のラベルの音声データを複数回の分割処理により複数の集合に分割する。分割された音声データはシステムメモリ２０の作業領域に一時記憶される（ステップＳ３０）。
【００５４】最終的に得られた平均と分散の値が音響モデルの値として、システムメモリ２０の作業領域上に生成される（ステップｓ４０）。
【００５５】上述の実施形態の他に次の形態を実施できる。
１）上述の実施形態では、クラスタリングと呼ばれるデータ分類方法を使用して特徴が類似する音声データ同士を集めて音声データ全体を複数の集合に分割した。しかしながらクラスタリングに限らず、他の周知の分割方法を使用してもよい。
２）上述の実施形態では音響モデル生成プログラムを記録した記録媒体としてＣＤＲＯＭを例示したが、他の携帯用記録媒体でもよい。また、ハードディスク、ＩＣメモリなども本発明の記録媒体の概念の中に含まれる。
３）上述の実施形態では、汎用コンピュータにより音響モデル生成装置を実現したが、これに限ることはなく、ＩＣ回路やＣＰＵ等を搭載したボードの形態で音響生成装置を実現してもよい。
４）上述の実施形態では、デジタル音声信号を音声データとして処理したが、デジタル音声信号を音響分析し、その分析結果を音声データとしてもよいこと勿論である。
【００５６】以上、述べた実施形態に限らず、種々の変形が可能である。しかしながら、このような変形が、本願の特許請求の範囲に記載された技術思想に沿うものである限り、その変形は本発明の技術範囲内となる。
【００５７】
【発明の効果】以上、説明したように、本発明によれば、同一ラベルの音声データ全体を複数の集合に分割して音響モデルを生成することで、実験結果が示すとおり、生成時間が大幅に短縮される。また、その際に、特徴が類似するもの同士を集めて集合を作るので、平均処理などにより音声の特徴が相殺されることはなく、本発明により生成した音響モデルを使用して音声認識を行うと音声認識精度を損なうことはなく、認識精度が高まる。
【出願人】 【識別番号】０００００４３５２
【氏名又は名称】日本放送協会
【出願日】 平成１２年９月１９日（２０００．９．１９）
【代理人】 【識別番号】１０００７７４８１
【弁理士】
【氏名又は名称】谷 義一 （外２名）
【公開番号】 特開２００２−９１４７９（Ｐ２００２−９１４７９Ａ）
【公開日】 平成１４年３月２７日（２００２．３．２７）
【出願番号】 特願２０００−２８３４７８（Ｐ２０００−２８３４７８）