トップ :: G 物理学 :: G10 楽器;音響




【発明の名称】 話者特徴推定装置および話者特徴推定方法、クラスタモデル作成装置、音声認識装置、音声合成装置、並びに、プログラム記録媒体
【発明者】 【氏名】八幡 洋一郎

【氏名】山口 耕市
【要約】 【課題】梨状窩形状の個人差等による音声スペクトル高周波数帯域の変動を除去する。

【解決手段】特徴量写像部１および関数推定部３は、複数の写像関数を用いて式(１)に基づく最尤推定によって一つの写像関数を選択し、話者特徴として出力する。その際に、特徴量変換部４は、特徴量写像部１によって複数の写像関数の夫々で写像された入力話者の音響特徴量を、声道における梨状窩形状の個人差等によって変動する音声スペクトル高周波数帯域において、標準話者モデル格納部２に格納された標準話者モデルから抽出された音響特徴量で変換して、関数推定部３に入力するようにしている。こうして、声道における梨状窩形状の個人差等による音声スペクトル高周波数帯域の変動の影響を除去して、話者特徴としての写像関数を精度よく推定する。
【特許請求の範囲】
【請求項１】 入力話者の音響特徴量を標準話者に類似した音響特徴量に写像する写像関数を推定し、推定した写像関数の情報を話者特徴とする話者特徴推定装置において、標準話者の音響特徴量に関する情報を格納する標準話者音響情報格納手段と、入力話者の音響特徴量を写像する特徴量写像手段と、上記入力話者の音響特徴量における声道の梨状窩形状の個人差によって変動が生ずる領域を、上記標準話者音響情報格納手段に格納された標準話者の音響特徴量に関する情報を用いて変換する特徴量変換手段と、上記写像および変換が行われた入力話者の音響特徴量と、上記標準話者の音響特徴量に関する情報とに基づいて、写像関数を推定する関数推定手段を備えたことを特徴とする話者特徴推定装置。
【請求項２】 請求項１に記載の話者特徴推定装置において、上記特徴量変換手段は、上記入力話者の音響特徴量における変換領域の下限位置を、入力話者の音声スペクトルの傾きと上記標準話者の音声スペクトルの傾きとの差が最も小さくなる同一周波数位置に設定するようになっていることを特徴とする話者特徴推定装置。
【請求項３】 請求項１に記載の話者特徴推定装置において、上記特徴量変換手段は、上記入力話者の音響特徴量の変換を、上記入力話者の音声スペクトルにおける上記変換領域に該当する周波数帯域と上記標準話者の音声スペクトルにおける該当する周波数帯域とにおけるスペクトル値の差異から求められた周波数特性変換フィルタを用いて行うようになっていることを特徴とする話者特徴推定装置。
【請求項４】 請求項２あるいは請求項３に記載の話者特徴推定装置において、上記特徴量変換手段が音声スペクトルを変換する周波数帯域の下限は３kＨzから３.５kＨzまでの間に在る一方、上限はサンプリング周波数の１/２であることを特徴とする話者特徴推定装置。
【請求項５】 請求項１乃至請求項４の何れか一つに記載の話者特徴推定装置において、上記特徴量写像手段は、狭母音を除く母音に対してのみ写像処理を行うようになっていることを特徴とする話者特徴推定装置。
【請求項６】 請求項１乃至請求項５の何れか一つに記載の話者特徴推定装置において、特徴量写像手段は、予め用意された複数の写像関数を用いて上記写像を行うようになっており、上記関数推定手段は、上記標準話者の音響特徴量に関する情報に対する上記写像及び変換が行われた入力話者の音響特徴量の尤度を最大にするという基準で、上記複数の写像関数から写像関数を最尤推定するようになっていることを特徴とする話者特徴推定装置。
【請求項７】 入力話者の音響特徴量を標準話者の音響特徴量に正規化する音声認識装置において、入力音声信号を分析して音響特徴量を抽出する音響分析手段と、上記音響分析手段からの入力話者の音響特徴量に基づいて入力話者の特徴を推定する請求項１乃至請求項６の何れか一つに記載の話者特徴推定装置と、上記音響分析手段からの入力話者の音響特徴量を、上記推定された入力話者の特徴としての写像関数を用いて写像する特徴量写像手段と、上記写像が行われた入力話者の音響特徴量と標準話者モデルとに基づいて上記入力音声信号を認識する認識手段を備えたことを特徴とする音声認識装置。
【請求項８】 標準話者モデルを入力話者に適応させる音声認識装置において、入力音声信号を分析して音響特徴量を抽出する音響分析手段と、上記音響分析手段からの入力話者の音響特徴量に基づいて入力話者の特徴を推定する請求項１乃至請求項６の何れか一つに記載の話者特徴推定装置と、上記推定された入力話者の特徴としての写像関数の逆関数を用いて、上記標準話者モデルを入力話者に適応させて適応モデルを生成するモデル適応手段と、上記生成された上記適応モデルを格納する適応モデル格納手段と、上記入力話者の音響特徴量と上記適応モデルとに基づいて、上記入力音声信号を認識する認識手段を備えたことを特徴とする音声認識装置。
【請求項９】 話者の音声信号に基づいて複数の話者を話者クラスタに分割し、各話者クラスタ用の音響モデルであるクラスタモデルを作成するクラスタモデル作成装置において、入力音声信号を分析して音響特徴量を抽出する音響分析手段と、上記音響分析手段からの入力話者の音響特徴量に基づいて入力話者の特徴を推定する請求項１乃至請求項６の何れか一つに記載の話者特徴推定装置と、上記推定された各入力話者の特徴を話者間距離として、複数の話者をクラスタリングするクラスタリング手段と、上記クラスタリング手段によって得られた各話者クラスタに属する入力話者の音響特徴量に基づいて、上記クラスタモデルを作成するモデル作成手段を備えたことを特徴とするクラスタモデル作成装置。
【請求項１０】 話者の音声信号に基づいて複数の話者を話者クラスタに分割し、各話者クラスタ用の音響モデルであるクラスタモデルを作成するクラスタモデル作成装置において、入力音声信号を分析して音響特徴量を抽出する音響分析手段と、上記音響分析手段からの入力話者の音響特徴量に基づいて、各入力話者の音響モデルである話者モデルを作成する話者モデル作成手段と、上記話者モデルから音響特徴量を抽出する特徴量抽出手段と、上記抽出された音響特徴量に基づいて入力話者の特徴を推定する請求項１乃至請求項６の何れか一つに記載の話者特徴推定装置と、上記推定された各入力話者の特徴を話者間距離として、複数の話者をクラスタリングするクラスタリング手段と、上記クラスタリング手段によって得られた各話者クラスタに属する入力話者の音響特徴量に基づいて、上記クラスタモデルを作成するモデル作成手段を備えたことを特徴とするクラスタモデル作成装置。
【請求項１１】 入力話者が属する話者クラスタ用の音響モデルであるクラスタモデルを用いて音声を認識する音声認識装置において、入力音声信号を分析して音響特徴量を抽出する音響分析手段と、上記音響分析手段からの入力話者の音響特徴量に基づいて入力話者の特徴を推定する請求項１乃至請求項６の何れか一つに記載の話者特徴推定装置と、請求項９あるいは請求項１０に記載のクラスタモデル作成装置によって作成されたクラスタモデルを格納するクラスタモデル格納手段と、上記推定された入力話者の特徴に基づいて、上記クラスタモデル格納手段から該当するクラスタモデルを選択するモデル選択手段と、上記入力話者の音響特徴量と上記選択されたクラスタモデルとに基づいて、上記入力音声信号を認識する認識手段を備えたことを特徴とする音声認識装置。
【請求項１２】 音韻記号列に基づいて標準話者の音声素片を接続して合成音声を出力する音声合成装置において、入力音声信号を分析して音響特徴量を抽出する音響分析手段と、上記音響分析手段からの入力話者の音響特徴量に基づいて入力話者の特徴を推定する請求項１乃至請求項６の何れか一つに記載の話者特徴推定装置と、標準話者の音声素片を格納する標準話者素片格納手段と、上記音韻記号列に基づいて、上記標準話者素片格納手段から該当する音声素片を選択する素片選択手段と、上記選択された音声素片の音響特徴量を、上記推定された入力話者の特徴としての写像関数の逆関数を用いて写像する特徴量写像手段と、上記写像が行われた音声素片同士を接続する素片接続手段を備えたことを特徴とする音声合成装置。
【請求項１３】 入力話者の声質を他の話者の声質に変換する声質変換装置において、入力音声信号を分析して、音響特徴量を抽出すると共に、音響分析結果を出力する音響分析手段と、上記音響分析手段からの入力話者の音響特徴量に基づいて入力話者の特徴を推定する請求項１乃至請求項６の何れか一つに記載の話者特徴推定装置と、上記入力話者の音響特徴量を、上記推定された入力話者の特徴としての写像関数を用いて写像する特徴量写像手段と、上記写像が行われた入力話者の音響特徴量と上記音響分析手段からの音響分析結果とに基づいて音声を合成する合成手段を備えたことを特徴とする声質変換装置。
【請求項１４】 入力話者の音響特徴量を標準話者に類似した音響特徴量に写像する写像関数を推定し、推定した写像関数の情報を話者特徴とする話者特徴推定方法において、入力話者の音響特徴量を複数の写像関数を用いて写像し、上記写像が行われた入力話者の音響特徴量における声道の梨状窩形状の個人差によって変動が生ずる領域を、標準話者の音響特徴量に関する情報を用いて変換し、上記変換が行われた入力話者の音響特徴量と上記標準話者の音響特徴量に関する情報とに基づいて、上記複数の写像関数から写像関数を最尤推定することを特徴とする話者特徴推定方法。
【請求項１５】 コンピュータを、請求項１における上記特徴量写像手段,特徴量変換手段,標準話者モデル格納手段および関数推定手段として機能させる話者特徴推定処理プログラムが記録されたことを特徴とするコンピュータ読出し可能なプログラム記録媒体。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】この発明は、隠れマルコフモデル(Hidden Markov Model：以下、ＨＭＭと略称する)を用いた話者特徴推定装置および話者特徴推定方法、その推定方法を用いたクラスタモデル作成装置,音声認識装置,音声合成装置、並びに、話者特徴推定処理プログラムを記録したプログラム記録媒体に関する。
【０００２】
【従来の技術】音響特徴量あるいはその確率モデル(例えばＨＭＭ)に基づいて入力音声の発話内容を推定する音声認識装置では、入力話者とモデル話者との話者性の違いへの対応が重要な課題となる。また、入力された音韻記号列に基づいて予め用意した音声素片を接続して出力する音声合成装置や、入力された音声を他話者の声質に変換する声質変換装置では、話者性の表現が重要な課題となる。
【０００３】従来、入力音声から発話者の特徴を推定し、この推定された話者特徴に基づいて、上記入力話者の音響特徴量を標準話者の音響特徴量に正規化する音声認識装置がある。例えば、文献「AT&T Bell Labs. Li Lee，Richard C.Rose:“SpeakerNormalization using Efficient Frequency Warping Procedures”,ICASSP96，p.p.353‐356(1996)(文献Ａ)」で報告された音声認識方法では、標準話者モデルに対して、入力話者の音響特徴量の尤度を最大にするという基準(最尤推定)で、入力話者の音響特徴量における周波数軸の線形伸縮係数を推定する。そして、その推定結果を用いて入力話者の音響特徴量の周波数軸を伸縮することによって標準話者の音響特徴量に正規化するようにしている。また、特開平１１‐３２７５９２号公報(文献Ｂ)に開示されている音声認識装置では、入力話者の声道形状の特徴量を声道形状パラメータとフォルマント周波数との間の対応関係を参照して推定する。そして、その推定結果に基づいて生成した周波数ワーピング関数を用いて、入力話者の音響特徴量を標準話者の音響特徴量に正規化するようにしている。
【０００４】さらには、入力話者の音響特徴量と標準話者の音響特徴量との差異に基づいて入力話者に標準話者モデルを適応する音声認識装置がある。例えば、登録特許１９８４１８４号(文献Ｃ)に開示された音声認識装置では、ＶＦＳ(Vector FieldSmoothing)法に基づく話者適応技術を用いている。
【０００５】また、複数の話者をクラスタリングし、得られた複数の話者クラスタに属する話者に基づいて作成した複数の音響モデルを備え、入力話者に応じた話者クラスタの音響モデルを選択して用いる音声認識装置がある。例えば、特開平１１‐１７５０９０号公報(文献Ｄ)に開示された話者クラスタリング処理装置では、複数話者の声道形状の特徴量を推定し、その推定結果に基づいて話者をクラスタリングするようにしている。さらに、上記話者クラスタリング結果に基づく話者クラスタ毎に音響モデル(以下、クラスタモデルと言う)を生成しておき、入力話者の声道形状の特徴量を推定し、その推定結果に応じたクラスタモデルを選択して用いる音声認識装置も開示されている。
【０００６】また、話者適応技術を用いて入力話者音声の音響特徴量を写像して、他話者音声の声質に変換する声質変換装置がある。例えば、特開平７‐１０４７９２号公報(文献Ｅ)に開示された声質変換装置では、量子化(ＶＱ)コードブックマッピング法に基づく話者適応技術を用いるようにしている。さらに、文献「橋本誠,樋口宣男:“話者選択と移動ベクトル場平滑化を用いた声質変換のためのスペクトル写像”,信学技報，SP95‐1，p.p.1‐8，May 1995」(文献Ｆ)において報告されているように、ＶＦＳ(Vector Field Smoothing)法に基づく話者適応技術を用いた声質変換方法も報告されている。
【０００７】
【発明が解決しようとする課題】しかしながら、上記従来の音声認識方法,音声認識装置,話者クラスタリング処理装置および声質変換装置においては、以下のような問題がある。先ず、上記文献Ａに開示された音声認識方法においては、発音器官の個人差によるスペクトル変動に際して、梨状窩形状の個人差等による高周波数帯域のスペクトル変動が考慮されていない。そのために、周波数軸の線形伸縮係数を精度よく推定することが困難であり、話者正規化による音声認識精度向上の効果が少ないという問題がある。
【０００８】また、上記文献Ｂおよび文献Ｄに開示された音声認識装置においは、声道形状の特徴量を推定するために用いるフォルマント周波数の正確な推定が困難であるという問題がある。さらに、声道形状の特徴量利用による音声認識精度向上の効果が少ないという問題もある。
【０００９】また、上記文献Ｃに開示された音声認識装置においては、上記ＶＦＳ法に基づく話者適応技術を用いているために、多量の入力音声データを必要とするという問題がある。また、上記文献Ｅに開示された声質変換装置および文献Ｆに開示された声質変換方法においては、少ない発声データから精度のよい声質変換結果が得られないという問題がある。
【００１０】そこで、この発明の目的は、声道における梨状窩形状の個人差等による音声スペクトル高周波数帯域の変動を考慮して少量の音声データから精度よく話者の特徴を推定できる話者特徴推定装置および話者特徴推定方法、その推定方法を用いたクラスタモデル作成装置,話者認識装置,音声合成装置、並びに、話者特徴推定プログラムを記録したプログラム記録媒体を提供することにある。
【００１１】
【課題を解決するための手段】上記目的を達成するため、第１の発明は、入力話者の音響特徴量を標準話者に類似した音響特徴量に写像する写像関数を推定し,推定した写像関数の情報を話者特徴とする話者特徴推定装置において、標準話者の音響特徴量に関する情報を格納する標準話者音響情報格納手段と、入力話者の音響特徴量を写像する特徴量写像手段と、上記入力話者の音響特徴量における声道の梨状窩形状の個人差によって変動が生ずる領域を,上記標準話者音響情報格納手段に格納された標準話者の音響特徴量に関する情報を用いて変換する特徴量変換手段と、上記写像および変換が行われた入力話者の音響特徴量と,上記標準話者の音響特徴量に関する情報とに基づいて,写像関数を推定する関数推定手段を備えたことを特徴としている。
【００１２】上記構成によれば、特徴量写像手段および関数推定手段によって、入力話者の音響特徴量と標準話者の音響特徴量に関する情報とに基づいて、上記写像関数が推定される。
【００１３】その際に、上記関数推定手段に入力される入力音響特徴量は、上記特徴量写像手段によって写像されると共に、特徴量変換手段によって、声道における梨状窩形状の個人差によって変動が生ずる領域が上記標準話者の音響特徴量に変換されている。こうして、声道における梨状窩形状の個人差による音声スペクトル高周波数帯域の変動の影響が除去されて、話者特徴としての写像関数が精度良く推定される。
【００１４】また、上記第１の発明の話者特徴推定装置は、上記特徴量変換手段を、上記入力話者の音響特徴量における変換領域の下限位置を、入力話者の音声スペクトルの傾きと上記標準話者の音声スペクトルの傾きとの差が最も小さくなる同一周波数位置に設定するように成すことが望ましい。
【００１５】上記構成によれば、入力話者および標準話者の音声スペクトルを用いて、上記入力話者の音響特徴量における変換領域の下限位置が簡単に設定される。
【００１６】また、上記第１の発明の話者特徴推定装置は、上記特徴量変換手段を、上記入力話者の音響特徴量の変換を、上記入力話者の音声スペクトルにおける上記変換領域に該当する周波数帯域と上記標準話者の音声スペクトルにおける該当する周波数帯域とにおけるスペクトル値の差異から求められた周波数特性変換フィルタを用いて行うように成すことが望ましい。
【００１７】上記構成によれば、上記特徴量変換手段による入力話者の音響特徴量に対する変換が、入力話者の音声スペクトルに対して周波数特性変換フィルタを用いることによって簡単に行われる。
【００１８】また、上記第１の発明の話者特徴推定装置は、上記特徴量変換手段によって音声スペクトルが変換される周波数帯域の下限を３kＨzから３.５kＨzまでの間とする一方、上限をサンプリング周波数の１/２とすることが望ましい。
【００１９】上記構成によれば、声道における梨状窩形状の個人差によって変動する音声スペクトル高周波数帯域が的確に設定される。
【００２０】また、上記第１の発明の話者特徴推定装置は、上記特徴量写像手段を、狭母音を除く母音に対してのみ写像処理を行うように成すことが望ましい。
【００２１】上記構成によれば、音声スペクトルにおけるホルマントのピークの出現位置が不安定な狭母音を除く母音に対してのみ話者特徴推定処理が行われ、入力話者の特徴がさらに精度良く推定される。
【００２２】また、上記第１の発明の話者特徴推定装置は、特徴量写像手段を,予め用意された複数の写像関数を用いて上記写像を行うように成し、上記関数推定手段を,上記標準話者の音響特徴量に関する情報に対する上記写像及び変換が行われた入力話者の音響特徴量の尤度を最大にするという基準で,上記複数の写像関数から写像関数を最尤推定するように成すことが望ましい。
【００２３】上記構成によれば、複数の写像関数を用いた写像演算と上記尤度演算と尤度値比較演算との繰り返しの簡単な処理で、話者特徴としての写像関数が精度良く推定される。
【００２４】また、第２の発明は、入力話者の音響特徴量を標準話者の音響特徴量に正規化する音声認識装置において、入力音声信号を分析して音響特徴量を抽出する音響分析手段と、上記音響分析手段からの入力話者の音響特徴量に基づいて入力話者の特徴を推定する上記第１の発明の話者特徴推定装置と、上記音響分析手段からの入力話者の音響特徴量を,上記推定された入力話者の特徴としての写像関数を用いて写像する特徴量写像手段と、上記写像が行われた入力話者の音響特徴量と標準話者モデルとに基づいて上記入力音声信号を認識する認識手段を備えたことを特徴としている。
【００２５】上記構成によれば、入力音声信号が認識されるに先立って、入力音声の音響特徴量に基づいて入力話者の特徴が推定される。そして、上記推定された入力話者の特徴としての写像関数を用いて、上記入力音響特徴量が写像(話者正規化)される。
【００２６】その場合における入力話者の特徴の推定は、声道における梨状窩形状の個人差による音声スペクトル高周波数帯域の変動の影響を除去して精度よく行われる。したがって、上記推定された写像関数を用いて話者正規化することによって、より標準話者の音響特徴量の周波数特性に近づくように入力話者の音響特徴量が正規化される。その結果、続いて実行される認識処理によって、高い認識率が得られるのである。
【００２７】また、第３の発明は、標準話者モデルを入力話者に適応させる音声認識装置において、入力音声信号を分析して音響特徴量を抽出する音響分析手段と、上記音響分析手段からの入力話者の音響特徴量に基づいて入力話者の特徴を推定する上記第１の発明の話者特徴推定装置と、上記推定された入力話者の特徴としての写像関数の逆関数を用いて,上記標準話者モデルを入力話者に適応させて適応モデルを生成するモデル適応手段と、上記生成された上記適応モデルを格納する適応モデル格納手段と、上記入力話者の音響特徴量と上記適応モデルとに基づいて,上記入力音声信号を認識する認識手段を備えたことを特徴としている。
【００２８】上記構成によれば、入力音声信号が認識されるに先立って、入力音声の音響特徴量に基づいて入力話者の特徴が推定される。そして、上記推定された入力話者の特徴としての写像関数の逆関数を用いて標準話者モデルが入力話者に適応された適応モデルが生成される。
【００２９】その場合における入力話者の特徴の推定は、声道における梨状窩形状の個人差による音声スペクトル高周波数帯域の変動の影響を除去して精度よく行われる。したがって、上記推定された写像関数の逆関数を用いて標準話者モデルを話者適応することによって、より入力話者の音響特徴量の周波数特性に近い周波数特性を有する適応モデルが生成される。その結果、上記適応モデルを用いて実行される認識処理によって、高い認識率が得られるのである。
【００３０】また、第４の発明は、話者の音声信号に基づいて複数の話者を話者クラスタに分割し,各話者クラスタ用の音響モデルであるクラスタモデルを作成するクラスタモデル作成装置において、入力音声信号を分析して音響特徴量を抽出する音響分析手段と、上記音響分析手段からの入力話者の音響特徴量に基づいて入力話者の特徴を推定する上記第１の発明の話者特徴推定装置と、上記推定された各入力話者の特徴を話者間距離として,複数の話者をクラスタリングするクラスタリング手段と、上記クラスタリング手段によって得られた各話者クラスタに属する入力話者の音響特徴量に基づいて,上記クラスタモデルを作成するモデル作成手段を備えたことを特徴としている。
【００３１】上記構成によれば、クラスタモデルが作成されるに先立って、入力音声の音響特徴量に基づいて入力話者の特徴が推定される。そして、上記推定された入力話者の特徴を話者間距離として、複数の話者がクラスタリングされる。
【００３２】その場合における入力話者の特徴の推定は、声道における梨状窩形状の個人差による音声スペクトル高周波数帯域の変動の影響を除去して精度よく行われる。したがって、上記推定された写像関数を話者間距離としてクラスタリングを行うことによって、より話者に適合した話者間距離を用いてクラスタリングが行われる。その結果、話者集団における発声特性の分布を的確に表現できるクラスタモデルが作成されるのである。
【００３３】また、第５の発明は、話者の音声信号に基づいて複数の話者を話者クラスタに分割し,各話者クラスタ用の音響モデルであるクラスタモデルを作成するクラスタモデル作成装置において、入力音声信号を分析して音響特徴量を抽出する音響分析手段と、上記音響分析手段からの入力話者の音響特徴量に基づいて,各入力話者の音響モデルである話者モデルを作成する話者モデル作成手段と、上記話者モデルから音響特徴量を抽出する特徴量抽出手段と、上記抽出された音響特徴量に基づいて入力話者の特徴を推定する上記第１の発明の話者特徴推定装置と、上記推定された各入力話者の特徴を話者間距離として,複数の話者をクラスタリングするクラスタリング手段と、上記クラスタリング手段によって得られた各話者クラスタに属する入力話者の音響特徴量に基づいて,上記クラスタモデルを作成するモデル作成手段を備えたことを特徴としている。
【００３４】上記構成によれば、クラスタモデルが作成されるに先立って、入力話者の音響特徴量に基づいて作成された話者モデルから音響特徴量が抽出される。そして、この抽出された音響特徴量に基づいて話者特徴推定装置によって入力話者の特徴が推定され、上記推定された入力話者の特徴を話者間距離として複数の話者がクラスタリングされる。
【００３５】その場合における入力話者の特徴の推定は、声道における梨状窩形状の個人差による音声スペクトル高周波数帯域の変動の影響を除去して精度よく行われる。したがって、上記推定された写像関数を話者間距離としてクラスタリングを行うことによって、より話者に適合した話者間距離を用いてクラスタリングが行われる。その結果、話者集団における発声特性の分布を的確に表現できるクラスタモデルが作成されるのである。
【００３６】さらに、上記話者特徴推定装置は、上記各話者モデルから抽出された音響特徴量に基づいて、入力話者の特徴を推定するようにしている。こうして、入力話者の音響特徴量における発話内の変動が除去されて、入力話者の特徴がより精度良く推定される。
【００３７】また、第６の発明は、入力話者が属する話者クラスタ用の音響モデルであるクラスタモデルを用いて音声を認識する音声認識装置において、入力音声信号を分析して音響特徴量を抽出する音響分析手段と、上記音響分析手段からの入力話者の音響特徴量に基づいて入力話者の特徴を推定する上記第１の発明の話者特徴推定装置と、上記第４の発明あるいは第５の発明のクラスタモデル作成装置によって作成されたクラスタモデルを格納するクラスタモデル格納手段と、上記推定された入力話者の特徴に基づいて,上記クラスタモデル格納手段から該当するクラスタモデルを選択するモデル選択手段と、上記入力話者の音響特徴量と上記選択されたクラスタモデルとに基づいて,上記入力音声信号を認識する認識手段を備えたことを特徴としている。
【００３８】上記構成によれば、上記第４の発明あるいは第５の発明のクラスタモデル作成装置によって作成されたクラスタモデルが用意されている。そして、入力音声信号が認識されるに先立って、入力音声の音響特徴量に基づいて入力話者の特徴が推定される。そして、上記推定された入力話者の特徴に基づいて該当するクラスタモデルが選択される。
【００３９】その場合における上記クラスタモデルの作成および選択時に用いられる入力話者の特徴の推定は、声道における梨状窩形状の個人差による音声スペクトル高周波数帯域の変動の影響を除去して精度よく行われる。したがって、上記推定された入力話者の特徴を用いて上記クラスタモデルの作成および選択が行われることによって、話者集団における発声特性の分布を的確に表すクラスタモデルを用いて認識処理が行われ、高い認識率が得られるのである。
【００４０】また、第７の発明は、音韻記号列に基づいて標準話者の音声素片を接続して合成音声を出力する音声合成装置において、入力音声信号を分析して音響特徴量を抽出する音響分析手段と、上記音響分析手段からの入力話者の音響特徴量に基づいて入力話者の特徴を推定する上記第１の発明の話者特徴推定装置と、標準話者の音声素片を格納する標準話者素片格納手段と、上記音韻記号列に基づいて上記標準話者素片格納手段から該当する音声素片を選択する素片選択手段と、上記選択された音声素片の音響特徴量を,上記推定された入力話者の特徴としての写像関数の逆関数を用いて写像する特徴量写像手段と、上記写像が行われた音声素片同士を接続する素片接続手段を備えたことを特徴としている。
【００４１】上記構成によれば、標準話者の音声素片同士が接続されて合成音声が生成されるに先立って、入力音声の音響特徴量に基づいて入力話者(学習話者)の特徴が推定される。そして、音韻記号列に基づいて選択された音声素片の音響特徴量が上記推定された入力話者の特徴としての写像関数の逆関数を用いて写像されて、入力話者の声質に変換された音声素片が生成される。
【００４２】その場合における入力話者の特徴の推定は、声道における梨状窩形状の個人差による音声スペクトル高周波数帯域の変動の影響を除去して精度よく行われる。したがって、上記推定された写像関数の逆関数を用いて上記標準話者の音声素片を写像することによって、より入力話者(学習話者)の声質に近い声質に変換された合成音声が得られるのである。
【００４３】また、第８の発明は、入力話者の声質を他の話者の声質に変換する声質変換装置において、入力音声信号を分析して,音響特徴量を抽出すると共に,音響分析結果を出力する音響分析手段と、上記音響分析手段からの入力話者の音響特徴量に基づいて入力話者の特徴を推定する上記第１の発明の話者特徴推定装置と、上記入力話者の音響特徴量を,上記推定された入力話者の特徴としての写像関数を用いて写像する特徴量写像手段と、上記写像が行われた入力話者の音響特徴量と上記音響分析手段からの音響分析結果に基づいて音声を合成する合成手段を備えたことを特徴としている。
【００４４】上記構成によれば、入力話者の声質が変換されるに先立って、入力音声の音響特徴量に基づいて入力話者の特徴が推定される。そして、入力話者の音響特徴量が上記推定された入力話者の特徴としての写像関数を用いて写像され、入力話者の声質が、上記入力話者の特徴推定時における標準話者であるターゲット話者の声質に変換される。
【００４５】その場合における入力話者の特徴の推定は、声道における梨状窩形状の個人差による音声スペクトル高周波数帯域の変動の影響を除去して精度よく行われる。したがって、上記推定された写像関数を用いて上記入力話者の音響特徴量を写像することによって、よりターゲット話者の声質に近い声質に変換された音声が得られるのである。
【００４６】また、第９の発明は、入力話者の音響特徴量を標準話者に類似した音響特徴量に写像する写像関数を推定し,推定した写像関数の情報を話者特徴とする話者特徴推定方法において、入力話者の音響特徴量を複数の写像関数を用いて写像し、上記写像が行われた入力話者の音響特徴量における声道の梨状窩形状の個人差によって変動が生ずる領域を標準話者の音響特徴量に関する情報を用いて変換し、上記変換が行われた入力話者の音響特徴量と上記標準話者の音響特徴量に関する情報とに基づいて上記複数の写像関数から写像関数を最尤推定することを特徴としている。
【００４７】上記構成によれば、複数の写像関数を用いて写像されると共に、声道における梨状窩形状の個人差による音声スペクトル高周波数帯域の変動の影響が除去された入力話者の音響特徴量と、標準話者の音響特徴量に関する情報とに基づいて、上記複数の写像関数から写像関数が最尤推定される。こうして、話者特徴としての写像関数が精度良く推定される。
【００４８】また、第１０の発明のプログラム記録媒体は、コンピュータを、上記第１の発明の話者特徴推定装置における上記特徴量写像手段,特徴量変換手段,標準話者モデル格納手段および関数推定手段として機能させる話者特徴推定処理プログラムが記録されていることを特徴としている。
【００４９】上記構成によれば、上記第１の発明の場合と同様に、写像されると共に、声道における梨状窩形状の個人差による音声スペクトル高周波数帯域の変動の影響が除去された入力話者の音響特徴量と、標準話者の音響特徴量に関する情報とに基づいて写像関数が推定される。こうして、話者特徴としての写像関数が精度良く推定される。
【００５０】
【発明の実施の形態】以下、この発明を図示の実施の形態により詳細に説明する。
＜第１実施の形態＞図１は、本実施の形態の話者特徴推定装置におけるブロック図である。特徴量写像部１は、専用のＬＳＩ(大規模集積回路)素子等によって構成されて、後述する関数推定部３から取得した写像関数ｆに基づいて入力音響特徴量を写像する。尚、上記入力音響特徴量としては、例えばＭＦＣＣ(メル周波数ＦＦＴ(高速フーリエ変換)ケプストラム)やＬＰＣ(線形予測分析)メルケプストラム等の音声スペクトルを効率よく表現できるものを用いる。尚、以下の説明においては、ＬＰＣメルケプストラムを用いる場合を例に挙げる。
【００５１】標準話者モデル格納部２は、半導体メモリや磁気メモリや記憶装置等によって構成されて、標準話者の音響特徴量に関する情報が格納されている。ここで、上記標準話者の音響特徴量に関する情報としてＨＭＭ(以下、音響モデルあるいは単にモデルとも言う)を用いる。上記ＨＭＭは、大量の音声データから得られる音声の統計的特徴を確率的にモデル化したものであり、ＨＭＭを用いた音声認識方式の詳細は、中川聖一著「確率モデルによる音声認識」(電子情報通信学会)に詳しい。
【００５２】上記関数推定部３は、専用のＬＳＩ素子等によって構成されて、内部メモリに複数の写像関数ｆを格納しており、この複数の写像関数ｆを順次特徴量写像部１に送出する。さらに、標準話者モデル格納部２に格納されている標準話者モデルと、後述の特徴量変換部４によって得られる音響特徴量とを用いて、式(１)に従って、複数の写像関数ｆのうち最大累積尤度を与える写像関数ｆを最尤推定し、この推定された写像関数ｆあるいはこの写像関数ｆに関連付けられたインデックス等を話者特徴として出力する。

ここで、 ｆ：写像関数Ｐ()：音響モデルによって得られる確率Ｕf：写像関数ｆで写像された入力音響特徴量系列Ｗ：入力音響特徴量系列Ｕfに対応する音韻記号列【００５３】尚、以下の説明における写像関数ｆの推定方法では、予め用意した複数の写像関数ｆから最尤推定に基づいて一つの写像関数ｆを選択するようにしている。しかしながら、式(１)に基づく最尤推定方法であれば他の推定方法であっても差し支えなく、本実施の形態においては推定方法を限定するものではない。例えば、Newton法を用いて任意の関数に収束させる方法等を用いてもよい。
【００５４】上記特徴量変換部４は、専用のＬＳＩ素子等によって構成されて、上記特徴量写像部１によって写像された音響特徴量の一部を、標準話者モデル格納部２に格納された標準話者モデルを用いて変換する。そして、変換後の音響特徴量を上記関数推定部３に出力する。尚、この特徴量変換部４による変換処理が、本実施の形態における一つの特徴である。
【００５５】ここで、上記各部を構成する素子等は、一つであっても複数が複合されたものであっても本実施の形態に影響はない。また、上記各部は、ＣＰＵ(中央演算処理装置)あるいはその周辺機器等で代用してもよい。
【００５６】図２は、図１に示す話者特徴推定装置によって実行される話者特徴推定処理動作のフローチャートである。以下、図２に従って、話者特徴推定処理動作について説明する。ステップＳ1で、特徴量写像部１に音響特徴量が入力される。ステップＳ2で、特徴量写像部１によって、入力音響特徴量は狭母音(「イ」や「ウ」)を除く母音(すなわち、「ア」や「エ」や「オ」等)の音響特徴量であるか否かが判別される。その結果、上記狭母音を除く母音であればステップＳ3に進み、上記狭母音を除く母音でなければ(すなわち、狭母音または子音であれば)上記ステップＳ1に戻って、次の音響特徴量の入力処理に移行する。
【００５７】上記入力音響特徴量の音韻情報を獲得する方法は本実施の形態には直接的に関係はなく、その獲得方法を限定するものではない。例えば、発声内容として「ア」や「エ」や「オ」を発話者に指示し、発声内容既知として処理すればよい。また、発声内容が複数語彙候補の中の一つである場合には音声認識処理を行い、ビタビ演算等を用いて音韻情報を推定すればよい。
【００５８】ステップＳ3で、上記特徴量写像部１によって、カウンタｉに初期値「１」が代入される。ステップＳ4で、特徴量写像部１によって、関数推定部３から送出されてくるカウンタｉの値に対応する写像関数ｆi()を用いて、上記入力された狭母音を除く母音の音響特徴量が写像されて特徴量変換部４に送出される。尚、写像関数の例および写像処理の詳細な動作については後述する。ステップＳ5で、特徴量変換部４によって、上記ステップＳ4において写像された音響特徴量の一部(声道における梨状窩形状の個人差等によって変動する部分)が、標準話者モデルから得られる標準話者の音響特徴量を用いて変換されて関数推定部３に送出される。尚、上記変換処理の詳細な動作については後述する。
【００５９】ステップＳ6で、上記関数推定部３によって、上記ステップＳ5において変換された音響特徴量(ＬＰＣメルケプストラム)の標準話者モデル(ＨＭＭ)に対する尤度が算出されて累積尤度ｐiとして保存される。尚、上記尤度算出処理の詳細な動作については後述する。ステップＳ7で、関数推定部３によって、カウンタｉの値が関数推定部３に予め用意されている写像関数ｆi()の数Ｎより大きいか否かが判別される。その結果大きい場合にはステップＳ9に進む一方、そうでなければステップＳ8に進む。ステップＳ8で、特徴量写像部１によって、カウンタｉの内容が「１」だけインクリメントされる。そうした後に、上記ステップＳ4に戻って次の写像関数ｆi()を用いた処理に移行する。ステップＳ9で、特徴量写像部１によって、入力対象の総ての音響特徴量が入力されたか否かが判別される。その結果、総て入力されていればステップＳ10に進み、そうでなければ上記ステップＳ1に戻って次の音響特徴量が入力される。
【００６０】ステップＳ10で、上記関数推定部３によって、上記ステップＳ6において保存された総ての累積尤度ｐi(ｉ＝１,２,…,Ｎ)の中から最大値が選択されて推定値ｐ^として保存され、上記推定値ｐ^を呈するｉの値が推定値ｉ^として保存される。ステップＳ11で、関数推定部３によって、上記ステップＳ10において選択された推定値ｐ^を与える推定値ｉ^に対応する写像関数ｆ^i()が、話者特徴として出力される。その場合、出力される情報は写像関数ｆi()に限定されるものではなく、写像関数ｆ^i()を決定できるインデックスとして推定値ｉ^あるいは写像関数ｆ^i()を一意に決定づける後述の線形伸縮係数αi等であってもよい。そうした後、話者特徴推定処理動作を終了する。
【００６１】尚、上述した話者特徴推定処理動作のフローチャートにおけるステップＳ2の上記狭母音の削除処理は省略しても差し支えない。
【００６２】図３は、図２に示す話者特徴推定処理動作のフローチャートにおける上記ステップＳ4において特徴量写像部１によって実行される音響特徴量写像処理動作を示すフローチャートである。上記話者特徴推定処理動作のフローチャートにおける上記ステップＳ3においてカウンタｉの値が設定されると音響特徴量写像処理動作がスタートする。
【００６３】ステップＳ21で、上記狭母音を除く母音の音響特徴量(ＬＰＣメルケプストラム)が逆cos変換される。ここで、上記逆cos変換することによって、上記音響特徴量が周波数次元の対数パワー(対数パワースペクトル)として表現される。ステップＳ22で、上記写像関数ｆi()を用いて入力音響特徴量の周波数軸が伸縮される。そうした後、音響特徴量写像処理動作を終了して上記話者特徴推定処理動作のフローチャートにおける上記ステップＳ5に移行する。
【００６４】図４は、上記写像関数ｆi()の一例を示す図である。図４において、横軸ｘは周波数軸伸縮前の音響特徴量の周波数軸であり、縦軸ｆ(ｘ)は周波数軸伸縮後の音響特徴量の周波数軸である。尚、写像関数ｆi()は、下記の式で表される。ここで、写像関数ｆi()として線形伸縮係数に基づく線形関数を用いるのは、声道長の個人差を次元数の少ないパラメータで簡潔に表現するためである。尚、声道長と音声スペクトルとの詳細な関係については文献Ａに詳しい。
【００６５】写像関数fi()：・ｘ≦min(ω/αi,ω)では、fi(x)＝αi・ｘ (ｉ＝１,２,…,Ｎ)・min(ω/αi,ω)＜ｘでは、αi＞１のとき fi(x)→(ω/αi,ω)と(fs/２,fs/２)とを結ぶ直線αi≦１のとき fi(x)→(ω,αi・ω)と(fs/２,fs/２)とを結ぶ直線但し、Ｎ：写像関数ｆi()の数αi：線形伸縮係数 (０.８≦αi≦１.２の範囲を(Ｎ−１)等分して得られる値)fs：サンプリング周波数（例えば１２kＨz)ω：写像関数の接続点（例えば４kＨz)ここで、ωによって接続点を設置するのは、周波数軸伸縮前後の定義域を保ち、且つ不連続性に対処するためである。
【００６６】図５は、図２に示す話者特徴推定処理動作のフローチャートにおけるステップＳ5において特徴量変換部４によって実行される音響特徴量変換処理動作を示すフローチャートである。上記話者特徴推定処理動作のフローチャートにおける上記ステップＳ4において音響特徴量写像処理動作が終了すると音響特徴量変換処理動作がスタートする。
【００６７】ステップＳ31で、上記標準話者モデル格納部２から標準話者モデルが入力される。ステップＳ32で、標準話者モデルから音響特徴量が抽出される。例えば、連続ＨＭＭは平均値ベクトルと分散ベクトルからなる多次元ガウス分布による出力確率密度関数の集合で構成されており、入力音響特徴量の音韻に対応するステート(ＨＭＭの状態)の平均値ベクトルを標準話者の音響特徴量として抽出する。ステップＳ33で、図３に示す音響特徴量写像処理動作のフローチャートにおけるステップＳ21と同様にして逆cos変換処理が行われる。ステップＳ34で、標準話者の音響特徴量で置換する入力話者の音響特徴量の範囲、すなわち、声道における梨状窩形状の個人差等によって変動する周波数範囲が決定される。その際に、置換範囲の下限を決定する基準は、例えば、３.０kＨzにおいて、入力話者音響特徴量(音声対数パワースペクトル)の傾きと標準話者音響特徴量(音声対数パワースペクトル)の傾きとを比較した値(例えば傾き値の差)を保存し、同様に３.５kＨzまでの各周波数ポイントにおける傾き比較値を保存し、保存した値の中から最も小さい値(両者の傾きが近い)の周波数ポイントを置換範囲の下限として選択する。ここで、入力話者音響特徴量と標準話者音響特徴量とが同じ傾き(傾き値の差０)を呈する周波数ポイントが複数存在する場合には、最も大きい周波数ポイントを採用する。これに対して、置換範囲の上限は、例えばｆs/２(＝６kＨz)とする。
【００６８】ステップＳ35で、上記ステップＳ34において決定された置換範囲に関して、入力話者の音響特徴量が標準話者の音響特徴量で置換される。尚、置換の際には、音響特徴量の連続性を保つために、上記置換範囲の下限周波数ポイントにおいては、標準話者音響特徴量の値が入力話者音響特徴量の値に等しくなるように、標準話者音響特徴量を対数パワー軸方向に平行移動してから置換する。あるいは、逆に、入力話者音響特徴量の値が標準話者音響特徴量の値に等しくなるように、入力話者音響特徴量を対数パワー軸方向に平行移動してから置換してもよい。また、標準話者音響特徴量の値が入力話者音響特徴量の値に等しくなるように、標準話者音響特徴量を、置換範囲の上限周波数ポイントにおける標準話者音響特徴量の値を固定して、対数パワー軸方向に線形伸縮してから置換してもよい。あるいは、逆に、入力話者音響特徴量の値が標準話者音響特徴量の値に等しくなるように、入力話者音響特徴量を、０kＨzにおける入力話者音声対数パワースペクトルの値を固定して、対数パワー軸方向に線形伸縮してから置換してもよい。
【００６９】ステップＳ36で、上記置換処理によって一部が置換された入力話者音響特徴量がcos変換される。このようにcos変換することによって、入力話者の音響特徴量がＬＰＣメルケプストラムとして表現される。そうした後、音響特徴量変換処理動作を終了して上記話者特徴推定処理動作のフローチャートにおける上記ステップＳ6に移行する。
【００７０】図３の写像処理および図５の変換処理においては、上記入力音響特徴量はＬＰＣメルケプストラムである場合について説明している。しかしながら、この発明においてはＬＰＣメルケプストラムに限定するものではなく、ＭＦＣＣ等他のパラメータであってもよい。尚、他のパラメータである場合には、図３の写像処理動作における上記ステップＳ21及び図５の変換処理動作における上記ステップＳ33での逆cos変換処理においては、入力音響特徴量を周波数次元の対数パワー(対数パワースペクトル)になるように変換する。そして、図５の変換処理動作における上記ステップＳ36でのcos変換処理においては、入力音響特徴量を元のパラメータとなるように変換すればよい。
【００７１】さらに、図３の写像処理動作における上記ステップＳ22および図５の置換処理動作における上記ステップＳ34においては、周波数次元の対数パワー(対数パワースペクトル)を用いる場合について説明しているが、対数パワーに限定するものではなく、直接算出される周波数次元のパワー(パワースペクトル)を用いても差し支えない。尚、周波数次元のパワーを用いる場合には、図３の写像処理動作における上記ステップＳ21および図５の変換処理動作における上記ステップＳ33での逆cos変換処理の後に、例えば、対数パワーを指数演算してパワーに変換する指数変換処理ステップを実行する。そして、図５の変換処理動作における上記ステップＳ36でのcos変換処理の前に、パワーを対数演算して対数パワーに変換するステップを実行すればよい。
【００７２】図６は、上記特徴量変換部４による音響特徴量変換処理が行われる前における入力話者音響特徴量(音声対数パワースペクトル)の一例を示す。図６において、横軸は周波数であり、縦軸は対数パワーである。また、破線で示される曲線は、標準話者の音響特徴量(音声対数パワースペクトル)を示す。Ａで示す範囲は、図５の変換処理動作における上記ステップＳ34において置換範囲の下限を決定する際の対象範囲である。
【００７３】また、図７は、上記特徴量変換部４による音響特徴量変換処理が行われた後における入力話者音響特徴量の一例を示す図である。図７において、横軸は周波数であり、縦軸は対数パワーである。また、破線で示される曲線は、標準話者の音響特徴量を示す。Ｂで示す範囲は、図５の変換処理動作における上記ステップＳ35において入力話者の音響特徴量が置換される置換範囲である。図より、上記置換処理動作によって、置換範囲Ｂ内における入力話者の周波数特性が標準話者の周波数特性に近づいていることがわかる。
【００７４】図８は、図５に示す音響特徴量変換処理動作とは異なる音響特徴量変換処理動作のフローチャートである。この音響特徴量変換処理動作は、上記話者特徴推定処理動作のフローチャートにおける上記ステップＳ4において音響特徴量写像処理動作が終了するとスタートする。
【００７５】ステップＳ41〜ステップＳ43で、図５に示す音響特徴量変換処理動作におけるステップＳ31〜ステップＳ33と同様にして、標準話者モデルの入力、音響特徴量の抽出、逆cos変換処理が行われる。
【００７６】ステップＳ44で、上記入力話者音響特徴量における高周波数帯域の特性を変換する変換フィルタが作成される。この変換フィルタ作成時においては、例えば、３kＨzからｆs/２(＝６kＨz)の範囲で、入力話者音響特徴量と標準話者音響特徴量との比を求め、平滑化を施して変換フィルタを設計する。その際に、０kＨzから３kＨzの範囲においては特性変更なしとするのである。ステップＳ45で、上記作成された周波数特性変換フィルタを用いて、上記ステップＳ43における逆cos変換処理によって得られた対数パワースペクトルの周波数特性が変更される。
【００７７】ステップＳ46で、図５に示す音響特徴量変換処理動作におけるステップＳ36と同様にして、上記フィルタ処理で対数パワースペクトルの周波数特性が変更された入力話者音響特徴量がcos変換される。そうした後に、音響特徴量変換処理動作を終了して上記話者特徴推定処理動作のフローチャートにおける上記ステップＳ6に移行する。
【００７８】図９は、図８に示す音響特徴量変換処理動作のフローチャートにおけるステップＳ44において作成される変換フィルタの一例を示す。この変換フィルタは、周波数特性変換用のフィルタである。図９において、横軸は周波数であり、縦軸はゲインである。尚、図９は、図６に示す入力話者音響特徴量と標準話者音響特徴量との比に基づいて作成された周波数特性変換フィルタの例である。図９より、上記変換フィルタは、入力話者音響特徴量が標準話者音響特徴量より小さい周波数領域では入力話者音響特徴量を上げる一方、大きい周波数領域では下げる周波数特性を有していることが解かる。
【００７９】図１０は、図２に示す話者特徴推定処理動作のフローチャートにおけるステップＳ6において関数推定部３によって実行される尤度算出処理動作を示すフローチャートである。上記話者特徴推定処理動作のフローチャートにおける上記ステップＳ5において音響特徴量変換処理動作が終了すると尤度算出処理動作がスタートする。
【００８０】ステップＳ51で、後述する累積尤度の初期化処理が既に済んでいるか否かが判別される。その結果、済んでいればステップＳ53に進み、済んでいなければステップＳ52に進む。ステップＳ52で、上記累積尤度初期化処理が実行されて、累積尤度ｐi(ｉ＝１,２,…,Ｎ)が、例えば「０」あるいは「１」に初期化される。ステップＳ53で、入力話者音響特徴量の標準話者モデル(ＨＭＭ)に対する尤度ｐ'が、式(２)によって算出される。
ｐ'＝ｂs(→ｕ) …（２)但し、ｂs()：標準話者音響モデルの第ｓステートに対応する出力確率密度関数ｓ：入力話者音響特徴量の音韻に対応する標準話者音響モデルのステート番号
尚、式(２)中の「→ｕ」は入力話者音響特徴量を表し、例えば音声対数パワー,ＬＰＣメルケプストラムおよび夫々の線形一次回帰係数から成るベクトルである。
【００８１】ここで、上記標準話者モデルが離散ＨＭＭである場合には、尤度ｐ'として、入力音響特徴量「→ｕ」の標準話者モデル(離散ＨＭＭ)に対する出力確率を算出すればよい。
【００８２】ステップＳ54で、上記ステップＳ53において算出された尤度ｐ'が、上記標準話者音響モデルの全ステートに関する累積尤度ｐiの値に累積保存される。この場合、尤度ｐ'として対数値が求められている場合は、上記累積保存は、式(３)に示すように加算すればよい。
ｐi＝ｐi＋ｐ' …（３)【００８３】上述したように、本実施の形態においては、上記特徴量写像部１および関数推定部３において、予め用意した複数の写像関数ｆi(ｉ＝１,２,…,Ｎ)を用いて、式(１)に従って最尤推定に基づいて一つの写像関数ｆを選択し、この選択された写像関数ｆを、話者特徴として出力する。その際に、関数推定部３に入力される入力話者の音響特徴量として、特徴量写像部１によって写像関数ｆiで写像された音響特徴量を、特徴量変換部４によって、求められた置換範囲において、標準話者モデル格納部２に格納された標準話者モデルから抽出された音響特徴量で置換するようにしている。そして、その場合における置換範囲の下限値は、３kＨz〜３.５kＨzの範囲内で、入力話者の音声スペクトルの傾きと標準話者の音声スペクトルの傾きの差が最小となる点とする。また、上限値はサンプリング周波数ｆsの１/２とする。
【００８４】したがって、本実施の形態によれば、上記声道における梨状窩形状の個人差等による音声スペクトル高周波数帯域の変動の影響を除去して、話者特徴としての写像関数を精度よく推定することができるのである。また、その際に、入力話者の音響特徴量における声道長の梨状窩形状の個人差による変動を予め補正しておくので、少量の音声データから入力話者の特徴を精度よく推定することができるのである。
【００８５】また、上記入力話者の音声スペクトルにおける上記置換範囲と上記標準話者の音声スペクトルにおける該当する周波数範囲とにおけるスペクトル値の差異から求めた変換フィルタを用いることによって、上記入力話者の音響特徴量の変換処理を簡単な処理で行うこともできる。
【００８６】また、上記話者特徴推定処理動作を、狭母音を除く母音に対してのみ行うようにしている。したがって、音声スペクトルにおけるホルマントのピークの出現位置が不安定な狭母音を除く母音に対してのみ話者特徴推定処理を行って、入力話者の特徴をより精度良く推定することができる。
【００８７】尚、上記実施の形態においては、上記特徴量写像部１によって写像した入力話者音響特徴量を、特徴量変換部４によって変換するようにしている。しかしながら、本実施の形態は、これに限定されるものではない。図１１は、本実施の形態による話者特徴推定装置における他の実施例を示すブロック図である。図１１において、特徴量写像部１１,標準話者モデル格納部１２,関数推定部１３および特徴量変換部１４は、図１に示す話者特徴推定装置における特徴量写像部１,標準話者モデル格納部２,関数推定部３および特徴量変換部４と同様である。但し、本話者特徴推定装置においては、特徴量写像部１１によって入力音響特徴量を写像する前に、特徴量変換部１４によって入力音響特徴量を変換する点において、図１に示す話者特徴推定装置とは異なる。
【００８８】尚、図１１に示す話者特徴推定装置によって実行される話者特徴推定処理は、図２に示すフローチャートにおいて、特徴量変換部４によってステップＳ5において実行される音響特徴量の変換処理を、ステップＳ1において実行される音響特徴量の入力処理と、ステップＳ4において実行される音響特徴量の写像処理との間において実行するようにすればよい。
【００８９】＜第２実施の形態＞本実施の形態は、第１実施の形態における話者特徴推定装置を用いた音声認識装置に関する。図１２は、本実施の形態における話者正規化方式による音声認識装置のブロック図である。図１２において、特徴量写像部２１,標準話者モデル格納部２２,関数推定部２３および特徴量変換部２４は、図１に示す話者特徴推定装置における特徴量写像部１,標準話者モデル格納部２,関数推定部３および特徴量変換部４と同様であり、上記話者特徴推定装置を構成している。但し、特徴量写像部２１は、音声認識時にも、入力音響特徴量に対して、自身が構成要素となっている上記話者特徴推定装置で推定された写像関数ｆを用いた写像処理を行うようになっている。
【００９０】音響分析部２５は、専用のＬＳＩ素子等によって構成されて、入力音声信号を分析する。認識部２６は、専用のＬＳＩ素子と専用の半導体メモリや磁気メモリや記憶装置等とによって構成されている。そして、特徴量写像部２１から送出される写像後の音響特徴量と、標準話者モデル格納部２２に格納された標準話者モデルとに基づいて、発声内容を認識する。
【００９１】図１３は、図１２に示す音声認識装置によって実行される音声認識処理動作のフローチャートである。以下、図１３に従って、音声認識処理動作について説明する。先ず、ステップＳ61で、音響分析部２５によって音声信号が入力される。上記入力音声信号は、例えば、マイク等から入力されてＡ/Ｄ変換器(図示せず)や記録媒体等を通して得られるデジタル音声信号である。ステップＳ62で、音響分析部２５によって、上記音声信号が短い時間間隔(フレーム)毎に周波数分析されて、スペクトルを表すパラメータのベクトル系列に変換される。尚、周波数分析には、例えばＭＦＣＣやＬＰＣメルケプストラム等の音声スペクトルを効率よく表現できる音響特徴を抽出できる分析方法を用いる。
【００９２】ステップＳ63で、上記特徴量写像部２１によって、音声認識モードであるか否かが判別される。その結果、音声認識モードであればステップＳ65に進み、音声認識モードでなければ(つまり、話者特徴推定モードであれば)ステップＳ64に進む。尚、上記音声認識モードであるか否かを管理するモード情報管理方法は本実施の形態には直接関係はなく、モード情報管理方法を限定するものではない。例えば、通常は音声認識モードに設定しておき、発話者が話者特徴推定スイッチを押して発声した場合に話者特徴推定モードに変更する管理方法が簡単である。
【００９３】ステップＳ64で、上記特徴量写像部２１,標準話者モデル格納部２２,関数推定部２３及び特徴量変換部２４で構成される話者特徴推定装置によって、話者特徴推定処理が実行される。尚、その場合における話者特徴推定処理動作は、上記第１実施の形態における図２のフローチャートと同様である。そうした後、上記ステップＳ61に戻って次の音声信号の入力処理に移行する。そして、上記ステップＳ63において音声認識モードであると判別されると、上記ステップＳ65に進む。
【００９４】ステップＳ65で、上記特徴量写像部２１によって、入力音響特徴量に対して写像が行われる。その場合に用いられる写像関数ｆは、上記ステップＳ64における話者特徴推定処理によって推定された写像関数ｆ^i()が用いられる。尚、その場合における音響特徴量写像処理は、上記第１実施の形態における図３に示す音響特徴量写像処理動作と同様である。また、話者特徴が未推定である場合には、例えば、当該ステップをスキップするようにしておけばよい。ステップＳ66で、上記認識部２６によって、上記写像された入力音響特徴量(ＬＰＣメルケプストラム)と、標準話者モデル(ＨＭＭ)と、言語情報を表現する言語モデル(例えば単語辞書等)(図示せず)に基づいて、例えば音韻類似度として尤度が求められ、ビタビ演算を行って各単語のスコア(類似度)が算出されて、上位のスコアを呈する単語が認識結果と決定される。ステップＳ67で、認識部２６によって、上記認識結果が出力される。そうした後、音声認識処理動作を終了する。
【００９５】このように、本実施の形態における音声認識装置は、第１実施の形態における話者特徴推定装置を搭載している。そして、音声認識処理に先立って、入力音声の音響特徴量に基づいて、話者特徴推定装置によって話者特徴(写像関数ｆ^i)を推定する。そして、推定された写像関数ｆ^iを用いて上記入力音響特徴量を話者正規化するようにしている。
【００９６】その場合における写像関数ｆ^iの推定は、声道における梨状窩形状の個人差等による音声スペクトル高周波数帯域の変動の影響を除去して精度よく行われる。したがって、上記推定された写像関数ｆ^iを用いて話者正規化を行なうことによって、標準話者モデル格納部２２に格納された標準話者の音響モデルの周波数特性により近づくように入力話者を正規化することができる。すなわち、本実施の形態によれば、続いて実行される認識処理によって、高い認識率を得ることができるのである。
【００９７】尚、上記実施の形態においては、上記特徴量写像部２１に、上記話者特徴推定装置における音響特徴量写像手段としての機能と、音声認識時における話者正規化手段としての機能とを兼用させている。しかしながら、この発明はこれに限定されるものではなく、上記話者正規化手段としての特徴量写像部を独立して設けても差し支えない。
【００９８】＜第３実施の形態＞本実施の形態は、第１実施の形態における話者特徴推定装置を用いた音声認識装置に関する。図１４は、本実施の形態における話者適応方式による音声認識装置のブロック図である。図１４において、特徴量写像部３１,標準話者モデル格納部３２,関数推定部３３および特徴量変換部３４は、図１に示す話者特徴推定装置における特徴量写像部１,標準話者モデル格納部２,関数推定部３及び特徴量変換部４と同様であり、上記話者特徴推定装置を構成している。さらに、音響分析部３５は、図１２に示す音声認識装置における音響分析部２５と同様である。
【００９９】モデル適応部３６は、専用のＬＳＩ素子等によって構成されて、標準話者モデル格納部３２から読み出された標準話者モデルを、関数推定部３３によって推定された話者特徴としての写像関数ｆ^を用いて入力話者に適応させて、適応モデルを作成する。適応モデル格納部３７は、半導体メモリや磁気メモリや記憶装置等によって構成されて、モデル適応部３６で作成された適応モデルを格納する。認識部３８は、専用のＬＳＩ素子と専用の半導体メモリや磁気メモリや記憶装置等とによって構成されて、音響分析部３５からの入力音響特徴量と、適応モデル格納部３７に格納されている適応モデルとに基づいて、発声内容を認識する。
【０１００】図１５は、図１４に示す音声認識装置によって実行される音声認識処理動作のフローチャートである。以下、図１５に従って、音声認識処理動作について説明する。先ず、ステップＳ71〜ステップＳ74で、上記第２実施の形態における図１３に示す音声認識処理動作のステップＳ61〜ステップＳ64と同様にして、入力されたデジタル音声信号が周波数分析されて音響特徴量が抽出される。そして、話者特徴推定モードであれば、特徴量写像部３１,標準話者モデル格納部３２,関数推定部３３および特徴量変換部３４で構成される話者特徴推定装置によって、話者特徴推定処理が実行される。
【０１０１】ステップＳ75で、上記モデル適応部３６によって、上記標準話者モデル格納部３２から読み出された標準話者モデルと、上記ステップＳ74における話者特徴推定処理によって推定された話者特徴としての写像関数ｆ^とに基づいて、上記適応モデルが作成される。そして、得られた適応モデルは、適応モデル格納部３７に格納される。尚、上記適応モデルの作成処理は、例えば、標準話者モデル(ＨＭＭ)の各ステートの中から母音に対応するステートに関して、出力確率密度関数の平均値ベクトルを写像関数ｆ^の逆関数を用いて写像すればよい。そうした後、上記ステップＳ71に戻って次の音声信号の入力処理に移行する。そして、上記ステップＳ73において音声認識モードであると判別されると、ステップＳ76に進むのである。
【０１０２】ステップＳ76,ステップＳ77で、上記第２実施の形態における図１３に示す音声認識処理動作のステップＳ66,Ｓ67と同様にして、認識処理が行われ、得られた認識結果が出力される。尚、その際における上記認識処理は、抽出された入力音響特徴量と、ステップＳ75において作成された適応モデル(ＨＭＭ)と、上記言語モデルに基づいて行われる。また、上記適応モデルが未作成である場合には、例えば標準話者モデルを用いるようにしておけばよい。そうした後、音声認識処理動作を終了する。
【０１０３】このように、本実施の形態における音声認識装置は、第１実施の形態における話者特徴推定装置を搭載している。そして、音声認識処理に先立って、入力音声の音響特徴量に基づいて、話者特徴推定装置によって話者特徴(写像関数ｆ^i)を推定する。そして、標準話者モデル格納部３２に格納された標準話者モデルと推定された写像関数ｆ^iとを用いて適応モデルを作成することによって、話者適応を行うようにしている。
【０１０４】その場合における写像関数ｆ^iの推定は、声道における梨状窩形状の個人差等による音声スペクトル高周波数帯域の変動の影響を除去して精度よく行われる。したがって、上記推定された写像関数ｆ^iを用いて話者適応を行なうことによって、入力話者の音響特徴量の周波数特性により近づくように上記標準話者モデルを正規化することができる。したがって、上記話者適応モデルを用いて行われる認識処理の結果、高い認識率を得ることができるのである。
【０１０５】＜第４実施の形態＞本実施の形態は、第１実施の形態における話者特徴推定装置を用いたクラスタモデル作成装置に関する。図１６は、本実施の形態におけるクラスタモデル作成装置のブロック図である。図１６において、特徴量写像部４１,標準話者モデル格納部４２,関数推定部４３および特徴量変換部４４は、図１に示す話者特徴推定装置における特徴量写像部１,標準話者モデル格納部２,関数推定部３および特徴量変換部４と同様であり、上記話者特徴推定装置を構成している。さらに、音響分析部４５は、図１２に示す音声認識装置における音響分析部２５と同様である。
【０１０６】クラスタリング部４６は、専用のＬＳＩ素子等によって構成されて、上記関数推定部４３から出力される話者特徴としてのパラメータ(例えば線形伸縮係数α)に基づいて話者をクラスタリングする。モデル作成部４７は、専用のＬＳＩ素子等によって構成されて、音響分析部４５で得られた入力音響特徴量と、標準話者モデル格納部４２から読み出された標準話者モデルと、クラスタリング部４５からの話者クラスタ情報とに基づいて、各話者クラスタ用の音響モデルであるクラスタモデルを作成する。
【０１０７】図１７は、図１６に示すクラスタモデル作成装置によって実行されるクラスタモデル作成処理動作のフローチャートである。以下、図１７に従って、クラスタモデル作成処理動作について説明する。先ず、ステップＳ81で、カウンタｉに１が代入されて初期化される。ステップＳ82で、音響分析部４５によって、ｉ番目の話者の音声信号が入力される。入力音声信号は、例えば、マイク等から入力されてＡ/Ｄ変換器(図示せず)や記録媒体等を通して得られるデジタル音声信号である。ステップＳ83,ステップＳ84で、上記第２実施の形態における図１３に示す音声認識処理動作のステップＳ62,ステップＳ64と同様にして、入力されたデジタル音声信号が周波数分析されて音響特徴量が抽出され、特徴量写像部４１,標準話者モデル格納部４２,関数推定部４３および特徴量変換部４４で構成される話者特徴推定装置によって話者特徴推定処理が実行される。
【０１０８】ステップＳ85で、上記音響分析部４５によって、カウンタｉの値が予め用意されている話者数Ｍよりも大きいか否かが判別される。その結果、大きければステップＳ87に進み、そうでなければステップＳ86に進む。ステップＳ86で、カウンタｉの値が「１」だけインクリメントされる。そうした後、上記ステップＳ82に戻って次の話者の音声信号入力処理に移行する。そして、上記ステップＳ85においてカウンタｉの値が話者数Ｍよりも大きいと判別されると、上記ステップＳ87に進む。
【０１０９】ステップＳ87で、上記クラスタリング部４６によって、上記関数推定部４３から出力される全話者に関する話者特徴としてのパラメータ(例えば線形伸縮係数α)に基づいて、話者がクラスタリングされる。その際における話者クラスタリングの方法は本実施の形態には直接関係はなく、話者クラスタリングの方法を限定するものではない。尚、例えば、線形伸縮係数αに基づくクラスタリングの場合には、Ｍ人の話者における線形伸縮係数αの範囲をＣ等分し、分割された各領域に属する話者集合を話者クラスタとする。Ｃはクラスタ数を表す。あるいは、線形伸縮係数αに基づいて各話者を順序付けし、順序付けられた話者をＭ/Ｃ人ずつに区切って話者クラスタを作成してもよい。
【０１１０】ステップＳ88で、上記モデル作成部４７によって、上記クラスタリング部４６による話者クラスタリング結果に基づいて、上記ステップＳ82において入力された全話者の音響特徴量と標準話者モデル格納部４２に格納された標準話者モデル(ＨＭＭ)とを用いて、上記クラスタモデル(ＨＭＭ)が作成されて出力される。その際におけるクラスタモデルの作成は、例えば、標準話者モデルを初期モデルとし、話者クラスタ毎にクラスタ内に属する話者の音声データを用いて、ＶＦＳ法あるいはＭＬＬＲ法によるモデル適応によって作成すればよい。十分な学習用音声データが存在する場合には、ＨＭＭの学習アルゴリズムを用いて作成すればよい。そうした後、クラスタモデル作成処理動作を終了する。
【０１１１】このように、本実施の形態におけるクラスタモデル作成装置は、第１実施の形態における話者特徴推定装置を搭載している。そして、話者をクラスタリングするに先立って、個々の話者の音響特徴量に基づいて、上記話者特徴推定装置によって総ての話者の話者特徴(線形伸縮係数α)を推定する。そして、クラスタリング部４６によって、線形伸縮係数αを話者間の距離として総ての話者をクラスタリングし、モデル作成部４７によって、話者クラスタ毎に全話者の音響特徴量と標準話者モデルとを用いてクラスタモデルを作成するようにしている。
【０１１２】その場合における上記線形伸縮係数αの推定は、声道における梨状窩形状の個人差等による音声スペクトル高周波数帯域の変動の影響を除去して精度よく行われる。したがって、上記推定された線形伸縮係数αを話者間の距離として話者クラスタリングを行なうことによって、より話者に適合した距離を用いて話者クラスタリングを行なうことができる。すなわち、本実施の形態によれば、話者集団における発声特性の分布を的確に表現できるクラスタモデルを作成することができるのである。
【０１１３】図１８は、上記話者特徴推定装置を用いた他のクラスタモデル作成装置のブロック図である。図１８において、特徴量写像部５１,標準話者モデル格納部５２,関数推定部５３および特徴量変換部５４は、図１に示す話者特徴推定装置における特徴量写像部１,標準話者モデル格納部２,関数推定部３及び特徴量変換部４と同様であり、上記話者特徴推定装置を構成している。また、音響分析部５５は、図１２に示す音声認識装置における音響分析部２５と同様である。さらに、クラスタリング部５６は、図１６に示すクラスタモデル作成装置におけるクラスタリング部４６と同様である。
【０１１４】モデル作成部５７は、専用のＬＳＩ素子等によって構成されて、図１６に示すクラスタモデル作成装置におけるモデル作成部４７と同様にしてクラスタモデルを作成するに加えて、音響分析部５５からの入力音響特徴量に基づいて各話者の話者モデル(ＨＭＭ)を作成する。特徴量抽出部５８は、専用のＬＳＩ素子等によって構成されて、モデル作成部５７によって作成された各話者モデルから音響特徴量を抽出して特徴量写像部５１に送出する。
【０１１５】図１９は、図１８に示すクラスタモデル作成装置によって実行されるクラスタモデル作成処理動作のフローチャートである。以下、図１９に従って、クラスタモデル作成処理動作について説明する。先ず、ステップＳ91〜ステップＳ93で、図１７に示すクラスタモデル作成処理動作におけるステップＳ81〜ステップＳ83と同様にして、カウンタｉが初期化され、ｉ番目の話者のデジタル音声信号が周波数分析されて音響特徴量が抽出される。
【０１１６】ステップＳ94で、上記モデル作成部５７によって、話者ｉの音響特徴量と標準話者モデル格納部５２に格納された標準話者モデルとを用いて、話者ｉの話者モデル(ＨＭＭ)が作成される。話者モデルの作成処理手順は、例えば、標準話者モデルを初期モデルとし、話者ｉの音声データを用いて、ＶＦＳ法またはＭＬＬＲ法によるモデル適応によって作成すればよい。あるいは、十分な学習用音声データが存在する場合には、ＨＭＭの学習アルゴリズムを用いて作成すればよい。ステップＳ95で、特徴量抽出部５８によって、上記作成された話者ｉの話者モデルから音響特徴量が抽出される。尚、その場合における音響特徴量抽出処理は、上記第１実施の形態における図５に示す音響特徴量変換処理動作中のステップＳ32において実行される標準話者音響特徴量抽出処理動作と同様にして行われる。
【０１１７】ステップＳ96〜ステップＳ100で、図１７に示すクラスタモデル作成処理動作におけるステップＳ84〜ステップＳ88と同様にして、特徴量写像部５１,標準話者モデル格納部５２,関数推定部５３および特徴量変換部５４で構成される話者特徴推定装置によって話者特徴推定処理が実行され、カウンタｉがインクリメントされ、ｉ＞話者数Ｍであれば話者クラスタリングが行われる。そして、話者クラスタリング結果に基づいて、全話者の音響特徴量と標準話者モデルとを用いて話者クラスタモデルが作成されて出力される。そうした後、クラスタモデル作成処理動作を終了する。
【０１１８】このように、本実施の形態におけるクラスタモデル作成装置は、第１実施の形態における話者特徴推定装置を搭載している。そして、話者をクラスタリングするに先立って、個々の話者の音響特徴量に基づいて、上記話者特徴推定装置によって総ての話者の話者特徴(線形伸縮係数α)を推定する。そして、クラスタリング部５６によって、線形伸縮係数αを話者間の距離として総ての話者をクラスタリングし、モデル作成部５７によって、話者クラスタ毎に全話者の音響特徴量と標準話者モデルとを用いて話者クラスタモデルを作成するようにしている。
【０１１９】その場合における上記線形伸縮係数αの推定は、声道における梨状窩形状の個人差等による音声スペクトル高周波数帯域の変動の影響を除去して精度よく行われる。したがって、上記推定された線形伸縮係数αを話者間の距離として話者クラスタリングを行なうことによって、より話者に適合した距離を用いて話者クラスタリングを行なうことことができる。すなわち、本実施の形態によれば、話者集団における発声特性の分布を的確に表現できるクラスタモデルを作成することができるのである。
【０１２０】さらに、上記話者特徴推定装置は、上記モデル作成部５７で作成された話者モデルから特徴量抽出部５８によって抽出された音響特徴量に基づいて、入力話者の特徴を推定するようにしている。したがって、入力話者の音響特徴量における発話内の変動を除去して、入力話者の特徴をより精度良く推定することができるのである。すなわち、本実施の形態によれば、さらに話者に適合した距離を用いて話者クラスタリングを行なうことができるのである。
【０１２１】尚、上記実施の形態においては、上記モデル作成部５２に、話者特徴推定時における話者モデル作成手段としての機能と、音声認識時におけるクラスタモデル作成手段としての機能とを兼用させている。しかしながら、この発明はこれに限定されるものではなく、上記話者モデル作成手段としてのモデル作成部を独立して設けても差し支えない。
【０１２２】＜第５実施の形態＞本実施の形態は、第１実施の形態における話者特徴推定装置を用いた他の音声認識装置に関する。図２０は、本実施の形態におけるクラスタモデルを用いた音声認識装置のブロック図である。図２０において、特徴量写像部６１,標準話者モデル格納部６２,関数推定部６３および特徴量変換部６４は、図１に示す話者特徴推定装置における特徴量写像部１,標準話者モデル格納部２,関数推定部３および特徴量変換部４と同様であり、上記話者特徴推定装置を構成している。さらに、音響分析部６５及び認識部６８は、図１４に示す音声認識装置における音響分析部３５および認識部３８と同様である。
【０１２３】クラスタモデル格納部６６は、半導体メモリや磁気メモリや記憶装置等によって構成されて、上記第４実施の形態におけるクラスタモデル作成装置によって作成されたクラスタモデルを格納する。モデル選択部６７は、専用のＬＳＩ素子等によって構成されて、関数推定部６３から出力される話者特徴としてのパラメータ(例えば線形伸縮係数α)に基づいて入力話者のクラスタに応じたクラスタモデルをクラスタモデル格納部６６から選択して認識部６８に送出する。
【０１２４】図２１は、図２０に示す音声認識装置によって実行される音声認識処理動作のフローチャートである。以下、図２１に従って、音声認識処理動作について説明する。先ず、ステップＳ101〜ステップＳ104で、上記第２実施の形態における図１３に示す音声認識処理動作のステップＳ61〜ステップＳ64と同様にして、入力されたデジタル音声信号が周波数分析されて音響特徴量が抽出される。そして、話者特徴推定モードであれば、特徴量写像部６１,標準話者モデル格納部６２,関数推定部６３および特徴量変換部６４で構成される話者特徴推定装置によって、話者特徴推定処理が実行される。
【０１２５】ステップＳ105で、上記モデル選択部６７によって、上記話者特徴推定処理部によって推定された線形伸縮係数αに基づいてクラスタモデルを選択する。尚、上記クラスタモデル選択処理は、例えば、予め線形伸縮係数αが付与されたクラスタモデルをクラスタモデル格納部６６に格納しておき、上記推定された線形伸縮係数αに最も近い線形伸縮係数αが付与されているクラスタモデルを選択すればよい。そうした後、上記ステップＳ101に戻って次の音声信号の入力処理に移行する。そして、上記ステップＳ103において音声認識モードであると判別されると、ステップＳ106に進む。
【０１２６】ステップＳ106,ステップＳ107で、図１３に示す音声認識処理動作におけるステップＳ66,ステップＳ67と同様にして、認識処理が行われ、得られた認識結果が出力される。そうした後、音声認識処理動作を終了する。
【０１２７】このように、本実施の形態における音声認識装置は、第１実施の形態における話者特徴推定装置を搭載している。そして、音声認識処理に先立って、入力音声の音響特徴量に基づいて、話者特徴推定装置によって話者特徴(線形伸縮係数α)を推定する。そして、推定された線形伸縮係数αに基づいてクラスタモデル格納部６６から話者クラスタのクラスタモデルを選択し、この選択されたクラスタモデルを用いて音声認識を行うようにしている。
【０１２８】その場合におけるクラスタモデルの作成および選択時に用いられる線形伸縮係数αの推定は、声道における梨状窩形状の個人差等による音声スペクトル高周波数帯域の変動の影響を除去して精度よく行われる。したがって、上記推定された線形伸縮係数αを用いてクラスタモデルの作成及び選択を行なうことによって、より入力話者に適合する話者間距離を用いたクラスタモデルの作成および選択を行なうことができる。したがって、話者集団における発声特性の分布を的確に表すクラスタモデルを用いて認識処理を行うことができ、高い認識率を得ることができるのである。
【０１２９】＜第６実施の形態＞本実施の形態は、第１実施の形態における話者特徴推定装置を用いた音声合成装置に関する。図２２は、本実施の形態における音声合成装置のブロック図である。図２２において、特徴量写像部７１,標準話者モデル格納部７２,関数推定部７３および特徴量変換部７４は、図１に示す話者特徴推定装置における特徴量写像部１,標準話者モデル格納部２,関数推定部３および特徴量変換部４と同様であり、上記話者特徴推定装置を構成している。但し、特徴量写像部７１は、音声合成時にも、音声素片の音響特徴量に対して、自身が構成要素となっている上記話者特徴推定装置で推定された写像関数ｆ^を用いた写像処理を行うようになっている。さらに、音響分析部７５は、図１２に示す音声認識装置における音響分析部２５と同様である。
【０１３０】標準話者素片格納部７６は、半導体メモリや磁気メモリや記憶装置等によって構成されて、標準話者の音声素片を格納している。素片選択部７７は、専用のＬＳＩ素子等によって構成されて、入力音韻記号列および入力韻律情報に基づいて標準話者素片格納部７６から音声素片を選択する。素片接続部７８は、専用のＬＳＩ素子等によって構成されて、入力韻律情報に基づいて特徴量写像部７１から出力される写像後の音声素片同士を接続して合成音声を出力する。
【０１３１】図２３は、図２２に示す音声合成装置によって実行される音声合成処理動作のフローチャートである。以下、図２３に従って、音声合成処理動作について説明する。先ず、ステップＳ111で、音響分析部７５によって、音声合成モードであるか否かが判別される。その結果、音声合成モードであればステップＳ115に進み、音声合成モードでなければ(つまり話者特徴推定モードであれば)ステップＳ112に進む。尚、音声合成モードであるか否かを管理するモード情報管理方法は本実施の形態に直接関係はなく、モード情報管理方法を限定するものではない。例えば、通常は音声合成モードに設定しておき、発話者が話者特徴推定スイッチを押して発声した場合に話者特徴推定モードに変更する管理方法が簡単である。
【０１３２】ステップＳ112〜ステップＳ114で、上記第２実施の形態における図１３に示す音声認識処理動作のステップＳ61,Ｓ62,Ｓ64と同様にして、入力されたデジタル音声信号が周波数分析されて音響特徴量が抽出され、特徴量写像部７１,標準話者モデル格納部７２,関数推定部７３および特徴量変換部７４で構成される話者特徴推定装置によって、話者特徴推定処理が実行される。そうした後、ステップＳ111に戻る。そして、上記ステップＳ111において音声合成モードであると判別されると、上記ステップＳ115に進む。
【０１３３】ステップＳ115で、上記素片選択部７７によって、標準話者素片格納部７６に格納された標準話者の音声素片の中から、入力音韻記号列および入力韻律情報に基づいて該当する音声素片が選択される。音声素片の選択においては、入力音韻記号列のみに基づいて選択しても差し支えない。尚、上記入力音韻記号列および入力韻律情報の生成方法は本実施の形態に直接関係はなく、生成方法を限定するものではない。例えば、テキストに対して形態素解析や構文解析等の言語処理を行い、アクセントやイントネーション付与等の韻律処理を行って得られる言語情報を用いればよい。
【０１３４】ステップＳ116で、上記特徴量写像部７１によって、上記第１実施の形態において図３に示す音響特徴量写像処理動作と同様にして、上記選択された音声素片に対して音響特徴量の写像が行われる。但し、その場合に、写像関数としては、上記ステップＳ114において推定された写像関数ｆ^i()の逆関数ｆ^i-1()を用いることになる。ステップＳ117で、素片接続部７８によって、入力韻律情報に基づいて、上記写像によって入力話者(学習話者)の声質に変換された音声素片が接続される。ステップＳ118で、入力話者の声質に変換された上記入力音韻記号列に基づく合成音声が出力される。
【０１３５】このように、本実施の形態における音声合成装置は、第１実施の形態における話者特徴推定装置を搭載している。そして、音声合成処理に先立って、入力音声の音響特徴量に基づいて、話者特徴推定装置によって話者特徴(写像関数ｆ)を推定する。そして、推定された写像関数ｆ^の逆関数ｆ^-1を用いて、入力音韻記号列に基づいて選択された標準話者の音声素片を写像することによって、入力話者の声質に変換された音声素片を得るようにしている。
【０１３６】その場合における写像関数ｆの推定は、声道における梨状窩形状の個人差等による音声スペクトル高周波数帯域の変動の影響を除去して精度よく行われる。したがって、上記推定された写像関数ｆ^の逆関数ｆ^-1を用いて標準話者の音声素片を写像することによって、より学習話者の声質に近い声質に変換された合成音声を得ることができるのである。
【０１３７】尚、上記実施の形態においては、上記特徴量写像部７１に、上記話者特徴推定装置における音響特徴量写像手段としての機能と、音声合成時における声質変換手段としての機能とを兼用させている。しかしながら、この発明はこれに限定されるものではなく、上記声質変換手段としての特徴量写像部を独立して設けても差し支えない。
【０１３８】＜第７実施の形態＞本実施の形態は、第１実施の形態における話者特徴推定装置を用いた声質変換装置に関する。図２４は、本実施の形態における声質変換装置のブロック図である。図２４において、特徴量写像部８１,標準話者モデル格納部８２,関数推定部８３および特徴量変換部８４は、図１に示す話者特徴推定装置における特徴量写像部１,標準話者モデル格納部２,関数推定部３および特徴量変換部４と同様であり、上記話者特徴推定装置を構成している。さらに、音響分析部８５は、図１２に示す音声認識装置における音響分析部２５と同様である。但し、特徴量写像部８１は、声質変換時にも、入力音響特徴量に対して、自身が構成要素となっている上記話者特徴推定装置で推定された写像関数ｆ^を用いた写像処理を行うようになっている。また、標準話者モデル格納部８２には、声質変換におけるターゲット(変換先)話者モデルを格納しておく。その場合のターゲット話者モデルは、例えば予めターゲット話者の音声データを用いて作成されたＨＭＭである。
【０１３９】合成部８６は、専用のＬＳＩ素子等によって構成される。そして、上記特徴量写像部８１から出力されたターゲット話者に写像された(ターゲット話者の声質に変換された)入力話者の音響特徴量と、音響分析部８５よって得られた残差音響信号とに基づいて、音声信号を合成して合成音声を出力する。
【０１４０】図２５は、図２４に示す声質変換装置によって実行される声質変換処理動作のフローチャートである。以下、図２５に従って、上記声質変換処理動作について説明する。ステップＳ121〜ステップＳ125で、上記第２実施の形態における図１３に示す音声認識処理動作のステップＳ61〜ステップＳ65と同様にして、入力されたデジタル音声信号が周波数分析されて音響特徴量が抽出される。但し、ステップＳ122における音響特徴量抽出処理においては、分析して得られるスペクトル情報の逆フィルタに入力音声信号を通すことによって、残差音響信号も抽出される。そして、話者特徴推定モードであれば、特徴量写像部８１,標準話者モデル格納部８２,関数推定部８３および特徴量変換部８４で構成される話者特徴推定装置によって、話者特徴推定処理が実行される。一方、声質変換であれば、上記話者特徴推定処理で推定された写像関数ｆ^i()が用いられて、入力音響特徴量に対して写像が行われる。
【０１４１】ステップＳ126で、上記合成部８６によって、上記ステップＳ122において抽出された残差音響信号と、上記ステップＳ125においてターゲット話者に写像された音響特徴量とを用いて、合成音声が生成される。尚、その場合における合成処理は、音響特徴量を逆cos変換および指数変換することによって得られるスペクトル情報を表すフィルタを作成し、上記残差音響信号を上記フィルタに通すことによって行われる。ステップS127で、上記生成された合成音声が出力される。そうした後、声質変換処理動作を終了する。
【０１４２】このように、本実施の形態における声質変換装置は、第１実施の形態における話者特徴推定装置を搭載している。そして、声質変換処理に先立って、入力音声の音響特徴量に基づいて、話者特徴推定装置によって話者特徴(ターゲット話者への写像関数ｆ)を推定する。そして、推定された写像関数ｆ^を用いて、入力音響特徴量を写像することによって、入力話者の声質をターゲット話者の声質に変換するようにしている。
【０１４３】その場合における写像関数ｆ^の推定は、声道における梨状窩形状の個人差等による音声スペクトル高周波数帯域の変動の影響を除去して精度よく行われる。したがって、上記推定された写像関数ｆ^を用いて入力話者の音響特徴量を写像することによって、よりターゲット話者の声質に近い声質に変換された合成音声を得ることができるのである。
【０１４４】尚、上記実施の形態においては、上記特徴量写像部８１に、上記話者特徴推定装置における音響特徴量写像手段としての機能と、声質変換時における声質変換手段としての機能とを兼用させている。しかしながら、この発明はこれに限定されるものではなく、上記声質変換手段としての特徴量写像部を独立して設けても差し支えない。
【０１４５】また、上記各実施の形態において、上記各部を構成する素子等は、一つの素子であっても、または、複数の素子が複合されたものであっても差し支えない。また、上記各部はＣＰＵあるいはその周辺機器等で代用してもよい。
【０１４６】また、上記各実施の形態においては、音響モデルとしてＨＭＭを、音韻類似度としてＨＭＭに基づく尤度を、スコア算出にビタビ演算を用いる場合について説明している。しかしながら、ＨＭＭの代わりに音声波形あるいは音響特徴量系列を登録したモデルを、尤度の代わりにスペクトル間距離を、ビタビ演算の代わりにＤＰマッチングを用いても差し支えない。
【０１４７】ところで、上記話者特徴推定装置における上記特徴量写像手段,特徴量変換手段,標準話者モデル格納手段および関数推定手段としての機能は、プログラム記録媒体に記録された話者特徴推定処理プログラムによって実現される。上記実施の形態における上記プログラム記録媒体は、ＲＯＭ(リード・オンリ・メモリ)でなるプログラムメディアである。あるいは、外部補助記憶装置に装着されて読み出されるプログラムメディアであってもよい。尚、何れの場合においても、上記プログラムメディアから話者特徴推定処理プログラムを読み出すプログラム読み出し手段は、上記プログラムメディアに直接アクセスして読み出す構成を有していてもよいし、ＲＡＭ(ランダム・アクセス・メモリ)に設けられたプログラム記憶エリア(図示せず)にダウンロードして、上記プログラム記憶エリアにアクセスして読み出す構成を有していてもよい。尚、上記プログラムメディアからＲＡＭの上記プログラム記憶エリアにダウンロードするためのダウンロードプログラムは、予め本体装置に格納されているものとする。
【０１４８】ここで、上記プログラムメディアとは、本体側と分離可能に構成され、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク,ハードディスク等の磁気ディスクやＣＤ(コンパクトディスク)‐ＲＯＭ,ＭＯ(光磁気)ディスク,ＭＤ(ミニディスク),ＤＶＤ(ディジタルビデオディスク)等の光ディスクのディスク系、ＩＣ(集積回路)カードや光カード等のカード系、マスクＲＯＭ,ＥＰＲＯＭ（紫外線消去型ＲＯＭ),ＥＥＰＲＯＭ(電気的消去型ＲＯＭ),フラッシュＲＯＭ等の半導体メモリ系を含めた、固定的にプログラムを坦持する媒体である。
【０１４９】また、上記各実施の形態における音声情報処理装置は、モデムを備えてインターネットを含む通信ネットワークと接続可能な構成を有していれば、上記プログラムメディアは、通信ネットワークからのダウンロード等によって流動的にプログラムを坦持する媒体であっても差し支えない。尚、その場合における上記通信ネットワークからダウンロードするためのダウンロードプログラムは、予め本体装置に格納されているものとする。あるいは、別の記録媒体からインストールされるものとする。
【０１５０】尚、上記記録媒体に記録されるものはプログラムのみに限定されるものではなく、データも記録することが可能である。
【０１５１】
【発明の効果】以上より明らかなように、第１の発明の話者特徴推定装置は、特徴量写像手段によって写像されると共に、特徴量変換手段によって、声道における梨状窩形状の個人差によって変動が生ずる領域が上記標準話者の音響特徴量に関する情報を用いて変換された入力話者の音響特徴量と、標準話者の音響特徴量に関する情報とに基づいて、関数推定手段によって写像関数を推定するので、入力話者の音響特徴量における声道の梨状窩形状の個人差による音声スペクトル高周波数帯域の変動の影響を除去することができ、話者特徴としての写像関数を精度良く推定することができる。
【０１５２】その際に、入力話者の音響特徴量における声道長の梨状窩形状の個人差による変動を予め補正しておくので、少量の音声データから入力話者の特徴を精度よく推定することができる。
【０１５３】また、上記第１の発明の話者特徴推定装置は、上記特徴量変換手段を、上記入力話者の音響特徴量における変換領域の下限位置を、入力話者の音声スペクトルの傾きと上記標準話者の音声スペクトルの傾きとの差が最も小さくなる同一周波数位置に設定するように成せば、入力話者および標準話者の音声スペクトルを用いて、上記入力話者の音響特徴量における変換領域の下限位置を簡単に設定することができる。
【０１５４】また、上記第１の発明の話者特徴推定装置は、上記特徴量変換手段を、上記入力話者の音響特徴量の変換を、上記入力話者の音声スペクトルにおける上記変換領域に該当する周波数帯域と上記標準話者の音声スペクトルにおける該当する周波数帯域とにおけるスペクトル値の差異から求められた周波数特性変換フィルタを用いて行うように成せば、上記入力話者の音響特徴量に対する変換処理を、上記周波数特性変換フィルタを用いて簡単に行うことができる。
【０１５５】また、上記第１の発明の話者特徴推定装置は、上記特徴量変換手段によって音声スペクトルが変換される周波数帯域の下限を３kＨzから３.５kＨzまでの間とする一方、上限をサンプリング周波数の１/２とすれば、声道における梨状窩形状の個人差によって変動する音声スペクトル高周波数帯域を的確に設定することができる。
【０１５６】また、上記第１の発明の話者特徴推定装置は、上記特徴量写像手段を、狭母音を除く母音に対してのみ写像処理を行うように成せば、音声スペクトルにおけるホルマントのピークの出現位置が不安定な狭母音を除く母音に対してのみ話者特徴推定処理を行うことができ、入力話者の特徴をさらに精度良く推定することができる。
【０１５７】また、上記第１の発明の話者特徴推定装置は、特徴量写像手段を、予め用意された複数の写像関数を用いて上記写像を行うように成し、上記関数推定手段を、上記標準話者の音響特徴量に関する情報に対する上記写像および変換が行われた入力話者の音響特徴量の尤度を最大にするという基準で上記複数の写像関数から写像関数を最尤推定するように成せば、複数の写像関数を用いた写像演算と上記尤度演算と尤度値比較演算との繰り返しの簡単な処理で、話者特徴情報としての写像関数を精度良く推定することができる。
【０１５８】また、第２の発明の音声認識装置は、認識手段によって入力音声信号を認識するに先立って、入力音声の音響特徴量に基づいて、上記第１の発明の話者特徴推定装置によって入力話者の特徴を推定し、特徴量写像手段によって、上記推定された入力話者の特徴としての写像関数を用いて上記入力話者の音響特徴量を写像(話者正規化)し、この話者正規化された入力話者の音響特徴量に基づいて、上記認識手段によって入力音声信号を認識するので、声道における梨状窩形状の個人差による音声スペクトル高周波数帯域の変動の影響を除去して精度よく推定された写像関数を用いて上記話者正規化を行うことができる。
【０１５９】したがって、この発明によれば、より標準話者の音響特徴量の周波数特性に近づくように入力話者の音響特徴量を正規化することができ、高い認識率を得ることができる。
【０１６０】また、第３の発明の音声認識装置は、認識手段によって入力音声信号を認識するに先立って、入力音声の音響特徴量に基づいて、上記第１の発明の話者特徴推定装置によって入力話者の特徴を推定し、モデル適応手段によって、上記推定された入力話者の特徴としての写像関数の逆関数を用いて標準話者モデルを入力話者に適応させて適応モデルを生成し、この生成された適応モデルを用いて、上記認識手段によって入力音声信号を認識するので、声道における梨状窩形状の個人差による音声スペクトル高周波数帯域の変動の影響を除去して精度よく推定された写像関数の逆関数を用いて、上記標準話者モデルを話者適応させることができる。
【０１６１】したがって、この発明によれば、より入力話者の音響特徴量の周波数特性に近い周波数特性を有する適応モデルを用いることができ、高い認識率を得ることができる。
【０１６２】また、第４の発明のクラスタモデル作成装置は、モデル作成手段によってクラスタモデルを作成するに先立って、入力音声の音響特徴量に基づいて、上記第１の発明の話者特徴推定装置によって入力話者の特徴を推定し、クラスタリング手段によって、上記推定された入力話者の特徴を話者間距離として複数の話者をクラスタリングし、このクラスタリング結果に基づいて、上記モデル作成手段によって各話者クラスタ用の音響モデルであるクラスタモデルを作成するので、声道における梨状窩形状の個人差による音声スペクトル高周波数帯域の変動の影響を除去して精度よく推定された入力話者の特徴を話者間距離として、複数の話者をクラスタリングすることができる。
【０１６３】したがって、この発明によれば、より話者に適合した話者間距離を用いてクラスタリングを行うことができ、話者集団における発声特性の分布を的確に表現できるクラスタモデルを作成することができる。
【０１６４】また、第５の発明のクラスタモデル作成装置は、モデル作成手段によってクラスタモデルを作成するに先立って、話者モデル作成手段によって入力話者の音響特徴量に基づいて話者モデルを作成し、特徴量抽出手段によって話者モデルから音響特徴量を抽出し、この抽出された音響特徴量に基づいて、上記第１の発明の話者特徴推定装置によって入力話者の特徴を推定し、クラスタリング手段によって、上記推定された各入力話者の特徴を話者間距離として複数の話者をクラスタリングし、このクラスタリング結果に基づいて、上記モデル作成手段によってクラスタモデルを作成するので、声道における梨状窩形状の個人差による音声スペクトル高周波数帯域の変動の影響を除去して精度よく推定された入力話者の特徴を話者間距離として、複数の話者をクラスタリングすることができる。
【０１６５】したがって、この発明によれば、より話者に適合した話者間距離を用いてクラスタリングを行うことができ、話者集団における発声特性の分布を的確に表現できるクラスタモデルを作成することができる。
【０１６６】さらに、上記話者特徴推定装置は、上記話者モデルから抽出された音響特徴量に基づいて入力話者の特徴を推定するので、入力話者の音響特徴量における発話内の変動を除去して入力話者の特徴をより精度良く推定することができる。
【０１６７】また、第６の発明の音声認識装置は、クラスタモデル格納手段に上記第４の発明あるいは第５の発明のクラスタモデル作成装置によって作成されたクラスタモデルを格納し、認識手段によって入力音声信号を認識するに先立って、入力音声の音響特徴量に基づいて、上記第１の発明の話者特徴推定装置によって入力話者の特徴を推定し、モデル選択手段によって、上記推定された入力話者の特徴に基づいて該当するクラスタモデルを選択し、この選択されたクラスタモデルを用いて、上記認識手段によって入力音声信号を認識するので、声道における梨状窩形状の個人差による音声スペクトル高周波数帯域の変動の影響を除去して精度よく推定された入力話者の特徴を用いて、上記クラスタモデルの作成および選択を行うことができる。
【０１６８】したがって、この発明によれば、話者集団における発声特性の分布を的確に表すクラスタモデルを用いて認識処理を行うことができ、高い認識率を得ることができる。
【０１６９】また、第７の発明の音声合成装置は、素片接続手段によって音声素片同士を接続して合成音声を生成するに先立って、入力音声の音響特徴量に基づいて、上記第１の発明の話者特徴推定装置によって入力話者の特徴を推定し、特徴量写像手段によって、素片選択部で音韻記号列に基づいて選択された標準話者の音声素片の音響特徴量を上記推定された入力話者の特徴としての写像関数の逆関数を用いて写像し、この写像された音声素片同士を上記素片接続手段によって接続するので、声道における梨状窩形状の個人差による音声スペクトル高周波数帯域の変動の影響を除去して精度よく推定された写像関数の逆関数を用いて、上記標準話者の音声素片を入力話者(学習話者)の声質に変換することができる。
【０１７０】したがって、この発明によれば、より入力話者の声質に近い声質に変換された合成音声を得ることができる。
【０１７１】また、第８の発明の声質変換装置は、特徴量写像手段によって入力話者の音響特徴量を写像して入力話者の声質を変換するに先立って、入力音声の音響特徴量に基づいて、上記第１の発明の話者特徴推定装置によって入力話者の特徴を推定し、上記特徴量写像手段によって、入力話者の音響特徴量を上記推定された入力話者の特徴としての写像関数を用いて写像し、合成手段によって、この写像された入力話者の音響特徴量と音響分析手段からの音響分析結果とに基づいて音声を合成するので、声道における梨状窩形状の個人差による音声スペクトル高周波数帯域の変動の影響を除去して精度よく推定された写像関数を用いて、入力話者の声質を他の話者の声質に変換することができる。
【０１７２】したがって、この発明によれば、より他の話者の声質に近い声質に変換された音声を得ることができる。
【０１７３】また、第９の発明の話者特徴推定方法は、入力話者の音響特徴量を複数の写像関数を用いて写像し、上記写像が行われた入力話者の音響特徴量における声道の梨状窩形状の個人差によって変動が生ずる領域を標準話者の音響特徴量に関する情報を用いて変換し、上記変換が行われた入力話者の音響特徴量と上記標準話者の音響特徴量に関する情報とに基づいて上記複数の写像関数から写像関数を最尤推定するので、入力話者の音響特徴量における声道の梨状窩形状の個人差による音声スペクトル高周波数帯域の変動の影響を除去して、話者特徴としての写像関数を少量の音声データから精度良く推定することができる。
【０１７４】また、第１０の発明のプログラム記録媒体は、コンピュータを、上記第１の発明の話者特徴推定装置における上記特徴量写像手段,特徴量変換手段,標準話者モデル格納手段および関数推定手段として機能させる話者特徴推定処理プログラムが記録されているので、上記第１の発明の場合と同様に、入力話者の音響特徴量における声道の梨状窩形状の個人差による音声スペクトル高周波数帯域の変動の影響を除去して、話者特徴としての写像関数を少量の音声データから精度良く推定することができる。
【出願人】 【識別番号】０００００５０４９
【氏名又は名称】シャープ株式会社
【出願日】 平成１２年１２月１５日（２０００．１２．１５）
【代理人】 【識別番号】１０００６２１４４
【弁理士】
【氏名又は名称】青山 葆 （外１名）
【公開番号】 特開２００２−１８２６８３（Ｐ２００２−１８２６８３Ａ）
【公開日】 平成１４年６月２６日（２００２．６．２６）
【出願番号】 特願２０００−３８２３８３（Ｐ２０００−３８２３８３）