トップ :: G 物理学 :: G10 楽器;音響




【発明の名称】 オーディオ情報処理装置及び処理方法
【発明者】 【氏名】長谷川 聡
【要約】 【課題】入力したオーディオ情報の符号化処理中に、その入力オーディオ情報の特徴抽出を可能にする。

【解決手段】入力したオーディオ情報が複数の周波数帯域に分割された各サブバンド信号に対して、スケーリング部１２により基準値からの倍率を示すスケールファクタを計算してダイナミックレンジを揃え、スケーリング部の出力信号をＭＰＥＧ方式で符号化する装置に、スケーリング部からの各サブバンド毎のスケールファクタ値を入力して信号レベルを算出する信号レベル算出部２１と、算出された信号レベルのうち最大値，最小値を求めてこの最大値と最小値との差分を計算し、この差分値が予め定めたしきい値以上の場合に音声信号と判定し、しきい値未満の場合は音声以外の信号と判定する特徴検出処理部２２とを設ける。
【特許請求の範囲】
【請求項１】 入力した音声信号を含むオーディオ情報を複数の周波数帯域に分割するサブバンド分析部と、サブバンド分析部により各周波数帯域に分割された各サブバンドに対して基準値からの倍率を示すスケールファクタを計算し、ダイナミックレンジを揃えるスケーリング部と、スケーリング部の出力信号をＭＰＥＧ方式で圧縮符号化して符号化ビットストリームデータとして出力する符号化処理部とを備えたオーディオ情報処理装置において、前記スケーリング部の出力であるスケールファクタ値に基づき前記オーディオ情報の特徴を抽出する特徴検出処理部を備えたことを特徴とするオーディオ情報処理装置。
【請求項２】 請求項１において、前記特徴検出処理部は、スケールファクタ値に基づき前記オーディオ情報が音声信号区間か否かを判断する手段を備えたことを特徴とするオーディオ情報処理装置。
【請求項３】 請求項１において、前記特徴検出処理部は、スケールファクタ値に基づき前記オーディオ情報が無音信号区間か否かを判断する手段を備えたことを特徴とするオーディオ情報処理装置。
【請求項４】 請求項１において、前記スケーリング部から出力される各サブバンド毎のスケールファクタ値を入力してこのスケールファクタ値に応じた信号レベルを算出する信号レベル算出部を備え、前記特徴検出処理部は、前記信号レベル算出部により算出された信号レベルに基づき前記オーディオ情報の特徴を抽出することを特徴とするオーディオ情報処理装置。
【請求項５】 請求項４において、前記信号レベル算出部は、前記スケーリング部から所定時間内に出力される低周波数帯域のスケールファクタ値を入力して信号レベルを算出し、前記特徴検出処理部は、前記信号レベル算出部により算出された信号レベルのうち最大値と最小値とを求めてこの最大値と最小値との差分を演算する演算手段と、前記演算手段により演算された差分値が予め定めたしきい値以上の場合は前記オーディオ情報を音声信号区間と判断し、前記差分値が前記しきい値未満の場合は前記オーディオ情報を音声以外の信号区間と判断する判断手段とを有することを特徴とするオーディオ情報処理装置。
【請求項６】 請求項４において、前記信号レベル算出部は、前記スケーリング部から所定時間内に出力される全てのスケールファクタ値を入力して信号レベルを算出し、前記特徴検出処理部は、前記信号レベル算出部により算出された信号レベルが予め定めたしきい値以上の場合は有音信号区間と判断し、前記算出された信号レベルが前記しきい値未満の場合は無音信号区間と判断する判断手段を有することを特徴とするオーディオ情報処理装置。
【請求項７】 ＭＰＥＧ方式で符号化されたビットストリームデータを入力すると、各周波数帯域に分割された各サブバンドからなるこの符号化ビットストリームデータを各サブバンド毎に、ビット割当情報、基準値からの倍率を示すスケールファクタ値及び符号化データに分解するストリーム分解部と、ストリーム分解部により分解された符号化データを各サブバンド単位で復号処理しオーディオ情報として出力する復号化処理部とを備えたオーディオ情報処理装置において、前記ストリーム分解部の出力であるスケールファクタ値に基づき前記オーディオ情報の特徴を抽出する特徴検出処理部を備えたことを特徴とするオーディオ情報処理装置。
【請求項８】 請求項７において、前記特徴検出処理部は、スケールファクタ値に基づき前記オーディオ情報が音声信号区間か否かを判断する手段を備えたことを特徴とするオーディオ情報処理装置。
【請求項９】 請求項７において、前記特徴検出処理部は、スケールファクタ値に基づき前記オーディオ情報が無音信号区間か否かを判断する手段を備えたことを特徴とするオーディオ情報処理装置。
【請求項１０】 請求項７において、前記ストリーム分解部から出力される各サブバンド毎のスケールファクタ値を入力して信号レベルを算出する信号レベル算出部を備え、前記特徴検出処理部は、前記信号レベル算出部により算出された信号レベルに基づき前記オーディオ情報の特徴を抽出することを特徴とするオーディオ情報処理装置。
【請求項１１】 請求項１０において、前記信号レベル算出部は、前記ストリーム分解部から所定時間内に出力される低周波数帯域のスケールファクタ値を入力して信号レベルを算出し、前記特徴検出処理部は、前記信号レベル算出部により算出された信号レベルのうち最大値と最小値とを求めてこの最大値と最小値との差分を演算する演算手段と、前記演算手段により演算された差分値が予め定めたしきい値以上の場合は前記オーディオ情報を音声信号区間と判断し、前記差分値が前記しきい値未満の場合は前記オーディオ情報を音声以外の信号区間と判断する判断手段とを有することを特徴とするオーディオ情報処理装置。
【請求項１２】 請求項１０において、前記信号レベル算出部は、前記ストリーム分解部から所定時間内に出力される全てのスケールファクタ値を入力して信号レベルを算出し、前記特徴検出処理部は、前記信号レベル算出部により算出された信号レベルが予め定めたしきい値以上の場合は有音信号区間と判断し、前記算出された信号レベルが前記しきい値未満の場合は無音信号区間と判断する判断手段を有することを特徴とするオーディオ情報処理装置。
【請求項１３】 入力した音声信号を含むオーディオ情報を複数の周波数帯域に分割するサブバンド分析部と、サブバンド分析部により各周波数帯域に分割された各サブバンドに対して基準値からの倍率を示すスケールファクタを計算し、ダイナミックレンジを揃えるスケーリング部と、スケーリング部の出力信号をＭＰＥＧ方式で圧縮符号化して符号化ビットストリームデータとして出力する符号化処理部とを備えたオーディオ情報処理装置において、前記スケーリング部の出力であるスケールファクタ値に基づき前記オーディオ情報の特徴を抽出する第１のステップを有することを特徴とする処理方法。
【請求項１４】 請求項１３において、前記第１のステップにおける処理は、スケールファクタ値に基づき前記オーディオ情報が音声信号区間か否かを判断する第２のステップを含むことを特徴とする処理方法。
【請求項１５】 請求項１３において、前記第１のステップにおける処理は、スケールファクタ値に基づき前記オーディオ情報が無音信号区間か否かを判断する第３のステップを含むことを特徴とする処理方法。
【請求項１６】 請求項１３において、前記スケーリング部から出力される各サブバンド毎のスケールファクタ値を入力してこのスケールファクタ値に応じた信号レベルを算出する第４のステップを有し、前記第１のステップにおける処理は、第４のステップの処理により算出された信号レベルに基づき前記オーディオ情報の特徴を抽出する第５のステップを含むことを特徴とする処理方法。
【請求項１７】 請求項１６において、前記第４のステップにおける処理は、前記スケーリング部から所定時間内に出力される低周波数帯域のスケールファクタ値を入力して信号レベルを算出する第６のステップを含み、前記第５のステップにおける処理は、前記第６のステップの処理に基づき算出された信号レベルのうち最大値と最小値とを求めてこの最大値と最小値との差分を演算する第７のステップと、前記第７のステップの処理に基づく差分値が予め定めたしきい値以上の場合は前記オーディオ情報を音声信号区間と判断し、前記差分値が前記しきい値未満の場合は前記オーディオ情報を音声以外の信号区間と判断する第８のステップとを含むことを特徴とする処理方法。
【請求項１８】 請求項１６において、前記第４のステップにおける処理は、前記スケーリング部から所定時間内に出力される全てのスケールファクタ値を入力して信号レベルを算出する第９のステップを含み、前記第５のステップにおける処理は、前記第９のステップの処理に基づき算出された信号レベルが予め定めたしきい値以上の場合は有音信号区間と判断し、前記算出された信号レベルが前記しきい値未満の場合は無音信号区間と判断する第１０のステップを含むことを特徴とする処理方法。
【請求項１９】 ＭＰＥＧ方式で符号化されたビットストリームデータを入力すると、各周波数帯域に分割された各サブバンドからなるこの符号化ビットストリームデータを各サブバンド毎に、ビット割当情報、基準値からの倍率を示すスケールファクタ値及び符号化データに分解するストリーム分解部と、ストリーム分解部により分解された符号化データを各サブバンド単位で復号処理しオーディオ情報として出力する復号化処理部とを備えたオーディオ情報処理装置において、前記ストリーム分解部の出力であるスケールファクタ値に基づき前記オーディオ情報の特徴を抽出する第１１のステップを有することを特徴とする処理方法。
【請求項２０】 請求項１９において、前記第１１のステップにおける処理は、スケールファクタ値に基づき前記オーディオ情報が音声信号区間か否かを判断する第１２のステップを含むことを特徴とする処理方法。
【請求項２１】 請求項１９において、前記第１１のステップにおける処理は、スケールファクタ値に基づき前記オーディオ情報が無音信号区間か否かを判断する第１３のステップを含むことを特徴とする処理方法。
【請求項２２】 請求項１９において、前記ストリーム分解部から出力される各サブバンド毎のスケールファクタ値を入力して信号レベルを算出する第１４のステップを有し、前記第１１のステップにおける処理は、前記第１４のステップの処理により算出された信号レベルに基づき前記オーディオ情報の特徴を抽出する第１５のステップを含むことを特徴とする処理方法。
【請求項２３】 請求項２２において、前記第１４のステップにおける処理は、前記ストリーム分解部から所定時間内に出力される低周波数帯域のスケールファクタ値を入力して信号レベルを算出する第１６のステップを含み、前記第１５のステップにおける処理は、前記第１６のステップの処理に基づき算出された信号レベルのうち最大値と最小値とを求めてこの最大値と最小値との差分を演算する第１７のステップと、前記第１７のステップの処理に基づく差分値が予め定めたしきい値以上の場合は前記オーディオ情報を音声信号区間と判断し、前記差分値が前記しきい値未満の場合は前記オーディオ情報を音声以外の信号区間と判断する第１８のステップとを含むことを特徴とする処理方法。
【請求項２４】 請求項２２において、前記第１４のステップにおける処理は、前記ストリーム分解部から所定時間内に出力される全てのスケールファクタ値を入力して信号レベルを算出する第１９のステップを含み、前記第１５のステップにおける処理は、前記第１９のステップの処理に基づき算出された信号レベルが予め定めたしきい値以上の場合は有音信号区間と判断し、前記算出された信号レベルが前記しきい値未満の場合は無音信号区間と判断する第２０のステップを含むことを特徴とする処理方法。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、オーディオ情報処理装置及び処理方法に関する。
【０００２】
【従来の技術】近年、パーソナルコンピュータ等の性能向上やインターネットの普及により、マルチメディア情報を広く利用することが可能になってきている。これと同時に、マルチメディア情報の効率の良い検索や、所望の情報を抽出するなどの要求が増えてきており、重要なテーマとなっている。特に、映像情報や音声情報に対する要求は、いわゆるデジタル家電と呼ばれるデジタルビデオカメラやデジタルスチルカメラのような製品の普及に伴って急速に増加しており、今後もその需要の増加が期待される。
【０００３】音声情報に関する情報検索手法や情報抽出手法は、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式等で圧縮符号化されたオーディオ情報に対するものや、符号化されていないオーディオ情報に対するものなど、多くの方式が提案されている。
【０００４】例えば特開平１０−２４７０９３号公報では、符号化されていないオーディオ情報及びＭＰＥＧ方式による圧縮符号化されたオーディオ情報の双方に対し、そのオーディオ情報を音楽区間と音声信号区間に分類するオーディオ情報分類装置が提案されている。この装置によれば、符号化されていないオーディオ情報からは、単位時間毎の周波数データを抽出し、これから単位時間当たりのエネルギーを求め、その区間が音声信号区間なのか音楽区間なのかを判断している。一方、ＭＰＥＧ方式で圧縮符号化されているオーディオ情報からは、各フレームのサブバンドデータを復号し、このサブバンドデータから単位時間当たりのエネルギーを求め、その区間が音声信号区間なのか音楽区間なのかを判断している。
【０００５】また、特開２０００−６６６９１号公報では、符号化されていないオーディオ情報及びＭＰＥＧ方式による圧縮符号化されたオーディオ情報の双方に対し、そのオーディオ情報を音声信号区間、音楽区間、雑音区間に分類するオーディオ情報分類装置が提案されている。この装置は、特開平１０−２４７０９３号公報の装置と同様の処理で単位時間当たりのエネルギーを求めた後、そのエネルギーの分散や疎密度、及び重心から音声信号区間、音楽区間、雑音区間を判断している。
【０００６】図６は、ＭＰＥＧ１／Ａｕｄｉｏレイヤ１方式（ＩＳＯ／ＩＥＣ １１１７２−３）を適用した符号化処理装置の構成を示すブロック図であり、サブバンド分析部１１１と、スケーリング部１１２と、ビット割当部１１３と、量子化部１１４と、ビットストリーム生成部１１５と、聴覚心理モデル（心理聴覚分析部）１６とから構成される。ここで、サブバンド分析部１１１は入力信号Ａを複数の周波数帯域に分割する一方、スケーリング部１１２は分割された各サブバンド信号に対して基準値からの倍率を示すスケールファクタを計算してダイナミックレンジを揃えるとともに、聴覚心理モデル１１６は各サブバンドで音声信号がマスキングされている比率を求め、ビット割当部１１３は聴覚心理モデル１１６の出力結果をもとに各サブバンドへのビット割当を行う。そして、量子化部１１４はビット割当部３の出力を量子化計算し、ビットストリーム生成部１１５は量子化部１１４からの出力情報にヘッダや補助情報を付加して音声符号化データＢとして出力するようにしている。
【０００７】
【発明が解決しようとする課題】しかしながら、前述した図６に示すようなＭＰＥＧ方式を適用したオーディオ情報の圧縮符号化処理を行う符号化処理装置では、オーディオ情報の符号化処理中に、その入力オーディオ情報の音声信号区間や無音信号区間等の特徴抽出が行えないという課題があった。したがって、本発明は、入力したオーディオ情報の符号化処理中に、その入力オーディオ情報の特徴抽出を可能にすることを目的とする。
【０００８】
【課題を解決するための手段】このような課題を解決するために本発明は、入力した音声信号を含むオーディオ情報を複数の周波数帯域に分割するサブバンド分析部と、サブバンド分析部により各周波数帯域に分割された各サブバンドに対して基準値からの倍率を示すスケールファクタを計算し、ダイナミックレンジを揃えるスケーリング部と、スケーリング部の出力信号を圧縮符号化して符号化ビットストリームデータとして出力する符号化処理部とを備えたオーディオ情報処理装置において、スケーリング部から出力されるスケールファクタ値をもとにオーディオ情報の特徴を抽出する特徴検出処理部を設けたものである。この場合、特徴検出処理部は、スケールファクタ値に基づき前記オーディオ情報が音声信号区間か否かを判断するものである。また、特徴検出処理部は、スケールファクタ値に基づき前記オーディオ情報が無音信号区間か否かを判断するものである。また、スケーリング部から出力される各サブバンド毎のスケールファクタ値を入力してこのスケールファクタ値に応じた信号レベルを算出する信号レベル算出部を設け、特徴検出処理部は、信号レベル算出部により算出された信号レベルに基づきオーディオ情報の特徴を抽出するものである。
【０００９】また、信号レベル算出部は、スケーリング部から所定時間内に出力される低周波数帯域のスケールファクタ値を入力して信号レベルを算出し、特徴検出処理部は、信号レベル算出部により算出された信号レベルのうち最大値と最小値とを求めてこの最大値と最小値との差分を演算する演算手段と、演算手段により演算された差分値が予め定めたしきい値以上の場合はオーディオ情報を音声信号区間と判断し、差分値がしきい値未満の場合はオーディオ情報を音声以外の信号区間と判断する判断手段とを有するものである。また、信号レベル算出部は、スケーリング部から所定時間内に出力される全てのスケールファクタ値を入力して信号レベルを算出し、特徴検出処理部は、信号レベル算出部により算出された信号レベルが予め定めたしきい値以上の場合は有音信号区間と判断し、算出された信号レベルがしきい値未満の場合は無音信号区間と判断する判断手段を有するものである。
【００１０】また、本発明は、符号化ビットストリームデータを入力すると、各周波数帯域に分割された各サブバンドからなるこの符号化ビットストリームデータを各サブバンド毎に、ビット割当情報、基準値からの倍率を示すスケールファクタ値及び符号化データに分解するストリーム分解部と、ストリーム分解部により分解された符号化データを各サブバンド単位で復号処理しオーディオ情報として出力する復号化処理部とを備えたオーディオ情報処理装置において、ストリーム分解部から出力されるスケールファクタ値をもとにオーディオ情報の特徴を抽出する特徴検出処理部を設けたものである。この場合、特徴検出処理部は、スケールファクタ値に基づき前記オーディオ情報が音声信号区間か否かを判断するものである。また、特徴検出処理部は、スケールファクタ値に基づき前記オーディオ情報が無音信号区間か否かを判断するものである。また、ストリーム分解部から出力される各サブバンド毎のスケールファクタ値を入力して信号レベルを算出する信号レベル算出部を設け、特徴検出処理部は、信号レベル算出部により算出された信号レベルに基づきオーディオ情報の特徴を抽出するものである。
【００１１】また、信号レベル算出部は、ストリーム部から所定時間内に出力される低周波数帯域のスケールファクタ値を入力して信号レベルを算出し、特徴検出処理部は、信号レベル算出部により算出された信号レベルのうち最大値と最小値とを求めてこの最大値と最小値との差分を演算する演算手段と、演算手段により演算された差分値が予め定めたしきい値以上の場合はオーディオ情報を音声信号区間と判断し、差分値がしきい値未満の場合はオーディオ情報を音声以外の信号区間と判断する判断手段とを有するものである。また、信号レベル算出部は、ストリーム分解部から所定時間内に出力される全てのスケールファクタ値を入力して信号レベルを算出し、特徴検出処理部は、信号レベル算出部により算出された信号レベルが予め定めたしきい値以上の場合は有音信号区間と判断し、算出された信号レベルがしきい値未満の場合は無音信号区間と判断する判断手段を有するものである。
【００１２】
【発明の実施の形態】以下、本発明について図面を参照して説明する。図１は、本発明を適用した符号化処理装置の構成を示すブロック図であり、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）１／Ａｕｄｉｏレイヤ１方式（ＩＳＯ／ＩＥＣ １１１７２−３）の符号化処理装置の構成を示すものである。この符号化処理装置は、図１に示すように、入力信号（入力音声データ）ａを複数の周波数帯域に分割するサブバンド分析部１１と、異なる周波数帯域に分割された各サブバンド信号に対して基準値からの倍率を示すスケールファクタを計算し、ダイナミックレンジを揃えるスケーリング部１２と、入力信号ａとスケーリング部１２の出力とに基づき各サブバンドで音声信号がマスキングされている比率を求める聴覚心理モデル（心理聴覚分析部）１６と、聴覚心理モデル１６からの出力結果に基づき、スケーリング部１２からの各サブバンドに対するビット割り当てを行うビット割当部１３と、ビット割当部１３の出力を量子化計算する量子化部１４と、量子化部１４により量子化されたデータにヘッダや補助情報を付加してビット列を形成し音声符号化データｂとして出力するビットストリーム生成部１５と、スケーリング部１２で得られたスケールファクタ値をもとにして音声情報を抽出するサウンド情報抽出部２０とからなる。
【００１３】ここで、サウンド情報抽出部２０は、スケールファクタ値から各サブバンド単位での信号レベルを計算する信号レベル算出部２１と、信号レベル算出部２１により算出された信号レベルに基づき、入力信号ａに対する無音検出や音声検出等の分析処理を行う特徴検出処理部２２とから構成される。
【００１４】特徴検出処理部２２では、定められた時間範囲における信号レベルの最大値と最小値の差分をしきい値で比較する第１の方法、定められた時間範囲における信号レベルが全てしきい値を下回っているかどうかを判断する第２の方法、求められた信号レベルの絶対値としきい値とを比較する第３の方法、過去の信号レベル履歴からその絶対値や振幅等の平均値もしくは分散を求め得られた結果の変化量を判断する第４の方法、及び各サブバンド毎の信号レベル比率を比較する第５の方法などにより入力信号の分析処理を行い入力信号ａの特徴を抽出する。
【００１５】（第１の実施の形態）次に、図１のブロック図及び図３のフローチャートに基づき本発明の第１の実施の形態を説明する。第１の実施の形態では、ＭＰＥＧ１／Ａｕｄｉｏレイヤ１の場合を例に、音声検出の場合について説明する。１６ビットの直線量子化された入力信号ａは、図１のサブバンド分析部１１で３２帯域のサブバンド信号に分割される。各サブバンド当たり１２サンプルが抽出され、合計３８４（３２×１２）サンプル単位で以降の処理が実行される。この３２帯域に分割された各サブバンド信号のダイナミックレンジを揃えるため、図１のスケーリング部１２では最大振幅（基準値）が１．０になるように正規化し、その倍率を示すスケールファクタ値を各サブバンド単位で算出する。
【００１６】ここで、算出されるスケールファクタ値とは、最大振幅１．０に対する実際の信号との割合を示したものであるが、この値が大きいほど大きな振幅を持った信号であることが各サブバンド単位で判断できることになる。スケーリング部１２で得られたスケールファクタ値は、図１の心理聴覚モデル１６とビット割当部１３に渡され、符号化処理が継続される一方、サウンド情報抽出部２０にも渡されサウンド情報（音声情報、オーディオ情報）の抽出処理に使用される。
【００１７】この場合、サウンド情報抽出部２０の信号レベル算出部２１は、スケーリング部１２から図３のステップＳ１で各サブバンド毎のスケールファクタ値を取得する。そして、取得したスケールファクタ値のうち低周波数帯域側のスケールファクタ値を得て低周波数帯域の信号レベルを算出する（ステップＳ２）。これは、音声信号の周波数帯域が狭く、低周波数帯域に集中していることによる。信号レベル算出方法の一例としては、ＭＰＥＧ／Ａｕｄｉｏの規格書であるＩＳＯ／ＩＥＣ１１１７２−３に、各サブバンド当たりの信号レベル計算式が提案されている。
【００１８】即ち、各サブバンド当たりの音圧レベルをＬｓｂとすると、 Ｌｓｂ（ｎ）＝２０×ｌｏｇ（Ｓｃｆｍａｘ（ｎ）×３２７６８）
−１０ ・・・・・（１）
となる信号レベルの計算式が提案されている。ここで、ｎはサブバンド番号、Ｓｃｆｍａｘ（ｎ）は各サブバンド毎のスケールファクタ値である。本実施の形態では式（１）を用いているが、信号レベル算出式はこの計算式に限るものではない。
【００１９】こうして信号レベル算出部２１により算出された低周波数帯域の信号レベルは、特徴検出処理部２２に渡される。特徴検出処理部２２では、まず今回取得した信号レベルが今まで取得した信号レベルのなかで最大値もしくは最小値であるかの判断を行う（ステップＳ３）。最大値もしくは最小値と判断されステップＳ３で「Ｙ」となる場合は、新たな最大値もしくは最小値としてその信号レベルを格納する（ステップＳ４）。取得した信号レベルが今まで取得した信号レベルのなかで最大値もしくは最小値ではなくステップＳ３の判定が「Ｎ」となる場合は、今回取得した信号レベルは格納しない。
【００２０】次に、ステップＳ５では１秒分の信号レベルを確認したか否かの判断を行う。本実施の形態では１秒単位での音声検出を実施することとする。なお、ＭＰＥＧ／Ａｕｄｉｏレイヤ１の場合、サンプリング周波数が４４．１ｋＨｚであれば３８４サンプル当たり約８．７ミリ秒である。１秒分の信号レベルを確認したと判断し、ステップＳ５の判定が「Ｙ」となると、現在までに格納されている信号レベルの最大値と最小値の差分を求める（ステップＳ６）。
【００２１】そして、信号レベルの最大値と最小値の差分値が予め定められたしきい値以上でありステップＳ７の判定が「Ｙ」となると、特徴検出処理部２２はこの１秒間は音声信号区間であると判断し、音声信号区間としてのパラメータｃを出力する（ステップＳ８）。一方、信号レベルの最大値と最小値の差分値が予め定められたしきい値未満であり、ステップＳ７の判定が「Ｎ」となる場合は、特徴検出処理部２２はこの１秒間は例えば音楽等の音声以外の信号区間であると判断し、音声以外の信号区間としてのパラメータｃを出力する（ステップＳ９）。そして、パラメータが出力された後、現在格納されている信号レベルの最大値と最小値がリセットされ（ステップＳ１０）、次の１秒間についての検出が開始される。なお、まだ１秒分の信号レベルを確認していないと判断されステップＳ５の判定が「Ｎ」となる場合は、次の３８４サンプル当たりのスケールファクタ値が取得され同様に処理される。
【００２２】（第２の実施の形態）次に、図１のブロック図及び図４のフローチャートを用いて本発明の第２の実施の形態について説明する。第１の実施の形態では、サウンド情報抽出部２０の処理により音声信号区間を検出する場合の例を説明したが、第２の実施の形態では、このサウンド情報抽出部２０の処理により無音信号区間を検出する場合について説明する。１６ビットの直線量子化された入力信号ａは、図１のサブバンド分析部１１で同様に３２帯域のサブバンド信号に分割される。この３２帯域に分割された各サブバンド信号のダイナミックレンジを揃えるため、図１のスケーリング部１２では最大振幅が１．０になるように正規化し、その倍率を示すスケールファクタ値を各サブバンド単位で算出する。そして、スケーリング部１２で得られたスケールファクタ値は、同様に図１の心理聴覚モデル１６とビット割当部１３に渡されて符号化処理が継続される一方、サウンド情報抽出部２０にも渡されサウンド情報の抽出処理に使用される。
【００２３】この場合、サウンド情報抽出部２０の信号レベル算出部２１では、スケーリング部１２から図４のステップＳ１１で各サブバンド毎のスケールファクタ値を取得する。そして、取得した全てのスケールファクタ値を用い３８４サンプル当たりの信号レベルを算出する（ステップＳ１２）。ここで、信号レベルの算出の際の算出式については、前述の式（１）を用いても良いし、この算出式に限るものではない。
【００２４】次に、特徴検出処理部２２では、信号レベル算出部２１で求められた３８４サンプル当たりの信号レベルが予め定められたしきい値未満であるか否かの判断を行う（ステップＳ１３）。ここで、前記信号レベルが予め定められたしきい値未満ではないと判断され、ステップＳ１３の判定が「Ｎ」となる場合は、特徴検出処理部２２は有音信号区間と判断して有音信号区間としてのパラメータｃを出力する（ステップＳ１４）。そしてその後、次の３８４サンプル当たりのスケールファクタ値が取得され処理される。
【００２５】一方、信号レベル算出部２１で求められた３８４サンプル当たりの信号レベルがしきい値未満であると判断されステップＳ１３の判定が「Ｙ」となる場合は、そのしきい値未満の状態が１秒間以上継続しているか否かを判断する（ステップＳ１５）。ここで、１秒間以上継続していると判断されステップＳ１５で「Ｙ」となる場合は、特徴検出処理部２２はその区間を無音信号区間と判断して、無音信号区間としてのパラメータｃを出力する（ステップＳ１６）。そしてその後、次の３８４サンプル当たりのスケールファクタ値が取得され同様に処理される。なお、しきい値未満の信号レベルが１秒以上継続していないと判断されステップＳ１５で「Ｎ」となる場合は次の３８４サンプル当たりのスケールファクタ値が取得され処理される。
【００２６】このように、第１及び第２の実施の形態では、ＭＰＥＧ方式の音声符号化処理で算出されたパラメータのスケールファクタ値を使用してサウンド情報（音声情報、オーディオ情報）特徴抽出処理を行うため、サウンド情報抽出処理で用いられる専用の特別なパラメータの抽出処理が不要になり、したがって軽負荷で処理できる。このため、実時間で音声符号化処理するような場合であっても、同時にサウンド情報を抽出できる。
【００２７】（第３の実施の形態）図２は、本発明を適用した復号化装置のブロック図であり、ＭＰＥＧ符号化されたデータの特徴抽出を行うための構成を示すものである。図２において、本復号化装置は、入力符号化データｂを各サブバンド当たりのビット割当情報、スケールファクタ値、及び符号化データに分解するビットストリーム分解部（以下、ストリーム分解部）３１と、ストリーム分解部３１により分解されたデータを各サブバンド単位で復号処理する逆量子化部３２と、逆量子化部３２により復号化された各サブバンドを合成し音声データｄとして出力するサブバンド合成部３３と、ストリーム分解部３１に分解されたスケールファクタ値をもとにして音声情報を抽出する、前述の信号レベル算出部２１及び特徴検出処理部２２からなる前記サウンド情報抽出部２０とから構成される。
【００２８】次に、図２のブロック図、図３，図４のフローチャート及び図５のデータフォーマットを用いて本発明の第３の実施の形態について説明する。前述の第１及び第２の実施の形態では、サウンド情報抽出部２０による処理を符号化処理中に組みこんだが、第３の実施の形態ではＭＰＥＧ符号化されたオーディオビットストリームからサウンド情報抽出部２０によりサウンド情報を抽出する場合について説明する。
【００２９】まず、ＭＰＥＧ方式による音声復号処理手法について説明する。この実施の形態では、ＭＰＥＧ／Ａｕｄｉｏレイヤ１の場合を例に説明する。ＭＰＥＧ符号化されたビットストリームは、図５に示すように、先頭から順に、ヘッダ４１，エラーチェック情報４２、ビット割当情報４３、スケールファクタ値４４及び符号化データ４５が割り当てられるようなデータフォーマットを有している。このようなビットストリームを受信すると、まず図２のストリーム分解部３１において各サブバンド当たりのビット割当情報、スケールファクタ値、及び符号化データに分解される。そして、逆量子化部３２において各サブバンド単位での復号処理が行われた後、サブバンド合成部３３は各サブバンドを合成し、音声信号として出力する。
【００３０】ところで、従来は、サウンド情報を抽出するためには、サブバンド合成部３３から出力される音声信号を使用するか、もしくは逆量子化部３２で各サブバンド単位で復号された情報を使用するかの方法が採られていたが、本実施の形態では、まずストリーム分解部３１でビットストリームを分解し、ここで得られたスケールファクタ値をそのままサウンド情報抽出部２０に渡す。以降、サウンド情報抽出部２０の信号レベル算出部２１と特徴検出処理部２２でサウンド情報抽出処理を行うが、その抽出処理は前述した第１及び第２の実施の形態と同様の処理である。
【００３１】即ち、信号レベル算出部２１は、ストリーム分解部３１からの低周波数帯域のスケールファクタ値を入力すると信号レベルを算出し、特徴検出処理部２２は、信号レベル算出部２１により算出された信号レベルのうち最大値と最小値とを求めてこの最大値と最小値との差分を演算し、その差分値が予め定めたしきい値以上の場合は符号化データｂを音声信号と判断し、差分値がしきい値未満の場合は符号化データｂを音声以外の信号と判断する（第１の実施の形態に対応する処理）。また、信号レベル算出部２１は、ストリーム分解部３１からの全てのスケールファクタ値を入力してその信号レベルを算出し、特徴検出処理部２２は、信号レベル算出部２１により算出された信号レベルが予め定めたしきい値以上の場合は有音信号と判断し、算出された信号レベルがしきい値未満の場合は無音信号と判断する（第２の実施の形態に対応する処理）。
【００３２】このように、ＭＰＥＧ方式で圧縮符号化されたビットストリームからサウンド情報を抽出する場合、ビットストリーム中のスケールファクタ値をパラメータとして使用するようにしたので、ビットストリームの復号処理を行うことなくサウンド情報の抽出処理を行うことができる。したがって、軽負荷でサウンド情報を抽出できることから、性能の低いパーソナルコンピュータでも高速な処理が可能である。
【００３３】以上説明したように、本発明は、オーディオ情報圧縮符号化処理中に処理負荷を軽減した効率の良いオーディオ情報抽出方法を提供できるとともに、ＭＰＥＧ方式で符号化されたデータであっても、ビットストリーム解析処理のみでオーディオ情報の抽出を可能にすることができる。なお、前述した第１〜第３の実施の形態では、ＭＰＥＧ／Ａｕｄｉｏレイヤ１の場合について述べたが、本発明はサブバンド分割による符号化方式でスケールファクタ値を算出する手段を有する他の音声符号化方式、例えばＭＰＥＧ／Ａｕｄｉｏレイヤ２、ＭＰＥＧ／Ａｕｄｉｏレイヤ３などにも適用可能である。
【００３４】また、サウンド情報抽出部２０内の特徴検出処理部２２では、第１の実施の形態で説明したような、定められた時間範囲における信号レベルの最大値と最小値の差分をしきい値で比較する方法や、第２の実施の形態で説明したような、定められた時間範囲における信号レベルが全てしきい値を下回っているかどうかを判断する方法の他に、信号レベルの絶対値としきい値とを比較する方法や、過去の信号レベル履歴からその絶対値や振幅等の平均値もしくは分散を求め、得られた結果の変化量から判断する方法などを用いて、入力信号の分析処理を行ってもよい。
【００３５】
【発明の効果】以上説明したように本発明は、入力した音声信号を含むオーディオ情報を複数の周波数帯域に分割するサブバンド分析部と、サブバンド分析部により各周波数帯域に分割された各サブバンドに対して基準値からの倍率を示すスケールファクタを計算し、ダイナミックレンジを揃えるスケーリング部と、スケーリング部の出力信号を圧縮符号化して符号化ビットストリームデータとして出力する符号化処理部とを備えたオーディオ情報処理装置において、スケーリング部から出力される各サブバンド毎のスケールファクタ値に基づきオーディオ情報の特徴を抽出するようにしたので、入力したオーディオ情報の符号化処理中に、同時にそのオーディオ情報の特徴抽出が可能になる。また、本発明ではＭＰＥＧ方式の音声符号化処理で算出されたパラメータのスケールファクタ値を使用してサウンド情報（オーディオ情報）特徴抽出処理を行うため、サウンド情報抽出処理で用いられる専用の特別なパラメータを抽出するための処理が不要になり、したがって軽負荷で処理できる。このため、実時間で音声符号化処理するような場合であっても、同時にサウンド情報を抽出できる。
【００３６】また、符号化ビットストリームデータを入力すると、各周波数帯域に分割された各サブバンドからなるこの符号化ビットストリームデータを各サブバンド毎に、ビット割当情報、基準値からの倍率を示すスケールファクタ値及び符号化データに分解するストリーム分解部と、ストリーム分解部により分解された符号化データを各サブバンド単位で復号処理しオーディオ情報として出力する復号化処理部とを備えたオーディオ情報処理装置において、ストリーム分解部から出力される各サブバンド毎のスケールファクタ値に基づきオーディオ情報の特徴を抽出するようにしたので、符号化されたビットストリームを復号化することなくサウンド情報を抽出できる。したがって、軽負荷でサウンド情報を抽出できることから、性能の低いパーソナルコンピュータでも高速処理が期待できる。
【出願人】 【識別番号】０００００４２３７
【氏名又は名称】日本電気株式会社
【出願日】 平成１３年１月１７日（２００１．１．１７）
【代理人】 【識別番号】１０００６４６２１
【弁理士】
【氏名又は名称】山川 政樹
【公開番号】 特開２００２−２１５１９２（Ｐ２００２−２１５１９２Ａ）
【公開日】 平成１４年７月３１日（２００２．７．３１）
【出願番号】 特願２００１−９５６４（Ｐ２００１−９５６４）