音声データ変換処理方法及びそのための装置

トップ :: G 物理学 :: G10 楽器;音響

【発明の名称】	音声データ変換処理方法及びそのための装置
【発明者】	【氏名】高根澤康記
【要約】	【課題】ディジタル信号のデータ送受信において、音声データについてのロックモードとアンロックモードのフレーム内サンプル数の規定に合致するような変換処理をすること。【解決手段】映像のフレーム毎に任意のサンプル数を持つ音声データを含んでいる入力データを所定のフレームシーケンスに対してフレーム毎に規定のサンプル数を有する音声データに変換する音声データ変換処理方法であって、入力データを取り込むメモリ手段１３と前記メモリ手段を制御するメモリ制御手段１５とを用いて、隣接するフレーム境界の音声サンプルを前記隣接するフレーム間にて受け渡しを行ってフレーム当りのサンプル数を規定の数に合わせ込むこと。

【特許請求の範囲】
【請求項１】映像のフレーム毎に任意のサンプル数を持つ音声データを含んでいる入力データを所定のフレームシーケンスに対してフレーム毎に規定のサンプル数を有する音声データに変換する音声データ変換処理方法であって、前記入力データを取り込むメモリ手段と前記メモリ手段を制御するメモリ制御手段とを用いて、隣接するフレーム境界の音声サンプルを前記隣接するフレーム間にて受け渡しを行ってフレーム当りのサンプル数を規定の数に合わせ込むことを特徴とする音声データ変換処理方法。
【請求項２】映像のフレーム毎に任意のサンプル数を持つ音声データを含んでいる入力データを所定のフレームシーケンスに対してフレーム毎に規定のサンプル数を有する音声データヘ変換する音声データ変換処理方法であって、前記入力データの単位ブロックに対して、それぞれデータ補間又はデータ切り捨てにより音声データの加工を順次行うことによって規定のサンプル数に変換することを特徴とする音声データ変換処理方法。
【請求項３】請求項１に記載の音声データ変換処理方法において、前記メモリ制御手段は、前記入力データが特定のフォーマットにより構成されていることを利用して、書き込みと読み出しのアドレス制御を行うことを特徴とする音声データ変換処理方法。
【請求項４】請求項１、２又は３に記載の変換処理方法において、ディジタルインターフェースからの入力データにおける補助データについても変換処理後の音声データに合わせて所定の内容に書き換えることを特徴とする音声データ変換処理方法。
【請求項５】請求項１、２又は３に記載の変換処理方法において、ディジタルインターフェースからの入力データの補助データから音声のサンプリング周波数、モード種別、フレーム当りのサンプル数を含む情報を得て、変換処理の内容を切り替えることを特徴とする音声データ変換処理方法。
【請求項６】送受信されるデータから音声データの部分だけ抜き出す音声データ抽出手段と、前記抽出された音声データの補助データから音声データがアンロックモードであるかロックモードであるかを検出するとともに当該フレームにおける音声データのサンプル数を含む情報を得る検出手段と、前記補助データから得た情報によるモードと変換すべきモードとの間でフレーム毎のサンプル数に差異があることを利用して音声データの処理を行う音声データ処理手段と、前記音声データ処理を行ったデータを元の入力データに対して置き換えていくデータ置換手段と、補助データの情報に基づいて置換データを採用するか元の入力データを採用するかを選定する判定手段と、を備えたことを特徴とする音声データ変換処理装置。

【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、映像と音声を有するディジタルデータを扱う機器において、そのデータを、ディジタルインターフェースを介して他の機器と送受信を行う装置に関するものである。
【０００２】
【従来の技術】近年、映像及び音声信号をディジタル化して実質的に劣化させることなく記録／再生するディジタルビデオカセットテープレコーダが民生用機器として普及してきている。これは、ＤＶフォーマットと呼ばれ、ＨＤディジタルＶＣＲ協議会により規格化されている。記録データは、１フレーム単位に処理され、磁気テープヘの記録のため、これをトラックと呼ばれる単位に分割する。高能率符号化されたビデオ信号とシャッフリングと呼ばれるフレーム単位でのサンプルの並び替えを施したオーディオ信号及びサブコードとそれぞれ誤り訂正用の符号をつけた形で記録される。
【０００３】図７にオーディオデータにおける１トラック分の記録フォーマットを示す。ここで、図中のＡＡＵＸはオーディオデータの補助データとして付加されているものであり、ＰＣ０からＰＣ４までの５バイトのデータで成り立ち、ＰＣ０にそのＡＡＵＸがどういう種類のデータをＰＣｌからＰＣ４に含むものかを区別するヘッダが入っており、この５バイトを１パックと称し、１トラック中に９パックある。その中身はそのフレームにおけるオーディオデータのフレーム当りのサンプル数、サンプリング周波数及び記録年月日などの情報を記録したデータである。ＡＡＵＸ０のデータ内訳を図５に示しておく。
【０００４】また、このＤＶフォーマットのデータをマルチメディアデータ転送のために規格化されたＩＥＥＥ１３９４シリアルインターフエース（以下、１３９４Ｉ／Ｆと称する）を用いて伝送することも一般化されてきている。１３９４Ｉ／Ｆを介して送受信されるビデオデータ・オーディオデータ等は、記録時は誤り訂正符号付加前、再生時は誤り訂正による修整後のデータ（７７バイト）が使われ、これにヘッダ（３バイト）を追加したＤＩＦブロックと呼ばれる８０バイトのブロックデータの集まりとして扱われ、図６に示す１５０個のＤＩＦブロックでＤＩＦシーケンスを形成しており、これが１トラック分のデータとなり、ＮＴＳＣではＤＩＦシーケンス１０個で１フレームのデータとなる。また、図６の下方にオーディオデータのＤＩＦブロック（８０バイト）の内容について示してある。
【０００５】ところで、ＤＶフォーマットにはオーディオの記録形式としてロックモードとアンロックモードがある。ロックモードとは、ビデオ信号とオーディオ信号の相対位相を保った状態で記録されるもので、１フレーム当りのサンプル数が規格上決まっており、例えば、ＮＴＳＣの４８ＫＨｚ２ＣＨモードでは５フレームシーケンスで処理され、先頭フレームが１６００、以降の４フレームが１６０２サンプルになるように記録される。３２ＫＨｚ（２ＣＨ，４ＣＨ）モードでは１５フレームシーケンス処理で先頭と８番目のフレームは１０６６、それ以外は１０６８のサンプルが入るように決められている。
【０００６】ロックモードは、主に業務用のディジタルＶＴＲ等で採用されている。一方、アンロックモードは、家庭用として使用される目的で設けられたもので、ビデオ信号とオーディオ信号の相対関係は保証されず、フレーム当りのサンプル数も例えば、ＮＴＳＣ・４８ＫＨｚでは１６２０から１５８０サンプルの間を取るようにその範囲が定められているのみである。実際、民生ＤＶＣでは、アンロックモードでの記録方式が広く採用されている。
【０００７】
【発明が解決しようとする課題】ここで、１３９４Ｉ／Ｆ等のディジタルインターフェースを介してデータの送受信を行うとき、受信側が上記ロックモードオーディオでの記録再生を行う装置の場合、送信データがアンロックモードであるとそのままでは記録が出来ないという問題が発生する。また、アンロックモードのデータを受信してロックモードにて記録するような場合もデータの変換が必要となる。
【０００８】このようにアンロックからロックモードヘのデータ変換を行う装置として、特開平１１－３１７９１６号公報に示される装置のように、音声データのデインターリーブ後にサンプルレート変換処理を行うものがあるが、回路が複雑・大規模になってしまう。
【０００９】本発明の目的は、映像と音声のディジタル信号のデータ送受信において、音声データについてのロックモードとアンロックモードにおけるフレーム内サンプル数の規定に合致するような変換処理を工夫ある手段と手法を用いて簡易に実行することにある。
【００１０】
【課題を解決するための手段】前記課題を解決するために、本発明は主として次のような構成を採用する。
【００１１】映像のフレーム毎に任意のサンプル数を持つ音声データを含んでいる入力データを所定のフレームシーケンスに対してフレーム毎に規定のサンプル数を有する音声データに変換する音声データ変換処理方法であって、前記入力データを取り込むメモリ手段と前記メモリ手段を制御するメモリ制御手段とを用いて、隣接するフレーム境界の音声サンプルを前記隣接するフレーム間にて受け渡しを行ってフレーム当りのサンプル数を規定の数に合わせ込む音声データ変換処理方法。
【００１２】また、前記音声データ変換処理方法において、前記メモリ制御手段は、前記入力データが特定のフォーマットにより構成されていることを利用して、書き込みと読み出しのアドレス制御を行う音声データ変換処理方法。
【００１３】また、映像のフレーム毎に任意のサンプル数を持つ音声データを含んでいる入力データを所定のフレームシーケンスに対してフレーム毎に規定のサンプル数を有する音声データヘ変換する音声データ変換処理方法であって、前記入力データの単位ブロックに対して、それぞれデータ補間又はデータ切り捨てにより音声データの加工を順次行うことによって規定のサンプル数に変換する音声データ変換処理方法。
【００１４】
【発明の実施の形態】本発明の実施形態に係る音声データ変換処理方法について図面を用いて以下説明する。本実施形態ではＤＶフォーマットデータに対する処理の例を挙げて詳細に説明する．図１は、本発明の実施形態に係る音声データ変換処理方法に関する回路構成例を示したものである。図１において、１１の１３９４Ｉ／Ｆを介して前記ＤＩＦシーケンスのデータが入力される。入力データは、図６にあるようにヘッダやビデオ信号等も含んでいるため、オーディオデータ部分を図１のＡＵＤＩＯデータ抽出回路１２によりＤＩＦブロックのヘッダ等の情報により抜き出す。回路の規模も考慮し、ＡＡＵＸを除くオーディオデータのみフレームメモリ１３に順次記録していき、ＡＡＵＸについては処理上必要となるＡＡＵＸ０のデータのみＡＡＵＸ検出回路１４に保持しておく。
【００１５】ここで、ＡＡＵＸ０は図５に示すヘッダＰＣ０が「５０（ｈ）」のデータであり、図中ＰＣｌにあるＬＦは、ロックモード時は「０」、アンロックでは「１」を示し、同じくＰＣｌのＡＦＳＩＺＥにはそのフレームのサンプル数を導くためのデータが入っている。サンプル数は、サンプリング周波数（図中ＰＣ４のＳＭＰ）やＮＴＳＣやＰＡＬ等のフィールド周波数の違い（図中ＰＣ３の５０／６０）によって決まっている。
【００１６】上記ＡＡＵＸ０からの情報により導き出された、そのフレームのサンプル数とロックモードで必要とされるサンプル数の差分を求め、音声データのフレーム間前後の有効サンプルデータにおいて、ロックモードのサンプル数に対して多い場合にはその差分だけ有効なサンプルデータを次のフレームの方へ移し、少ない場合にはその分だけ次のフレームのデータから補充するという処理を行っていく。
【００１７】ここで、有効サンプルデータとはＡＡＵＸ０から得たサンプル数分までのそのフレーム内で持っていたサンプルデータを示す。このサンプルのフレーム間の移動を行っていくためにもう１フレーム程オーディオデータは必要となるので、フレームメモリ１３は２フレーム分用意し、交互に書きこみ、読み出しを行い、使用する。ここで、フレームメモリ１３にはテープ記録時のシャッフリング処理の施されたデータ並びのまま書き込む。
【００１８】ＮＴＳＣ４８ＫＨｚの場合を例にとると、図８に示すような形でメモリに記録されている。説明のために横のデータ並びの塊をシンクポジション（ＳＰ）、その２バイト単位のまとまりをバイトポジション（ＢＰ）とし、シンクブロック９個単位（ＳＰ０からＳＰ８）でまとめたものをトラックナンバー（ＴＮ）とし、合わせて図示しておく。ＣＨ２のデータも同様な並びでトラックナンバーがＮＴＳＣではＴＮ５からＴＮ９を持つ所に違いがある（ＣＨ２のデータでは、ＴＮが図中カッコ内の値となる）。
【００１９】ここで、図８の横並びのシンクブロック１つ（７２バイト）が図６にて説明しているＤＩＦブロック１つから抜き出したオーディオデータに対応し、ＤＩＦブロックの転送順序は、この図８の上から順に行われていたものと対応する。また、ＮＴＳＣではＴＮ０からＴＮ９まで順に転送される。即ち、図８をメモリに置き換えて説明すると、抽出したオーディオデータは図８の上から順にメモリに書き込んでいくと考えてよい。
【００２０】次に、ＡＡＵＸ０からのサンプル数の情報を元に前述したロックモードのサンプル数に合わせるようにサンプルのフレーム間の移動を行うのであるが、それにはシャッフリング規則を考慮してアドレス制御を行うことで効率の良い処理が可能となる。例えば、ロックモードの並びに対して１サンプルだけデータが少ないフレームは、次のフレームにおける最初のサンプルを持ってきて合わせこみ、最初のサンプルを抜いた次のフレームについては、読み出すシンクブロックの順序を変えて２番目のサンプルの入ったシンクブロックを先頭とすることと抜いたサンプルのあったシンクブロックは右隣のデータのＢＰが繰り上がり、そのシンクの先頭データとする処理が入る。この前のフレームに１サンプルだけ渡してしまったフレームの読み出し手順を図１０に示す。
【００２１】図１０は、図８を元のメモリのデータ並びとして、それを基準に作成している。詳しく説明すると、１サンプル（Ｄ０）だけ前のフレームに移動したことにより、ＴＮ２、ＳＰ３におけるＤｌのデータのあるシンクブロックがこのフレームの先頭のデータとなり、そのトラック内でＳＰ４、ＳＰ５、…ＳＰ８、ＳＰ０、ＳＰｌ、ＳＰ２とＴＮ２のＳＰを一巡するように読んでいくとＤＩＦシーケンスにおける最初のトラックの音声データを取ることができる。
【００２２】同様にして次のトラックのＤＩＦデータは本来Ｄ３の含まれるデータで始まるので、１つ増やしたＤ４から始まるシンクブロックの含まれるＴＮ３をＳＰ３から始めてＳＰを順にそのＴＮ内で一周りする形で読んでいく。３トラック目は、Ｄ７の含まれるトラックのデータであり、ＴＮ４、ＳＰ３のＤ７を先頭に読み出していく。このようにしてサンプルの抜けた分だけ読み出すアドレスをシンクブロック単位で変えることで対処していく。
【００２３】ここで、抜いたサンプルＤ０のあったＴＮ０、ＳＰ０のシンクはバイトポジションをずらし、つぎのＢＰｌのデータ（Ｄ４５）がそのシンクブロックの最初のサンプルとして読み出すことで対応する。このシンクブロックは変換後のデータでは、Ｄ４４のデータが入ったブロックとして処理される。尚、ＢＰを前倒しすることで図１０の注２のようなデータの埋まらないメモリブロックができるが、元々ここの部分のデータは本処理においては、無効部分であるので特に処理は必要としない。このようにして、サンプルを前のフレームに渡すことで、減ったサンプルの分だけ、読み出すシンクのアドレスの順番を変え、シンク内のＢＰも抜けた個所については、前倒ししていくことで、サンプルの移動を行う。
【００２４】また、このフレームの持っていたＡＡＵＸ０から得たサンプル数については、今の場合だとサンプル数を前のフレームに渡すために、既に１つ抜いていることに注意して処理しなければならない。
【００２５】逆に、ロックモードヘの置き換えサンプル数よりもメモリ内にあるサンプル数のほうが多い場合には、余ったサンプルデータは次のフレームに移す作業を行う。ここで、前のフレームが１つだけサンプルが多かった場合に、次のフレームのアドレス処理はどのようになるかについて、前述のように図８を元のメモリのデータ並びとして、その内容を描いた図１１を用いて説明する。
【００２６】余った前のフレームのサンプルが移ってきたことにより、移ってきたサンプルがフレームの最初のサンプルとなり、既存のサンプルは全体として、順番が１つ増えることになる。移動してきたサンプルは、フレーム内で一番後ろのサンプルを持つこととなるＤ４４の含まれるシンクブロック（ＴＮ３，ＳＰ８）の先頭に入ることで、このシンクブロックがフレームの先頭データ（変換後にＤ０の並びとして処理されるシンクブロック）となり、ＤＩＦシーケンスデータとしてＴＮ３をＳＰ８、ＳＰ６、ＳＰ７、ＳＰ０、…ＳＰ５の順で読み出すことになる。
【００２７】次のトラックは余りがなければＤ３からであるので、一つ前のＤ２の含まれるＴＮ４、ＳＰ６からとなり、順にＳＰを一周りする形で読み出され、３トラック目はＴＮ０、ＳＰ６のＤ５を先頭として始まる。このようにして、読み出すデータが１サンプル分ずれることを考慮してシンクブロック毎にアドレス制御をかけていくことで、サンプルデータの入れ替え処理ができる。
【００２８】尚、前のフレームのサンプルが入ったシンクブロックの最後のデータは、このフレームのデータとして読み出されることは無くなるが、本処理上は有効データであれば、位置的には当然次のフレームに移される部分のデータであるので、問題は無い。ここでもＡＡＵＸ０から取得したサンプル数については、このケースでは、その数より１サンプル多いものとして処理することになる。このような処理が図１のアドレス制御回路１５において行われて、ロックモードに合わせた形で有効なサンプルデータがフレームメモリから読み出されていく。
【００２９】ここでは例として１サンプルだけずれた場合を挙げて説明したが、過不足となるサンプル数はフレーム毎に変化し、その値は積算されていくため、それによってアドレスをずらす幅は変わっていくが本質的な処理内容はほぼ変わらない。
【００３０】一方、元のＤＩＦデータは図１の遅延メモリ１７でオーディオデータ部分と同じだけ同期管理のため遅延させている。
【００３１】次に、アドレス制御によりロックモードに対応した所定のサンプル数に合わせこまれつつ、フレームメモリから読み出されたオーディオデータとＡＡＵＸ置換回路１６により、図５のＰＣｌのＬＦを「０」とＡＦＳＩＺＥの値をロックモードの所定のサンプル数に対応した値に変更が加えられたＡＡＵＸ０のデータは、図１のデータ置換装置１９において、遅延メモリ１７を通った元のＤＩＦシーケンスデータの該当するＤＩＦブロック部（図６のＡ０からＡ８）に対して置き換え処理が施される。こうして、アンロックのオーディオを含むＤＩＦシーケンスデータがロックモードのオーディオを含んだＤＩＦシーケンスデータに変換される。ただし、アンロック判定回路１８により、元のＤＩＦデータが既にロックモードのデータであると判定された場合には、置き換え処理は行わず、そのまま遅延メモリ１７を通ってきた元のＤＩＦデータが採用され、出力される。
【００３２】図２にこの回路を使ってオーディオデータのサンプル数をアンロックからロックモードに変換したサンプル合わせ込みの様子をＮＴＳＣ／４８ＫＨｚの場合を例に示しておく。
【００３３】図３には、本発明の実施形態に係る音声データ変換処理方法に関する他の回路構成例を示したものである。オーディオデータの抽出部分までは、図１の処理と同様となる。取り出されたオーディオのＤＩＦデータは、そのフレームのサンプル数に関係なくロックモードヘの変更に必要な所定のサンプル数分のみ有効データとして採用し、それ以外はオーディオエラーコードに置き換える。この処理は順次行われる。
【００３４】具体的には、ロックモードヘの変更のための所定のサンプル数より少ないフレームのデータは、実際の有効サンプル数を超えた部分についてオーディオエラーコードで埋める処理を行い、逆にサンプル数の多いフレームは超えてしまった分については、入れ替えるＡＡＵＸ０のサンプル情報により、無効データとみなされるので特別な処理は必要無い。その模様を図９に示す。
【００３５】更に、ＡＡＵＸ０のデータから算出されるサンプル数を確認しておき、サンプル数がロックモードで必要とするものより多いフレームが出力された場合は、次のフレームでの先頭のサンプルをエラーコードに置き換える。これらのデータの加工処理を図３のデータ制御回路３４にて行う。
【００３６】ここで、元の有効サンプル数が多い場合は、有効サンプルを途中で切ってしまう事になり、次のフレームのサンプルとが不連続になってしまい、そのままではノイズ発生の問題があるので、先頭サンプルをエラーコードで置き換える事で、再生時に補間等による処理によるノイズの低減を予め施しておく。
【００３７】こうしてサンプルのオーディオエラーコードヘの置き換え処理等を終えたデータは、ロックモードのオーディオデータとして変更したＡＡＵＸ０データとともに、元のＤＩＦデータに対してデータ置換回路３７によって置き換え処理を施される。この際に、元のＤＩＦデータについては、オーディオデータの処理系が簡単な回路構成となるので、フレーム単位で遅らせる必要もなく、小規模の遅延回路３５でのタイミングの合わせ込みでデータの同期は取れる。このように比較的簡単かつ小規模な回路構成でアンロックモードオーディオデータのロックモードヘの変換処理が可能となる。この場合もアンロック判定回路３６により、元のＤＩＦデータが既にロックモードのデータであった場合には、遅延回路３５を通ってきた元のＤＩＦデータの方を出力データとする。
【００３８】図４にこの回路で処理されるオーディオサンプル数の様子をＮＴＳＣ／４８ＫＨｚの場合を例として示す。
【００３９】以上説明したように、本発明の実施形態では、入力データを取り込むメモリ手段とそのメモリ制御手段を用いて音声データを変換処理する１つとして、オーディオデータをフレームメモリに保持し、読み出し時のアドレス制御によって、サンプルをフレーム間に渡って移動させることでサンプル数をロックモードの所定の数に合わせ込む方法を採用する。
【００４０】また、フレームメモリを使わない方法として、ロックモードに合わせたサンプル分のみ有効となるようにエラーコードを利用したデータの加工をＤＩＦブロック毎に順次行っていく方法も採用できる。この方法では、元の音声データに対して加工を施すことが頻繁に発生すると予測され、音声自体の劣化は上述したメモリを使用した方法に比べると大きいが、データを順次加工していくので、データ保持や位相合わせのためのフレームメモリ等を必要とせず、比較的小規模な回路で構成できるという点で有効である。
【００４１】
【発明の効果】本発明によれば、ＤＶフォーマットにより記録されているフレーム毎のサンプル数が確定されていないアンロックモードのオーディオデータがディジタルインターフェースにて送信されてきた場合に、これを所定のフレームシーケンスに応じてフレーム毎にそのサンプル数が決まっているロックモードのオーディオデータに変換することがメモリのアドレス制御もしくはデータの加工等を用いることで実現可能となる。

【出願人】	【識別番号】０００００５０４９【氏名又は名称】シャープ株式会社
【出願日】	平成１３年１月１６日（２００１．１．１６）
【代理人】	【識別番号】１００１１１９１４【弁理士】【氏名又は名称】藤原英夫
【公開番号】	特開２００２－２１５１９０（Ｐ２００２－２１５１９０Ａ）
【公開日】	平成１４年７月３１日（２００２．７．３１）
【出願番号】	特願２００１－７７２０（Ｐ２００１－７７２０）