トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 多重化装置、多重化方法および多重化プログラム
【発明者】 【氏名】本庄 智典
【要約】 【課題】非圧縮映像データと圧縮音声データとの同期が容易でかつ高品質なストリームデータを、簡単な処理により生成すること。

【構成】多重化装置１００は、入力されてくるコンテンツデータを、圧縮映像データと圧縮音声データとに分割するＤＥＭＵＸ１１１と、ＤＥＭＵＸ１１１により分割された圧縮映像データを伸張するＶｉｄｅｏ Ｄｅｃ１１２と、Ｖｉｄｅｏ Ｄｅｃ１１２により伸張された映像データを所定のデータ形式へ変換するＶｉｄｅｏ ＥＮＣ１２１と、Ｖｉｄｅｏ ＥＮＣ１２１により分割された圧縮音声データに、Ｖｉｄｅｏ ＥＮＣ１２１により変換された映像データを同期させる同期情報を書き込むＡＳＩＮ１２２と、Ｖｉｄｅｏ ＥＮＣ１２１により変換された映像データとＡＳＩＮ１２２により同期情報が書き込まれた圧縮音声データとを多重化することにより、ストリームデータを生成するＭＵＸ１２３と、を備える。
【特許請求の範囲】
【請求項１】
入力されてくるコンテンツデータを、圧縮映像データと圧縮音声データとに分割する分割手段と、
前記分割手段により分割された圧縮映像データを伸張する伸張手段と、
前記伸張手段により伸張された映像データを所定のデータ形式へ変換する変換手段と、
前記分割手段により分割された圧縮音声データに、前記変換手段により変換された映像データを同期させる同期情報を書き込む書込み手段と、
前記変換手段により変換された映像データと前記書込み手段により同期情報が書き込まれた圧縮音声データとを多重化することにより、ストリームデータを生成する多重化手段と、
を備えることを特徴とする多重化装置。
【請求項２】
前記書込み手段は、前記同期情報として前記圧縮音声データの再生開始タイミングをあらわすポーズ情報を書き込むことを特徴とする請求項１に記載の多重化装置。
【請求項３】
前記書込み手段は、前記同期情報として前記圧縮音声データの再生開始時刻をあらわすタイムスタンプ情報を書き込むことを特徴とする請求項１または２に記載の多重化装置。
【請求項４】
前記多重化手段により生成されたストリームデータを再生する再生手段を備え、
前記再生手段は、前記ストリームデータに多重化された圧縮音声データに書き込まれている同期情報を用いて、前記ストリームデータに多重化されている映像データと前記圧縮音声データとを同期させることを特徴とする請求項１〜３のいずれか一つに記載の多重化装置。
【請求項５】
前記多重化手段により生成されたストリームデータを再生する再生手段を備え、
前記再生手段は、前記同期情報として圧縮音声データに書き込まれた当該圧縮音声データの再生開始タイミングをあらわすポーズ情報に基づいて、前記映像データと前記圧縮音声データとの再生開始タイミングの間隔を求め、前記映像データと、前記圧縮音声データとを同期させることを特徴とする請求項２に記載の多重化装置。
【請求項６】
前記多重化手段により生成されたストリームデータを再生する再生手段を備え、
前記再生手段は、前記同期情報として前記圧縮音声データに書き込まれた当該圧縮音声データの再生開始時刻をあらわすタイムスタンプ情報に基づいて、前記映像データと前記圧縮音声データとの再生開始時刻の時間差を求め、前記圧縮音声データとを同期させることを特徴とする請求項３または５に記載の多重化装置。
【請求項７】
入力されてくるコンテンツデータを、圧縮映像データと圧縮音声データとに分割する分割工程と、
前記分割工程により分割された圧縮映像データを伸張する伸張工程と、
前記伸張工程により伸張された映像データを所定のデータ形式へ変換する変換工程と、
前記分割工程により分割された圧縮音声データに、前記変換工程により変換された映像データを同期させる同期情報を書き込む書込み工程と、
前記変換工程により変換された映像データと前記書込み工程により同期情報が書き込まれた圧縮音声データとを多重化することにより、ストリームデータを生成する多重化工程と、
を含むことを特徴とする多重化方法。
【請求項８】
前記多重化工程により生成されたストリームデータを再生する再生工程を備え、
前記再生工程は、前記ストリームデータに多重化された圧縮音声データに書き込まれている同期情報を用いて、前記ストリームデータに多重化されている映像データと前記圧縮音声データとを同期させることを特徴とする請求項７に記載の多重化方法。
【請求項９】
入力されてくるコンテンツデータを、圧縮映像データと圧縮音声データとに分割する分割工程と、
前記分割工程により分割された圧縮映像データを伸張する伸張工程と、
前記伸張工程により伸張された映像データを所定のデータ形式へ変換する変換工程と、
前記分割工程により分割された圧縮音声データに、前記変換工程により変換された映像データを同期させる同期情報を書き込む書込み工程と、
前記変換工程により変換された映像データと前記書込み工程により同期情報が書き込まれた圧縮音声データとを多重化することにより、ストリームデータを生成する多重化工程と、
をコンピュータに実行させることを特徴とする多重化プログラム。
【請求項１０】
前記多重化工程により生成されたストリームデータを再生する再生工程を備え、
前記再生工程は、前記ストリームデータに多重化された圧縮音声データに書き込まれている同期情報を用いて、前記ストリームデータに多重化されている映像データと前記圧縮音声データとを同期させることを特徴とする請求項９に記載の多重化プログラム。
【発明の詳細な説明】【技術分野】
【０００１】
この発明は、映像データと音声データとにより構成されたコンテンツデータのうち、映像データのデータ形式を変換するとともに、当該映像データに対応した音声データを変換後の映像データに多重化することにより、ストリームデータを生成する多重化装置、多重化方法および多重化プログラムに関する。
【背景技術】
【０００２】
従来、映像と音声とを同時に再生するようなコンテンツデータは、映像データと音声データとが一体化された状態で記録されていた。このようなコンテンツデータの場合、主として映像データの記録に重点がおかれ、音声データの記録容量が少なく設定されていることが多い。
【０００３】
したがって、音声データの音質を向上させたり、音声データに曲名などの音声に対応する文字情報を付加させたりすることはできなかった。また、音声データは映像データに付随して記録されているため、音声データの再生時刻を独立して管理することはできなかった。そこで、上述のようなコンテンツデータにおいて、音声データの記録に主眼をおき、音声データの時刻管理や、情報の付加を容易におこなえるような装置が開示されている（たとえば、下記特許文献１参照。）。
【０００４】
さらに、近年では、あらかじめ映像データと音声データとが独立しており、これらの独立した各データを多重化させた状態で配信または提供されるコンテンツデータが主流となっている。このようなコンテンツデータは、多重化の構成に応じて映像データと音声データとを同期して再生することができる。また、これらの独立した映像データと音声データとを利用者が任意に加工することにより、加工前と同様に同期して再生することができる技術も開示されている（たとえば、下記特許文献２参照。）。
【０００５】
上述のような、映像データと音声データとが独立したコンテンツデータの場合、データ形式の変更や、圧縮方式の変更もデータごとに独立しておこなうことができる。たとえば、ＢＳ／地上デジタル放送波からコンテンツデータを受信し、さらに記録するような装置では、映像データのみデータ方式を変換し、音声データと再度多重化して、トランスストリームなどの扱いやすいコンテンツデータに生成しなおす処理がおこなわれる。
【０００６】
図４は、ＢＳ／地上デジタル放送からトランスストリームを生成する従来の多重化装置の機能的構成を示すブロック図である。図４を用いてトランスストリームを生成する際の具体的な処理の一例を説明する。図４のような多重化装置４００は、ＢＳ／地上デジタルチューナ４１０と、コーデックＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）４２０と、ＳＰＤＩＦデコーダ４３０とにより構成されている。
【０００７】
ＢＳ／地上デジタルチューナ４１０は、ＢＳ／地上デジタル放送波を受信してコンテンツデータを取得する。さらに、ＢＳ／地上デジタルチューナ４１０は、ＤＥＭＵＸ４１１と、Ｖｉｄｅｏ Ｄｅｃ（映像デコーダ）４１２とを備え、映像データと音声データとを、それぞれ独立したデータとして扱うための処理をおこなう。
【０００８】
具体的には、まずＢＳ／地上デジタルチューナ４１０により取得されたコンテンツデータは、ＤＥＭＵＸ４１１により、映像データと、音声データとに分割される。なお、放送波として配信されたコンテンツデータは、所定の圧縮方式により圧縮されたデータである。したがって、分割された映像データおよび音声データもそれぞれ圧縮された状態のデータである。
【０００９】
つぎに、分割された映像データは、Ｖｉｄｅｏ Ｄｅｃ４１２に入力され、通常サイズの映像データに伸張される。伸張された映像データは、Ｖｉｄｅｏ Ｄｅｃ４１２からコーデックＬＳＩ４２０へ入力される。なお、ここでは、放送波に多重化されている音声データの一般的なフォーマットとしてＳＰＤＩＦ（Ｓｏｎｙ／Ｐｈｉｌｉｐｓ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ Ｆｏｒｍａｔ）を用いた場合を例に挙げて説明する。まず、分割された音声データは、ＤＥＭＵＸ４１１から、ＳＰＤＩＦの規格により圧縮された音声データとして出力され、ＳＰＤＩＦデコーダ４３０へ入力される。
【００１０】
ＳＰＤＩＦデコーダ４３０は、入力された音声データを伸張した後、ＬＰＣＭ（Ｌｉｎｅａｒ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）の信号として出力する。ＬＰＣＭとは、デジタルデータの変換方式の一つであり、データを圧縮せずに所定の規格に沿ったパルス信号に変換する。ＳＰＤＩＦデコーダ４３０から出力されたＬＰＣＭは、コーデックＬＳＩ４２０に入力される。
【００１１】
コーデックＬＳＩ４２０は、それぞれ独立した映像データと音声データとを多重化することにより、トランスポートストリームを生成する処理をおこなう。具体的には、コーデックＬＳＩ４２０は、Ｖｉｄｅｏ ＥＮＣ（映像エンコーダ）４２１と、ＡＩＮ Ａｕｄｉｏ ＥＮＣ（音声エンコーダ）４２２と、ＭＵＸ４２３とを備えている。
【００１２】
Ｖｉｄｅｏ ＥＮＣ４２１には、ＢＳ／地上デジタルチューナ４１０のＶｉｄｅｏ Ｄｅｃ４１２から映像データが入力される。入力された映像データは、Ｖｉｄｅｏ ＥＮＣ４２１によりトランスポートストリーム用の映像データに変換されＭＵＸ４２３に出力される。
【００１３】
また、ＡＩＮ Ａｕｄｉｏ ＥＮＣ４２２には、ＳＰＤＩＦデコーダ４３０からＬＰＣＭの音声データが入力される。入力された音声データは、ＡＩＮ Ａｕｄｉｏ ＥＮＣ４２２によりトランスポートストリーム用の音声データに変換されＭＵＸ４２３へ出力される。
【００１４】
ＭＵＸ４２３は、Ｖｉｄｅｏ ＥＮＣ４２１から入力された映像データと、ＡＩＮ Ａｕｄｉｏ ＥＮＣ４２２から入力された音声データとを多重化し、トランスポートストリーム（ＴＳ）として出力する。なお、ＭＵＸ４２３において多重化された映像データおよび音声データは、いずれも伸張された状態のデータをトランスポートストリーム用のデータに変換（エンコード）されている。したがって、変換後の映像データと音声データとをそのまま多重化しても容易に同期させることができる。
【００１５】
つぎに、図５を用いて多重化装置４００における同期処理について説明する。図５は、従来の多重化装置における同期処理を示すタイミングチャートである。図５のコーデックＬＳＩ４２０は、（Ａ）において、ポーズ状態のＯＮ／ＯＦＦに応じてエンコードがおこなわれる。また、同期処理の際には、映像データの構成を基準とするため、（Ｂ）において映像同期のタイミングをあらわす信号が定期的に流れている。
【００１６】
（Ｃ）において、映像データは、所定のデータ量をあらわす“バースト単位”ごとに映像データＶｎ−１、映像データＶｎ、映像データＶｎ＋１の順に連続的に再生される。上述した（Ｂ）における映像同期の信号は、バースト単位に基づいて、各データ（たとえば映像データＶｎ）の先頭部分にＯＮ信号が重なるように構成されている。
【００１７】
また、（Ｄ）において、圧縮音声データは、ＳＰＤＩＦデコーダ４３０に入力される前の音声データをあらわしている。また、（Ｅ）において、ＬＰＣＭ音声データは、ＳＰＤＩＦデコーダ４３０により伸張され、符号化された音声データをあらわしている。また、（Ｅ）において、ＬＰＣＭ音声データは、ＳＰＤＩＦデコーダ４３０によって伸張および符号化がおこなわれたため、（Ｄ）で示した圧縮音声データと比較して固定値だけ遅延している。
【００１８】
ＳＰＤＩＦデコーダ４３０における伸張および符号化に要する時間は、規格化されている。すなわち、（Ｅ）ＬＰＣＭ音声データの遅延をあらわす固定値は、既知の値となる。このように、ポーズ解除時に映像データＶｎと比較してＬＰＣＭ音声データＡｎがとれだけ遅延しているかを参照できるため、映像データと、ＬＰＣＭ音声データとを容易に同期させることができる。
【００１９】
【特許文献１】特開平１１−２１９５７９号公報
【特許文献２】特開２０００−１９５２３１号公報
【発明の開示】
【発明が解決しようとする課題】
【００２０】
しかしながら、図４のような多重化装置４００の場合、データ方式を変換したいのは映像データのみでありながら、トランスポートストリームとして同期させるため、音声データも映像データと同様に圧縮状態から伸張する処理がおこなわれている。このように、上述した従来技術では、音声データのデコード処理（ＳＰＤＩＦデコーダ４３０の処理）と、デコード処理に伴うエンコード処理（ＡＩＮ Ａｕｄｉｏ ＥＮＣ４２２の処理）という本来は不要な構成を備えなければならない。したがって、多重化装置における処理内容が複雑化してしまうという問題があった。
【００２１】
また、上述のように余分なデコード処理とエンコード処理により、放送波として受信した状態の圧縮音声データに伸張および圧縮をおこなわなければならない。したがって、再度多重化したトラスポートストリームは、伸張および圧縮により音声データの品質が低下してしまう場合があるという問題があった。
【００２２】
ここで、図４のような多重化装置４００のから音声データのデコード処理を省き、最初から映像データと、圧縮音声データとを多重化するような構成にしたとする。このような構成の場合であっても、図５における（Ｃ）の映像データと、（Ｄ）の圧縮音声データとの比較から明らかなように、（Ｃ）の映像データと、（Ｄ）圧縮音声データとでは遅延関係を固定値によってあらわすことはできない。したがって、（Ｃ）の映像データと、（Ｅ）のＬＰＣＭ音声データとのように、遅延時間を考慮して同期させることができない。
【００２３】
また、（Ｃ）の圧縮音声データは同一のバースト単位内の各データの差分を参照して圧縮しているため、（Ｅ）のＬＰＣＭ音声データのように任意のタイミングでデータを途中から破棄することはできない。このように、伸張された非圧縮の映像データと圧縮された圧縮音声データとを容易に同期できるような多重化が困難であるという問題があった。
【００２４】
この発明は、上述した従来技術による問題点を解消するため、圧縮されていない非圧縮映像データと圧縮音声データとの同期が容易でかつ高品質なストリームデータを、簡単な処理により生成することができる多重化装置、多重化方法および多重化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２５】
上述した課題を解決し、目的を達成するため、本発明にかかる多重化装置は、入力されてくるコンテンツデータを、圧縮映像データと圧縮音声データとに分割する分割手段と、前記分割手段により分割された圧縮映像データを伸張する伸張手段と、前記伸張手段により伸張された映像データを所定のデータ形式へ変換する変換手段と、前記分割手段により分割された圧縮音声データに、前記変換手段により変換された映像データを同期させる同期情報を書き込む書込み手段と、前記変換手段により変換された映像データと前記書込み手段により同期情報が書き込まれた圧縮音声データとを多重化することにより、ストリームデータを生成する多重化手段と、を備えることを特徴とする。
【００２６】
この発明によれば、同期情報を書き込んだ圧縮音声データと映像データとを多重化することにより、同期情報に基づいて映像データと圧縮音声データとを同期させて再生できるようなストリームデータを生成することができる。
【００２７】
また、上記発明においてさらに、前記書込み手段は、前記同期情報として前記圧縮音声データの再生開始タイミングをあらわすポーズ情報を書き込んでもよい。
【００２８】
この発明によれば、ポーズ情報が書き込まれた圧縮音声データと映像データとを多重化することにより、ポーズ情報に基づいて映像データと圧縮音声データとを同期させて再生できるようなストリームデータを生成することができる。
【００２９】
また、上記発明においてさらに、前記書込み手段は、前記同期情報として前記圧縮音声データの再生開始時刻をあらわすタイムスタンプ情報を書き込んでもよい。
【００３０】
この発明によれば、タイムスタンプ情報が書き込まれた圧縮音声データと映像データとを多重化することにより、タイムスタンプ情報に基づいて映像データと圧縮音声データとを同期させて再生できるようなストリームデータを生成することができる。
【００３１】
また、上記発明においてさらに、前記多重化手段により生成されたストリームデータを再生する再生手段を備え、前記再生手段は、前記ストリームデータに多重化された圧縮音声データに書き込まれている同期情報を用いて、前記ストリームデータに多重化されている映像データと前記圧縮音声データとを同期させてもよい。
【００３２】
この発明によれば、多重化手段により生成されたストリームデータを映像データと圧縮音声データとを同期して再生させることができる。
【００３３】
また、上記発明においてさらに、前記多重化手段により生成されたストリームデータを再生する再生手段を備え、前記再生手段は、前記同期情報として圧縮音声データに書き込まれた当該圧縮音声データの再生開始タイミングをあらわすポーズ情報に基づいて、前記映像データと前記圧縮音声データとの再生開始タイミングの間隔を求め、前記映像データと、前記圧縮音声データとを同期させてもよい。
【００３４】
この発明によれば、ポーズ情報に基づいて、前記映像データと前記圧縮音声データとの再生開始タイミングの間隔を求めることができる。この再生開始タイミングの間隔の値に応じて圧縮音声データが映像データからどれだけ遅延もしくは先行しているかがわかり、ストリームデータを同期させて再生させることができる。
【００３５】
また、上記発明においてさらに、前記多重化手段により生成されたストリームデータを再生する再生手段を備え、前記再生手段は、前記同期情報として前記圧縮音声データに書き込まれた当該圧縮音声データの再生開始時刻をあらわすタイムスタンプ情報に基づいて、前記映像データと前記圧縮音声データとの再生開始時刻の時間差を求め、前記圧縮音声データとを同期させてもよい。
【００３６】
この発明によれば、タイムスタンプ情報に基づいて、前記映像データと前記圧縮音声データとの再生開始時刻の時間差を求めることができる。この時間差に応じて圧縮音声データが映像データからどれだけ遅延もしくは先行しているかがわかり、ストリームデータを同期させて再生させることができる。
【発明の効果】
【００３７】
本発明にかかる多重化装置、多重化方法および多重化プログラムによれば、圧縮音声データに書き込まれた同期情報を用いることにより、非圧縮映像データと圧縮音声データとの同期が容易でかつ高品質なストリームデータを、簡単な処理により生成することができるという効果を奏する。
【発明を実施するための最良の形態】
【００３８】
以下に添付図面を参照して、この発明にかかる多重化装置、多重化方法および多重化プログラムの好適な実施の形態を詳細に説明する。
【００３９】
（多重化装置の機能的構成）
まず、本発明の実施の形態にかかる多重化装置の機能的構成について説明する。図１は、本発明の実施の形態にかかる多重化装置の機能的構成を示すブロック図である。図１において、多重化装置１００は、ＢＳ／地上デジタルチューナ１１０と、コーデックＬＳＩ１２０とを含んで構成されている。
【００４０】
ＢＳ／地上デジタルチューナ１１０は、放送波を受信し、コンテンツデータを取得する。さらに、取得したコンテンツデータを映像データと音声データとに分割して、コーデックＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）１２０へ出力する。上述の処理をおこなうため、ＢＳ／地上デジタルチューナ１１０は、分割手段としてのＤＥＭＵＸ１１１と、伸張手段としてのＶｉｄｅｏ Ｄｅｃ（デコーダ）１１２とを含んで構成されている。
【００４１】
具体的には、取得したコンテンツデータは、所定の規格に沿って圧縮された映像データと音声データとが多重化されたデータである。ここでは一例としてＳＰＤＩＦの規格に沿って圧縮されたデータとして説明する。したがって、まずＤＥＭＵＸ１１１は、コンテンツデータを、圧縮映像データと圧縮音声データとに分割する。分割された一方である圧縮映像データは、Ｖｉｄｅｏ Ｄｅｃ１１２に入力される。また、分割された他方である圧縮音声データは、コーデックＬＳＩ１２０に入力される。
【００４２】
Ｖｉｄｅｏ Ｄｅｃ１１２は、ＤＥＭＵＸ１１１から入力された圧縮映像データを伸張する。伸張された映像データは、通常（非圧縮）の映像データとしてコーデックＬＳＩ１２０に入力される。
【００４３】
コーデックＬＳＩ１２０は、ＢＳ／地上デジタルチューナ１１０から入力された映像データと圧縮音声データとを多重化し、トランスポートストリーム（ＴＳ）として出力する。上述の処理をおこなうため、コーデックＬＳＩ１２０は、変換手段としてのＶｉｄｅｏ ＥＮＣ（映像エンコーダ）１２１と、書込み手段としてのＡＳＩＮ（圧縮音声データ入力部）１２２と、多重化手段としてのＭＵＸ１２３とを含んで構成される。
【００４４】
具体的には、Ｖｉｄｅｏ ＥＮＣ１２１は、ＢＳ／地上デジタルチューナ１１０のＶｉｄｅｏ Ｄｅｃ１１２から入力された映像データをトランスポートストリーム用に変換する。変換された映像データは、ＭＵＸ１２３へ入力される。
【００４５】
また、ＡＳＩＮ１２２は、ＢＳ／地上デジタルチューナ１１０のＤＥＭＵＸ１１１から入力された圧縮音声データに映像データを同期させるための処理をおこなう。同期させるための処理とは、所定の同期情報を圧縮音声データに書き込む処理である。たとえば、圧縮音声データの再生を開始させるタイミングや、具体的な時刻を圧縮音声データに書き込む。この同期情報の書き込みにより、音声データと圧縮音声データとを同期させた場合に、音声データと比較して圧縮音声データがどれだけ遅延もしくは先行しているかを求める処理をおこなうことができる。なお、同期情報の内容や具体的な同期処理については、詳しく後述する。
【００４６】
ＭＵＸ１２３は、Ｖｉｄｅｏ ＥＮＣ１２１から入力された映像データと、ＡＳＩＮ１２２から入力された圧縮音声データとを多重化する。多重化されたデータは、トランスポートストリーム（ＴＳ）として出力される。
【００４７】
以上説明したように、本発明の実施の形態にかかる多重化装置１００は、データ形式を変換する映像データのみに所定のデコード処理およびエンコード処理をおこなう構成になっている。データ形式を変換する必要のない音声データは、ＢＳ／地上デジタルチューナ１１０により取得したコンテンツデータとして多重化されていた圧縮音声データのまま、コーデックＬＳＩ１２０により映像データと再度多重化される。
【００４８】
したがって、多重化装置１００は、従来の多重化装置（たとえば、図４の多重化装置４００）から音声データのデコード処理およびエンコード処理をおこなう機能部を省くことにより、従来よりも単純な構成の装置として提供することができる。また、デコード処理およびエンコード処理の繰り返しによる音声データの劣化を防ぐことができる。
【００４９】
（多重化する各データの構成）
つぎに、上述した多重化装置１００によりトランスポートストリームとして多重化される画像データおよび圧縮音声データの具体的な構成について説明する。図２は、多重化される画像データおよび圧縮音声データの構成を示すタイミングチャートである。
【００５０】
図２は、（Ａ）においてポーズ状態のＯＮ／ＯＦＦを示すポーズ状態と、（Ｂ）において映像データを基準とした同期用信号を示す映像同期と、（Ｃ）において画像データＶｎの内容を示す映像データと、（Ｄ）において圧縮音声データＡＳｎの内容を示す圧縮音声データとを同一の時間軸であらわしている。
【００５１】
図１のコーデックＬＳＩ１２０のＭＵＸ１２３は、図２のような（Ｄ）圧縮音声データをそのまま（Ｃ）の映像データ（正確には、トラスポートストリーム用に変換された映像データ）へ多重化する。上述したように、圧縮音声データは、非圧縮データと異なり、データの途中から再生したり、破棄したりすることができない。
【００５２】
したがって、図２におけるポーズ解除２００が指示された場合、ポーズ解除２００前後の圧縮音声データＡＳｎ−１または圧縮音声データＡＳｎのどちらから多重化するかの判断を、圧縮音声データに書き込まれた同期情報（ポーズ情報およびタイムスタンプ情報）を参照しておこなう。なお、同期情報および同期情報の書き込み処理は、ＡＳＩＮ１２２によりおこなわれる。
【００５３】
（圧縮音声データのフレーム構成）
ここで、図３を用いて圧縮音声データのフレーム構成と、同期情報の書き込み箇所とについて説明する。図３は、圧縮音声データのフレーム構成を示す説明図である。図３において、圧縮音声データ３００は、所定のデータサイズごとのバースト３０１ごとに圧縮音声データ（圧縮音声データＡＳｎ−１、圧縮音声データＡＳｎ、圧縮音声データＡＳｎ＋１）が配置されている。
【００５４】
またバースト３０１の直後に配置されているスタッフィング３０２は、圧縮によって削減されたデータ部分をあらわしている。スタッフィング３０２は、圧縮によって削減されたデータ部分に配置され、フレームのビット不足を解消する役割を担っている。すなわち、圧縮前の音声データは、バースト３０１とスタッフィング３０２とをあわせたデータサイズ３０３に相当する。
【００５５】
バーストフォーマット３１０は、圧縮音声データ３００のバースト３０１の構成をさらに詳細に示している。図３のようにバーストフォーマット３１０は、フォーマット情報を含むＰａなどのヘッダ部３１１と、実際の圧縮音声データを含むバースト・ペイロード３１２とにより構成されている。
【００５６】
サブフレーム３２０は、圧縮音声データを実際にトランスポートストリームとして多重化する際の構成をあらわしている。バーストフォーマット３１０のヘッダ部３１１は、サブフレーム３２０のビットストリーム３２１のＬＳＢと、ＭＳＢとにバイフェーズとしてそれぞれ格納される。以上説明したサブフレーム３２０の構成は、通常の、すなわち非圧縮の音声データをトランスポートストリームとして多重化する際の一般的な構成である。
【００５７】
本実施の形態では、サブフレーム３２０の空きパケット部分［８、９］に、映像データと圧縮音声データとを同期するための同期情報を書き込んだ構成になっている。同期情報とは、具体的には、たとえば、サブフレーム３２０に示したタイムスタンプ情報３３１やポーズ情報３３２を書き込むことができる。
【００５８】
ここで、タイムスタンプ情報３３１とは、圧縮音声データの再生開始時刻をあらわす情報である。このタイムスタンプ情報に基づいて、映像データと圧縮音声データとの再生開始時刻の時間差を求めることにより、映像データと圧縮音声データとを同期して再生させる。
【００５９】
また、ポーズ情報３３２とは、圧縮音声データの再生開始タイミングをあらわす情報である。このポーズ情報に基づいて、映像データと圧縮音声データとの再生開始タイミングの間隔を求めることにより、映像データと圧縮音声データとを同期して再生させる。このように本実施の形態は、サブフレーム３２０に同期情報を書き込んだサブフレーム３２０をトランスポートストリームとして多重化している。
【００６０】
以上説明したように、本実施の形態にかかる多重化装置１００では、ＡＳＩＮ１２２により圧縮音声データに同期情報を書き込んでいる。このような圧縮音声データを映像データと多重化することにより、容易に同期可能なトランスポートストリームを生成することができる。また、同期情報を書き込む際には、既存のデータフォーマットの中のいわゆるオプション部を利用しているため、現在利用されているコンテンツデータへ容易に適用させることができる。
【００６１】
（同期情報を用いた同期処理の手順）
つぎに、図２に戻り、圧縮音声データに書き込まれた同期情報を用いた同期処理を、具体例を挙げて説明する。図２の（Ａ）に示した映像同期のＯＮ信号の間隔は、（Ｃ）の映像データに示した映像データＶｎ−１、映像データＶｎ、映像データＶｎ＋１のデータサイズにあわせて１００［クロック（単位はこの限りではない）］ごとに設けられている。
【００６２】
＜ポーズ情報を利用した場合＞
ポーズ情報は、（Ｄ）の圧縮音声データに示した圧縮音声データＡＳｎ−１、圧縮音声データＡＳｎ、圧縮音声データＡＳｎ＋１、圧縮音声データＡＳｎ＋２のヘッダ部（０、９０、１８０、２７０［クロック］）に書き込まれている。
【００６３】
たとえば、（Ｂ）の映像同期のＯＮ信号の間隔のうち、（Ａ）のポーズ状態のポーズ解除２００からエンコードが開始された場合、映像データＶｎと、圧縮音声データＡＳｎとを同期させるには、（Ｄ）の圧縮音声データのうち、ポーズ解除２００以前に、最後に読み出された圧縮音声データＡＳｎのヘッダ部２０１に格納されているポーズ情報を参照する。
【００６４】
「映像同期」において、ヘッダ部２０１のポーズ情報のタイミングと、ポーズ解除２００のタイミングとの差分を求めることにより、自動的に、映像データＶｎと、圧縮音声データＡＳｎとの遅延間隔が２０［クロック］とわかる。このように、圧縮音声データＡＳｎが映像データＶｎからどれだけの間隔遅延しているのか（または、先行しているのか）を求めることができる。したがって、圧縮音声データを上述の処理により求めた間隔だけ、遅延もしくは先行して再生させることにより、映像データと同期させることができる。
【００６５】
＜タイムスタンプ情報を利用した場合＞
タイムスタンプ情報も、ポーズ情報と同様に、（Ｄ）の圧縮音声データに示した圧縮音声データＡＳｎ−１、圧縮音声データＡＳｎ、圧縮音声データＡＳｎ＋１、圧縮音声データＡＳｎ＋２のヘッダ部（０、９０、１８０、２７０）に書き込まれている。
【００６６】
図２のように、（Ｃ）の映像データは、映像データＶｎのデータサイズにあわせて１００［クロック］ごとに、（Ｂ）の映像同期のＯＮ信号と同期している。一方、（Ｄ）の圧縮音声データは、圧縮音声データＡＳｎのデータサイズにあわせて９０［クロック］ごとにタイムスタンプ情報が書き込まれている。また、タイムスタンプ情報は、最初の圧縮音声データＡＳｎ−１を０とした時刻情報である。したがって、圧縮音声データＡＳｎのタイムスタンプ情報は９０［クロック］、圧縮音声データＡＳｎ＋１のタイムスタンプ情報は１８０［クロック］、圧縮音声データＡＳｎ＋２のタイムスタンプ情報は２７０［クロック］と設定されている。
【００６７】
そして、ポーズ解除２００をエンコード開始とした場合に、ポーズ解除２００における圧縮音声データの時刻情報（圧縮音声データＡＳｎ−１を０とした時刻情報）は、タイムスタンプ情報を用いて下記（１）式より求めることができる。
【００６８】
時刻情報（ポーズ解除２００時）
＝Ｔａ×Ｃ−１＋Ｄｔ／Ｄａ×Ｔｗ …（１）
Ｔａ：圧縮音声データのフレーム間隔（本実施の形態では９０）
Ｃ ：タイムスタンプ情報の取得回数
Ｄｔ：ポーズ解除２００時のＡＳｎデータサイズ
Ｄａ：ＡＳｎ全体のデータサイズ
Ｔｗ：タイムスタンプ情報の間隔（圧縮音声データのフレーム間隔と等しい）
【００６９】
したがって、ポーズ解除２００時の時刻情報は、下記（２）式のようになる
【００７０】
時刻情報（ポーズ解除２００時）＝９０×１＋２０／９０×９０
＝１１０［クロック］ …（２）
【００７１】
すなわち、ポーズ解除２００時の（Ｄ）における圧縮音声データの時刻情報は、１１０［クロック］となる。さらに、圧縮音声データＡＳｎを伸張して非圧縮音声データＡｎを生成した場合、圧縮音声データＡＳｎと非圧縮音声データＡｎとの遅延時刻は、既知の値である。ここでは一例として遅延時刻を固定値４０［クロック］とする。
【００７２】
したがって、ポーズ解除２００時を基準とした圧縮音声データＡＳｎの時刻情報ＰＳＴは、下記（３）式によって求めることができる。
【００７３】
ＰＳＴ＝遅延時刻（固定値４０）−時刻情報（ポーズ解除２００時）
−ＡＳｎ開始時のタイムスタンプ情報
＝４０−（１１０−９０）
＝２０［クロック］ …（３）
【００７４】
上述のように、ポーズ解除２００時を基準とした圧縮音声データＡＳｎの時刻情報ＰＳＴは２０［クロック］とわかる。このように、圧縮音声データＡＳｎが映像データＶｎからどれだけの間隔遅延しているのか（または、先行しているのか）を求めることができる。したがって、圧縮音声データを上述の処理により求めた間隔だけ、遅延もしくは先行して再生させることにより、映像データと同期させることができる。
【００７５】
また、上述の例では、圧縮音声データが、映像データから２０［クロック］遅延していることを意味している。これは、すなわち、圧縮音声データＡＳｎを再生させた場合、映像データＶｎよりも遅れて再生が開始されることをあらわしている。この遅れるとは、映像データＶｎの内容と圧縮音声データＡＳｎの内容とのずれを意味するものではなく、映像データＶｎと、圧縮音声データＡＳｎとの再生開始時刻の遅れを意味している。
【００７６】
したがって、映像データよりも先行して圧縮音声データの再生を開始したい場合は、映像データＶｎに対して圧縮音声データＡＳｎ−１から（上述の例では圧縮音声データＡＳｎから）多重化をおこなうように、ポーズ解除２００を基準として−７０［クロック］に相当する時刻で多重化を開始させればよい。
【００７７】
以上説明したように、タイムスタンプ情報を用いた同期処理は、ポーズ情報を利用した同期処理と比較して複雑になるが、圧縮音声データ自体が欠損していた場合などでも、正しく同期させることができる。したがって、同期情報としてポーズ情報とタイムスタンプ情報とをそれぞれ単独で利用してもよいが、２つの同期情報を併用すればエラーへの耐性を強化することができる。
【００７８】
また、上述したような同期処理は、本実施の形態にかかる多重化装置１００から出力されたトランスポートストリームを受信した各機器によっておこなわれるが、多重化装置１００にあらたに再生部１３０を備え、自ら生成したトランスポートストリームを上述した同期処理を用いて再生してもよい。
【００７９】
再生部１３０は、トランスポートストリームに多重化された映像データと圧縮音声データとをそれぞれ同期する再生させる機能を備えている。具体的には、たとえば、上述したような同期情報を用いて映像データと圧縮音声データとを同期させる機能とを備えたＩ／Ｆ（インターフェース）と、ディスプレイなどの表示装置からなる音声再生部と、スピーカなどの出力装置と（いずれも不図示）、によって構成されている。
【００８０】
以上説明したように、本発明にかかる多重化装置、多重化方法および多重化プログラムによれば、非圧縮映像データと圧縮音声データとの同期が容易でかつ高品質なストリームデータを、簡単な処理により生成することができる。
【００８１】
なお、本実施の形態で説明した多重化装置１００を構成する各機能部１１０〜１２３に替わって、あらかじめ各機能部１１０〜１２３の機能に相当する処理を実行させる多重化プログラムを格納したＲＯＭを用意してもよい。このＲＯＭから多重化プログラムを読み出し、ＣＰＵにより実行させることにより、本発明にかかる多重化方法を、ソフトウェアを主体にして実現させてもよい。
【００８２】
また、他の実施の形態として、ＨＤＬ（Ｈａｒｄｗａｒｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ：ハードウェア記述言語）などを用いて本発明にかかる多重化を実現する各機能部１１０〜１２３の処理をＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの専用のＬＳＩに記述してもよい。
【００８３】
そして、上述のようなＨＤＬが記載されたＬＳＩを多重化装置として提供してもよい。なお、ＬＳＩにより、多重化装置の全体の処理を実現させてもよいし、一部分のみを実現させ、他の部分は、所定のハードウェアや、多重化プログラムによって実現させるような構成であってもよい。
【００８４】
このように、各機能部１１０〜１２３の処理の内容に応じて、ハードウェアを主体に実行させる機能部と、ソフトウェアを主体に実行させる機能部と、特定の処理が書き込まれたＬＳＩとを混在させて多重化方法の各工程を実行してもよい。このような構成により、処理内容や、利用者の用途や利便性に応じて最も効率的な多重化装置を実現することができる。
【００８５】
また、上述したような多重化プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。
【産業上の利用可能性】
【００８６】
以上のように、本発明にかかる多重化装置、多重化方法および多重化プログラムは、映像データを他のデータ形式に変換するトランスコード技術を適用する場合に有用であり、特に、デジタル放送波からトランスポートストリームを生成する場合に適している。
【図面の簡単な説明】
【００８７】
【図１】本発明の実施の形態にかかる多重化装置の機能的構成を示すブロック図である。
【図２】多重化される画像データおよび圧縮音声データの構成を示すタイミングチャートである。
【図３】圧縮音声データのフレーム構成を示す説明図である。
【図４】ＢＳ／地上デジタル放送からトランスストリームを生成する従来の多重化装置の機能的構成を示すブロック図である。
【図５】従来の多重化装置における同期処理を示すタイミングチャートである。
【符号の説明】
【００８８】
１００ 多重化装置
１１０ ＢＳ／地上デジタルチューナ
１１１ ＤＥＭＵＸ
１１２ Ｖｉｄｅｏ Ｄｅｃ（映像デコーダ）
１２０ コーデックＬＳＩ
１２１ Ｖｉｄｅｏ ＥＮＣ（映像エンコーダ）
１２２ ＡＳＩＮ
１２３ ＭＵＸ
【出願人】 【識別番号】０００００５２２３
【氏名又は名称】富士通株式会社
【出願日】 平成１８年８月１８日（２００６．８．１８）
【代理人】 【識別番号】１００１０４１９０
【弁理士】
【氏名又は名称】酒井 昭徳
【公開番号】 特開２００８−４８２４９（Ｐ２００８−４８２４９Ａ）
【公開日】 平成２０年２月２８日（２００８．２．２８）
【出願番号】 特願２００６−２２３０８２（Ｐ２００６−２２３０８２）