トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 サウンド加工装置、サウンド加工装置の制御方法、プログラム、集積回路および再生装置
【発明者】 【氏名】小川 智輝
【住所又は居所】大阪府門真市大字門真１００６番地 松下電器産業株式会社内

【氏名】森 美裕
【住所又は居所】大阪府門真市大字門真１００６番地 松下電器産業株式会社内
【要約】 【課題】サウンドバッファのメモリを増加しないで、ボタンに関連付けられたクリックサウンドの定位を実現するサウンド加工装置を提供する。

【解決手段】インタラクティブグラフィックストリームにあるビデオ画面のサイズとボタンの表示位置、サイズの情報を、グラフィックスコントローラ１０５は、表示情報バッファ１０２に書き込み、加工部１１０は、それを読み出して、UO（ユーザ操作）１７０のあったボタンに対応付けられたサウンドIDのモノラルサウンドをサウンドバッファ１０１から読み出して、出力の遅延と左右の音の強度差を持たせて、ボタンの位置に定位するステレオサウンドデータに加工し、出力する。
【特許請求の範囲】
【請求項１】
グラフィックスストリームを含むデジタルストリームの再生に伴い、グラフィックスストリームに含まれる複数のオブジェクトのうちユーザにより指定されたオブジェクトに対応付けられたサウンドを加工し出力するサウンド加工装置であって、
オブジェクトに対応付けられたサウンドデータを記録しているサウンドバッファと、
ビデオ画面のサイズと各オブジェクトのビデオ画面での表示位置とからなる表示情報を前記グラフィックスストリームから抽出する抽出手段と、
抽出された表示情報に基づいて、指定されたオブジェクトの表示位置に音像が定位するように、前記オブジェクトに対応付けられたサウンドデータを前記サウンドバッファから読み出して加工し、加工したサウンドデータを出力する加工出力手段とを備えることを特徴とするサウンド加工装置。
【請求項２】
再生される前記デジタルストリームは、BD-ROMに記録されたものであり、
前記グラフィックスストリームは、インタラクティブグラフィックスストリームを含み、
前記表示情報は、いずれもピクセルを単位として記録され、
前記抽出手段は、前記表示情報をインタラクティブグラフィックスストリームから抽出することを特徴とする請求項１記載のサウンド加工装置。
【請求項３】
前記抽出手段は、ビデオ画面の幅と各オブジェクトの水平方向の表示位置とからなる表示情報を抽出し、
前記加工出力手段は、前記表示情報から、オブジェクトによるビデオ画面の幅に対する水平方向の分割比率を算出し、算出した分割比率に基づき前記オブジェクトに対応付けられたモノラルのサウンドデータをステレオのサウンドに加工し、左右の音の強度差と遅延との少なくとも一方を調節して音像が指定されたオブジェクトの水平方向の表示位置に定位するようにすることを特徴とする請求項２記載のサウンド加工装置。
【請求項４】
前記抽出手段は、ビデオ画面の高さと各オブジェクトの垂直方向の表示位置とからなる表示情報を抽出し、
前記加工出力手段は、前記抽出手段により抽出された表示情報のうち、音像が前記オブジェクトの垂直方向の位置に定位するように前記オブジェクトに対応付けられたサウンドデータに、前記オブジェクトの垂直方向の位置の比率に応じて異なるフィルターをかけることを特徴とする請求項１記載のサウンド加工装置。
【請求項５】
前記加工手段は、前記オブジェクトの垂直方向の位置が画面の上半面にあるとき、ハイパスフィルターをかけ、下半面にあるとき、ローパスフィルターをかけることを特徴とする請求項４記載のサウンド加工装置。
【請求項６】
前記複数のオブジェクトはいずれもボタンであることを特徴とする請求項１記載のサウンド加工装置。
【請求項７】
再生表示を行うディスプレイのサイズと左右のスピーカの位置との情報を追加情報として記憶する記憶手段をさらに備え、
前記加工出力手段は、前記表示情報と前記追加情報とに基づいて、指定されたオブジェクトの位置に定位するように前記オブジェクトに対応付けられたサウンドデータを加工することを特徴とする請求項１記載のサウンド加工装置。
【請求項８】
オブジェクトに対応付けられたサウンドデータを記録しているサウンドバッファを有し、グラフィックスストリームを含むデジタルストリームの再生に伴い、グラフィックスストリームに含まれる複数のオブジェクトのうちユーザにより指定されたオブジェクトに対応付けられたサウンドを加工し出力するサウンド加工装置の制御方法であって、
ビデオ画面のサイズと各オブジェクトのビデオ画面での表示位置とからなる表示情報を前記グラフィックスストリームから抽出する抽出ステップと、
抽出された表示情報に基づいて、指定されたオブジェクトの表示位置に音像が定位するように、前記オブジェクトに対応付けられたサウンドデータを前記サウンドバッファから読み出して加工し、加工したサウンドデータを出力する加工出力ステップとを有することを特徴とするサウンド加工装置の制御方法。
【請求項９】
オブジェクトに対応付けられたサウンドデータを記録しているサウンドバッファを有し、グラフィックスストリームを含むデジタルストリームの再生に伴い、グラフィックスストリームに含まれる複数のオブジェクトのうちユーザにより指定されたオブジェクトに対応付けられたサウンドを加工し出力するサウンド加工装置に、
ビデオ画面のサイズと各オブジェクトのビデオ画面での表示位置とからなる表示情報を前記グラフィックスストリームから抽出する抽出ステップと、
抽出された表示情報に基づいて、指定されたオブジェクトの表示位置に音像が定位するように、前記オブジェクトに対応付けられたサウンドデータを前記サウンドバッファから読み出して加工し、加工したサウンドデータを出力する加工出力ステップとを実行させるプログラム。
【請求項１０】
グラフィックスストリームを含むデジタルストリームの再生に伴い、グラフィックスストリームに含まれる複数のオブジェクトのうちユーザにより指定されたオブジェクトに対応付けられたサウンドを加工し出力する集積回路であって、
請求項１記載のサウンド加工装置の各手段を構成することを特徴とする集積回路。
【請求項１１】
グラフィックスストリームを含むデジタルストリームの再生装置であって、
請求項１記載のサウンド加工装置を備えることを特徴とする再生装置。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、BD-ROM等の再生におけるサウンド加工装置に関し、特にクリックサウンドを実現する技術に関する。
【背景技術】
【０００２】
ディジタルコンテンツの再生において、字幕を表示するか否か等の選択は、画面に表示された選択肢を示すボタンと呼ばれるオブジェクトの操作によりユーザが行えるようになっている。ただし、従来のDVD(Digital Versatile Disk)では、ユーザがボタンを押したときに、ボタン操作に同期したクリックサウンドを出力する規定はないため、ボタンを押したことをユーザが音声で確認することができない。これに対し、High Definition（HD）のコンテンツを対象としたBD-ROM（Blu-ray Disc-Read Only Memory）の仕様書には、クリックサウンドが規定されているので、ボタンが押されたことを確認することができる。
【０００３】
このクリックサウンドは、ＢＤにサウンドファイルとして記録されており、ＢＤのコンテンツの再生開始前に、再生装置内のサウンドバッファと呼ばれるメモリ領域に格納される。再生中にユーザ操作により、画面に表示中のボタンが選択、または実行されると、そのボタンに関連付けられたサウンドがサウンドバッファから抽出され、出力されることでクリックサウンドが実現される。非特許文献１には、サウンドデータやボタンの定義を含むＢＤ−ＲＯＭのデータ仕様が開示されている。
【非特許文献１】「System Description Ｂｌｕ-rａｙ Disc Read-Only Format Part3」
【発明の開示】
【発明が解決しようとする課題】
【０００４】
サウンドデータとして通常はモノラルのサウンドがいくつかおさめられ、あるボタンが選択されると、それに対応したサウンドが出力される。その際、スピーカが複数、たとえば左右にあっても、モノラルのサウンドがそのままで各スピーカから出力されるため、両スピーカの真中、つまり画面の中心に音像（音源）があると感じる、つまり定位することになる。そのため、ボタンが画面の端にあるとき、ユーザは違和感を抱くことになる。
【０００５】
ボタンごとにそのボタンの位置に定位するようにステレオ、つまり左右スピーカ別のサウンドをすべて用意すればこの違和感は解消できるが、サウンドデータのメモリー容量が大きくなるという問題が生じる。しかし、サウンドバッファのサイズが制限されているため、サウンドデータをステレオで用意することは実際上できない。
【課題を解決するための手段】
【０００６】
本発明は、上記課題に鑑みてなされたものであり、サウンドデータの容量を増やすことなく、操作されたボタンの配置に応じる定位感を持ったクリックサウンドを生成するサウンド加工装置を提供することを目的とする。
上記課題を解決するために、本発明のサウンド加工装置は、グラフィックスストリームを含むデジタルストリームの再生に伴い、グラフィックスストリームに含まれる複数のオブジェクトのうちユーザにより指定されたオブジェクトに対応付けられたサウンドを加工し出力するサウンド加工装置であって、
オブジェクトに対応付けられたサウンドデータを記録しているサウンドバッファと、
ビデオ画面のサイズと各オブジェクトのビデオ画面での表示位置とからなる表示情報を前記グラフィックスストリームから抽出する抽出手段と、
抽出された表示情報に基づいて、指定されたオブジェクトの表示位置に音像が定位するように、前記オブジェクトに対応付けられたサウンドデータを前記サウンドバッファから読み出して加工し、加工したサウンドデータを出力する加工出力手段とを備える。
【発明の効果】
【０００７】
上記構成により、たとえば複数のオブジェクトが画面上の左右上下の各方向に配置されているとき、各々のオブジェクトに関連付けされているクリックサウンドが同一のモノラルサウンドの場合でも、各オブジェクトの配置に応じた定位感を持ったクリックサウンドを実現することができる。また、各オブジェクトに関連付けられるクリックサウンドが異なる場合でも、各オブジェクトには異なるモノラルのクリックサウンドを関連付けておくだけで十分であり、定位を持たせたステレオのクリックサウンドを用意する必要がないため、クリックサウンドを格納しておくバッファ容量を大きくする必要がない効果がある。なお、ボタンもオブジェクトの一つである。
【０００８】
また、再生される前記デジタルストリームは、BD-ROMに記録されたものであり、前記グラフィックスストリームは、インタラクティブグラフィックスストリームを含み、前記表示情報は、いずれもピクセルを単位として記録され、前記抽出手段は、前記表示情報をインタラクティブグラフィックスストリームから抽出することとしている。
これにより、BD-ROMで規定したオブジェクトに対応するクリックサウンドを得ることができる。
【０００９】
また、前記抽出手段は、ビデオ画面の幅と各オブジェクトの水平方向の表示位置とからなる表示情報を抽出し、前記加工出力手段は、前記表示情報から、オブジェクトによるビデオ画面の幅に対する水平方向の分割比率を算出し、算出した分割比率に基づき前記オブジェクトに対応付けられたモノラルのサウンドデータをステレオのサウンドに加工し、左右の音の強度差と遅延との少なくとも一方を調節して音像が指定されたオブジェクトの水平方向の表示位置に定位するようにすることとしている。
【００１０】
これにより、ビデオ画面の水平方向のオブジェクトの配置に応じた定位感を持ったクリックサウンドを実現することができる。
また、前記抽出手段は、ビデオ画面の高さと各オブジェクトの垂直方向の表示位置とからなる表示情報を抽出し、前記加工出力手段は、前記抽出手段により抽出された表示情報のうち、音像が前記オブジェクトの垂直方向の位置に応じた印象を視聴者に与えるように前記オブジェクトに対応付けられたサウンドデータに、前記オブジェクトの垂直方向の位置の比率に応じて異なるフィルターをかけることとしている。
【００１１】
これにより、ビデオ画面の垂直方向のオブジェクトの配置に応じた印象を視聴者に与えることができるクリックサウンドを実現することができる。
また、前記加工手段は、前記オブジェクトの垂直方向の位置が画面の上半面にあるとき、ハイパスフィルターをかけ、下半面にあるとき、ローパスフィルターをかけることとしている。
【００１２】
これにより、画面上の上の方にあるボタンに対しては、高音部が強調されて軽い印象を視聴者に与え、ボタンが画面の下の方にある場合には、低音部が強調されて重たい印象を視聴者に与えるようにクリックサウンドを加工することで、オブジェクトの垂直方向の位置に関連したイメージを視聴者に与えることができる。
また、前記複数のオブジェクトはいずれもボタンであることとしている。
【００１３】
これにより、ボタンに対応するクリックサウンドが得られる。
また、再生表示を行うディスプレイのサイズと左右のスピーカの位置との情報を追加情報として記憶する記憶手段をさらに備え、前記加工出力手段は、前記表示情報と前記追加情報とに基づいて、指定されたオブジェクトの位置に定位するように前記オブジェクトに対応付けられたサウンドデータを加工することとしている。
【００１４】
これにより、ディスプレイのサイズと、左右のスピーカの位置の情報に基づいて、左右のスピーカ間でのボタンの位置が正確に把握できるので、ボタンの位置に定位するステレオサウンドを得ることができる。
本発明のサウンド加工装置の制御方法は、オブジェクトに対応付けられたサウンドデータを記録しているサウンドバッファを有し、グラフィックスストリームを含むデジタルストリームの再生に伴い、グラフィックスストリームに含まれる複数のオブジェクトのうちユーザにより指定されたオブジェクトに対応付けられたサウンドを加工し出力するサウンド加工装置の制御方法であって、ビデオ画面のサイズと各オブジェクトのビデオ画面での表示位置とからなる表示情報を前記グラフィックスストリームから抽出する抽出ステップと、抽出された表示情報に基づいて、指定されたオブジェクトの表示位置に音像が定位するように、前記オブジェクトに対応付けられたサウンドデータを前記サウンドバッファから読み出して加工し、加工したサウンドデータを出力する加工出力ステップとを有する。
【００１５】
この制御方法により、ボタンの表示位置に定位するクリックサウンドが得られる。
本発明のプログラムは、オブジェクトに対応付けられたサウンドデータを記録しているサウンドバッファを有し、グラフィックスストリームを含むデジタルストリームの再生に伴い、グラフィックスストリームに含まれる複数のオブジェクトのうちユーザにより指定されたオブジェクトに対応付けられたサウンドを加工し出力するサウンド加工装置に、ビデオ画面のサイズと各オブジェクトのビデオ画面での表示位置とからなる表示情報を前記グラフィックスストリームから抽出する抽出ステップと、抽出された表示情報に基づいて、指定されたオブジェクトの表示位置に音像が定位するように、前記オブジェクトに対応付けられたサウンドデータを前記サウンドバッファから読み出して加工し、加工したサウンドデータを出力する加工出力ステップとを実行させる。
【００１６】
このプログラムにより、ボタンの表示位置に定位するクリックサウンドが得られる。
本発明の集積回路は、グラフィックスストリームを含むデジタルストリームの再生に伴い、グラフィックスストリームに含まれる複数のオブジェクトのうちユーザにより指定されたオブジェクトに対応付けられたサウンドを加工し出力する集積回路であって、請求項１記載のサウンド加工装置の各手段を構成する。
【００１７】
この集積回路により、ボタンの表示位置に定位するクリックサウンドが得られる。
本発明の再生装置は、グラフィックスストリームを含むデジタルストリームの再生装置であって、請求項１記載のサウンド加工装置を備える。
この再生装置により、ボタンの表示位置に定位するクリックサウンドが得られる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明に係るサウンド加工装置の実施の形態について、図面を参照して説明する。
（実施の形態１）
実施の形態１は、ボタンの水平方向の位置の定位を行なう。つまり、クリックサウンドを行なうボタンの画面上での水平表示位置に、音源が定位するようにモノラルサウンドを加工して、ステレオサウンドを作成し、出力する。
【００１９】
図１は、サウンド加工装置の構成を示す図である。サウンド加工装置は再生装置に組み込まれている。図１では、サウンド加工装置に関連する再生装置の主要部も示している。
サウンド加工装置の構成要素を図１を参照して説明する。
サウンド加工装置１００は、サウンドバッファ１０１、表示情報バッファ１０２、グラフィックスコントローラ１０５、加工部１１０からなる。
【００２０】
サウンドバッファ１０１は、対話用のオブジェクトとしてのボタン等が押下されたときに使用されるサウンド（音声）データを納める。サウンドデータは、ＢＤ−ＲＯＭと呼ばれるブルーレイディスクにsound.bdmvというサウンドデータファイルとして記録され、ムービー等のコンテンツ再生開始前に、そのサウンドデータが、再生装置によりサウンドバッファ１０１に格納される。
【００２１】
この様子を、図２と図３を使用して説明する。
図２は、ＢＤ−ＲＯＭを含む再生システムの概観の一例を示す図である。図２において、可搬性の記録媒体であるBD-ROM２１０は、再生装置２２０、テレビ２３０、リモコン２４０により形成されるシステムに、映画作品等を供給するという用途に供される。再生装置２２０には、サウンド加工装置１００も含まれる。
【００２２】
図３は、BD-ROM１０５の、サウンドデータファイルを含めたファイルの管理を行なうディレクトリの構成を示す図である。なお、BD-ROM１０５の構成３０１の詳細は、非特許文献１に記述されている。図３において、BD-ROMには、ROOTディレクトリの下にBDMVディレクトリがあり、BDMVディレクトリの配下には、タイトルを構成するIndex Tableが定義されたインデックスファイル（index.bdmv）、動的なシナリオを定義するムービーオブジェクトを含むファイル（MovieObject.bdmv）と、ＡＶクリップ(01000.m2ts)を格納するSTREAMディレクトリ、ＡＶクリップにおける論理的な再生経路（プレイリスト）を定義したプレイリストファイル(00000.mpls)を格納するPLAYLISTディレクトリ、ＡＶクリップの管理情報を格納したクリップ情報ファイル(01000.clpi)を格納するCLIPINFディレクトリ、AUＸDATAディレクトリ等が存在する。
【００２３】
sound.bdmvはAUＸDATAディレクトリの下で格納されている。
BD-ROM１０５が装着されると、再生装置により、AUＸDATAディレクトリのsound.bdmv１２０が読み込まれ、サウンドバッファ１０１に格納される。
図４は、サウンドデータの構成を示す図である。サウンドデータは、複数のサウンドを管理するためのsoundIndex４１１と、各サウンドを納めるsoundData４１２とからなる。soundIndex４１１には、モノラル/ステレオの別を示すチャネル数などの各サウンドの属性と、soundData４１２における当該サウンドのアドレスと長さが納められている。soundData４１２の各サウンドは、４８KHｚ、１６ビット単位のLPCM（Linear Pulse Code Modulation）のサンプルからなる。本実施の形態では、各サウンドはいずれもモノラルとする。
【００２４】
sound.bdmv１２０とサウンドバッファ１０１とは、いずれもサウンドデータ１２０の形式でサウンドデータを保持している。サウンドバッファ１０１は、２MBの固定長のサイズであり、したがってsound.bdmvはこのサイズ以下である。登録できるサウンド数は１２８までであり、各サウンドのIDは、格納順に０から順に付与される。
図１に戻って、表示情報バッファ１０２は、ボタンの位置等の表示情報を格納し、グラフィックスコントローラ１０５により更新され、加工部１１０により参照される。
【００２５】
図５は、表示情報バッファ１０２に納められる表示情報の内容を示す図である。表示情報は、ビデオ場面のビデオ幅５０２、ビデオ高５０３、ボタン数５０４、各ボタン情報５１１からなる。
ビデオ画面のビデオ幅５０１とビデオ高５０２は、インタラクティブグラフィックスプレーン１５１の幅と高さにそれぞれ等しく、単位はピクセルである。
【００２６】
ボタン情報５１１は、ボタンID５１２、ボタンの水平位置５１３、ボタンの垂直位置５１４、ボタン幅５１５、ボタン高５１６からなり、いずれも単位はピクセルである。
図６は、画面とボタンとの関係を示す図であり、図５の例で示したビデオ画面とボタンを示したものである。表示情報において、ビデオ画面１００１におけるボタン１０１１の表示位置（２５６,１４８）は、ボタンの矩形の左上点のそれであり、ボタンの中心の表示位置（３２０,１８０）は、ボタンのサイズであるボタン幅５１５とボタン高５１６のそれぞれの半分の値を、表示位置（２５６,１４８）に加えることにより得られる。
【００２７】
本実施の形態では、ボタンを定位させるとき、ボタンの中心の位置に定位させる。
本実施の形態では、また、ステレオ用の左スピーカ、右スピーカ（不図示）が画面の左端１０１５と右端１０１６にあるものと想定している。したがって、図６で示した例では、画面の左端１０１５からボタン１０１１までの距離と、ボタン１０１１から右端１０１６までの距離の比率が３２０：９６０、つまり画面の幅のうち左端から１：３の位置にボタンがある。
【００２８】
このような、画面の幅をボタンが分割する比率a:bは、画面の両端に左右のスピーカがあると想定する本実施の形態の場合、左右のスピーカ間を分割する比率でもある。このa:bの分割比率は、後述する加工部１１０が、そのボタンの位置に音源を定位させるために行われるサウンド加工においてパラメタとして使用される。
再び図１に戻って、グラフィックスコントローラ１０５は、インタラクティブフィクスストリームを再生処理するインタラクティブデコーダ１５０の一部でもある。グラフィックスコントローラ１０５は、コンポジションバッファ（以下「CB」と呼ぶ）１５５および復号オブジェクトバッファ（Decoded Object Buffer）１５６を検索し、インタラクティブフィクスストーリームに含まれる表示情報バッファ１０２の表示情報に該当する項目が、CB１５５または復号オブジェクトバッファ１５６に記録されていれば、それらを読み出して表示情報バッファ１０２に書き出す。
【００２９】
ディジタルストーリームのどの項目が、表示情報のどの項目に該当するかに関して説明する前に、BD-ROMのディジタルストリームについて、次に簡単に述べる。
図７は、AVクリップと呼ばれるディジタルストリームの内容を示す図である。AVクリップは、図７で示すようにインタラクティブグラフィックスストリーム、プレゼンテーショングラフィックスストリーム、ビデオストリーム、オーディオストリームを多重化したストリームであり、MPEG２（MovingPictureExpertsGroup２）形式のTSパケット、たとえばインタラクティブグラフィックスのTSパケット７０１等からなるストリームである。インタラクティブグラフィックスのTSパケット７０１は、PESパケット７０２を分割したものであり、PESパケット７０２は、インタラクティブグラフィックスのセグメントを分割したものである。他のストリームも同様に、下位から順にTSパケット、PESパケット、セグメントという階層からなる。インタラクティブグラフィックスのセグメントにはICS（Interactive Composition Segment）、ODS（Object Definition Segment）等がある。
【００３０】
図８は、ICSの内容を示す図である。
図８において、ICS８０１には、インタラクティブグラフィックスストリームの制御情報等が納められている。図８では、そのうち特に、ビデオのサイズを示すvideo_width８０２、video_height８０３、ボタン数を示すnumber_of_butons８０４と、各ボタンの情報８１１を示している。ボタン情報８１１において、ボタンID（button_id）８１２は、ボタンの識別子であり、UO（ユーザ操作）があったときグラフィックスコントローラ１０５は、どのボタンの操作であるかをボタンID（button_id）８１２として特定する。
【００３１】
ボタンの水平位置(button_horizontal_position)８１３および垂直位置（button_vertical_position）８１４はボタンの表示位置を示し、これはたとえば図６で示したボタン１０１１の矩形領域の左上角の表示位置を示す。また、normal_start_object_id_ref825は、ノーマル状態のボタンiをアニメーションで描画する場合、アニメーションを構成する複数ODSに付加された連番のうち、最初の番号がこのnormal_start_object_id_ref825に記述される。normal_end_object_id_ref826は、ノーマル状態のボタンiをアニメーションで描画する場合、アニメーションを構成する複数ODSに付加された連番たるobject_IDのうち、最後の番号がこのnormal_end_object_id_ref826に記述される。このnormal_end_object_id_ref826に示されるIDが、normal_start_object_id_ref825に示されるIDと同じである場合、このIDにて示されるグラフィックスオブジェクトの静止画が、ボタンiの絵柄になる。また、selected_state_sound_id_ref８１７は、当該ボタンが選択されたときに使用するサウンドのサウンドIDであり、selected_start_object_id_ref８１８は、当該ボタンが選択されたときに最初に、また、selected_end_object_id_ref８１９は最後に表示するオブジェクトのオブジェクトIDである。
【００３２】
当該ボタンの選択状態のサイズは、selected_start_object_id_ref８１８が示すオブジェクトのサイズである。同様に、アクティベートされたときに参照されるactivated_state_sound_id_ref８２０activated_start_object_id_ref７２１、activated_start_object_id_ref８２２がそれぞれ規定されており、それぞれの示す意味も同様である。なお、selected_start_object_id_ref８１８が指すオブジェクトのサイズとactivated_start_object_id_ref８２２の指すオブジェクトのサイズは同じである。
【００３３】
また、number_of_navigation_commands８２３およびnavigation_commands８２４は当該ボタンがアクティベートされたとき、グラフィックスコントローラ１０５により実行されるコマンドの数とコマンドである。
図９は、ODSの内容を示す図である。
ODSは、一つまたは複数で一つのオブジェクトを定義する。図９に示した例においては、ODS９０１は、あるボタンオブジェクトを定義する２つのオブジェクトのうちの先頭のODSである。ODS９０１には、object_id９１１、last_in_sequence_flag９１２、object_data_fragment９１５等が記載される。
【００３４】
object_id９１１は、このオブジェクトのオブジェクトIDであり、last_in_sequence_flag９１２は、当該ODSが当該オブジェクトの定義を行なう最後のセグメントか否かのフラグである。object_data_fragment９１５において、object_data_length９２２は、ランレングス圧縮形式でオブジェクトの表示イメージを納めた圧縮オブジェクト９２５のうち、ODS９０１で定義した長さを示す。
【００３５】
object_width９２３およびobject_height９２４は当該オブジェクトの幅と高さとを示し、図８のボタン情報８１１で示したボタンのボタン幅とボタン高は、selected_start_object_id_ref８１８あるいはactivated_start_object_id_ref８２２が示すオブジェクトID （object_id９１１）のオブジェクトの幅と高さである。
次に、図１を参照して、再生装置によりディジタルストーリームが処理され、出力に至るまでの概要を説明し、次にインタラクティブグラフィックスの処理の詳細と、表示情報バッファ１０２に格納される表示情報の各項目が、どこにあるかについて順次説明する。
【００３６】
MPEG2-TSパケット１２１が順次、PIDフィルタ１２２に入力され、各TSパケットのPIDに応じたトランスポートバッファ(TB)に分配される。例えば、インタラクティブグラフィックスストリームの場合、TSパケットのPIDは、0x1400〜141Fが与えられる。
たとえば、プレゼンテーショングラフィックスストリームの場合、プレゼンテーショングラフィックスデコーダ１３０がトランスポートバッファ１２３から、TSパケットを取り出して、復号し、プレゼンテーショングラフィックスデータを出力する。プレゼンテーショングラフィックスプレーン１３１はそのデータを入力して展開し、CLUT１３２により色表示処理され、ビデオ出力される。
【００３７】
また、ビデオストリームの場合、ビデオデコーダ１４０がTB１２４から、ビデオのTSパケットを取り出して復号（ｄecode）し、ビデオデータを出力する。ビデオプレーン１４１は、そのデータを入力して展開し、ビデオ出力する。
また、オーディオの場合、オーディオデコーダ１６０がTB１２６から、TSパケットを取り出して復号し、オーディオデータを出力する。ミキサ１６１は、そのデータを入力して、サウンド加工装置１００からのサウンドデータと共に出力する。
【００３８】
最後に、インタラクティブグラフィックスストリームの場合、インタラクティブグラフィックスデコーダ１５０がトランスポートバッファ１２３から、TSパケットを取り出して、復号し、オブジェクトデータを出力する。インタラクティブグラフィックスプレーン１５１はそのオブジェクトを展開する。展開されたオブジェクトはCLUT１５２で色表示処理され、ビデオ出力される。
【００３９】
次に、インタラクティブグラフィックスデコーダ（Interactive Graphics Decoder）１５０の処理を詳細に説明する。
インタラクティブグラフィックスデコーダ１５０は、EB（コーディッドデータバッファ）１５３、ストリームグラフィックスプロセサ１５４、CB１５５、復号オブジェクトバッファ１５６からなる。
【００４０】
TB１２５からEB１５３への転送時に、TSパケットと、PESパケットの各ヘッダーは削除され、セグメントのデータとして格納される。ストリームグラフィックスプロセッサ１５４は、EB１５３に格納されているセグメントがICS８０１であれば、それをCB１５５に転送し、ODSであれば復号オブジェクトバッファ１５６に転送する。この段階で、表示のために必要なセグメントが全て該当のバッファに格納されている。
【００４１】
このとき、グラフィックスコントローラ１０５は、CB１５５に格納されているICS８０１から、video_width８０２とvideo_height８０３とを読み出し、図５に示す表示情報バッファ１０２に、それぞれビデオ幅５０２、ビデオ高５０３として書き出す。また、同様に、ICS８０１のnumber_of_butons８０４をボタン数５０４として表示情報バッファ１０２に書き出す。そして、各ボタンについて、button_id８１２をボタンID５１２とし、button_horizontal_position８１３とbutton_vertical_position８１４を、ボタンの水平位置５１３、ボタンの垂直位置５１４として表示情報バッファ１０２に書き出す。また、復号オブジェクトバッファ１５６のODS９０１において、selected_start_object_id_ref８１８のオブジェクトIDと一致するODS９０１（複数あれば先頭のODS）を検索し、そのobject_width９２３とobject_width９２３とを、それぞれ当該ボタンのボタン幅５１５とボタン高５１６として表示情報バッファ１０２に書き出す。
【００４２】
そして、グラフィックスコントローラ１０５は、ICS８０１のセグメントに記載された項目のうちPTS( Presentation Time Stamp：不図示) の時刻が来ると、復号オブジェクトバッファ１５６に格納されているボタンのオブジェクトをインタラクティブグラフィックスプレーン１５１に出力する。
画面に表示されたボタンに対して、ユーザが選択(Select) あるいはアクティベート( ENTERキーを押下)によりUO（ユーザ操作）１７０を行うと、グラフィックスコントローラ１０５は、そのボタンのボタンIDと、そのボタンに関連付けられたクリックサウンドのサウンドIDとを、CB１５５のICS８０１および復号オブジェクトバッファ１５６のODSに基づいて特定し、加工部１１０に通知する。
【００４３】
ここで、グラフィックスコントローラ１０５が特定する、ボタンに関連付けられたクリックサウンドのサウンドIDは、UO１７０がボタンの選択の場合、図８に示したICS８０１の当該ボタンIDと一致するbutton_id８１２のselected_state_sound_id_ref８１７であり、また、UO１７０がボタンのアクティベートの場合、activated_state_sound_id_ref８２０である。
【００４４】
図１０は、UO１７０において、ボタンの表示とリモコンの一例を示す図である。
図１０（a）は、ボタンの表示例を示している。画面１００１には、「字幕あり」と「字幕なし」の２つのボタンが示されている。初めて表示のとき、「字幕あり」を示すボタンとして、ボタン１０１１だけが表示されている。
ユーザは、図１０（ｂ）に示したリモコン２４０の上下左右の各キーを操作して、たとえば「字幕あり」ボタンを選択する。グラフィックスコントローラ１０５により、選択されたことを示すボタン１０１３をボタン１０１１に上書きして表示する。このとき図１０の画面１００１には、選択されたことを示すボタン等が一見して異なる位置に表示しているように見えるが、そうではなくボタン１０１１と同じ位置に表示する。リモコン２４０で、ユーザがさらに、Enterキーを押下すると、現在選択されているボタンがアクティベートの状態となり、グラフィックスコントローラ１０５は、アクティベートされたことを示すボタン１０１４をボタン１０１３に上書きして表示する。
【００４５】
図１に戻って、加工部１１０は、モノラルのサウンドデータをステレオのサウンドデータに加工し、そのステレオのサウンドデータを出力する。
加工部１１０は、グラフィックスコントローラ１０５から、ユーザ操作のあったボタンのボタンIDと、そのボタンに対応付けられたサウンドIDとからなる通知を受け取ると、サウンドIDが示すサウンドデータをサウンドバッファ１０１から読み出して、ボタンIDが示すボタンの表示位置に定位するように、読み出したサウンドデータをステレオサウンドに加工し、ミキサ１６１に出力する。ここで、ボタンの表示位置とは、ボタンの中心の水平方向の表示位置をいう。
【００４６】
図１１は、ボタン等の表示を行なうディスプレイ１１１１と視聴者１１１５とを上方から見た平面図であり、サウンド加工で使用される各種パラメタを示している。図１１を参照して、まず、加工部１１０によるサウンドデータの加工の際使用するパラメタについて説明する。
図１１において、ディスプレイ１１１１の左端に左スピーカ１１１２が、また、右端に右スピーカ１１１３がある。また、ボタン１１１４の中心の水平方向の表示位置は、ピクセル幅がW、つまりビデオ幅Wで表示するディスプレイ１１１１をa:bに分割しているとする。上記で得られたボタン１１１４の中心の水平方向の位置をｃとすると、a：ｂ＝ｃ/W：（W-c）/W である。
【００４７】
そして、ボタンの操作者である視聴者１１１５は、両耳間の長さがｈであり、ディスプレイ１１１１の中心を通る垂線上の、ディスプレイ１１１１から距離ｄの位置にいる。ボタン１１１４から視聴者１１１５の右耳、左耳までの距離をそれぞれｒ、ｌとする。ここで、加工部１１０は、図７のビデオ幅Wとして、図７の表示情報バッファ１０２に格納されているビデオ幅５０２を読み込んで使用する。
【００４８】
次に、加工部１１０によるサウンドデータの加工で使用する数式を説明する。ここで、音速をｖとすると、ｌ、ｒの２乗は、それぞれ式（１）、（２）のようになる。
【００４９】
【数１】


【００５０】
【数２】


これらの式からｌとｒをもとめ、次の式（３）に代入し、ステレオサウンドのRに対するLの遅延時間を求める。ここで、ｗ、ｄ、ｈ、ｖには、たとえば、それぞれ０．６、２、０．２、３４０（メートル単位）の数値を代入する。ただし、ｄ、ｈ、ｖの値の設定は可変であり、上述の値に限られない。
【００５１】
【数３】


また、L（左）の音の強度を、R（右）の音の強度に基づく式（４）により求める。
【００５２】
【数４】


加工部１１０はグラフィックスコントローラ１０５から指定のあったサウンドIDが示すモノラルのサウンドデータをステレオサウンドのRのサウンドとしてそのまま出力し、Lのサウンドは、式（４）で強度の加工を施したサウンドを、式（３）で示す時間だけ、Rに遅延して出力する。
【００５３】
次に、サウンド加工装置１００の動作について説明する。
図１２は、実施の形態１におけるサウンド加工装置の動作の流れを示すフローチャートである。
AVクリップ７４０のディジタルストリームは、再生装置により、インタラクティブグラフィックスストリーム等に分かれて、インタラクティブグラフィックスデコーダ１５０等により復号される。インタラクティブグラフィックスストリームは、ICS８０１がCB１５５に、またODS９０１等が復号オブジェクトバッファ１５６に、それぞれ格納される。
【００５４】
グラフィックスコントローラ１０５は、CB１５５にICS８０１を検索し（S１３０５、ここで、Sはステップの略、以下同様）、格納されていれば、表示情報バッファ１０２をクリアし、video_width８０２とvideo_height８０３とを読み出し、表示情報バッファ１０２にそれぞれビデオ幅５０２、ビデオ高５０３として書き出す。また、同様に、ICS８０１のnumber_of_butons８０４をボタン数５０４として、また各ボタンについて、button_id８１２をボタンID５１２として、button_horizontal_position８１３とbutton_vertical_position８１４とをボタンの水平位置５１３、ボタンの垂直位置５１４として、それぞれ表示情報バッファ１０２に書き出す（S１３１０）。
【００５５】
次に、グラフィックスコントローラ１０５は、復号オブジェクトバッファ１５６にselected_start_object_id_ref８１８のオブジェクトIDと一致するODS９０１（複数あれば先頭のODS）を検索し（S１３１５）、あればそのobject_width９２３とobject_width９２３とを、それぞれ当該ボタンのボタン幅５１５とボタン高５１６として表示情報バッファ１０２に書き出す（S１３２０）。
【００５６】
グラフィックスコントローラ１０５は、復号オブジェクトバッファ１５６にあるボタンオブジェクト等をインタラクティブグラフィックスプレーン１５１に出力する。
グラフィックスコントローラ１０５は、ボタン操作を受け付けるインタラクティブ処理の終了か否かを判定し（S１３２５）、終了のとき、サウンド加工装置１００の動作は終了する（S１３３０）。
【００５７】
ユーザのボタン操作、つまりUO１７０を待つ（S１３３５）。UO170があれば、グラフィックスコントローラ１０５は、CB１５５にあるICS８０１と復号オブジェクトバッファ１５６にあるODS９０１等から、操作されたボタンのボタンIDを得るとともに、ボタンの選択操作のとき、ICS８０１の当該ボタンのselected_state_sound_id_ref８１７を、また同様に、アクティベート操作のとき、activated_state_sound_id_ref８２０を、当該ボタンに対応するサウンドIDとして得る（S１３４０）。
【００５８】
グラフィックスコントローラ１０５は、ボタンIDとサウンドIDとを加工部１１０に通知する。通知を受けた加工部１１０は、次に述べる加工処理を行なう（S１３４５）。
加工処理は加工部１１０が行なう。加工部１１０は、表示情報バッファ１０２からビデオ幅５０２と、通知されたボタンIDに該当するボタンの水平位置５１３とボタン幅１２８とを読み出す（S１３６０）。
【００５９】
通知されたサウンドIDのサウンドデータをサウンドバッファ１０１から読み出す（S１３６０）。ボタンの中心の水平方向の位置を、ボタンの水平位置５１３とボタン幅５１５から算出する（S１３７０）。
ボタンがディスプレイ１１１１の幅を水平方向に分割する比率a：ｂを、ビデオ幅５０２とボタンの中心の水平方向の位置とから算出する（S１３７５）。
【００６０】
加工部１１０は、図１１に示すパラメタをもとに、式（１）（２）から、ｌとｒとを求める。ここで、ｗ、ｄ、ｈ、ｖには、たとえば、それぞれ０．６、２、０．２、３４０（メートル単位）の数値とする。
加工部１１０は、グラフィックスコントローラ１０５から指定のあったサウンドIDが示すモノラルのサウンドデータをステレオサウンドのR（チャネル）のサウンドとしてそのまま出力し、Lのサウンドは、式（４）で強度の加工を施したサウンドを、式（３）で示す時間だけRに対して遅延させ（S１３８０）、ミキサ１６１に出力する（S１３８５）。
【００６１】
（実施の形態２）
実施の形態２は、実施の形態１で行なったボタンの水平方向の位置の定位の補正を行なう。
実施の形態２の構成は、実施の形態１と同じであり、加工部１１０の処理だけが異なる。
【００６２】
図１３（a）は、左右のスピーカがディスプレイから離れている場合のディスプレイとスピーカを正面からみた外観図であり、図１３（ｂ）は、ボタンの位置と定位する位置との関係を示す図である。
図１３（a）は、ディスプレイ１４０１、左スピーカ１４０２、右スピーカ１４０３、ディスプレイ１４０１に向かって右方に表示されたボタン１４０４を示し、ディスプレイ１４０１の幅はｗ、スピーカ間の距離はｓ、各スピーカはディスプレイ１４０１から等距離にあることを示している。ここでX軸１４１１の原点は、ディスプレイ１４０１の中心である。
【００６３】
実施の形態１では、図１１に示すように、画面の両端の位置にスピーカの中心線が設置されていると想定して、水平方向の定位を実現した。そのとき、たとえばディスプレイ１４０１の右端近くにボタンがある場合、定位は実際のボタンが表示されている位置より右スピーカ１４０３の側に寄り、実際に定位すべきボタンの位置から右にずれてしまう。
図１３（b）において、X軸は、ボタンのディスプレイでの水平方向の位置をピクセル単位で示し、Y軸は、図１３（a）のX軸上において、加工後のステレオサウンドが定位する位置をメートル単位で示している。
【００６４】
グラフ１４２２は、ボタンの定位が正しく行なわれていることを示しており、グラフ１４２１は、実施の形態１による定位を示す図である。なお、ｓがｗと等しい場合は、グラフ１４２１は、グラフ１４２２と同じとなる。
ボタンの位置とクリックサウンドの定位の位置のずれ１４１２は、加工部１１０が想定するスピーカの位置（ディスプレイの両端）と、実際のスピーカの位置のずれによって生じる。また、ディスプレイ１４０１の中央付近では、ボタンの表示位置と、クリックサウンドが定位する位置のずれは比較的小さいが、ボタンの表示位置が画面の両端に近いほど、そのずれが大きくなる。したがって、あらかじめスピーカの位置が画面から離れて設置されるものとして、加工部１１０が定位をするようにしてもよい。これは、グラフ１4２３で示したような定位をクリックサウンドに与えるようにすることで実現される。つまり、ボタンが画面の両端に近いほど、クリックサウンドの定位を、グラフ１４２１より内側になるように補正する。
【００６５】
この補正のためのグラフ１４２３を適用することにより、ずれの少ない、自然な定位を持ったクリックサウンドを出力することが可能となる。
（実施の形態３）
実施の形態３は、ボタンの垂直方向の位置に定位するようにモノラルサウンドを加工してステレオサウンドを作成し、出力する。
【００６６】
本実施の形態におけるサウンド加工装置の構成は、実施の形態１と同様であり、加工部１１０の処理だけが異なる。本実施の形態における加工部１１０はフィルタ処理を行なうので、まずフィルタについて述べる。
図１４は、実施の形態２において使用する各種フィルタの例を示す図である。
図１４（a）は、ハイパスフィルタ１５０１の一例である。ハイパスフィルタ１５０１は、周波数が略２KHｚ以上の周波数帯域の音の強度はそのままとし、略２KHｚ未満の音の強度を０Hzに近づくほど音の強度を減少させる。したがって、このフィルタ処理の結果、高音が主に出力される。
【００６７】
図１４（b）は、ローパスフィルタ１５１１の一例である。ローパスフィルタ１５１１は、ハイパスフィルタ１５０１とは逆に、周波数が略２KHｚ以上の周波数帯域の音の強度を、周波数が20ＫHzに近づくほど減少させ、略２KHｚ未満の音の強度をそのままとする。したがって、このフィルタ処理の結果、低音が主に出力される。
本実施の形態の加工部１１０は、グラフィックスコントローラ１０５から、UO１７０により操作されたボタンのボタンIDと、そのボタンに対応付けられたサウンドIDとを受け取ると、表示情報バッファ１０２に格納されているビデオ高５０２と、当該ボタンIDのボタンの垂直位置５１４とボタン高５１６とを読み出す。そして、ボタンの中心の垂直方向の位置を、ボタンの垂直位置５１４にボタン高５１６の半分の値を加算することにより算出する。
【００６８】
ボタンの中心の垂直方向の位置がボタン高５１６の半分以下の値のとき、ボタンは画面の上半面にあり、ボタンの中心の垂直方向の位置がボタン高５１６の半分以上の値のとき、ボタンは画面の下半面にある。
本実施の形態では、加工部１１０は、ボタンが画面の上半面にあるとき、ボタンに対応するモノラルサウンドに対しハイパスフィルタ１５０１で処理し、下半面にあるとき、ボタンに対応するモノラルサウンドに対しローパスフィルタ１５０２で処理することにより、ボタンの垂直方向の位置、つまりディスプレイ画面の上半分または下半分に応じた印象を与えるクリックサウンドを出力するようにする。
【００６９】
また、上記の変形例として、ボタンが上半面にあるとき、ハイパスフィルタ１５０１のかわりに、図１４（ｃ）のハイパスフィルタ１５２１を使用して、略２KHｚ以上の高帯域の音の強度をさらに増加させるようにしてもよい。同様に、ボタンが下半面にあるとき、ローパスフィルタ１５１１のかわりに、図１４（ｃ）のローパスフィルタ１５２１を使用して、略２KHｚ未満の低帯域の音の強度をさらに増加させるようにしてもよい。
【００７０】
上記で述べた４種類のフィルタは、いずれも略２KHｚを高帯域と低帯域の境界値としたが、この値は略２KHｚからr略３KHｚの範囲で可変であり、たとえば略３KHｚとしてもよい。
また、フィルタ処理の対象となるサウンドを、モノラルサウンドとしたが、実施の形態１で加工された左右のステレオサウンドとして、水平方向の定位もあわせて行なうようにしてもよい。
【００７１】
（実施の形態４）
実施の形態４は、実施の形態１の構成に、さらにディスプレイの幅（ｍ単位）とスピーカ間距離を構成情報として追加し、サウンド加工時に参照して、ボタンの水平方向における音源の定位の精度を上げるようにしている。
図１５は、実施の形態４の構成を示す図である。
【００７２】
本実施の形態におけるサウンド加工装置１６００の構成は、構成情報バッファ１６１１と加工部１６３０とが実施の形態１と異なる。
以下では、実施の形態１との相違点だけ述べる。
図１６(a)は、構成情報バッファ１６１１の例を示す図である。
図１６(a)において、構成情報バッファ１６１１は、ディスプレイ幅１６１２、左右のスピーカ間距離１６１３からなる構成情報を格納している。構成情報バッファ１７０１への構成情報の書き込みは、前以って専用のツールにより行なう。
【００７３】
図１６(b)は、構成情報バッファ１６１１の例で示した数値をもとにディスプレイ１１１１、左スピーカ１１１２、右スピーカ１１１３を、図１１と同様に示した図である。これらの図の相違点は、図１１では、スピーカ間距離１７１３が、ディスプレイ１１１１の幅と同じであるが、図１６(b)では指定値としている。
図１６(b)におけるボタン１１１４が、ディスプレイ幅ｗをa:bに分割する位置にあるとする。ディスプレイ幅をｗ、スピーカ間距離をｓとし、各スピーカはディスプレイの中心から等距離にあるとする。
【００７４】
ボタン１１１４が、スピーカ間をｍ：ｎに分割するとすると、ｍ：ｎは図１６（ｂ）に示すように
m:n = （（ｓ−ｗ）/２＋aw/（a＋b）） ： （（ｓ−ｗ）/２＋ｂw/（a＋b））
となり、ｍ、ｎは既知の値であるa,b,w,sにより算出できる。
式（３）で示す「Lの遅延時間」等の算出の際の前提である図１１で示した分割比率a:bは、実際にはスピーカ間の分割比率である。
【００７５】
したがって、加工部１６３０は、構成情報バッファ１６１１の構成情報を読み出して、ｍ：ｎを算出する。そして、式（１）と（２）のaに上記で得たmの値を、またbにnの値をそれぞれ代入し、残った変数ｄ、ｌ、ｒについては実施の形態１と同様な値を代入して、式（３）と（４）からLの遅延時間とLの音の強度とを得る。
左右のスピーカが、ディスプレイの両端から離れている場合、図１３で示したような、実施の形態１による定位のずれ１４１２、あるいは実施の形態２で示した補正の必要がなくなり、ボタンの水平方向の位置への定位が精度高く実現できる。
【００７６】
以上、本発明を４つの実施の形態に基づいて説明してきたが、本発明は、それらに限定されないのはもちろんである。以下のような場合も本発明に含まれる。
実施の形態１では、表示情報バッファ１０２に、垂直方向の情報、たとえばビデオ高、ボタンの垂直位置、ボタン高も格納するとしたが、これらは実施の形態１だけでなく、実施の形態３，４においてはなくてもよい。逆に実施の形態２では、垂直方向の情報だけ格納するようにしてもよい。
【００７７】
また、実施の形態では、定位するボタンの位置を、ボタンの中心の位置としたが、たとえばボタン幅がビデオ幅に対して所定の比率以下の時、たとえば５％以下のとき、ボタンの矩形領域の角、たとえば左上角の位置としてもよい。
ステレオサウンドのLの遅延、音の強度の設定を式（３）、（４）に基づいて行ったが、これらの式に限定されるものではないのは勿論であり、実験等から得られた式を適用してもよい。
【００７８】
本発明の制御方法を、コンピュータシステムを用いて実現するためのコンピュータプログラムであるとしてもよいし、前記プログラムを表すデジタル信号であるとしてもよい。
また、本発明は、前記プログラム又は前記デジタル信号を記録したコンピュータ読取り可能な記録媒体、例えば半導体メモリ等であるとしてもよい。
また、本発明は、電気通信回線、無線又は有線通信回線、若しくはインターネットに代表されるネットワーク等を経由して伝送される前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。
【産業上の利用可能性】
【００７９】
本発明に係るサウンド加工装置は、再生機器に付属する装置として映画産業や再生機器の産業において高い利用可能性をもつ。
【図面の簡単な説明】
【００８０】
【図１】実施の形態１のサウンド加工装置の構成を示す図である。
【図２】上記実施の形態の再生装置を含む再生システムを示す図である。
【図３】BD-ROMの構成を示す図である。
【図４】サウンドデータの内容を示す図である。
【図５】上記実施の形態の定位情報バッファの内容を示す図である。
【図６】上記実施の形態の画面とボタンとの関係を示す図である。
【図７】上記実施の形態のAVクリップの内容を示す図である。
【図８】上記実施の形態のICSの内容を示す図である。
【図９】上記実施の形態のODSの内容を示す図である。
【図１０】上記実施の形態のボタンの表示とリモコンの一例を示す図である。
【図１１】上記実施の形態のサウンドの加工のパラメタを示す図である。
【図１２】上記実施の形態のサウンド加工装置の動作を示すフローチャートである。
【図１３】実施の形態２の画面の表示位置と定位位置の関係を示す図である。
【図１４】実施の形態３のフィルタの例を示す図である。
【図１５】実施の形態４のサウンド加工装置の構成を示す図である。
【図１６】上記実施の形態の追加定位情報バッファの内容を示す図である。
【符号の説明】
【００８１】
１００ サウンド加工装置
１０１ サウンドバッファ（Sound ｂuffer）
１０２ 表示情報バッファ
１０５ グラフィックスコントローラ(Graphics ｃontroller)
１１０ 加工部
１２０ サウンドデータ（Sound ｄata）
１２１ MPEG-2TSパケット(MPEG-2 Transport Stream Packet)
１２２ PIDフィルタ(PID Filter)
１２３-１２６ トランスポートバッファ（TB: Transport Buffer）
１３０ プレゼンテーショングラフィックスデコーダ(Presentation Graphics Decoder)
１３１ プレゼンテーショングラフィックスプレーン(Presentation Graphics Plane)
１３２ CLUT（Color LookUp Table:色参照テーブル）
１４０ ビデオデコーダ(Video Decoder)
１４１ ビデオプレーン(Video Plane)
１５０ インタラクティブグラフィックスデコーダ(Interactive Graphics Decoder)
１５１ インタラクティブグラフィックスプレーン((Interactive Graphics Plane)
１５２ CLUT
１５３ コーディッドデータバッファ（EB: Coded Data Buffer）
１５４ ストリームグラフィックスプロセッサ(Stream Graphics Processor)
１５５ コンポジションバッファ（CB: Composition Buffer）
１５６ 復号オブジェクトバッファ（Decoded Object Buffer）
１６０ オーディオデコーダ(Audio Decoder)
１６１ ミキサ(audio Mixer)
２１０ ＢＤ−ＲＯＭ
２２０ 再生装置(Playback unit)
２３０ テレビ(TV)
２４０ リモコン(Remote Controller)
３０１ ＢＤ−ＲＯＭの構成
８０１ ICS(Interactive Composition Segment)
９０１ ODS(Object Definition Segment)
【出願人】 【識別番号】０００００５８２１
【氏名又は名称】松下電器産業株式会社
【住所又は居所】大阪府門真市大字門真１００６番地
【出願日】 平成１７年３月２日（２００５．３．２）
【代理人】 【識別番号】１０００９０４４６
【弁理士】
【氏名又は名称】中島 司朗
【公開番号】 特開２００６−２４５９３６（Ｐ２００６−２４５９３６Ａ）
【公開日】 平成１８年９月１４日（２００６．９．１４）
【出願番号】 特願２００５−５７８７６（Ｐ２００５−５７８７６）