トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 エンコード装置、エンコード方法、プログラム、記録媒体、および記録媒体製造方法
【発明者】 【氏名】水野 博志

【氏名】石居 俊之
【要約】 【課題】２パスエンコード方式によるエンコード処理で、簡単に良好な画質の映像を得ることができるようにする。

【構成】エンコード処理１０１で、入力ビデオデータＤ１が固定された量子化ステップでエンコードされる。決定処理１０２で、ピクチャ毎の目標データ量として、目標データ量が、発生データ量と略比例し、目標データ量の総和が一定の容量となるように、目標データ量が決定される。エンコード処理１０３で、入力ビデオデータＤ１が所定の量子化ステップでエンコードされるが、ここでの量子化ステップは、決定された各目標データ量が発生する量子化ステップとされる。評価処理１０４では、エンコード処理１０３が施されたビデオデータＤ２の画質が評価され、ビデオデータＤ２の画質が劣化している部分が特定され、その部分が、新たな目標データ量に基づいて再エンコードされる。本発明はオーサリング装置に適用することができる。
【特許請求の範囲】
【請求項１】
入力映像信号を、可変レートでエンコードするエンコード装置において、
所定の符号化パラメータを用いて、前記入力映像信号をエンコードする第１エンコード手段と、
前記入力映像信号を構成する所定の映像単位の映像信号毎の目標データ量を、第１のエンコード手段によるエンコードにより発生したデータ量と略比例し、かつ、それぞれの目標データ量の総和が所定の容量となるように決定する決定手段と、
前記決定手段により決定された前記目標データに基づいた符号化パラメータを用いて、前記入力映像信号をエンコードする第２のエンコード手段と、
前記映像単位の映像信号毎に、前記第２のエンコード手段によりエンコードされた前記入力映像信号に基づく映像の画質を評価する評価手段と
を備え、
前記評価手段は、
前記映像単位の映像信号毎に、前記第２のエンコード手段によりエンコードされた前記入力映像信号を復号し、その結果得られた復号映像信号と、エンコード前の前記入力映像信号との差異を表す歪み係数を算出する第１の算出手段と、
前記映像単位の映像信号に対応する映像の複雑さを表す複雑さ係数を算出する第２の算出手段と、
前記映像単位の映像信号毎に、前記歪み係数と前記複雑さ係数に基づいて、前記復号映像信号に対応する映像の画質の状態を表す歪み指標を算出する第３の算出手段と、
前記歪み指標に基づいて、画質が劣化している区間を特定する特定手段と
を備え、
前記決定手段は、前記特定手段により特定された前記区間に存在する前記映像単位の映像信号の前記目標データ量を調整し、
前記第２のエンコード手段は、前記特定手段により特定された前記区間を、前記決定手段により調整された前記目標データ量に基づいた符号化パラメータを用いてエンコードする
エンコード装置。
【請求項２】
前記目標データの調整量を選択できる選択画面を表示する表示制御手段と
をさらに備え、
前記決定手段は、前記選択画面で選択された調整量だけ前記目標データ量を増加させる
請求項１に記載のエンコード装置。
【請求項３】
前記複雑さ係数は、複雑さ係数が算出されるフレームと、そのフレームの１つ前のフレームの予測誤差の絶対値誤差和、発生ビットレートに量子化パラメータの値を乗算して結果得られた値に対応する値である
請求項１に記載のエンコード装置。
【請求項４】
入力映像信号を、可変レートでエンコードするエンコード方法において、
所定の符号化パラメータを用いて、前記入力映像信号をエンコードする第１エンコードステップと、
前記入力映像信号を構成する所定の映像単位の映像信号毎の目標データ量を、第１のエンコードステップでのエンコードにより発生したデータ量と略比例し、かつ、それぞれの目標データ量の総和が所定の容量となるように決定する決定ステップと、
前記決定ステップの処理で決定された前記目標データに基づいた符号化パラメータを用いて、前記入力映像信号をエンコードする第２のエンコードステップと、
前記映像単位の映像信号毎に、前記第２のエンコードステップでエンコードされた前記入力映像信号に基づく映像の画質を評価する評価ステップと
を含み、
前記評価ステップは、
前記映像単位の映像信号毎に、前記第２のエンコードステップでエンコードされた前記入力映像信号を復号し、その結果得られた復号映像信号と、エンコード前の前記入力映像信号との差異を表す歪み係数を算出する第１の算出ステップと、
前記映像単位の映像信号に対応する映像の複雑さを表す複雑さ係数を算出する第２の算出ステップと、
前記映像単位の映像信号毎に、前記歪み係数と前記複雑さ係数に基づいて、前記復号映像信号に対応する映像の画質の状態を表す歪み指標を算出する第３の算出ステップと、
前記歪み指標に基づいて、画質が劣化している区間を特定する特定ステップと
を含み、
前記決定ステップは、前記特定ステップの処理で特定された前記区間に存在する前記映像単位の映像信号の前記目標データ量を調整し、
前記第２のエンコードステップは、前記特定ステップの処理で特定された前記区間を、前記決定ステップの処理で調整された前記目標データ量に基づいた符号化パラメータを用いてエンコードする
エンコード方法。
【請求項５】
入力映像信号を、可変レートでエンコードするエンコード処理をコンピュータに実行させるプログラムにおいて、
所定の符号化パラメータを用いて、前記入力映像信号をエンコードする第１エンコードステップと、
前記入力映像信号を構成する所定の映像単位の映像信号毎の目標データ量を、第１のエンコードステップでのエンコードにより発生したデータ量と略比例し、かつ、それぞれの目標データ量の総和が所定の容量となるように決定する決定ステップと、
前記決定ステップの処理で決定された前記目標データに基づいた符号化パラメータを用いて、前記入力映像信号をエンコードする第２のエンコードステップと、
前記映像単位の映像信号毎に、前記第２のエンコードステップでエンコードされた前記入力映像信号に基づく映像の画質を評価する評価ステップと
を含み、
前記評価ステップは、
前記映像単位の映像信号毎に、前記第２のエンコードステップでエンコードされた前記入力映像信号を復号し、その結果得られた復号映像信号と、エンコード前の前記入力映像信号との差異を表す歪み係数を算出する第１の算出ステップと、
前記映像単位の映像信号に対応する映像の複雑さを表す複雑さ係数を算出する第２の算出ステップと、
前記映像単位の映像信号毎に、前記歪み係数と前記複雑さ係数に基づいて、前記復号映像信号に対応する映像の画質の状態を表す歪み指標を算出する第３の算出ステップと、
前記歪み指標に基づいて、画質が劣化している区間を特定する特定ステップと
を含み、
前記決定ステップは、前記特定ステップの処理で特定された前記区間に存在する前記映像単位の映像信号の前記目標データ量を調整し、
前記第２のエンコードステップは、前記特定ステップの処理で特定された前記区間を、前記決定ステップの処理で調整された前記目標データ量に基づいた符号化パラメータを用いてエンコードする
エンコード処理をコンピュータに実行させるプログラム。
【請求項６】
所定の符号化パラメータを用いて、入力映像信号がエンコードされ、
前記入力映像信号を構成する所定の映像単位の映像信号毎の目標データ量が、前記所定の符号化パラメータを用いたエンコードにより発生したデータ量と略比例し、かつ、それぞれの目標データ量の総和が所定の容量となるように決定され、
決定された前記目標データに基づいた符号化パラメータを用いて、前記入力映像信号がエンコードされ、
前記映像単位の映像信号毎に、決定された前記目標データに基づいた符号化パラメータを用いてエンコードされた前記入力映像信号に基づく映像の画質が評価され、
その評価結果に基づいて画質が劣化している区間であると特定された区間が、調整された前記目標データ量に基づいた符号化パラメータを用いて再度エンコードされた前記入力映像信号を記録する記録媒体。
【請求項７】
所定の符号化パラメータを用いて、入力映像信号がエンコードされ、
前記入力映像信号を構成する所定の映像単位の映像信号毎の目標データ量が、前記所定の符号化パラメータを用いたエンコードにより発生したデータ量と略比例し、かつ、それぞれの目標データ量の総和が所定の容量となるように決定され、
決定された前記目標データに基づいた符号化パラメータを用いて、前記入力映像信号がエンコードされ、
前記映像単位の映像信号毎に、決定された前記目標データに基づいた符号化パラメータを用いてエンコードされた前記入力映像信号に基づく映像の画質が評価され、
その評価結果に基づいて画質が劣化している区間であると特定された区間が、調整された前記目標データ量に基づいた符号化パラメータを用いて再度エンコードされた前記入力映像信号を入力する入力ステップと、
前記入力されたエンコードされた前記入力映像信号を記録媒体に記録する記録ステップと
を含む記録媒体製造方法。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、エンコード装置、エンコード方法、プログラム、記録媒体、および記録媒体製造方法に関し、２パスエンコード方式によるエンコード処理により、良好な画質の画像を容易に得ることができるようにするエンコード装置、エンコード方法、プログラム、記録媒体、および記録媒体製造方法に関する。
【背景技術】
【０００２】
光ディスク等のパッケージメディアを作成するために、各種メディアに記録するビデオデータやオーディオデータ等の素材を、データ圧縮するオーサリング装置が存在する。
【０００３】
このオーサリング装置におけるビデオデータの圧縮手法として、例えばMPEG（Moving Picture Expert Group）の規格に準拠して、入力素材を一旦固定の量子化ステップでエンコードし、そのとき発生する符号量（すなわち、データ量）などのデータに基づいて本番のエンコード時に発生する目標データ量を決定し、その目標データ量が発生する量子化ステップで本番のエンコードを行うという、２パスエンコードと呼ばれる方式がある（特許文献１参照）。
【０００４】
図１には、この２パスエンコード方式によるエンコード処理の概要が図示されている。
【０００５】
すなわち第１パス目のエンコード処理１により、例えば、直交基底変換の１種である離散コサイン変換された入力ビデオデータＤ１が固定の量子化ステップで量子化されて、フレーム内圧縮及びフレーム間圧縮が行われる。
【０００６】
目標データ量決定処理２により、例えば、フレーム毎の目標データ量として、目標データ量が、第１パス目のエンコード処理１により発生した符号量（すなわち、データ量）と略比例し、かつ、それぞれの目標データ量の総和が図示せぬ記録媒体(例えば、光ディスク）の総容量となるように、目標データ量が決定される。
【０００７】
そして第２パス目のエンコード処理３により、第１パス目のエンコード処理１と同様に離散コサイン変換された入力ビデオデータＤ１の各フレームが、目標データ量決定処理２で決定された各目標データ量が発生する量子化ステップで量子化されて、フレーム内圧縮及びフレーム間圧縮が行われる。
【０００８】
第２パス目のエンコード処理３の結果得られたビデオデータＤ２が図示せぬ記録媒体に記録される。
【０００９】
フレーム間符号化では、動きの激しい部分において予測フレームからの予測誤差が大きくなり、その分、画質劣化を低減するために多くのデータ量が必要となる。またフレーム内符号化では、高周波数成分が多い場合に、離散コサイン変換処理により高次の係数データが発生することにより、その分、画質劣化を低減するために多くのデータ量が必要となる。
【００１０】
一定の値に固定された量子化ステップで行われる第１パス目のエンコード処理１により、このように画質劣化を低減するために多くのデータ量を要する部分からは多くのデータ量が発生する。従って第１パス目のエンコード処理１で発生するデータ量は、各フレームの符号化の難易度を表しており、目標データ量決定処理２で、その難易度に基づいてデータ量を配分して目標データ量を決定し、第２パス目のエンコード処理３で、その目標データ量の符号が発生するように入力ビデオデータＤ１をエンコードすることにより、効率的に入力ビデオエンコードＤ１を符号化することができる。
【特許文献１】特開平10-66067号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述したように符号化の難易度に応じてデータ量を分配してエンコードを行っても、その配分の結果と人間の視覚特定が完全に対応しない場合があり、２パスエンコード方式で符号化された画像を復号して表示してみると、画質が劣化して見える場合がある。
【００１２】
そこで、従来では、第２パス目のエンコード処理３により得られたビデオデータＤ２を復号して表示して、オペレータが見て画質評価を行い、画質劣化が認められた場合には、その区間の各フレームの目標データ量をオペレータが調整し、再度その目標データ量でその区間をエンコードすることが行われる。
【００１３】
すなわち従来の方法では、２パスエンコード方式で良好な画質を得るには、オペレータによる画質評価および目標データ量の調整が必要となり、手間や時間がかかる等の問題があった。
【００１４】
また特に、ISO/IEC 14496-10で規格化されたAVC（advanced video coding）を使ったデータ圧縮は、符号化に関する計算処理が多岐に及ぶため、エンコードに多くの時間を要するので、従来の２パスエンコード方式によるデータ圧縮では、オペレータを長時間拘束することとなる。
【００１５】
本発明は、このような状況に鑑みてなされたものであり、２パスエンコード方式によるエンコード処理により、良好な画質の映像を容易に得ることができるようにするものである。
【課題を解決するための手段】
【００１６】
本発明の第１の側面のエンコード装置は、入力映像信号を、可変レートでエンコードするエンコード装置において、所定の符号化パラメータを用いて、前記入力映像信号をエンコードする第１エンコード手段と、前記入力映像信号を構成する所定の映像単位の映像信号毎の目標データ量を、第１のエンコード手段によるエンコードにより発生したデータ量と略比例し、かつ、それぞれの目標データ量の総和が所定の容量となるように決定する決定手段と、前記決定手段により決定された前記目標データに基づいた符号化パラメータを用いて、前記入力映像信号をエンコードする第２のエンコード手段と、前記映像単位の映像信号毎に、前記第２のエンコード手段によりエンコードされた前記入力映像信号に基づく映像の画質を評価する評価手段とを備え、前記評価手段は、前記映像単位の映像信号毎に、前記第２のエンコード手段によりエンコードされた前記入力映像信号を復号し、その結果得られた復号映像信号と、エンコード前の前記入力映像信号との差異を表す歪み係数を算出する第１の算出手段と、前記映像単位の映像信号に対応する映像の複雑さを表す複雑さ係数を算出する第２の算出手段と、前記映像単位の映像信号毎に、前記歪み係数と前記複雑さ係数に基づいて、前記復号映像信号に対応する映像の画質の状態を表す歪み指標を算出する第３の算出手段と、前記歪み指標に基づいて、画質が劣化している区間を特定する特定手段とを備え、前記決定手段は、前記特定手段により特定された前記区間に存在する前記映像単位の映像信号の前記目標データ量を調整し、前記第２のエンコード手段は、前記特定手段により特定された前記区間を、前記決定手段により調整された前記目標データ量に基づいた符号化パラメータを用いてエンコードする。
【００１７】
前記目標データの調整量を選択できる選択画面を表示する表示制御手段とをさらに設け、
前記決定手段は、前記選択画面で選択された調整量だけ前記目標データ量を増加させることができる。
【００１８】
前記複雑さ係数は、複雑さ係数が算出されるフレームと、そのフレームの１つ前のフレームの予測誤差の絶対値誤差和、発生ビットレートに量子化パラメータの値を乗算して結果得られた値に対応する値であるようにすることができる。
【００１９】
本発明の第１の側面のエンコード方法、またはプログラムは、入力映像信号を、可変レートでエンコードするエンコード方法において、または入力映像信号を、可変レートでエンコードするエンコード処理をコンピュータに実行させるプログラムにおいて、所定の符号化パラメータを用いて、前記入力映像信号をエンコードする第１エンコードステップと、前記入力映像信号を構成する所定の映像単位の映像信号毎の目標データ量を、第１のエンコードステップでのエンコードにより発生したデータ量と略比例し、かつ、それぞれの目標データ量の総和が所定の容量となるように決定する決定ステップと、前記決定ステップの処理で決定された前記目標データに基づいた符号化パラメータを用いて、前記入力映像信号をエンコードする第２のエンコードステップと、前記映像単位の映像信号毎に、前記第２のエンコードステップでエンコードされた前記入力映像信号に基づく映像の画質を評価する評価ステップとを含み、前記評価ステップは、前記映像単位の映像信号毎に、前記第２のエンコードステップでエンコードされた前記入力映像信号を復号し、その結果得られた復号映像信号と、エンコード前の前記入力映像信号との差異を表す歪み係数を算出する第１の算出ステップと、前記映像単位の映像信号に対応する映像の複雑さを表す複雑さ係数を算出する第２の算出ステップと、前記映像単位の映像信号毎に、前記歪み係数と前記複雑さ係数に基づいて、前記復号映像信号に対応する映像の画質の状態を表す歪み指標を算出する第３の算出ステップと、前記歪み指標に基づいて、画質が劣化している区間を特定する特定ステップとを含み、前記決定ステップは、前記特定ステップの処理で特定された前記区間に存在する前記映像単位の映像信号の前記目標データ量を調整し、前記第２のエンコードステップは、前記特定ステップの処理で特定された前記区間を、前記決定ステップの処理で調整された前記目標データ量に基づいた符号化パラメータを用いてエンコードする。
【００２０】
本発明の第１の側面のエンコード装置、エンコード方法、またはプログラムにおいては、所定の符号化パラメータを用いて、前記入力映像信号がエンコードされ、前記入力映像信号を構成する所定の映像単位の映像信号毎の目標データ量が、エンコードにより発生したデータ量と略比例し、かつ、それぞれの目標データ量の総和が所定の容量となるように決定され、決定された前記目標データに基づいた符号化パラメータを用いて、前記入力映像信号がエンコードされ、前記映像単位の映像信号毎に、目標データ量に基づいてエンコードされた前記入力映像信号に基づく映像の画質が評価され、前記映像単位の映像信号毎に、目標データ量に基づいてエンコードされた前記入力映像信号を復号し、その結果得られた復号映像信号と、エンコード前の前記入力映像信号との差異を表す歪み係数が算出され、前記映像単位の映像信号に対応する映像の複雑さを表す複雑さ係数が算出され、前記映像単位の映像信号毎に、前記歪み係数と前記複雑さ係数に基づいて、前記復号映像信号に対応する映像の画質の状態を表す歪み指標が算出され、前記歪み指標に基づいて、画質が劣化している区間が特定され、特定された前記区間に存在する前記映像単位の映像信号の前記目標データ量が調整され、特定された前記区間が、調整された前記目標データ量に基づいた符号化パラメータを用いてエンコードされる。
【００２１】
本発明の第２の側面の記録媒体は、所定の符号化パラメータを用いて、入力映像信号がエンコードされ、前記入力映像信号を構成する所定の映像単位の映像信号毎の目標データ量が、前記所定の符号化パラメータを用いたエンコードにより発生したデータ量と略比例し、かつ、それぞれの目標データ量の総和が所定の容量となるように決定され、決定された前記目標データに基づいた符号化パラメータを用いて、前記入力映像信号がエンコードされ、前記映像単位の映像信号毎に、決定された前記目標データに基づいた符号化パラメータを用いてエンコードされた前記入力映像信号に基づく映像の画質が評価され、その評価結果に基づいて画質が劣化している区間であると特定された区間が、調整された前記目標データ量に基づいた符号化パラメータを用いて再度エンコードされた前記入力映像信号が記録される。
【００２２】
本発明の第３の側面の記録媒体製造方法は、所定の符号化パラメータを用いて、入力映像信号がエンコードされ、前記入力映像信号を構成する所定の映像単位の映像信号毎の目標データ量が、前記所定の符号化パラメータを用いたエンコードにより発生したデータ量と略比例し、かつ、それぞれの目標データ量の総和が所定の容量となるように決定され、決定された前記目標データに基づいた符号化パラメータを用いて、前記入力映像信号がエンコードされ、前記映像単位の映像信号毎に、決定された前記目標データに基づいた符号化パラメータを用いてエンコードされた前記入力映像信号に基づく映像の画質が評価され、その評価結果に基づいて画質が劣化している区間であると特定された区間が、調整された前記目標データ量に基づいた符号化パラメータを用いて再度エンコードされた前記入力映像信号を入力する入力ステップと、前記入力されたエンコードされた前記入力映像信号を記録媒体に記録する記録ステップとを含む。
【００２３】
本発明の第３の側面の記録媒体製造方法においては、所定の符号化パラメータを用いて、入力映像信号がエンコードされ、前記入力映像信号を構成する所定の映像単位の映像信号毎の目標データ量が、前記所定の符号化パラメータを用いたエンコードにより発生したデータ量と略比例し、かつ、それぞれの目標データ量の総和が所定の容量となるように決定され、決定された前記目標データに基づいた符号化パラメータを用いて、前記入力映像信号がエンコードされ、前記映像単位の映像信号毎に、決定された前記目標データに基づいた符号化パラメータを用いてエンコードされた前記入力映像信号に基づく映像の画質が評価され、その評価結果に基づいて画質が劣化している区間であると特定された区間が、調整された前記目標データ量に基づいた符号化パラメータを用いて再度エンコードされた前記入力映像信号が入力され、前記入力されたエンコードされた前記入力映像信号が記録媒体に記録される。
【発明の効果】
【００２４】
本発明に第１乃至第３の側面によれば、２パスエンコード方式によるエンコード処理により、良好な画質の映像を容易に得ることができ、またそのような映像を記録することができる。
【発明を実施するための最良の形態】
【００２５】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２６】
本発明の第１の側面のエンコード装置は、
入力映像信号を、可変レートでエンコードするエンコード装置（例えば、図２のビデオ信号処理装置２４）において、
所定の符号化パラメータを用いて、前記入力映像信号をエンコードする第１エンコード手段（例えば、図５の第１パス目のエンコード処理１０１を行う図４のAVCコントロール９３とAVCエンコーダ９４）と、
前記入力映像信号を構成する所定の映像単位の映像信号毎の目標データ量を、第１のエンコード手段によるエンコードにより発生したデータ量と略比例し、かつ、それぞれの目標データ量の総和が所定の容量となるように決定する決定手段（例えば、図５の目標データ量決定処理１０２を行う図４のエンコードマネージャ９２）と、
前記決定手段により決定された前記目標データに基づいた符号化パラメータを用いて、前記入力映像信号をエンコードする第２のエンコード手段（例えば、図５の第２パス目のエンコード処理１０１を行う図４のAVCコントロール９３とAVCエンコーダ９４）と、
前記映像単位の映像信号毎に、前記第２のエンコード手段によりエンコードされた前記入力映像信号に基づく映像の画質を評価する評価手段段（例えば、図５の目標データ量決定処理１０２を行う図４のエンコードマネージャ９２）と
を備え、
前記評価手段は、
前記映像単位の映像信号毎に、前記第２のエンコード手段によりエンコードされた前記入力映像信号を復号し、その結果得られた復号映像信号と、エンコード前の前記入力映像信号との差異を表す歪み係数（例えば、歪み係数DIST）を算出する第１の算出手段（例えば、図７のステップＳ１１）と、
前記映像単位の映像信号に対応する映像の複雑さを表す複雑さ係数（例えば、複雑さ係数Ｑ）を算出する第２の算出手段（例えば、図７のステップＳ１２）と、
前記映像単位の映像信号毎に、前記歪み係数と前記複雑さ係数に基づいて、前記復号映像信号に対応する映像の画質の状態を表す歪み指標（例えば、歪み指標Ｗ）を算出する第３の算出手段（例えば、図７のステップＳ１３）と、
前記歪み指標に基づいて、画質が劣化している区間を特定する特定手段（例えば、図７のステップＳ１４およびステップＳ１５）と
を備え、
前記決定手段は、前記特定手段により特定された前記区間に存在する前記映像単位の映像信号の前記目標データ量を調整し、
前記第２のエンコード手段は、前記特定手段により特定された前記区間を、前記決定手段により調整された前記目標データ量に基づいた符号化パラメータを用いてエンコードする。
【００２７】
前記目標データの調整量を選択できる選択画面（例えば、図９）を表示する表示制御手段（例えば、図４のGUI９１）と
をさらに備え、
前記決定手段は、前記選択画面で選択された調整量だけ前記目標データ量を増加させることができる。
【００２８】
本発明の第２の側面の記録媒体は、
所定の符号化パラメータを用いて、入力映像信号がエンコードされ、
前記入力映像信号を構成する所定の映像単位の映像信号毎の目標データ量が、所定の符号化パラメータを用いたエンコードにより発生したデータ量と略比例し、かつ、それぞれの目標データ量の総和が所定の容量となるように決定され、
決定された前記目標データに基づいた符号化パラメータを用いて、前記入力映像信号がエンコードされ、
前記映像単位の映像信号毎に、決定された前記目標データに基づいた符号化パラメータを用いてエンコードされた前記入力映像信号に基づく映像の画質が評価され、
その評価結果に基づいて画質が劣化している区間であると特定された区間が、調整された前記目標データ量に基づいた符号化パラメータを用いて再度エンコードされた前記入力映像信号を記録する記録媒体（例えば、図３のマスタディスク６４）。
【００２９】
図２は、本発明を適用したオーサリング装置１１の構成例を示している。オーサリング装置１１は、メニュー信号処理装置２１乃至オーサリングアプリケーション２８が、ネットワーク３０を介して相互に接続されている構成を有し、後述する光ディスク等のマスタディスク６４（図３）に記録される多重ストリームを生成し、出力部２９を介して出力する。
【００３０】
メニュー信号処理装置２１は、オーサリングアプリケーション２８による制御に従って、図示せぬビデオテープレコーダ等より供給されるメニュー画面のビデオデータをエンコード処理し、その結果得られるビデオデータをネットワーク３０を介してファイルサーバ２７に供給して格納する。
【００３１】
タイトル信号処理装置２２は、オーサリングアプリケーション２８による制御に従って、図示せぬビデオテープレコーダより供給されるタイトル等のビデオデータをエンコード処理し、その結果得られたビデオデータをネットワーク３０を介してファイルサーバ２７に供給して格納する。
【００３２】
オーディオ信号処理装置２３は、オーサリングアプリケーション２８による制御に従って、図示せぬテープレコーダより供給されるオーディオデータをエンコード処理し、その結果得られたオーディオデータをファイルサーバ２７に供給して格納する。
【００３３】
ビデオ信号処理装置２４は、オーサリングアプリケーション２８による制御に従って、後述するように、マスタディスク６４に主として記録されるコンテンツのビデオデータをエンコード処理し、その結果得られたビデオデータをネットワーク３０を介してファイルサーバ２７に供給して格納する。
【００３４】
マルチプレクサ２５は、オーサリングアプリケーション２８による制御に従って、エンコード処理されてファイルサーバ２７に記憶されているビデオデータ等について、これらビデオデータ等による多重ストリーム作成用のファイルを作成し、多重ストリームを生成する。
【００３５】
ダウンローダ２６は、外部とのインタフェースとしての出力部２９を介して、マルチプレクサ２５により作成された多重ストリームファイルを、外部に出力する。
【００３６】
例えば、出力部２９が磁気テープ（例えば、デジタルリニアテープ等）やHDDに接続されている場合、多重ストリームは、その磁気テープやHDDに記録される。この場合、その磁気テープ等によって、エンコードされたビデオデータ等が後述するマスタディスク６４を作成するオーサリング装置５１（図３）に提供される。
【００３７】
また出力部２９がマスタディスク６４を作成するオーサリング装置５１とネットワーク（図示せず）を介して接続されている場合、作成された多重ストリームは、そのネットワークを介してオーサリング装置５１に提供される。
【００３８】
ファイルサーバ２７は、ネットワーク管理機能をもつコンピュータと高速アクセス可能なディスクアレイにより構成され、ビデオ信号処理装置２４等によりデータ圧縮されたビデオデータ等を記憶し、またマルチプレクサ２５等の要求に応動して保持したデータを出力する。
【００３９】
オーサリングアプリケーション２８は、このオーサリング装置１１全体の動作を制御するコンピュータにより構成され、オペレータの設定した条件に従って各装置の動作を制御する。
【００４０】
図３は、図２のオーサリング装置１１により生成された多重ストリームを記録媒体（図３の例では、マスタディスク６４）に記録するオーサリング装置５１の構成例を示している。
【００４１】
オーサリング装置１１により作成された多重ストリームは、磁気テープ等の記録媒体やネットワークを介してオーサリング装置５１に供給され、そのディスクイメージデータが、プリマスタリング６１に入力される。
【００４２】
プリマスタリング６１には、さらに、外部から与えられたコピープロテクションデータが入力され、プリマスタリング６１は、そのコピープロテクションデータを用いてディスクイメージデータを暗号化して、フォーマッタ６２に出力する。
【００４３】
フォーマッタ６２は、プリマスタリング６２から供給された暗号化されたディスクイメージデータに対して、信号のレベル変換などの処理を施し、カッティング装置６３に出力する。カッティング装置６３は、フォーマッタ６２から送られる信号を元にマスタディスク６４を作成する。
【００４４】
図４は、図２のオーサリング装置１１のビデオ信号処理装置２４の構成例を示している。
【００４５】
ビデオファイルサーバ８１は、図３のマスタディスク６４に記録される入力ビデオデータをファイル形式で保持し、オーサリングアプリケーション２８により通知された編集リストに示された入力ビデオデータファイルを提供し、これにより処理対象のビデオデータＤ１をコントローラ８２に供給する。
【００４６】
ビデオファイルサーバ８１はまた、コントローラ８２によりビデオデータＤ１が後述するようにエンコードされた結果得られたビデオデータＤ２を記憶する。
【００４７】
コントローラ８２は、ビデオ信号処理装置２４に割当てられたコンピュータにより構成され、ネットワーク３０を介して、オーサリングアプリケーション２８とビデオファイルサーバ８１に接続されている。
【００４８】
コントローラ８２は、ネットワーク３０を介してオーサリングアプリケーション２８との間のデータ通信により、このビデオ信号処理装置２４全体の動作を制御し、例えばビデオファイルサーバ８１から出力されたビデオデータＤ１に対して、２パスエンコード方式のエンコード処理を施して、データ圧縮を行う。コントローラ８２は、このエンコード処理の結果得られたビデオデータＤ２を、ネットワーク３０を介してビデオファイルサーバ８１に供給して格納する。
【００４９】
ここでコントローラ８２により行われる２パスエンコード方式のエンコード処理の概要を、図５を参照して説明する。なおここでは、Ｈ．２６４／AVC（advanced video coding）規格に準拠した可変レートエンコード処理が実行されるものとする。
【００５０】
第１パス目のエンコード処理１０１により、例えば、直交基底変換の１種である離散コサイン変換された入力ビデオデータＤ１が所定の量子化パラメータ（すなわち、量子化ステップ）を用いてエンコードされて、フレーム内圧縮及びフレーム間圧縮される。ここでの量子化ステップは、図１の第１パス目のエンコード処理１の場合と同様に所定の値に固定されている。
【００５１】
目標データ量決定処理１０２により、例えば、フレーム毎の目標データ量として、目標データ量が、第１パス目のエンコード処理１０１により発生する発生データ量と略比例し、かつ、それぞれの目標データ量の総和が記録媒体(例えば、図３のマスタディスク６４）の総容量から一定の容量が差し引かれた容量となるように、目標データ量が決定される。
【００５２】
MPEG-2やMPEG-4では、ピクチャやフレームに相当するVOP（Video Object Plane）が符号化の基本単位とされていたが、AVCでは、スライスと呼ばれる単位が存在し、１つのピクチャを異なる種類のスライスで構成することができる。しかしながら、ここでは簡単のために、AVCにおける符号化単位を単にフレームと称する。
【００５３】
第２パス目のエンコード処理１０３により、離散コサイン変換された入力ビデオデータＤ１の各フレームが、目標データ量決定処理１０２で決定された各目標データ量に基づいた所定の量子化パラメータ（すなわち、各目標データが発生する量子化ステップ）でエンコードされて、フレーム内圧縮及びフレーム間圧縮される。
【００５４】
評価処理１０４により、第２パス目のエンコード処理１０３の結果得られたビデオデータＤ２に基づく画像の画質が評価され、画質が劣化している部分が特定される。
【００５５】
例えばフレーム毎に、第２パス目のエンコード処理１０３の結果得られたビデオデータＤ２が復号された結果得られたビデオデータと、入力ビデオデータＤ１の差異が数値化されて、画質が劣化している部分が特定される。なおこの例では、画質が劣化している部分は、RAP（Ramdon Access Point)-IDR（Instantaneous Decoding Refresh：デコーダ復号動作の瞬時リフレッシュ）ピクチャ間隔の区間単位で特定されるものとする。
【００５６】
このように評価処理１０４により画質が劣化している区間が特定されると、目標データ量決定処理１０２により、画質が劣化しているとされた区間の目標データ量が、所定分だけ増加される。そして、第２パス目のエンコード処理１０３により、その区間が、増加された目標データ量が発生する量子化ステップで再エンコードされる。
【００５７】
このように本発明に係る２パスエンコード方式によるエンコード処理では、最初に決定された目標データ量に基づいて行われたエンコードの結果得られたビデオデータＤ２に基づく画像の画質が評価されて、画質が劣化している部分が特定されるとともに、画質が劣化している部分については、目標データ量が調整されて再エンコードされるので、原則、オペレータによる画質評価や目標データ量の調整が必要なく、簡単に良好な画質を得ることができる。
【００５８】
図４に戻り、コントローラ８２の構成について説明する。
【００５９】
コントローラ８２は、コントローラ８２を構成するROM等に記憶されているプログラムを実行することによって、GUI９１乃至デコードコントロール９７の機能を実現し、ビデオファイルサーバ８１から出力されたビデオデータＤ１に対して、図５に示したような２パスエンコード方式のエンコード処理を施して、データ圧縮を行う。
【００６０】
グラフィカルユーザインターフェース（GUI：Graphical User Interface）９１は、オペレータのオーサリング装置１１に対する操作を受け付け、オーサリングアプリケーション２８に通知するとともに、オーサリングアプリケーション２８からの指令を、エンコードマネージャ９２に通知する。
【００６１】
エンコードマネージャ９２は、AVCコントロール９３、ウェイトコントロール９５、およびデコードコントロール９７を制御して、図５に示した第１パス目のエンコード処理１０１や第２パス目のエンコード処理１０３に相当する処理等を実行させるとともに、自ら目標データ量決定処理１０２および評価処理１０４に相当する処理を実行する。
【００６２】
AVCコントロール９３は、AVCエンコーダ９４に実行させるエンコード処理における条件を適宜変更する。
【００６３】
AVCエンコーダ９４は、AVCコントロール９３により設定されたエンコードの条件に基づいて、Ｈ．２６４／AVCの規格に準拠するデータ圧縮を行う。
【００６４】
例えばAVCエンコーダ９４は、AVCコントロール９３に設定された固定の量子化ステップで、ビデオデータＤ１をエンコードするとともに（図５の第１パス目のエンコード処理１０１に相当する処理）、そのエンコードにより発生したデータ量（すなわち、難易度）を、AVCコントロール９３を介してエンコードマネージャ９２に供給する。エンコードマネージャ９２はこうして得られた難易度をinfoデータベース９８に供給して格納する。
【００６５】
AVCエンコーダ９４はまた、AVCコントロール９３に設定された、エンコードマネージャ９２により、符号化の難易度に基づいて決定された目標データ量（図５の目標データ量決定処理１０２に相当する処理）が発生する量子化ステップで、ビデオデータＢ１をエンコードし（図５の第２パス目のエンコード処理１０３）、その結果得られたビデオデータＤ２をネットワーク３０を介してビデオファイルサーバ８１に供給して格納する。
【００６６】
AVCエンコーダ９４はさらに、マルチパスコントロール９６に設定された、エンコードマネージャ９２により、ビデオデコーダＤ２の画質評価に基づいて画質が劣化していると特定されたビデオデータＤ１の部分を（図５の評価処理１０４に相当する処理）、新たに設定された目標データ量（図５の目標データ量決定処理１０２に相当する処理）が発生する量子化ステップで再度エンコードし、その結果得られたビデオデータＤ２をネットワーク３０を介してファイルビデオファイルサーバ８１に供給して格納する。
【００６７】
ビデオファイルサーバ８１は、再エンコードされた結果得られたビデオデータＤ２（以下、適宜、ビデオデータＤ２’と称する）が供給された場合、先に記憶しているビデオデータＤ２の中の、ビデオデータＤ２’に対応する部分をそのビデオデータＤ２’に差し替えて記憶する。
【００６８】
ウェイトコントロール９５は、画質が劣化している部分に割当てられる目標データ量の調整量を、マルチパスコントロール９６に設定する。なおこの調整量は、オーサリングアプリケーション２８より通知される。
【００６９】
マルチパスコントロール９６は、ウェイトコントロール９５に設定された調整量に基づいて目標データ量を調整し、AVCエンコーダ９４に設定する。
【００７０】
デコードコントロール９７は、ビデオファイルサーバ８１に格納されている目標データ量に基づくエンコードの結果得られたビデオデータＤ２がデコードされた結果得られたビデオデータＤ３を、表示部８３に供給して表示させる。
【００７１】
なおこの例では、AVCエンコーダ９４が、オーサリングアプリケーション２８により通知された編集リストに従ってビデオファイルサーバ８１内のビデオデータファイルを制御し、所定の編集対象（すなわち、所定のビデオデータＤ２）をデコードし、その結果得られたビデオデータＤ３をデコードコントロール９７またはビデオファイルサーバ８１に供給するものとする。
【００７２】
次に、ビデオ信号処理装置２４の動作を、図６のフローチャートを参照して説明する。
【００７３】
ビデオ信号処理装置２４のコントローラ８２は、オーサリングアプリケーション２８より編集リストが供給され、処理対象のビデオデータが指示されると、ステップＳ１において、グラフィカルユーザインターフェース９１の管理によりエンコードマネージャ９２を起動させるとともに、オーサリングアプリケーション２８から供給された符号化ファイル（例えば、ＶＥＮＣ．ＸＭＬファイル）から、アクセス（チャプタ）ポイント、シーンチェンジ自動検出ON/OFF、ディスク容量（この例の場合、図３のマスタディスク６４の容量）、ビデオデータに割当てられるデータ量、入力ビデオファイルの開始および終了位置などのエンコードの条件を取得する。
【００７４】
オーサリングアプリケーション２８から供給される符号化ファイルには、オペレータが設定したチャプタの時間情報も含まれている。ここでチャプタは、強制的にフレーム内符号化処理により符号化処理するフレームであり、この種の光ディスク装置では、このチャプタを目標にしてトラックジャンプして記録内容を確認できるようになされている。
【００７５】
符号化ファイルにはまた、ビデオ信号について、GOP（Group Of Pictures）に相当するIDRピクチャ間隔の最大表示フィールド数（１５フレーム）、各IDRピクチャ間隔区間におけるエンコード処理の配列を示す情報等も含まれている。
【００７６】
符号化ファイルにはまた、ウェイトコントロール９５に通知される、画質が劣化している部分に割当てられる目標データ量の調整量も含まれている。
【００７７】
さらに符号化ファイルには、マルチアングルの処理対象を示す情報が含まれている。なおマルチアングルとは、複数のビデオ素材を時分割多重化して光ディスクに記録することにより、ユーザの選択に応じて、例えば列車の走行シーン等を異なる撮影箇所より視聴できるようにした処理である。
【００７８】
ステップＳ２において、エンコードマネージャ９２は、AVCコントロール９３およびAVCエンコーダ９４を制御して、各フレームのエンコードに要する難易度を測定させる。
【００７９】
すなわちAVCコントロール９３は、所定の値の量子化ステップをAVCエンコーダ９４に設定し、AVCエンコーダ９４は、設定された値で固定した量子化ステップでエンコード処理対象でなる一連の入力ビデオデータＤ１をエンコード処理し、その処理により発生した各フレームの符号量（すなわち、データ量）を、AVCコントロール９３を介してエンコードマネージャ９２に通知する（図５の第１パス目のエンコード処理１０１に相当する処理）。エンコードマネージャ９２は、AVCエンコーダ９４により通知された、各フレームから発生したデータ量（すなわち、難易度）を、infoデータベース９８に供給して格納する。
【００８０】
ステップＳ３において、エンコードマネージャ９２は、各フレームのピクチャタイプの設定処理を行う。なおこの例では、各フレームは、１つのピクチャタイプからなるピクチャで構成されているものとする。
【００８１】
具体的には、エンコードマネージャ９２は、オーサリングアプリケーション２８から供給された符号化ファイルに、オペレータが設定したチャプタの時間情報が含まれている場合、AVCコントロール９３に、その時間情報に対応するフレームを指定し、AVCエンコーダ９４に、指定したフレームをIDRピクチャに設定させる。
【００８２】
またエンコードマネージャ９２は、オーサリングアプリケーション２８から供給された符号化ファイルに、シーンチェンジ自動検出がONに設定されている旨を示す情報が含まれている場合、AVCコントロール９３を制御して、AVCエンコーダ９４に、前後のフレームデータの相関関係からシーンチェンジと判定されたフレームを強制的にIDRピクチャに設定させる。
【００８３】
次にステップＳ４において、エンコードマネージャ９２は、ステップＳ２で測定した各フレームの難易度と、ステップＳ３で決定したピクチャタイプに基づいて、各フレームに割当てる目標データ量を決定する（図５の目標データ量決定処理１０２に相当する処理）。
【００８４】
各フレームの目標データ量は、ステップＳ２でのエンコード処理（図５の第１パス目のエンコード処理１０１に相当する処理）により発生する発生データ量（すなわち、難易度）と略比例し、かつ、式（１）に示すように、それぞれの目標データ量の総和TOTAL_SUPPLYが記録媒体(例えば、図３のマスタディスク６４）の総容量の中のビデオデータに割当てられている容量TOTAL_BYTESから一定の容量TOTAL_HEADERが差し引かれた容量となるように、目標データ量が決定される。
【００８５】
【数１】


【００８６】
一定の容量TOTAL_HEADERは、GOPの総数により計算されるヘッダ等の付随的なデータのデータ量と、画質が劣化している部分に再度割当てられる目標データ量の増加分のための記録媒体に設けられたマージン領域の容量である。
【００８７】
次に、ステップＳ５において、エンコードマネージャ９２は、AVCコントロール９３およびAVCエンコーダ９４を制御して、ステップＳ４で決定した目標データ量に基づいて入力ビデオデータＤ１をエンコードさせる（図５の第２パス目のエンコード処理１０３に相当する処理）。
【００８８】
すなわちAVCコントロール９３は、ステップＳ４で決定された目標データ量を、AVCエンコーダ９４に設定し、AVCエンコーダ９４は、設定された目標データ量が発生する量子化ステップで、ビデオファイルサーバ８１から出力された編集対象としてのビデオデータＤ１をエンコードし、その結果得られたビデオデータＤ２をネットワーク３０を介してビデオファイルサーバ８１に供給して格納する。
【００８９】
次にステップＳ６において、ステップＳ５で行われた目標データ量に基づくエンコードの結果を評価する（図５の評価処理１０４に相当する処理）。
【００９０】
ここでの処理の詳細は、図７のフローチャートに示されている。
【００９１】
ステップＳ１１において、エンコードマネージャ９２は、符号化前のビデオデータＤ１と図６のステップＳ５での目標データに基づくエンコード処理が施されたビデオデータＤ２を復号した結果得られるビデオデータＤ３との差異を示す係数（以下、歪み係数DISTと称する）を算出する。
【００９２】
具体的には、各フレーム毎に、符号化前のビデオデータＤ１と、ステップＳ５で目標データ量に基づくエンコード処理が施された結果得られビデオデータＤ２が復号されたビデオデータＤ３との各画素の画素値の差分の２乗平均値が歪み係数DISTとして算出される。
【００９３】
なおここでのビデオデータＤ２のデコードは、AVCエンコーダ９４により行われるものとする。
【００９４】
ステップＳ１２において、エンコードマネージャ９２は、各フレーム毎に、絵柄等の複雑さを表す係数（以下、複雑さ係数Ｑと称する）を算出する。
【００９５】
具体的には、複雑さ係数Ｑが算出されるフレームと、そのフレームの１つ前のフレームの予測誤差の絶対値総和が複雑さ係数Ｑとして求められ、また式（２）や式（３）によって複雑さ係数Ｑが求められる。
【００９６】
【数２】


【００９７】
【数３】


【００９８】
式（２）および式（３）中のiRateは、発生ビットレートであり、QSは、式（４）で求められる。式（４）中、iBaseQPは、量子化パラメータの値である。
【００９９】
【数４】


【０１００】
次にステップＳ１３において、エンコードマネージャ９２は、ステップＳ１１で求めた歪み係数DISTとステップＳ１２で求めた複雑さ係数Ｑを利用して、式（５）を演算して、歪み指標Ｗを算出する。式（５）中、Aは、重み係数（A ≧ 1.0）である。
【０１０１】
【数５】


【０１０２】
すなわち歪み指標Ｗは、歪み係数DISTに比例し、複雑さ係数Ｑに反比例する値であり、例えば歪み係数DISTが各フレームにおいてだいたい同じである場合、平坦な絵柄のフレームでは、複雑さ係数Ｑが小さな値となるので、そのフレームの歪み指標Ｗは大きな値となる。
【０１０３】
ステップＳ１４において、エンコードマネージャ９２は、基準閾値Ｌを算出する。
【０１０４】
具体的には、基準閾値Ｌは、式（６）および式（７）で求められるＳ1からＳ2の間の所定の値とされる。
【０１０５】
【数６】


【０１０６】
【数７】


【０１０７】
式（６）および式（７）中の、Aveは、図８に示すように、各フレームの歪み指標Ｗの平均値であり、SDはその標準偏差値である。
【０１０８】
図７に戻り次に、ステップＳ１５において、エンコードマネージャ９２は、ステップＳ１４で求めた基準閾値Ｌを利用して、画質が劣化している部分（以下、カスタマイズ区間と称する）を特定する。
【０１０９】
この例の場合、カスタマイズ区間は、RAP-IDRピクチャ間隔単位に特定される。
【０１１０】
例えば、RAP-IDRピクチャ間隔内の各ピクチャの歪み指標Ｗの平均値が基準閾値Ｌ以上となっているRAP-IDRピクチャ間隔の区間がカスタマイズ区間とされる。
【０１１１】
またRAP-IDRピクチャ間隔内の各ピクチャの歪み指標Ｗが基準閾値Ｌ以上になっているピクチャの数が総ピクチャ数の20％以上であるRAP-IDRピクチャ間隔の区間がカスタマイズ区間とされる。
【０１１２】
またRAP-IDRピクチャ間隔内に基準閾値Ｌ以上のピクチャが一つでも存在するRAP-IDRピクチャ間隔の区間がカスタマイズ区間とされる。
【０１１３】
このようにカスタマイズ区間が特定されると、図６のステップＳ７に進み、エンコードマネージャ９２は、ステップＳ６での処理により、カスタマイズ区間が特定されたか否かを判定し、特定されたと判定した場合、ステップＳ８に進む。
【０１１４】
ステップＳ８において、エンコードマネージャ９２は、ウェイトコントロール９５を制御して、カスタマイズ区間に割当てる目標データ量の調整量を決定させ、マルチコントロール９６に設定させる。そのときマルチコントロール９６は、ウェイトコントロール９５に設定された調整量に基づいて目標データ量を増加させ、データ量が増加した目標データ量を、AVCエンコーダ９４に設定する。
【０１１５】
いまの例の場合、カスタマイズ区間の目標データ量は、ステップＳ５でのエンコード処理で用いた目標データ量を、予め決められた所定分（例えば、１０％）だけ増やしたデータ量となる。
【０１１６】
ステップＳ９において、AVCエンコーダ９４は、マルチコントロール９６により設定された新たな目標データ量が発生する量子化ステップで、ビデオデータＤ１のカスタマイズ区間をエンコードし、その結果得られたビデオデータＤ２を、ネットワーク３０を介してビデオファイルサーバ８１に供給する。
【０１１７】
ビデオファイルサーバ８１は、再エンコードされたビデオデータＤ２’が供給された場合、先に記憶しているビデオデータＤ２の中の、再エンドードされたビデオデータＤ２’に対応する部分をそのビデオデータＤ２’に差し替えて記憶する。
【０１１８】
ステップＳ７で、カスタマイズ区間が存在しないと判定されたとき、またはステップＳ９でカスタマイズ区間が再エンコードされたとき、処理は終了する。
【０１１９】
以上のように、１度設定した目標データ量に基づくエンコード処理の結果を評価して、その評価結果に基づいて目標データを調整し、再度エンコード処理を行うようにしたので、２パスエンコード方式によるエンコード処理において、簡単に良好な画質の画像を得ることができる。
【０１２０】
また絵柄が簡単な映像では、視覚的に、歪み係数DSITによる映像の歪みが大きく、視覚上目立つことが知られている。そこで式（５）に示したように、各フレームにおいて歪み係数DSITがほぼ同じである場合であっても、複雑さ係数Ｑが小さいとき（すなわち、例えば平坦な絵柄のフレームの場合）、歪み指標Ｗが大きくなるようにし、そのフレームについて再エンコードされるようにしたので、効率よく、画質の劣化を補正することができる。
【０１２１】
また以上においては、図７のステップＳ１２では複雑さ係数Ｑが、複雑さ係数Ｑが算出されるフレームと、そのフレームの１つ前のフレームの予測誤差の絶対値総和、又は式（２）若しくは式（３）によって求められる値の中の所定のものに予め決められており、ステップＳ１４では、基準閾値ＬとするＳ１とＳ２間の位置が予め決められており、ステップＳ１５ではカスタマイズ区間の特定パターンが予め決められており、そして図６のステップＳ８ではカスタマイズ区間の目標データ量の調整量も、所定のものに予め決められていたが、これらの選択を、オペレータが行うことができるようにすることもできる。
【０１２２】
例えば、ステップＳ１４での基準閾値Ｌについては、オペレータは、基準閾値ＬをＳ１よりまたはＳ２よりに設定することができる。なお基準閾値Ｌ＝Ave＋Ｓ1とすると、多くのピクチャがカスタマイズ区間を決定する際に参照されることになり、特定されるカスタマイズ区間の数を多くすることができる。一方、基準閾値Ｌ＝Ave＋Ｓ2とすると、カスタマイズ区間を決定する際に参照されるピクチャが少なくなり、特定されるカスタマイズ区間の数を少なくすることができる。
【０１２３】
また、ステップＳ８でのカスタマイズ区間の再配分される目標データ量の調整量を選択することができる場合、例えば、いくつかの調整量から選択することができるように、図９に示すような選択画面を表示させることができる。
【０１２４】
図９に示す選択画面の表示部２０１には、選択可能な調整量（図９の例の場合、最初に決定された目標データ量に対して、１０％、１２％、１４％分のデータ量を増やすことができる調整量）を選択することができる表示が設定され、オペレータは、図示せぬ操作部を操作して、いずれかの調整量を選択することができる。
【０１２５】
図９の例ではまた、いずれかの調整量を選択して、表示部２０２の“Temporary”に対応するチェックボタン２１１を選択して、決定ボタン２０３を操作すれば、その調整量で増加した目標データ量に基づいて再エンコードされたそのカスタマイズ区間に関する情報を、図１０に示したように表示することができる。すなわちオペレータは、その調整量でのエンコードの内容を確認することができる。
【０１２６】
また図９の表示部２０２の“Determinate”のチェックボタン２１２をチェックして、決定ボタン２０３を操作すれば、そのカスタマイズ区間を再エンコードする際の目標データ量を、その調整量に応じて増加したデータ量に決定することができる。
【０１２７】
なお図１０の表示部２５１には、双方向の矢印２９１に対応するカスタマイズ区間に対する目標データ量が１０％増加されていることが示されている。
【０１２８】
なお図９または図１０に示す画面の表示およびその画面に対する入力の受付は、図４のGUI９１により管理される。
【０１２９】
このようにオペレータが各条件を選択する際には、入力ビデオデータＤ１と、最初の目標データ量に基づいてエンコードされたビデオデータＤ２を復号して、両者を比べやすいように表示部８３に表示させ、オペレータは、それらの映像を見ながら各条件を選択することができるようにすることもできる。
【０１３０】
また以上においては、予めマージン領域を確保しておき、カスタマイズ区間が特定され、その区間の目標データ量が増加しても、データ量が記録媒体の記録容量を超えないようにしておくことにより、カスタマイズ区間毎に再エンコードができるようにしたが、このマージン領域を確保せずに、カスタマイズ区間が特定された後、入力ビデオデータ全体の目標データ量の決定を最初からやり直すこともできる。
【０１３１】
また以上においては、目標データ量の調整量が一律に決定されたが、第２パス目のエンコード処理１０３により発生したデータ量をさらに考慮して目標データ量の調整量を決定することもできる。
【０１３２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１３３】
そこで、図１１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１３４】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０１３５】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１３６】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０１３７】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０１３８】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１３９】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１４０】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１４１】
【図１】従来の２パスエンコード方式によるエンコード処理の概要を示す図である。
【図２】本発明を適用したオーサリング装置１１の構成例を示すブロック図である。
【図３】本発明を適用したオーサリング装置５１の構成例を示すブロック図である。
【図４】図２のオーサリング装置１１のビデオ信号処理装置２４の構成例を示すブロック図である。
【図５】本発明の２パスエンコード方式によるエンコード処理の概要を示す図である。
【図６】ビデオ信号処理装置２４の動作を説明するフローチャートである。
【図７】図６のステップＳ６の処理の詳細を示すフローチャートである。
【図８】図７のステップＳ１４での基準閾値Ｌの決定方法を説明する図である。
【図９】目標データ量の調整量を選択する選択画面の表示例を示す図である。
【図１０】カスタマイズ区間に関する情報の表示例を示す図である。
【図１１】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０１４２】
１１ オーサリング装置， ２４ ビデオ信号処理装置， ２７ ファイルサーバ， ２８ オーサリングアプリケーション， ５１ オーサリング装置， ６４ マスタディスク， ８１ ビデオファイルサーバ， ８２ コントローラ， ９１ GUI， ９２ エンコードマネージャ， ９３ AVCコントロール， ９４ AVCエンコーダ， ９５ ウェイトコントロール， ９６ マルチパスコントロール， ９７ デコードコントロール， ９８ Infoデータベース
【出願人】 【識別番号】０００００２１８５
【氏名又は名称】ソニー株式会社
【出願日】 平成１８年９月１５日（２００６．９．１５）
【代理人】 【識別番号】１０００８２１３１
【弁理士】
【氏名又は名称】稲本 義雄
【公開番号】 特開２００８−７２５９１（Ｐ２００８−７２５９１Ａ）
【公開日】 平成２０年３月２７日（２００８．３．２７）
【出願番号】 特願２００６−２５１１３２（Ｐ２００６−２５１１３２）