トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 画像処理装置およびプログラム
【発明者】 【氏名】野中 俊一郎
【要約】 【課題】圧縮動画像データに対して画質補正を行って処理済み圧縮動画像データを得る処理を効率良く行う。

【構成】携帯電話システムＡの中継サーバ１００における動画処理部７０は、分離部７２により、電子メールに添付された圧縮動画像データＧを、補正する部分のデータＧ０と補正しない部分のデータＧ１とに分離する。デコード部７４は、補正する部分のデータＧ０をデコードしてデコードデータＧ０１を得る。補正部７６は、デコードデータＧ０１に対して画質補正処理を行って補正済みデコードデータＧ０２を得る。エンコード部８０は、補正済みデコードデータＧ０２をエンコードして補正済みエンコードデータＧ０３を得る。合成部８２は、補正済みエンコードデータＧ０３と補正しない部分のデータＧ１とを合成して補正済み動画像Ｇ’を得る。
【特許請求の範囲】
【請求項１】
圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置であって、
前記圧縮動画像データを、補正する部分と補正しない部分とに分離する分離手段と、
該補正する部分をデコードしてデコードデータを得るデコード手段と、
該デコードデータに対して画質補正処理を行って補正済デコードデータを得る補正手段と、
該補正済みデコードデータをエンコードするエンコード手段と、
該エンコード手段によりエンコードされた部分と前記補正しない部分とを合成して前記処理済み圧縮動画像データを得る合成手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記デコード手段が、前記補正する部分に前記補正手段により前記画質補正処理を行うことができる程度のデコード処理のみを施すものであることを特徴とする請求項１記載の画像処理装置。
【請求項３】
先頭フレームを基準フレームとする圧縮方式で圧縮して得た圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置であって、
前記圧縮動画像データから前記先頭フレームと他のフレームとを分離する分離手段と、
該先頭フレームをデコードしてデコード先頭フレームを得るデコード手段と、
該デコード先頭フレームに対して画質補正処理を行って補正済みデコード先頭フレームを得る補正手段と、
該補正済みデコード先頭フレームをエンコードして補正済み先頭フレームを得るエンコード手段と、
該補正済み先頭フレームと前記他のフレームとを合成して前記処理済み圧縮動画像データを得る合成手段とを備えたものであることを特徴とする画像処理装置。
【請求項４】
イントラフレームおよびインターフレームから構成される圧縮動画像データに対して画質補正処理を施して補正済み圧縮動画像データを得る画像処理装置であって、
前記圧縮動画像データを、前記イントラフレームと前記インターフレームとに分離する分離手段と、
前記イントラフレームをデコードしてデコードイントラフレームを得るデコード手段と、
前記デコードイントラフレームに対して画質補正処理を行って補正済みデコードイントラフレームを得る補正手段と、
該補正済みデコードイントラフレームをエンコードして補正済みイントラフレームを得るエンコード手段と、
該補正済みイントラフレームと前記インターフレームとを合成して前記補正済み圧縮動画像データを得る合成手段とを備えたことを特徴とする画像処理装置。
【請求項５】
前記インターフレームを、イントラブロックとインターブロックとに分離するブロック分離手段をさらに備え、
前記デコード手段が、該イントラブロックをもデコードしてデコードイントラブロックを得るものであり、
前記補正手段が、前記デコードイントラブロックに対しても画質補正処理を行って補正済みデコードイントラブロックを得るものであり、
前記エンコード手段が、前記補正済みデコードイントラブロックをもエンコードして補正済みイントラブロックを得るものであり、
前記合成手段が、前記補正済みイントラフレーム、前記補正済みイントラブロックおよび前記インターブロックを合成して前記処理済み圧縮動画像データを得るものであることを特徴とする請求項４記載の画像処理装置。
【請求項６】
圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理をコンピュータに実行させるためのプログラムであって、
前記画像処理が、前記圧縮動画像データを、補正する部分と補正しない部分とに分離する分離処理と、
該補正する部分をデコードしてデコードデータを得るデコード処理と、
該デコードデータに対して画質補正処理を行って補正済デコードデータを得る補正処理と、
該補正済みデコードデータをエンコードするエンコード処理と、
該エンコード処理によりエンコードされた部分と前記補正しない部分とを合成して前記処理済み圧縮動画像データを得る合成処理とからなることを特徴とするプログラム。
【請求項７】
先頭フレームを基準フレームとする圧縮方式で圧縮して得た圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理をコンピュータに実行させるためのプログラムであって
前記画像処理が、前記圧縮動画像データから前記先頭フレームと他のフレームとを分離する分離処理と、
該先頭フレームをデコードしてデコード先頭フレームを得るデコード処理と、
該デコード先頭フレームに対して画質補正処理を行って補正済みデコード先頭フレームを得る補正処理と、
該補正済みデコード先頭フレームをエンコードして補正済み先頭フレームを得るエンコード処理と、
該補正済み先頭フレームと前記他のフレームとを合成して前記処理済み圧縮動画像データを得る合成処理とからなることを特徴とするプログラム。
【請求項８】
イントラフレームおよびインターフレームから構成される圧縮動画像データに対して画質補正処理を施して補正済み圧縮動画像データを得る画像処理をコンピュータに実行させるためのプログラムであって、
前記画像処理が、前記圧縮動画像データを、前記イントラフレームと前記インターフレームとに分離する分離処理と、
前記イントラフレームをデコードしてデコードイントラフレームを得るデコード処理と、
前記デコードイントラフレームに対して画質補正処理を行って補正済みデコードイントラフレームを得る補正処理と、
該補正済みデコードイントラフレームをエンコードして補正済みイントラフレームを得るエンコード処理と、
該補正済みイントラフレームと前記インターフレームとを合成して前記補正済み圧縮動画像データを得る合成処理とからなることを特徴とするプログラム。
【請求項９】
前記分離処理が、前記インターフレームをさらにイントラブロックとインターブロックとに分離するブロック分離処理をも行うものであり、
前記デコード処理が、該イントラブロックをもデコードしてデコードイントラブロックを得るものであり、
前記補正処理が、前記デコードイントラブロックに対しても画質補正処理を行って補正済みデコードイントラブロックを得るものであり、
前記エンコード処理が、前記補正済みデコードイントラブロックをもエンコードして補正済みイントラブロックを得るものであり、
前記合成処理が、前記補正済みイントラフレーム、前記補正済みイントラブロックおよび前記インターブロックを合成して前記処理済み圧縮動画像データを得るものであることを特徴とする請求項８記載のプログラム。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、画像処理装置、具体的には圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置およびそのためのプログラムに関するものである。
【背景技術】
【０００２】
動画像を美しく表示するために、撮影して得た動画像に対して階調補正などの画質補正を行うことが行われている。特許文献１には、ＮＴＳＣなどのビデオ映像信号をＡ／Ｄ変換して動画像データを得、動画像データの輝度ヒストグラムを算出してそれをもとに階調補正用のルックアップテーブルを作成し、このルックアップテーブルを用いて階調補正を行う方法が提案されている。
【０００３】
また、近年、デジタルカメラや、カメラ付き携帯電話機の普及に伴って、動画像はＮＴＳＣなどのビデオ映像信号だけではなく、ＭＰＥＧなどの圧縮技術によりデジタル圧縮されたデータとして取り扱われることが多くなってきている。静止画を撮像するときと異なって、動画像を撮影する際にはフラッシュの使用が困難であるため、これらの撮像装置により取得した動画像は暗くなる傾向がある。このようなデジタル圧縮された画像データから構成される動画像を美しく表示するためには、ＮＴＳＣなどのアナログ信号の場合と同じように、階調補正などの画質補正処理を施すことが必要である。
【０００４】
なお、これらの動画像データは、圧縮された状態で記録媒体に記録されたり、送信されたりしているので、動画像データを表示する装置は、動画像データを表示する際に、そのデータが圧縮されていることを前提として表示処理を行う必要がある。すなわち、このような背景において、圧縮された動画像データに対して画質補正処理を施して得た処理済み画像データも、上述のような表示装置に対応するため、圧縮動画像データである必要がある。
【特許文献１】特許第３０８７４０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、ＭＰＥＧなどの圧縮技術でデジタル圧縮された動画像データ（以下圧縮動画像データという）に対して階調補正などの画質補正処理を施して処理済みの圧縮動画像データを得るためには、まず、圧縮動画像データをデコードし、デコードしたデータに対して画質補正処理を施し、補正されたデータをエンコードして目的の処理済み動画像データを得る手順を踏む必要がある。動画像データのデコードおよびエンコードは、演算量が多いため、処理時間がかかるという問題がある。この問題は、特に通信分野において顕著である。
【０００６】
通信の１例とする移動通信の分野において、携帯電話などの携帯端末の普及および携帯端末の機能の充実に伴って、携帯端末を対象とする画像サービスが盛んに行われている。例えば、携帯端末同士間の電子メールを中継する際に、送信側の携帯端末から送信された電子メールに添付された画像データに対して、階調補正や、ホワイトバランス補正、濃度補正、シャープネス処理などの画質補正処理を行ってから受信側の携帯端末に送信するまたは一旦保持してダウンロードさせるような、画質補正機能を有する通信中継サーバ装置がある。これらのサーバ装置において、迅速に画質補正処理を行うことができないと、ユーザにストレスを感じさせてしまうので、サービス向上を図るどころか、却ってサービスの低下を招く結果となる。また、画質補正処理に費やす時間が長くかかると、サーバ装置側に処理待ちの画像データを記憶する記憶装置は莫大な容量を必要とするなど、サーバ装置のコストがかかるという問題もある。
【０００７】
また、テレビ電話などの分野においても同様である。画質向上のための補正処理を迅速に行うことができないと、ユーザは相手の画像をリアルタイムに見ることができず、テレビ電話の意味がなくなり、コミュニケーションに支障を来たしてしまうという問題がある。
【０００８】
また、通信以外の分野においても同様である。例えば、ＣＤ−ＲＯＭなどの記録媒体に記録された動画像データをコンピュータのモニタに表示させる場合、コンピュータ側において、動画像を美しく表示させるために画質補正処理を行うのはよいが、画質補正処理の時間が長いと、通信の場合と同様に、ユーザにストレスを感じさせてしまう。
【０００９】
本発明は、上記事情に鑑みなされたものであり、圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得ることを効率良く行うことができる画像処理装置およびそのためのプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１０】
本発明の第１の画像処理装置は、圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置であって、
前記圧縮動画像データを、補正する部分と補正しない部分とに分離する分離手段と、
該補正する部分をデコードしてデコードデータを得るデコード手段と、
該デコードデータに対して画質補正処理を行って補正済デコードデータを得る補正手段と、
該補正済みデコードデータをエンコードするエンコード手段と、
該エンコード手段によりエンコードされた部分と前記補正しない部分とを合成して前記処理済み圧縮動画像データを得る合成手段とを備えたことを特徴とするものである。
【００１１】
ここで、圧縮動画像データの「補正する部分」とは、それを補正することによって、動画像データの全体の画質に影響を与える部分を意味する。
【００１２】
また、圧縮動画像データの「補正しない部分」とは、それを補正することによって、動画像データの全体の画質に影響を与えない、または「補正する部分」を補正することほど影響を与えない部分を意味する。言い換えれば、この部分は画質補正処理を施さなくても、動画像データの全体の画質に影響をそれほど与えず、画質補正処理を施さなくてもよい部分である。
【００１３】
圧縮動画像データの「補正する部分」と「補正しない部分」との区別の仕方は、圧縮動画像データの圧縮方式に依存する。動画像データは通常複数のフレームから構成され、それに対して行う圧縮方式の１例としては、例えば、先頭フレームのみを独立させて基準フレームにし、先頭フレームのデータに対する差分によって他のフレームを表す圧縮方式がある。この場合、先頭フレームのみが他のフレームに依存しないデータを有し、他のフレームはこの先頭フレームに対する差分で表されるので、先頭フレームに対して画質補正処理を施せば、他のフレームも補正されたことになる。すなわち、この場合、画質補正処理を施す際に必要なデコード処理は先頭フレームに対してのみ行えばよく、先頭フレームは「補正する部分」となり、先頭フレーム以外の他のフレームは「補正しない部分」となる。
【００１４】
なお、この場合においての「先頭フレーム」は、圧縮動画像データの構造上の先頭に位置するフレームのことを意味し、必ずしも時系列的に先頭となるフレームに限らない。
【００１５】
また、動画像業界の基準となりつつあるＭＰＥＧや、テレビ電話などで用いられるＩＴＵ−Ｔ Ｈ．２６１およびＩＴＵ−Ｔ Ｈ．２６３や、携帯電話の動画像圧縮規格として採用されているＮａｎｃｙなどの圧縮方式によって圧縮された動画像データは、他のフレームのデータに依存しないデータにより形成されるイントラフレームと、他のフレームのデータに対する差分により形成されたインターフレームとから構成される。このような場合、イントラフレームに対して画質補正処理を行えば、イントラフレームに依存したデータにより形成されたインターフレームも補正されたことになる。すなわち、この場合、画質補正処理を行う際に必要なデコード処理は、イントラフレームに対してのみ行えばよく、イントラフレームは「補正する部分」となり、インターフレームは「補正しない部分」となる。
【００１６】
また、圧縮方式によって、インターフレームは、他のフレームのデータに対する差分により形成され、他のフレームに依存する点においては同様であるが、依存する仕方が異なる場合がある。例えば、Ｉフレーム、Ｐフレーム、Ｂフレームから構成される圧縮動画像データの場合、Ｉフレームは他のフレームに依存しないフレームであり、Ｐフレーム、Ｂフレームは他のフレームに対する差分により形成され、他のフレームに依存するインターフレームではあるが、Ｐフレームは自身より前のフレームにしか依存せず、Ｂフレームは自身の前のフレームにも、後のフレームにも依存する。すなわち、Ｂフレームに比べ、Ｐフレームは他のフレームに対する依存性が低く、Ｐフレームに対しても画質補正処理を行うことによって、より画質の改善を図ることができる。この場合、Ｉフレーム、Ｐフレームは「補正する部分」とすることができ、Ｂフレームは「補正しない部分」とすることができる。
【００１７】
また、補正手段により補正する部分に対して画質補正処理を施すために、まず、デコード手段により補正する部分をデコードする必要があり、本発明の第１の画像処理装置のデコード手段は、補正する部分に補正手段により画質補正処理を行うことができる程度のデコード処理のみを施すものであることが好ましい。動画像データの圧縮は、段階的に行われることが通常であり、デコードする場合は、圧縮する際の手順と逆の手順で各段階の逆演算をすることによって段階的にデコードする。例えば、ＭＰＥＧにより圧縮された圧縮動画像データをデコードする際、圧縮動画像データを可変長復号化し、可変長復号化されたデータを動きベクトル、ＤＣＴ係数などに分けた後に、動き補償予測、ＤＣＴ変換の逆となるＩＤＣＴ変換などの手順を必要とする。一方、画質補正処理が、ＤＣＴ係数に対して行うことができるので、デコード処理をＩＤＣＴ変換まで行う必要がなく、デコード手段は、ＩＤＣＴ変換を行わず、ＤＣＴ係数を補正手段に供し、補正手段によりＤＣＴ係数に対して画質補正処理を施すようにすればよい。また、後にエンコードするとき、補正されたＤＣＴ係数を用い、新たにＤＣＴ係数を求める必要がないので、エンコードする時間の短縮も図ることができる。
【００１８】
本発明の第２の画像処理装置は、先頭フレームを基準フレームとする圧縮方式で圧縮して得た圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置であって、
前記圧縮動画像データから前記先頭フレームと他のフレームとを分離する分離手段と、
該先頭フレームをデコードしてデコード先頭フレームを得るデコード手段と、
該デコード先頭フレームに対して画質補正処理を行って補正済みデコード先頭フレームを得る補正手段と、
該補正済みデコード先頭フレームをエンコードして補正済み先頭フレームを得るエンコード手段と、
該補正済み先頭フレームと前記他のフレームとを合成して前記処理済み圧縮動画像データを得る合成手段とを備えたものであることを特徴とするものである。
【００１９】
本発明の第３の画像処理装置は、イントラフレームおよびインターフレームから構成される圧縮動画像データに対して画質補正処理を施して補正済み圧縮動画像データを得る画像処理装置であって、
前記圧縮動画像データを、前記イントラフレームと前記インターフレームとに分離する分離手段と、
前記イントラフレームをデコードしてデコードイントラフレームを得るデコード手段と、
前記デコードイントラフレームに対して画質補正処理を行って補正済みデコードイントラフレームを得る補正手段と、
該補正済みデコードイントラフレームをエンコードして補正済みイントラフレームを得るエンコード手段と、
該補正済みイントラフレームと前記インターフレームとを合成して前記補正済み圧縮動画像データを得る合成手段とを備えたことを特徴とするものである。
【００２０】
前述したように、ＭＰＥＧなどの圧縮方式で圧縮を行って得た圧縮動画像データは、イントラフレームとインターフレームから構成される。インターフレームは、全体的に他のフレームに依存するが、インターフレームの中で、他のフレームに依存せず、独立的なデータを有する部分（イントラブロック）が存在する場合がある。このような場合に対応して、本発明の第３の画像処理装置は、インターフレームを、イントラブロックとインターブロックとに分離するブロック分離手段をさらに備え、
前記デコード手段が、該イントラブロックをもデコードしてデコードイントラブロックを得るものであり、
前記補正手段が、前記デコードイントラブロックに対しても画質補正処理を行って補正済みデコードイントラブロックを得るものであり、
前記エンコード手段が、前記補正済みデコードイントラブロックをもエンコードして補正済みイントラブロックを得るものであり、
前記合成手段が、前記補正済みイントラフレーム、前記補正済みイントラブロックおよび前記インターブロックを合成して前記処理済み圧縮動画像データを得るものであることが好ましい。
【００２１】
本発明の第４の画像処理装置は、Ｉフレーム、ＰフレームおよびＢフレームから構成される圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置であって、
前記Ｂフレームと、前記Ｉフレームおよび前記Ｐフレームとを分離する分離手段と、
前記Ｉフレームおよび前記ＰフレームをデコードしてデコードＩフレームおよびデコードＰフレームを得るデコード手段と、
前記デコードＩフレームおよび前記デコードＰフレームに対して画質補正処理を行って補正済みデコードＩフレームおよび補正済みデコードＰフレームを得る補正手段と、
前記補正済みＩデコードフレームおよび前記補正済みデコードＰフレームをエンコードして補正済みＩフレームおよび補正済みＰフレームを得るエンコード手段と、
前記補正済みＩフレーム、前記補正済みＰフレームおよび前記Ｂフレームを合成して前記処理済み圧縮動画像データを得る合成部とを備えたことを特徴とするものである。
【００２２】
本発明の第４の画像処理装置は、前記Ｂフレームを、イントラブロックとインターブロックとに分離するブロック分離手段をさらに備え、
前記デコード手段が、該イントラブロックをもデコードしてデコードイントラブロックを得るものであり、
前記補正手段が、前記デコードイントラブロックに対しても画質補正処理を行って補正済みデコードイントラブロックを得るものであり、
前記エンコード手段が、前記補正済みデコードイントラブロックをもエンコードして補正済みイントラブロックを得るものであり、
前記合成手段が、前記補正済みＩフレーム、前記補正済みＰフレーム、前記補正済みイントラブロックおよび前記インターブロックを合成して前記処理済み圧縮動画像データを得るものであることが好ましい。
【００２３】
本発明の第５の画像処理装置は、主としてフレーム毎のＤＣＴ係数データおよび動きベクトルデータから構成される圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理装置であって、
前記圧縮動画像データから、前記ＤＣＴ係数データと前記動きベクトルデータとを抽出する抽出手段と、
該ＤＣＴ係数データおよび該動きベクトルデータを用いて前記圧縮動画像データをデコードしてデコードデータを得るデコード手段と、
該デコードデータに対して画質補正処理を行って補正済みデコードデータを得る補正手段と、
前記補正済みデコードデータをエンコードして前記処理済み圧縮動画像データを得るエンコード手段とを備え、
前記エンコード手段が、前記抽出手段により得られた前記動きベクトルデータを用いてエンコードを行うものであることを特徴とするものである。
【００２４】
ＭＰＥＧにより圧縮された画像データは、イントラフレームかインターフレームかなどを示すヘッダ情報以外に、主としてフレーム毎のＤＣＴ係数および動きベクトルから構成される。このような圧縮動画像データをデコードする際に、デコードして、画質補正をした後にエンコードする際にも、動きベクトルが必要である。本発明の第５の画像処理装置は、動きベクトルは、階調などの画質に影響をそれほど与えないものであるにもかかわらず、エンコードする際に動きベクトルを求める演算量が莫大であることに着目し、エンコードする際に新たに動きベクトルを求めず、デコードする際に得られた動きベクトルをエンコードに用いて処理時間の短縮を図るものである。
【００２５】
本発明の第１のプログラムは、圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理をコンピュータに実行させるためのプログラムであって、
前記画像処理が、前記圧縮動画像データを、補正する部分と補正しない部分とに分離する分離処理と、
該補正する部分をデコードしてデコードデータを得るデコード処理と、
該デコードデータに対して画質補正処理を行って補正済デコードデータを得る補正処理と、
該補正する部分をデコードしてデコードデータを得るデコード処理と、
該デコードデータに対して画質補正処理を行って補正済デコードデータを得る補正処理と、
該補正済みデコードデータをエンコードするエンコード処理と、
該エンコード処理によりエンコードされた部分と前記補正しない部分とを合成して前記処理済み圧縮動画像データを得る合成処理とからなることを特徴とするものである。
【００２６】
本発明の第２のプログラムは、先頭フレームを基準フレームとする圧縮方式で圧縮して得た圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理をコンピュータに実行させるためのプログラムであって
前記画像処理が、前記圧縮動画像データから前記先頭フレームと他のフレームとを分離する分離処理と、
該先頭フレームをデコードしてデコード先頭フレームを得るデコード処理と、
該デコード先頭フレームに対して画質補正処理を行って補正済みデコード先頭フレームを得る補正処理と、
該補正済みデコード先頭フレームをエンコードして補正済み先頭フレームを得るエンコード処理と、
該補正済み先頭フレームと前記他のフレームとを合成して前記処理済み圧縮動画像データを得る合成処理とからなることを特徴とするものである。
【００２７】
本発明の第３のプログラムは、イントラフレームおよびインターフレームから構成される圧縮動画像データに対して画質補正処理を施して補正済み圧縮動画像データを得る画像処理をコンピュータに実行させるためのプログラムであって、
前記画像処理が、前記圧縮動画像データを、前記イントラフレームと前記インターフレームとに分離する分離処理と、
前記イントラフレームをデコードしてデコードイントラフレームを得るデコード処理と、
前記デコードイントラフレームに対して画質補正処理を行って補正済みデコードイントラフレームを得る補正処理と、
該補正済みデコードイントラフレームをエンコードして補正済みイントラフレームを得るエンコード処理と、
該補正済みイントラフレームと前記インターフレームとを合成して前記補正済み圧縮動画像データを得る合成処理とからなることを特徴とするものである。
【００２８】
また、前記分離処理が、前記インターフレームをさらにイントラブロックとインターブロックとに分離するブロック分離処理をも行うものであり、
前記デコード処理が、該イントラブロックをもデコードしてデコードイントラブロックを得るものであり、
前記補正処理が、前記デコードイントラブロックに対しても画質補正処理を行って補正済みデコードイントラブロックを得るものであり、
前記エンコード処理が、前記補正済みデコードイントラブロックをもエンコードして補正済みイントラブロックを得るものであり、
前記合成処理が、前記補正済みイントラフレーム、前記補正済みイントラブロックおよび前記インターブロックを合成して前記処理済み圧縮動画像データを得るものであることが好ましい。
【００２９】
本発明の第４のプログラムは、Ｉフレーム、ＰフレームおよびＢフレームから構成される圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理をコンピュータに実行させるためのプログラムであって、
前記画像処理が、前記Ｂフレームと、前記Ｉフレームおよび前記Ｐフレームとを分離する分離処理と、
前記Ｉフレームおよび前記ＰフレームをデコードしてデコードＩフレームおよびデコードＰフレームを得るデコード処理と、
前記デコードＩフレームおよび前記デコードＰフレームに対して画質補正処理を行って補正済みデコードＩフレームおよび補正済みデコードＰフレームを得る補正処理と、
前記補正済みＩデコードフレームおよび前記補正済みデコードＰフレームをエンコードして補正済みＩフレームおよび補正済みＰフレームを得るエンコード処理と、
前記補正済みＩフレーム、前記補正済みＰフレームおよび前記Ｂフレームを合成して前記処理済み圧縮動画像データを得る合成処理とからなることを特徴とするものである。
【００３０】
前記分離処理が、前記Ｂフレームをさらにイントラブロックとインターブロックとに分離するブロック分離処理をも行うものであり、
前記デコード処理が、該イントラブロックをもデコードしてデコードイントラブロックを得るものであり、
前記補正処理が、前記デコードイントラブロックに対しても画質補正処理を行って補正済みデコードイントラブロックを得るものであり、
前記エンコード処理が、前記補正済みデコードイントラブロックをもエンコードして補正済みイントラブロックを得るものであり、
前記合成処理が、前記補正済みＩフレーム、前記補正済みＰフレーム、前記補正済みイントラブロックおよび前記インターブロックを合成して前記処理済み圧縮動画像データを得るものであることが好ましい。
【００３１】
本発明の第５のプログラムは、主としてフレーム毎のＤＣＴ係数データおよび動きベクトルデータから構成される圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る画像処理をコンピュータに実行させるためのプログラムであって、
前記画像処理が、前記圧縮動画像データから、前記ＤＣＴ係数データと前記動きベクトルデータとを抽出する抽出処理と、
該ＤＣＴ係数データおよび該動きベクトルデータを用いて前記圧縮動画像データをデコードしてデコードデータを得るデコード処理と、
該デコードデータに対して画質補正処理を行って補正済みデコードデータを得る補正処理と、
前記補正済みデコードデータをエンコードして前記処理済み圧縮動画像データを得るエンコード処理とからなり、
前記エンコード処理が、前記抽出処理により得られた前記動きベクトルデータを用いてエンコードを行うものであることが好ましい。
【発明の効果】
【００３２】
本発明の第１の画像処理装置によれば、圧縮動画像データに対して画質補正処理を施して処理済み圧縮動画像データを得る際に、圧縮動画像データを補正する部分と補正しない部分とに分け、補正により画質に影響を与える「補正する部分」のみに対してデコード処理、画質補正処理を施して、「補正しない部分」と合わせてエンコードするようにすることによって、「補正しない部分」に対するデコード処理、画質補正処理を行う手間を省き、圧縮動画像データを美しく表示することができる処理済み圧縮動画像データに補正することができると共に、処理時間の短縮を図ることができる。
【００３３】
本発明の第１の画像処理装置において、デコード手段により「補正する部分」に対してデコードする際に、該「補正する部分」に補正手段により画質補正処理を行うことができる程度のデコード処理のみを施すようにすれば、よりデコードする時間の短縮を図ることができる。
【００３４】
本発明の第２の画像処理装置によれば、先頭フレームを基準フレームとする圧縮方式で圧縮して得た圧縮動画像データから先頭フレームを分離し、先頭フレームのみに対してデコード処理、画質補正処理、エンコード処理を施して、他のフレームと合成して処理済み圧縮動画像データを得るようにすることによって、先頭フレームのデータとの差分により現される他のフレームに対するデコード処理、画質補正処理を行う手間を省き、このような圧縮動画像データを美しく表示することができる処理済み圧縮動画像データに補正することができると共に、処理時間の短縮を図ることができる。
【００３５】
本発明の第３の画像処理装置によれば、イントラフレームおよびインターフレームから構成される圧縮動画像データを、イントラフレームとインターフレームとに分離し、イントラフレームにのみに対してデコード処理、画質補正処理、エンコード処理を施して、インターフレームと合成して処理済み圧縮動画像データを得るようにすることによって、他のフレームのデータとの差分により現されるインターフレームに対するデコード処理、画質補正処理、エンコード処理を行う手間を省き、このような圧縮動画像データを美しく表示することができる処理済み圧縮動画像データに補正することができると共に、処理時間の短縮ができる。
【００３６】
本発明の第３の画像処理装置において、インターフレームをインターブロックとイントラブロックとに分離するブロック分離手段をさらに備え、イントラブロックに対しても画質補正処理（および画質補正処理を行うためのデコード処理、エンコード処理）を行うようにすれば、より画質の向上を図ることができる。
【００３７】
本発明の第４の画像処理装置によれば、Ｉフレーム、Ｐフレーム、Ｂフレームから構成される圧縮動画像データを、Ｂフレームと、ＩフレームおよびＰフレームとに分離し、ＩフレームとＰフレームのみに対してデコード処理、画質補正処理、エンコード処理を施して、Ｂフレームと合成して処理済み圧縮動画像データを得るようにすることによって、自身の前後の他のフレームのデータとの差分により現されるインターフレームに対するデコード処理、画質補正処理、エンコード処理を行う手間を省き、このような圧縮動画像データを美しく表示することができる処理済み圧縮動画像データに補正することができると共に、処理時間を短縮することができる。
【００３８】
本発明の第４の画像処理装置において、Ｂフレームをインターブロックとイントラブロックとに分離するブロック分離手段をさらに備え、イントラブロックに対しても画質補正処理（および画質補正処理を行うためのデコード処理、エンコード処理）を行うようにすれば、より画質の向上を図ることができる。
【００３９】
本発明の第５の画像処理装置は、主としてフレーム毎のＤＣＴ係数データおよび動きベクトルデータから構成される圧縮動画像データに対して、ＤＣＴ係数データおよび動きベクトルデータを抽出してデコード処理および画質補正処理を施し、補正されたデータに対してエンコードする際に、新たに動きベクトルデータを求めず、抽出された元の動きベクトルデータを用いてエンコードすることによって、動画像の画質を美しく補正することができると共に、エンコードする際に動きベクトルを求める莫大な量の演算を避けることができ、効率が良い。
【発明を実施するための最良の形態】
【００４０】
以下、図面を参照して、本発明の実施形態について説明する。
【００４１】
図１は、本発明の画像処理装置およびプログラムの第１の実施形態となる携帯電話システムＡの構成を示すブロック図である。図示のように、本実施形態の携帯電話システムＡは、複数の携帯電話機１０と、これらの複数の携帯電話機１０間の通信の中継を行う中継サーバ１００とからなり、携帯電話機１０と中継サーバ１００とは、携帯電話通信網２０を介して接続される。中継サーバ１００は、携帯電話機１０間の通話の中継を行うと共に、電子メールなどの中継も行うものである。以下、本発明の主旨が分かりやすいように、携帯電話機１０間に送受信される電子メールを中継する際に、電子メールに画像データが添付された場合の中継サーバ１００の動作に重点をおいて説明を行う。また、以下の説明において、「画像」は、「画像データ」により表されるものとして、「画像」と「画像データ」とを同じ意味のものとする。
【００４２】
図２は、図１に示す携帯電話システムＡにおける中継サーバ１００の構成を示すブロック図である。図２（ａ）に示すように、携帯電話システムＡの中継サーバ１００は、各携帯電話機１０との送受信を行うための通信部３０と、通信部３０を含むサーバ１００の全体の動作を制御する制御部４０と、制御部４０の制御に従って、電子メールの添付画像以外のデータＴを記憶する記憶部５０と、電子メールに添付された静止画像Ｓに対して画質補正処理を行って補正済み静止画像Ｓ’を得る静止画処理部６０と、電子メールに添付された動画像Ｇに対して画質補正処理を行って補正済み動画像Ｇ’を得る動画処理部７０とを備えたものである。
【００４３】
なお、静止画像Ｓ、補正済み静止画像Ｓ’および動画像Ｇ、補正済み動画像Ｇは’、圧縮されたものである。
【００４４】
制御部４０は、通信部３０を介して送信側の携帯電話機１０から送信されてきた電子メールの、添付画像を除いた他の部分のデータＴを記憶部５０に記憶させると共に、添付画像が静止画像Ｓである場合、該添付画像を静止画処理部６０に出力し、静止画処理部６０に画質補正処理を行わせて補正済み静止画像Ｓ’を得る一方、添付画像が動画像Ｇである場合、該添付画像を動画処理部７０に出力し、動画処理部７０に画質補正処理を行わせて補正済み動画像Ｇ’を得る。制御部４０は、静止画処理部６０または動画処理部７０により処理済みの画像と、記憶部５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部３０を介して受信側の携帯電話機１０に送信する。
【００４５】
図２（ｂ）は、図２（ａ）に示す中継サーバ１００における動画処理部７０の構成を示すブロック図である。図示のように、動画処理部７０は、圧縮動画像データである添付画像Ｇを、補正する部分のデータＧ０と補正しない部分のデータＧ１とに分離する分離部７２と、データＧ０をデコードしてデコードデータＧ０１を得るデコード部７４と、デコードデータＧ０１に対して画質補正処理を行って補正済みデコードデータＧ０２を得る補正部７６と、補正済みデコードデータＧ０２をエンコードして補正済みエンコードデータＧ０３を得るエンコード部８０と、補正済みエンコードデータＧ０３と補正しない部分のデータＧ１とを合成して補正済み動画像Ｇ’を得る合成部８２とを備えてなるものである。
【００４６】
なお、デコード部７４は、補正部７６により、補正する部分のデータＧ０に対して画質補正処理を行うことができる程度のデコード処理のみを施すものである。
【００４７】
図３は、図２に示す中継サーバ１００の動作を示すフローチャートである。図示のように、図１に示す携帯電話システムＡにおける中継サーバ１００において、通信部３０を介して送信側の携帯電話機１０から画像が添付されたメールを受信する（Ｓ１０）と、制御部４０は、添付画像が静止画像なのか動画像なのかを確認する（Ｓ２０）。添付画像が静止画像Ｓであれば（Ｓ２０：Ｎｏ）、制御部４０は、添付画像を除いた他の部分のデータＴを記憶部５０に記憶させると共に、静止画像Ｓである添付画像を静止画処理部６０に出力する（Ｓ２５）。静止画処理部６０は、静止画像Ｓに対して階調補正などの画質補正処理を行って、補正済み静止画像Ｓ’を得る（Ｓ３０）。制御部４０は、静止画処理部６０により得られた補正済み静止画像Ｓ’と、記憶部５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部３０を介して受信側の携帯電話機１０に送信する（Ｓ９０）。
【００４８】
一方、ステップＳ２０において、添付画像が動画像Ｇであれば（Ｓ２０：Ｙｅｓ）、制御部４０は、添付画像を除いた他の部分のデータＴを記憶部５０に記憶させると共に、動画像Ｇである添付画像を動画処理部７０に出力する（Ｓ３５）。動画処理部７０は、動画像Ｇに対して階調補正などの画質補正処理となる動画像補正処理Ｐ１を行って、補正済み動画像Ｇ’を得る（Ｓ４０）。制御部４０は、動画処理部７０により得られた補正済み動画像Ｇ’と、記憶部５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部３０を介して受信側の携帯電話機１０に送信する（Ｓ９０）。
【００４９】
図４は、図２に示す中継サーバ１００における動画処理部７０の動作を示すフローチャートである。図示のように、動画処理部７０は、動画像Ｇに対して画質補正処理となる動画像補正処理Ｐ１を施すのにあたって、まず、分離部７２により、圧縮動画像データである画像Ｇを、補正する部分のデータＧ０と補正しない部分のデータＧ１とに分離する（Ｓ４２）。デコード部７４は、補正する部分のデータＧ０をデコードしてデコードデータＧ０１を得（Ｓ４６）、補正部７６は、デコードデータＧ０１に対して画質補正処理を行って補正済みデコードデータＧ０２を得る（Ｓ４６）。エンコード部８０は、補正済みデコードデータＧ０２をエンコードして補正済みエンコードデータＧ０３を得（Ｓ４８）、合成部８２は、エンコード部８０により取得した補正済みエンコードデータＧ０３と、分離部７２により分離した補正しない部分のデータＧ１とを合成して補正済み動画像Ｇ’を得て、制御部４０に供する（Ｓ５０）。
【００５０】
図５は、本発明の画像処理装置およびプログラムの第２の実施形態となる携帯電話システムＢの構成を示すブロック図である。図示のように、本実施形態の携帯電話システムＢは、複数の携帯電話機１１０と、これらの複数の携帯電話機１１０間の通信の中継を行う中継サーバ２００とからなり、携帯電話機１１０と中継サーバ２００とは、携帯電話通信網１２０を介して接続される。中継サーバ２００は、携帯電話機１１０間の通話の中継を行うと共に、電子メールなどの中継も行うものである。ここでも、本発明の主旨が分かりやすいように、携帯電話機１１０間に送受信される電子メールを中継する際に、電子メールに画像データが添付された場合の中継サーバ２００の動作に重点をおいて説明を行う。
【００５１】
図６は、図５に示す携帯電話システムＢにおける中継サーバ２００の構成を示すブロック図である。図６（ａ）に示すように、携帯電話システムＢの中継サーバ２００は、各携帯電話機１１０との送受信を行うための通信部１３０と、通信部１３０を含むサーバ１００の全体の動作を制御する制御部１４０と、制御部１４０の制御に従って、電子メールの添付画像以外のデータＴを記憶する記憶部１５０と、電子メールに添付された静止画像Ｓに対して画質補正処理を行って補正済み静止画像Ｓ’を得る静止画処理部１６０と、電子メールに添付された動画像Ｇに対して画質補正処理を行って補正済み動画像Ｇ’を得る動画処理部１７０とを備えたものである。
【００５２】
なお、静止画像Ｓ、補正済み静止画像Ｓ’および動画像Ｇ、補正済み動画像Ｇは’、圧縮されたものであり、動画像Ｇは、複数のフレームから構成され、先頭フレームを基準フレームとする圧縮方式で圧縮されたものである。
【００５３】
制御部１４０は、通信部１３０を介して送信側の携帯電話機１１０から送信されてきた電子メールの、添付画像を除いた他の部分のデータＴを記憶部１５０に記憶させると共に、添付画像が静止画像Ｓである場合、該添付画像を静止画処理部１６０に出力し、静止画処理部１６０に画質補正処理を行わせて補正済み静止画像Ｓ’を得る一方、添付画像が動画像Ｇである場合、該添付画像を動画処理部１７０に出力し、動画処理部１７０に画質補正処理を行わせて補正済み動画像Ｇ’を得る。制御部１４０は、静止画処理部１６０または動画処理部１７０により処理済みの画像と、記憶部１５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部１３０を介して受信側の携帯電話機１１０に送信する。
【００５４】
図６（ｂ）は、図６（ａ）に示す中継サーバ２００における動画処理部１７０の構成を示すブロック図である。図示のように、動画処理部１７０は、圧縮動画像データである添付画像Ｇを、先頭フレームＦ０と先頭フレーム以外の他のフレームＦ１とに分離するフレーム分離部１７２と、先頭フレームＦ０をデコードしてデコード先頭フレームＦ０１を得るデコード部１７４と、デコード先頭フレームＦ０１に対して画質補正処理を行って補正済みデコード先頭フレームＦ０２を得る補正部１７６と、補正済みデコード先頭フレームＦ０２をエンコードして補正済み先頭フレームＦ０３を得るエンコード部１７８と、補正済み先頭フレームＦ０３と他のフレームＦ１とを合成して補正済み動画像Ｇ’を得る符号合成部１８０とを備えてなるものである。
【００５５】
図７は、図６に示す中継サーバ２００の動作を示すフローチャートである。図示のように、図５に示す携帯電話システムＢにおける中継サーバ２００において、通信部１３０を介して送信側の携帯電話機１１０から画像が添付されたメールを受信する（Ｓ１１０）と、制御部１４０は、添付画像が静止画像なのか動画像なのかを確認する（Ｓ１２０）。添付画像が静止画像Ｓであれば（Ｓ１２０：Ｎｏ）、制御部１４０は、添付画像を除いた他の部分のデータＴを記憶部１５０に記憶させると共に、静止画像Ｓである添付画像を静止画処理部１６０に出力する（Ｓ１２５）。静止画処理部１６０は、静止画像Ｓに対して階調補正などの画質補正処理を行って、補正済み静止画像Ｓ’を得る（Ｓ１３０）。制御部１４０は、静止画処理部１６０により得られた補正済み静止画像Ｓ’と、記憶部１５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部１３０を介して受信側の携帯電話機１１０に送信する（Ｓ１９０）。
【００５６】
一方、ステップＳ１２０において、添付画像が動画像Ｇであれば（Ｓ１２０：Ｙｅｓ）、制御部１４０は、添付画像を除いた他の部分のデータＴを記憶部１５０に記憶させると共に、動画像Ｇである添付画像を動画処理部１７０に出力する（Ｓ１３５）。動画処理部１７０は、動画像Ｇに対して階調補正などの画質補正処理となる動画像補正処理Ｐ２を行って、補正済み動画像Ｇ’を得る（Ｓ１４０）。制御部１４０は、動画処理部１７０により得られた補正済み動画像Ｇ’と、記憶部１５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部１３０を介して受信側の携帯電話機１１０に送信する（Ｓ１９０）。
【００５７】
図８は、図６に示す中継サーバ２００における動画処理部１７０の動作を示すフローチャートである。図示のように、動画処理部１７０は、動画像Ｇに対して画質補正処理となる動画像補正処理Ｐ２を施すのにあたって、まず、フレーム分離部１７２により、圧縮動画像データである画像Ｇを、先頭フレームＦ０と他のフレームＦ１とに分離する（Ｓ１４２）。デコード部１７４は、先頭フレームＦ０をデコードしてデコード先頭フレームＦ０１を得（Ｓ１４４）、補正部１７６は、デコード先頭フレームＦ０１に対して画質補正処理を行って補正済みデコード先頭フレームＦ０２を得る（Ｓ１４６）。エンコード部１７８は、補正済みデコード先頭フレームＦ０２をエンコードして補正済み先頭フレームＦ０３を得（Ｓ１４８）、符号合成部１８０は、エンコード部１７８により取得した補正済み先頭フレームＦ０３と、フレーム分離部１７２により分離した他のフレームＦ１とを合成して補正済み動画像Ｇ’を得て、制御部１４０に供する（Ｓ１５０）。
【００５８】
図９は、本発明の画像処理装置およびプログラムの第３の実施形態となる携帯電話システムＣの構成を示すブロック図である。図示のように、本実施形態の携帯電話システムＣは、複数の携帯電話機２１０と、これらの複数の携帯電話機２１０間の通信の中継を行う中継サーバ３００とからなり、携帯電話機２１０と中継サーバ３００とは、携帯電話通信網２２０を介して接続される。中継サーバ３００は、携帯電話機２１０間の通話の中継を行うと共に、電子メールなどの中継も行うものである。ここでも、本発明の主旨が分かりやすいように、携帯電話機２１０間に送受信される電子メールを中継する際に、電子メールに画像データが添付された場合の中継サーバ３００の動作に重点をおいて説明を行う。
【００５９】
図１０は、図９に示す携帯電話システムＣにおける中継サーバ３００の構成を示すブロック図である。図１０（ａ）に示すように、携帯電話システムＣの中継サーバ３００は、各携帯電話機２１０との送受信を行うための通信部２３０と、通信部２３０を含むサーバ１００の全体の動作を制御する制御部２４０と、制御部２４０の制御に従って、電子メールの添付画像以外のデータＴを記憶する記憶部２５０と、電子メールに添付された静止画像Ｓに対して画質補正処理を行って補正済み静止画像Ｓ’を得る静止画処理部２６０と、電子メールに添付された動画像Ｇに対して画質補正処理を行って補正済み動画像Ｇ’を得る動画処理部２７０とを備えたものである。
【００６０】
なお、静止画像Ｓ、補正済み静止画像Ｓ’および動画像Ｇ、補正済み動画像Ｇは’、圧縮されたものであり、動画像Ｇは、他のフレームに依存しないイントラフレームおよび他のフレームとの差分により形成され、他のフレームに依存するインターフレームから構成されるものである。
【００６１】
制御部２４０は、通信部２３０を介して送信側の携帯電話機２１０から送信されてきた電子メールの、添付画像を除いた他の部分のデータＴを記憶部２５０に記憶させると共に、添付画像が静止画像Ｓである場合、該添付画像を静止画処理部２６０に出力し、静止画処理部２６０に画質補正処理を行わせて補正済み静止画像Ｓ’を得る一方、添付画像が動画像Ｇである場合、該添付画像を動画処理部２７０に出力し、動画処理部２７０に画質補正処理を行わせて補正済み動画像Ｇ’を得る。制御部２４０は、静止画処理部２６０または動画処理部２７０により処理済みの画像と、記憶部２５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部２３０を介して受信側の携帯電話機２１０に送信する。
【００６２】
図１０（ｂ）は、図１０（ａ）に示す中継サーバ３００における動画処理部２７０の構成を示すブロック図である。図示のように、動画処理部２７０は、圧縮動画像データである添付画像Ｇを、イントラフレームとインターフレームとに分離するフレーム分離部２７２と、フレーム分離部２７２により得られた各インターフレームをさらにイントラブロックとインターブロックとに分離するブロック分離部２７４と、イントラフレームおよびイントラブロックをデコードしてデコードイントラフレームおよびデコードイントラブロック（以下合わせてデコードデータＭ０という）を得るデコード部２７６と、デコードデータＭ０に対して画質補正処理を行って補正済みデコードイントラフレームおよび補正済みデコードイントラブロック（以下合わせて補正済みデコードデータＭ０１という）を得る補正部２７８と、補正済みデコードデータＭ０１をエンコードして補正済みイントラフレームおよび補正済みイントラブロック（以下合わせて補正済みデータＭ０２という）を得るエンコード部２８０と、補正済みデータＭ０２とインターブロックとを合成して補正済み動画像Ｇ’を得る符号合成部２８２とを備えてなるものである。
【００６３】
図１１は、図１０に示す中継サーバ３００の動作を示すフローチャートである。図示のように、図９に示す携帯電話システムＣにおける中継サーバ３００において、通信部２３０を介して送信側の携帯電話機２１０から画像が添付されたメールを受信する（Ｓ２１０）と、制御部２４０は、添付画像が静止画像なのか動画像なのかを確認する（Ｓ２２０）。添付画像が静止画像Ｓであれば（Ｓ２２０：Ｎｏ）、制御部２４０は、添付画像を除いた他の部分のデータＴを記憶部２５０に記憶させると共に、静止画像Ｓである添付画像を静止画処理部２６０に出力する（Ｓ２２５）。静止画処理部２６０は、静止画像Ｓに対して階調補正などの画質補正処理を行って、補正済み静止画像Ｓ’を得る（Ｓ２３０）。制御部２４０は、静止画処理部２６０により得られた補正済み静止画像Ｓ’と、記憶部２５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部２３０を介して受信側の携帯電話機２１０に送信する（Ｓ２９０）。
【００６４】
一方、ステップＳ２２０において、添付画像が動画像Ｇであれば（Ｓ２２０：Ｙｅｓ）、制御部２４０は、添付画像を除いた他の部分のデータＴを記憶部２５０に記憶させると共に、動画像Ｇである添付画像を動画処理部２７０に出力する（Ｓ２３５）。動画処理部２７０は、動画像Ｇに対して階調補正などの画質補正処理となる動画像補正処理Ｐ３を行って、補正済み動画像Ｇ’を得る（Ｓ２４０）。制御部２４０は、動画処理部２７０により得られた補正済み動画像Ｇ’と、記憶部２５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部２３０を介して受信側の携帯電話機２１０に送信する（Ｓ２９０）。
【００６５】
図１２は、図１０に示す中継サーバ３００における動画処理部２７０の動作を示すフローチャートである。図示のように、動画処理部２７０は、動画像Ｇに対して画質補正処理となる動画像補正処理Ｐ３を施すのにあたって、まず、フレーム分離部２７２により、圧縮動画像データである画像Ｇを、イントラフレームとインターフレームとに分離する（Ｓ２４２）。ブロック分離部２７４は、フレーム分離部２７２により得られたインターフレームをさらにイントラブロックとインターブロックとに分離する（Ｓ２４４）。デコード部２７６は、イントラフレームおよびイントラブロックをデコードしてデコードデータＭ０を得（Ｓ２４６）、補正部２７６は、デコードデータＭ０に対して画質補正処理を行って補正済みデコードデコードデータＭ０１を得る（Ｓ２４８）。エンコード部２８０は、補正済みデコードデータＭ０１をエンコードして補正済みデータＭ０２を得（Ｓ２５０）、符号合成部２８２は、エンコード部２８０により取得した補正済みデータＭ０２と、インターブロックとを合成して補正済み動画像Ｇ’を得て、制御部２４０に供する（Ｓ２５２）。
【００６６】
図１３は、本発明の画像処理装置およびプログラムの第４の実施形態となる携帯電話システムＤの構成を示すブロック図である。図示のように、本実施形態の携帯電話システムＤは、複数の携帯電話機３１０と、これらの複数の携帯電話機３１０間の通信の中継を行う中継サーバ４００とからなり、携帯電話機３１０と中継サーバ４００とは、携帯電話通信網３２０を介して接続される。中継サーバ４００は、携帯電話機３１０間の通話の中継を行うと共に、電子メールなどの中継も行うものである。ここでも、本発明の主旨が分かりやすいように、携帯電話機３１０間に送受信される電子メールを中継する際に、電子メールに画像データが添付された場合の中継サーバ４００の動作に重点をおいて説明を行う。
【００６７】
図１４は、図１３に示す携帯電話システムＤにおける中継サーバ４００の構成を示すブロック図である。図１４（ａ）に示すように、携帯電話システムＤの中継サーバ４００は、各携帯電話機３１０との送受信を行うための通信部３３０と、通信部３３０を含むサーバ１００の全体の動作を制御する制御部３４０と、制御部３４０の制御に従って、電子メールの添付画像以外のデータＴを記憶する記憶部３５０と、電子メールに添付された静止画像Ｓに対して画質補正処理を行って補正済み静止画像Ｓ’を得る静止画処理部３６０と、電子メールに添付された動画像Ｇに対して画質補正処理を行って補正済み動画像Ｇ’を得る動画処理部３７０とを備えたものである。
【００６８】
なお、静止画像Ｓ、補正済み静止画像Ｓ’および動画像Ｇ、補正済み動画像Ｇは’、圧縮されたものであり、動画像Ｇは、他のフレームに依存しないＩフレーム、自身より前のフレームにのみ依存するＰフレームおよび、自身の前と後のフレームに共に依存するＢフレームから構成されるもの、例えばＭＰＥＧ圧縮されたものである。
【００６９】
制御部３４０は、通信部３３０を介して送信側の携帯電話機３１０から送信されてきた電子メールの、添付画像を除いた他の部分のデータＴを記憶部３５０に記憶させると共に、添付画像が静止画像Ｓである場合、該添付画像を静止画処理部３６０に出力し、静止画処理部３６０に画質補正処理を行わせて補正済み静止画像Ｓ’を得る一方、添付画像が動画像Ｇである場合、該添付画像を動画処理部３７０に出力し、動画処理部３７０に画質補正処理を行わせて補正済み動画像Ｇ’を得る。制御部３４０は、静止画処理部３６０または動画処理部３７０により処理済みの画像と、記憶部３５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部３３０を介して受信側の携帯電話機３１０に送信する。
【００７０】
図１４（ｂ）は、図１４（ａ）に示す中継サーバ４００における動画処理部３７０の構成を示すブロック図である。図示のように、動画処理部３７０は、圧縮動画像データである添付画像Ｇを、Ｉフレーム、ＰフレームとＢフレームとに分離するフレーム分離部３７２と、フレーム分離部３７２により得られた各Ｂフレームをさらにイントラブロックとインターブロックとに分離するブロック分離部３７４と、Ｉフレーム、Ｐフレームおよびブロック分離部３７４により得られたイントラブロックをデコードしてデコードＩフレーム、デコードＰフレームおよびデコードイントラブロック（以下合わせてデコードデータＮ０という）を得るデコード部３７６と、デコードデータＮ０に対して画質補正処理を行って補正済みデコードＩフレーム、補正済みデコードＰフレームおよび補正済みイントラブロック（以下合わせて補正済みデコードデータＮ０１という）を得る補正部３７８と、補正済みデコードデータＮ０１をエンコードして補正済みＩフレーム、補正済みＰフレーム、および補正済みイントラブロック（以下合わせて補正済みデータＮ０２という）を得るエンコード部３８０と、補正済みデータＮ０２とインターブロックとを合成して補正済み動画像Ｇ’を得る符号合成部３８２とを備えてなるものである。なお、図示していないが、エンコード部３８０は、基準フレームメモリを有するものであり、この基準フレームメモリは、補正部３７８により得られた、次にエンコードするＰフレームの全ての基準フレーム（すなわち、該Ｐフレームが依存するフレーム）の補正済みデコードフレーム（補正済みデコードＩフレームおよび／または補正済みデコードＰフレーム）を記憶し、該当するＰフレームをエンコードすることに供する。
【００７１】
図１５は、図１４に示す中継サーバ４００の動作を示すフローチャートである。図示のように、図１３に示す携帯電話システムＤにおける中継サーバ４００において、通信部３３０を介して送信側の携帯電話機３１０から画像が添付されたメールを受信する（Ｓ３１０）と、制御部３４０は、添付画像が静止画像なのか動画像なのかを確認する（Ｓ３２０）。添付画像が静止画像Ｓであれば（Ｓ３２０：Ｎｏ）、制御部３４０は、添付画像を除いた他の部分のデータＴを記憶部３５０に記憶させると共に、静止画像Ｓである添付画像を静止画処理部３６０に出力する（Ｓ３２５）。静止画処理部３６０は、静止画像Ｓに対して階調補正などの画質補正処理を行って、補正済み静止画像Ｓ’を得る（Ｓ３３０）。制御部３４０は、静止画処理部３６０により得られた補正済み静止画像Ｓ’と、記憶部３５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部３３０を介して受信側の携帯電話機３１０に送信する（Ｓ３９０）。
【００７２】
一方、ステップＳ３２０において、添付画像が動画像Ｇであれば（Ｓ３２０：Ｙｅｓ）、制御部３４０は、添付画像を除いた他の部分のデータＴを記憶部３５０に記憶させると共に、動画像Ｇである添付画像を動画処理部３７０に出力する（Ｓ３３５）。動画処理部３７０は、動画像Ｇに対して階調補正などの画質補正処理となる動画像補正処理Ｐ４を行って、補正済み動画像Ｇ’を得る（Ｓ３４０）。制御部３４０は、動画処理部３７０により得られた補正済み動画像Ｇ’と、記憶部３５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部３３０を介して受信側の携帯電話機３１０に送信する（Ｓ３９０）。
【００７３】
図１６は、図１４に示す中継サーバ４００における動画処理部３７０の動作を示すフローチャートである。図示のように、動画処理部３７０は、動画像Ｇに対して画質補正処理となる動画像補正処理Ｐ４を施すのにあたって、まず、フレーム分離部３７２により、圧縮動画像データである画像Ｇを、Ｉフレーム、ＰフレームとＢフレームとに分離する（Ｓ３４２）。ブロック分離部３７４は、フレーム分離部３７２により得られたＢフレームをさらにイントラブロックとインターブロックとに分離する（Ｓ３４４）。デコード部３７６は、Ｉフレーム、ＰフレームおよびイントラブロックをデコードしてデコードデータＮ０を得（Ｓ３４６）、補正部３７６は、デコードデータＮ０に対して画質補正処理を行って補正済みデコードデコードデータＮ０１を得る（Ｓ３４８）。エンコード部３８０は、補正済みデコードデータＮ０１をエンコードして補正済みデータＮ０２を得（Ｓ３５０）、符号合成部３８２は、エンコード部３８０により取得した補正済みデータＮ０２と、インターブロックとを合成して補正済み動画像Ｇ’を得て、制御部３４０に供する（Ｓ３５２）。
【００７４】
図１７は、本発明の画像処理装置およびプログラムの第５の実施形態となる携帯電話システムＥの構成を示すブロック図である。図示のように、本実施形態の携帯電話システムＥは、複数の携帯電話機４１０と、これらの複数の携帯電話機４１０間の通信の中継を行う中継サーバ５００とからなり、携帯電話機４１０と中継サーバ５００とは、携帯電話通信網４２０を介して接続される。中継サーバ５００は、携帯電話機４１０間の通話の中継を行うと共に、電子メールなどの中継も行うものである。ここでも、本発明の主旨が分かりやすいように、携帯電話機４１０間に送受信される電子メールを中継する際に、電子メールに画像データが添付された場合の中継サーバ５００の動作に重点をおいて説明を行う。
【００７５】
図１８は、図１７に示す携帯電話システムＥにおける中継サーバ５００の構成を示すブロック図である。図１８（ａ）に示すように、携帯電話システムＥの中継サーバ５００は、各携帯電話機４１０との送受信を行うための通信部４３０と、通信部４３０を含むサーバ１００の全体の動作を制御する制御部４４０と、制御部４４０の制御に従って、電子メールの添付画像以外のデータＴを記憶する記憶部４５０と、電子メールに添付された静止画像Ｓに対して画質補正処理を行って補正済み静止画像Ｓ’を得る静止画処理部４６０と、電子メールに添付された動画像Ｇに対して画質補正処理を行って補正済み動画像Ｇ’を得る動画処理部４７０とを備えたものである。
【００７６】
なお、静止画像Ｓ、補正済み静止画像Ｓ’および動画像Ｇ、補正済み動画像Ｇは’、圧縮されたものであり、動画像Ｇは、ヘッダ情報以外に、各フレームが主としてＤＣＴ係数データと動きベクトルデータとから構成されるものであり、例えばＭＰＥＧ圧縮されたものである。
【００７７】
制御部４４０は、通信部４３０を介して送信側の携帯電話機４１０から送信されてきた電子メールの、添付画像を除いた他の部分のデータＴを記憶部４５０に記憶させると共に、添付画像が静止画像Ｓである場合、該添付画像を静止画処理部４６０に出力し、静止画処理部４６０に画質補正処理を行わせて補正済み静止画像Ｓ’を得る一方、添付画像が動画像Ｇである場合、該添付画像を動画処理部４７０に出力し、動画処理部４７０に画質補正処理を行わせて補正済み動画像Ｇ’を得る。制御部４４０は、静止画処理部４６０または動画処理部４７０により処理済みの画像と、記憶部４５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部４３０を介して受信側の携帯電話機４１０に送信する。
【００７８】
図１８（ｂ）は、図１８（ａ）に示す中継サーバ５００における動画処理部４７０の構成を示すブロック図である。図示のように、動画処理部４７０は、圧縮動画像データである添付画像Ｇから、ＤＣＴ係数データと動きベクトルデータとを抽出する抽出部４７２と、抽出部４７２により得られたＤＣＴ係数データと動きベクトルデータとを用いて動画像Ｇをデコードして各フレームのデコードデータＲ０を得るデコード部４７４と、デコードデータＲ０に対して画質補正処理を行って補正済みデコードデータＲ’０を得る補正部４７６と、抽出部４７２により得られた動きベクトルデータを用いて、補正済みデコードデータＲ’０をエンコードして補正済み動画像Ｇ’を得るエンコード部４７８とを備えてなるものである。なお、図示していないが、エンコード部４７８は、基準フレームメモリを有するものであり、この基準フレームメモリは、補正部４７６により得られた、次にエンコードするフレームの全ての基準フレーム（すなわち、該フレームが依存するフレーム）の補正済みデコードデータＲ’０を記憶し、該当するフレームをエンコードすることに供する。
【００７９】
図１９は、図１８に示す中継サーバ５００の動作を示すフローチャートである。図示のように、図１７に示す携帯電話システムＥにおける中継サーバ５００において、通信部４３０を介して送信側の携帯電話機４１０から画像が添付されたメールを受信する（Ｓ４１０）と、制御部４４０は、添付画像が静止画像なのか動画像なのかを確認する（Ｓ４２０）。添付画像が静止画像Ｓであれば（Ｓ４２０：Ｎｏ）、制御部４４０は、添付画像を除いた他の部分のデータＴを記憶部４５０に記憶させると共に、静止画像Ｓである添付画像を静止画処理部４６０に出力する（Ｓ４２５）。静止画処理部４６０は、静止画像Ｓに対して階調補正などの画質補正処理を行って、補正済み静止画像Ｓ’を得る（Ｓ４３０）。制御部４４０は、静止画処理部４６０により得られた補正済み静止画像Ｓ’と、記憶部４５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部４３０を介して受信側の携帯電話機４１０に送信する（Ｓ４９０）。
【００８０】
一方、ステップＳ４２０において、添付画像が動画像Ｇであれば（Ｓ４２０：Ｙｅｓ）、制御部４４０は、添付画像を除いた他の部分のデータＴを記憶部４５０に記憶させると共に、動画像Ｇである添付画像を動画処理部４７０に出力する（Ｓ４３５）。動画処理部４７０は、動画像Ｇに対して階調補正などの画質補正処理となる動画像補正処理Ｐ５を行って、補正済み動画像Ｇ’を得る（Ｓ４４０）。制御部４４０は、動画処理部４７０により得られた補正済み動画像Ｇ’と、記憶部４５０に記憶されたデータＴとを、画像が添付されたメールの形式に処理して、通信部４３０を介して受信側の携帯電話機４１０に送信する（Ｓ４９０）。
【００８１】
図２０は、図１８に示す中継サーバ５００における動画処理部４７０の動作を示すフローチャートである。図示のように、動画処理部４７０は、動画像Ｇに対して画質補正処理となる動画像補正処理Ｐ５を施すのにあたって、まず、抽出部４７２により、圧縮動画像データである画像Ｇから、ＤＣＴ係数データと動きベクトルデータを抽出する（Ｓ４４２）。デコード部４７４は、抽出部４７２により得られたＤＣＴ係数データおよび動きベクトルデータを用いて動画像Ｇの各フレームをデコードしてデコードデータＲ０を得（Ｓ４４４）、補正部４７６は、デコードデータＲ０に対して画質補正処理を行って補正済みデコードデコードデータＲ’０を得る（Ｓ４４６）。エンコード部４７８は、抽出部４７２により得られた動画像Ｇの各フレームの動きベクトルデータを用いて、補正済みデコードデータＲ’０をエンコードして補正済み動画像Ｇ’を得て、制御部４４０に供する（Ｓ４４８）。
【００８２】
上述した携帯電話システムＡから携帯電話システムＤまでの４つの本発明の実施形態において、圧縮動画像データに対して階調補正などの画質補正処理を施す際に、圧縮動画像データを補正する部分と補正しない部分とに分離し、補正する部分に対してのみデコード、画質補正、エンコードを行ってから補正しない部分と合成して処理済み圧縮動画像データを得るようにしているので、動画像を美しく表示するための画質補正処理ができると共に、デコード、エンコードを行うデータ量を減らすことによって処理時間を短縮することができ、効率が良い。
【００８３】
また、第５の実施形態となる携帯電話システムＥは、主としてＤＣＴ係数データと動きベクトルデータにより各フレームが構成されるＭＰＥＧなどの圧縮動画像データに対して画質補正処理を施す際に、動きベクトルが階調などの画質に殆ど影響を与えないことを利用し、圧縮動画像データに対してデコード、画質補正を行った後にエンコードする際に、デコードする際に元の圧縮動画像データから抽出された動きベクトルデータを用いてエンコードを行うようにすることによって、補正後のデータをエンコードするために動きベクトルを求めるための演算を省くことができ、処理時間の短縮を図り、効率良く圧縮動画像データの画質補正を行って、処理済み圧縮動画像データを得ることができる。
【００８４】
以上、本発明の画像処理装置およびプログラムの望ましい実施形態について説明したが、これらは、上述した実施形態に限られるものではなく、本発明の主旨を変えない限り、種々の変更、増減を加えることができる。
【００８５】
例えば、図９に示す携帯電話システムＣの中継サーバ３００における動画処理部２７０は、圧縮動画像データをイントラフレームとインターフレームとに分離した上に、インターフレームをさらにイントラブロックとインターブロックとに分離し、イントラフレームとイントラブロックとの両方に対してデコード、画質補正を行うようにして、より画質の改善を図るようにしているが、圧縮動画像データをイントラフレームとインターフレームとに分離し、イントラフレームのみをデコードおよび画質補正を行うようにしてもよい。
【００８６】
この点については、図１３に示す携帯電話システムＤの中継サーバ４００における動画処理部３７０においても同様である。すなわち、動画処理部３７０は、Ｂフレームをイントラブロックとインターブロックとに分離することをせず、Ｉフレーム、Ｐフレームのみをデコードおよび画質補正を行うようにしてもよい。
【００８７】
また、上述した第１から第５までの５つの実施形態とも、本発明の画像処理装置およびプログラムを携帯電話システムに適用したものであるが、本発明の画像処理装置およびプログラムは、携帯電話システムに限られるものではなく、テレビ電話や、動画像の表示装置など、圧縮動画像データに対して画質補正を行って、処理済み圧縮動画像データを得ることが必要な如何なるシステムまたは装置に適用してもよい。
【図面の簡単な説明】
【００８８】
【図１】本発明の画像処理装置およびプログラムの第１の実施形態となる携帯電話システムＡの構成を示すブロック図
【図２】図１に示す携帯電話システムＡにおける中継サーバ１００の構成を示すブロック図
【図３】図２に示す中継サーバ１００の動作を示すブローチャート
【図４】図２に示す中継サーバ１００の動画処理部７０の動作を示すブローチャート
【図５】本発明の画像処理装置およびプログラムの第２の実施形態となる携帯電話システムＢの構成を示すブロック図
【図６】図５に示す携帯電話システムＢにおける中継サーバ２００の構成を示すブロック図
【図７】図６に示す中継サーバ２００の動作を示すフローチャート
【図８】図６に示す中継サーバ２００の動画処理部１７０の動作を示すフローチャート
【図９】本発明の画像処理装置およびプログラムの第３の実施形態となる携帯電話システムＣの構成を示すブロック図
【図１０】図９に示す携帯電話システムＣにおける中継サーバ３００の構成を示すブロック図
【図１１】図１０に示す中継サーバ３００の動作を示すフローチャート
【図１２】図１０に示す中継サーバ３００の動画処理部２７０の動作を示すフローチャート
【図１３】本発明の画像処理装置およびプログラムの第４の実施形態となる携帯電話システムＤの構成を示すブロック図
【図１４】図１３に示す携帯電話システムＤにおける中継サーバ４００の構成を示すブロック図
【図１５】図１４に示す中継サーバ４００の動作を示すフローチャート
【図１６】図１４に示す中継サーバ４００の動画処理部３７０の動作を示すフローチャート
【図１７】本発明の画像処理装置およびプログラムの第５の実施形態の携帯電話システムＥの構成を示すブロック図
【図１８】図１７に示す携帯電話システムＥにおける中継サーバ５００の構成を示すブロック図
【図１９】図１８に示す中継サーバ５００の動作を示すブロック図
【図２０】図１８に示す中継サーバ５００の動画処理部４７０の動作を示すフローチャート
【符号の説明】
【００８９】
１０，１１０，２１０，３１０，４１０ 携帯電話機
２０，１２０，２２０，３２０，４２０ 携帯通信網
３０，１３０，２３０，３３０，４３０ 通信部
４０，１４０，２４０，３４０，４４０ 制御部
５０，１５０，２５０，３５０，４５０ 記憶部
６０，１６０，２６０，３６０，４６０ 静止画処理部
７０，１７０，２７０，３７０，４７０ 動画処理部
７２ 分離部
７４ デコード部
７６ 補正部
８０ エンコード部
８２ 合成部
１７２ フレーム分離部
１７４ デコード部
１７６ 補正部
１７８ エンコード部
１８０ 符号合成部
２７２ フレーム分離部
２７４ ブロック分離部
２７６ デコード部
２７８ 補正部
２８０ エンコード部
２８２ 符号合成部
３７２ フレーム分離部
３７４ ブロック分離部
３７６ デコード部
３７８ 補正部
３８０ エンコード部
３８２ 符号合成部
４７２ 抽出部
４７４ デコード部
４７６ 補正部
４７８ エンコード部
１００，２００，３００，４００，５００ 中継サーバ
Ｇ 圧縮動画像データ
Ｇ’ 補正済み圧縮動画像データ
Ｓ 圧縮静止画像データ
Ｓ’ 補正済み圧縮静止画像データ
Ｔ 電子メールの添付画像を除いたデータ
【出願人】 【識別番号】３０６０３７３１１
【氏名又は名称】富士フイルム株式会社
【出願日】 平成１９年１０月２６日（２００７．１０．２６）
【代理人】 【識別番号】１０００７３１８４
【弁理士】
【氏名又は名称】柳田 征史

【識別番号】１０００９０４６８
【弁理士】
【氏名又は名称】佐久間 剛
【公開番号】 特開２００８−７２７４７（Ｐ２００８−７２７４７Ａ）
【公開日】 平成２０年３月２７日（２００８．３．２７）
【出願番号】 特願２００７−２７８５５４（Ｐ２００７−２７８５５４）