トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 フレーム補間装置及びフレーム補間方法
【発明者】 【氏名】吉村 博

【氏名】小川 佳彦
【要約】 【課題】大きな探索範囲を必要としないで、大きな動きベクトルの場合にも対処でき、適切なフレーム補間ができるフレーム補間装置及びフレーム補間方法を提供する。

【構成】第１及び第２フレームＰ１，Ｐ２から第１の補間フレームを作成するために第１の動きベクトル算出部１１ａは、第１の動きベクトルを算出する。第２及び第３フレームＰ２，Ｐ３から第２の補間フレームを作成するために第２の動きベクトル算出部１１ａは、第２の動きベクトルを算出する場合、第１の動きベクトルの到達点を探索範囲に設定して、第２の動きベクトルを算出する。
【特許請求の範囲】
【請求項１】
時間的に前後する第１及び第２のフレーム画像間を補間する第１の補間フレーム画像における各所定ブロック毎に前記第１及び第２のフレーム画像における前記各所定ブロックに対応する第１及び第２の画像ブロック間の相対的な動き量を第１の探索範囲内で算出することにより、前記第１の画像ブロックに対する前記各所定ブロックの相対的な動き量を表す第１の動きベクトルを算出する第１の動きベクトル算出手段と、
時間的に前後する第２及び第３のフレーム画像間を補間する第２の補間フレーム画像における各所定ブロック毎に前記第２及び第３のフレーム画像における前記各所定ブロックに対応する第２及び第３の画像ブロック間の相対的な動き量を第２の探索範囲内で算出することにより、前記第２の画像ブロックに対する前記各所定ブロックの相対的な動き量を表す第２の動きベクトルを算出する場合、
前記各所定ブロック毎に算出された第１の動きベクトルの位置を、第３のフレーム画像上に設定される前記第２の探索範囲の中心位置にそれぞれ設定して前記第２の動きベクトルを算出する第２の動きベクトル算出手段とを具備したことを特徴とするフレーム補間装置。
【請求項２】
前記第１の動きベクトル算出手段は、時間的に前後する第１及び第２のフレーム画像において、前記第１の補間フレーム画像中に設定される各所定ブロックに対して幾何学的に対称位置にそれぞれ設定される前記第１及び第２の画像ブロック間のマッチング処理を前記第１の探索範囲内で行い、
前記第２の動きベクトル算出手段は、時間的に前後する第２及び第３のフレーム画像において、前記第２の補間フレーム画像中に設定される各所定ブロックに対して幾何学的に対称位置にそれぞれ設定される前記第２及び第３の画像ブロック間のマッチング処理を前記第２の探索範囲内で行うことを特徴とする請求項１に記載のフレーム補間装置。
【請求項３】
前記第１の探索範囲と第２の探索範囲は、両画素数サイズが等しいことを特徴とする請求項１又は請求項２に記載のフレーム補間装置。
【請求項４】
前記マッチング処理は、前記所定ブロックの位置に関して幾何学的に対称となる前記第１及び第２の画像ブロックに属する対応する各画素間の相関度が最大となるものを算出する処理であることを特徴とする請求項２に記載のフレーム補間装置。
【請求項５】
時間的に前後する第１及び第２のフレーム画像間を補間する第１の補間フレーム画像における各所定ブロック毎に前記第１及び第２のフレーム画像における前記各所定ブロックに対応する第１及び第２の画像ブロック間の相対的な動き量を第１の探索範囲内で算出することにより、前記第１の画像ブロックに対する前記各所定ブロックの相対的な動き量を表す第１の動きベクトルを算出する第１の動きベクトル算出ステップと、
時間的に前後する第２及び第３のフレーム画像間を補間する第２の補間フレーム画像における各所定ブロック毎に前記第２及び第３のフレーム画像における前記各所定ブロックに対応する第２及び第３の画像ブロック間の相対的な動き量を第２の探索範囲内で算出することにより、前記第２の画像ブロックに対する前記各所定ブロックの相対的な動き量を表す第２の動きベクトルを算出する場合、
前記各所定ブロック毎に算出された第１の動きベクトルの位置を、第３のフレーム画像上に設定される前記第２の探索範囲の中心位置にそれぞれ設定して前記第２の動きベクトルを算出する第２の動きベクトル算出ステップとを具備したことを特徴とするフレーム補間方法。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、動画表示する場合に適用されるフレーム補間装置及びフレーム補間方法に関する。
【背景技術】
【０００２】
液晶テレビジョン受像機等、動画を表示する装置においては、表示特性を向上する等を目的として、補間フレーム画像を生成するフレーム補間装置が設けられる場合がある。このフレーム補間装置は、時間点に前後する例えば現フレーム画像と過去フレーム画像との動きベクトルを求めて補間フレーム画像を生成する。
このように補間フレーム画像を生成するためには、動きベクトルを求めることが必要になり、動きベクトルを求める際、マクロブロック等の単位ブロックが採用される。そして、単位ブロックがどの位置に移動しているかを探る範囲として探索範囲が決められる。例えば、特許文献１には、以下のように既検出した領域における動きベクトルの平均速度及びその方向によって定まる探索範囲から動きベクトルを検出する方法が開示されている。
【０００３】
この方法は、単位ブロックで動きベクトルを検出する場合、対象ブロックに隣接するブロックにおける既検出の動きベクトルの内で予測誤差成分が最小のものを対象ブロックの代表ベクトルに設定し、この代表ベクトルが所定値を超える場合には、所定領域内で既検出した動きベクトルより算出した平均速度とその方向で規定される探索範囲をブロックマッチング処理で探索し、対象ブロックの動きベクトルを検出する。
一般に探索範囲は、単位ブロックを中心位置として大きな範囲に設定した方が、大きな動き（早い動き）でも動きベクトルを求めることが出来る。
【特許文献１】特開２０００−２０１３２８号公報
【特許文献２】特開２００４−３５７２１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記の探索範囲を大きくすると、ブロックマッチング処理の処理量が大幅に増大するため、ハードウェアの規模を大きくすることが必要となり、コストアップの要因となり、大きな探索範囲に設定することは困難になる。
また、上記特許文献１の方法は、１フレーム内において、周囲の移動とその移動速度が異なる領域がある場合には、動きベクトルが周囲の既検出の動きベクトルの平均速度等から設定される探索範囲から逸脱する可能性がある。そのため、探索範囲を大きくしないと、動きベクトルを算出できなくなる可能性がある。
本発明は、上述した点に鑑みてなされたもので、大きな探索範囲を必要としないで、大きな動きベクトルの場合にも対処でき、適切なフレーム補間ができるフレーム補間装置及びフレーム補間方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一態様に係るフレーム補間装置は、時間的に前後する第１及び第２のフレーム画像間を補間する第１の補間フレーム画像における各所定ブロック毎に前記第１及び第２のフレーム画像における前記各所定ブロックに対応する第１及び第２の画像ブロック間の相対的な動き量を第１の探索範囲内で算出することにより、前記第１の画像ブロックに対する前記各所定ブロックの相対的な動き量を表す第１の動きベクトルを算出する第１の動きベクトル算出手段と、
時間的に前後する第２及び第３のフレーム画像間を補間する第２の補間フレーム画像における各所定ブロック毎に前記第２及び第３のフレーム画像における前記各所定ブロックに対応する第２及び第３の画像ブロック間の相対的な動き量を第２の探索範囲内で算出することにより、前記第２の画像ブロックに対する前記各所定ブロックの相対的な動き量を表す第２の動きベクトルを算出する場合、
前記各所定ブロック毎に算出された第１の動きベクトルの位置を、第３のフレーム画像上に設定される前記第２の探索範囲の中心位置にそれぞれ設定して前記第２の動きベクトルを算出する第２の動きベクトル算出手段と、
を具備したことを特徴とする。
【０００６】
本発明の一態様に係るフレーム補間方法は、時間的に前後する第１及び第２のフレーム画像間を補間する第１の補間フレーム画像における各所定ブロック毎に前記第１及び第２のフレーム画像における前記各所定ブロックに対応する第１及び第２の画像ブロック間の相対的な動き量を第１の探索範囲内で算出することにより、前記第１の画像ブロックに対する前記各所定ブロックの相対的な動き量を表す第１の動きベクトルを算出する第１の動きベクトル算出ステップと、
時間的に前後する第２及び第３のフレーム画像間を補間する第２の補間フレーム画像における各所定ブロック毎に前記第２及び第３のフレーム画像における前記各所定ブロックに対応する第２及び第３の画像ブロック間の相対的な動き量を第２の探索範囲内で算出することにより、前記第２の画像ブロックに対する前記各所定ブロックの相対的な動き量を表す第２の動きベクトルを算出する場合、
前記各所定ブロック毎に算出された第１の動きベクトルの位置を、第３のフレーム画像上に設定される前記第２の探索範囲の中心位置にそれぞれ設定して前記第２の動きベクトルを算出する第２の動きベクトル算出ステップと、
を具備したことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、大きな探索範囲を必要としないで、大きな動きベクトルの場合にも対処でき、適切なフレーム補間ができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して本発明の実施例を説明する。
（一実施形態）
図１は本発明の一実施の形態に係るフレーム補間装置を備えた動画表示装置１を示す。この動画表示装置１は、動画のフレーム画像（単にフレームと略記）を生成する画像生成部２と、隣接する２つのフレームから補間フレーム画像（補間フレームと略記）を生成するフレーム補間装置３と、フレーム及び補間フレームを表示する液晶ディスプレイ等の画像表示部４とからなる。
画像生成部２は、例えば動画を生成するビデオカメラにより構成される。テレビカメラの他に、テレビジョンチューナ及び映像復調回路を備えたものでも良い。また、既存のテレビジョン受像機において、フレーム補間装置３を付加して動画の表示特性を向上することも可能になる。
フレーム補間装置３は、画像生成部２により生成された所定のフレームレートのフレームに対して、補間フレームを生成することにより、例えば倍速のフレームを生成する。そして、この倍速のフレームが入力される画像表示部４は、フレーム補間装置３を用いない場合に比べて、倍速で動画を表示し、動画表示特性を改善する。
【０００９】
図２は本発明の一実施形態に係るフレーム補間装置３の構成を示す。
このフレーム補間装置３は、入力されるフレームを複数枚分、一時的に格納するフレームメモリ６と、このフレームメモリ６に格納された時間的に前後する２つのフレームをそれぞれ用いて第１及び第２の補間フレームを生成する第１及び第２の補間フレーム生成部７ａ、７ｂとを有する。
フレームメモリ６は、時間的に順次入力される第１、第２、第３のフレームＰ１、Ｐ２、Ｐ３をそれぞれ格納する第１、第２、第３のフレームメモリ６ａ、６ｂ、６ｃを有する。
【００１０】
また、第１の補間フレーム生成部７ａは、第１、第２のフレームＰ１，Ｐ２から所定の画素数サイズのブロック間の動き量を表す第１の動きベクトルを算出する第１の動きベクトル算出部１１ａ、算出された第１の動きベクトルの情報を格納する第１の動きベクトル格納部１２ａ、前記第１の動きベクトルを算出するための第１の探索範囲を設定する第１の探索範囲設定部１３ａとを有する。
【００１１】
また、第２の補間フレーム生成部７ｂは、第２、第３のフレームＰ２、Ｐ３から所定の画素数サイズのブロック間の動き量を表す第２の動きベクトルを算出する第２の動きベクトル算出部１１ｂ、算出された第２の動きベクトルの情報を格納する第２の動きベクトル格納部１２ｂ、前記第２の動きベクトルを算出するための第２の探索範囲を設定する第２の探索範囲設定部１３ｂａとを有する。なお、第１の探索範囲と第２の探索範囲は、等しい画素数サイズに設定される。
フレームメモリ６に格納された第１、第２、第３のフレームＰ１、Ｐ２、Ｐ３と、第１及び第２の補間フレーム生成部７ａ及び７ｂによりそれぞれ生成された第１及び第２の補間フレームＱ１，Ｑ２とは、図３に示すようにＰ１、Ｑ１、Ｐ２、Ｑ２、Ｐ３の順で画像表示部４に出力される。そして、画像表示部４は、これらのフレームＰ１、Ｑ１、Ｐ２、Ｑ２、Ｐ３を、倍速の画像として表示する。
第１及び第２の補間フレーム生成部７ａ及び７ｂは、以下に説明するようにsymmetric serch法を利用して、補間フレームを生成する。なお、symmetric serch法は、特許文献２に開示されている。
【００１２】
この場合、最初の補間フレーム、つまり第１の補間フレームＱ１を生成する場合には、参照できる過去の動きベクトルが存在しないため、通常の方法で動きベクトルを算出する。
これに対して、第２の補間フレームＱ２を生成する場合には、第１の補間フレームＱ１の生成の際に得られた第１の動きベクトルの情報を利用して、その第１の動きベクトルの到達位置（到達点）を第２の探索範囲の中心位置に設定して、ブロックマッチング法により第２の動きベクトルを算出する。
このため、図２に示すように第２の探索範囲設定部１３ｂは、第１の動きベクトル格納部１２ａに格納されている第１の動きベクトルの情報を読み出し、この第１の動きベクトルの到達位置が中心位置となるように第２の探索範囲を設定する。
このように第１及び第２の補間フレーム生成部７ａ及び７ｂは、symmetric serch法を利用して、補間フレームを生成する場合、以前の動きベクトルの情報を利用するか否かが異なるのみである。
【００１３】
従って、図２においては、第１及び第２の補間フレーム生成部７ａ及び７ｂは、それぞれ別のブロック構成として示してあるが、１つのブロックで両方の機能を行うことが可能であることは明らかである（後述する図７の説明の際には１つとして説明する）。
図４は第１の補間フレーム生成部７ａにより、第１及び第２のフレームＰ１，Ｐ２から第１の補間フレームＱ１を生成する説明図を示す。
図４に示すように第１の補間フレームＱ１を生成するために用意した補間フレーム面Ｑを水平及び垂直方向に所定の画素数サイズのブロック（以下、補間対象ブロックと言う）Ｂｉに区分け（分割）する。ここで、Ｂｉは図４のＢ１からＢｎまでにおける１つの補間対象ブロックを表す。
なお、図４において、水平方向は時間を示し、縦方向は画像の２次元位置を示す。隣接する時間上に対向する第１及び第２のフレームＰ１，Ｐ２における中間位置に補間フレーム面Ｑが配置される。
そして、第１の補間フレーム生成部７ａは、分割した補間対象ブロックＢｉを、例えばＢ１から順次２次元的に走査し、各補間対象ブロックＢｉ毎に動き推定処理、換言すると動きベクトル算出処理を行う。
【００１４】
図４に示すように補間対象ブロックＢｉに対して動きベクトル算出処理を行う場合、この補間対象ブロックＢｉの位置に対して幾何学的に対称位置となるように、第１の補間フレーム生成部７ａは、第１及び第２のフレームＰ１，Ｐ２上に、第１の探索範囲Ｒａ、Ｒｂをそれぞれ設定する。
また、第１の探索範囲Ｒａ、Ｒｂ内において補間対象ブロックＢｉと同じ画素数サイズの画像ブロックＢａ’、Ｂｂ’対を設定し、第１の補間フレーム生成部７ａは、第１の探索範囲Ｒａ、Ｒｂ内をサーチして画像ブロックＢａ’、Ｂｂ’対における相関度が最大となる画像ブロックＢａ、Ｂｂを探索する（図５にて後述）。
【００１５】
そして、第１の動きベクトル算出部１１ａは、この画像ブロックＢａ、Ｂｂ対間の動きベクトルを算出して、その動きベクトルの１／２を求めて、画像ブロックＢａに対する補間対象ブロックＢｉの第１の動きベクトルＶｉを算出する。
本実施形態では、第１及び第２のフレームＰ１，Ｐ２の時間的に中間位置となる第１の補間フレームＱ１を生成する場合で説明するため、第１の動きベクトル算出部１１ａは、両画像ブロックＢａ、Ｂｂ対間の動きベクトルの１／２を、画像ブロックＢａに対する補間対象ブロックＢｉの第１の動きベクトルＶｉとして算出する。
この第１の動きベクトルＶｉは、第１の動きベクトル格納部１２ａに格納される。
【００１６】
また、補間対象ブロックＢｉの画像は、この第１の動きベクトルＶｉだけ、画像ブロックＢａの画像が移動した（動いた）と動き推定される。そして、この補間対象ブロックＢｉの画像が画像ブロックＢａの画像を用いて生成される。勿論、両画像ブロックＢａ、Ｂｂの両画像を用いてこの補間対象ブロックＢｉの画像を生成しても良い。
このようにして、図４に示すように第１の探索範囲Ｒａ、Ｒｂ中における例えば最初の補間対象ブロックＢ１から最後の補間対象ブロックＢｎまでの第１の動きベクトルが算出されると、第１の補間フレーム生成部７ａは、補間対象ブロックＢｉに対して算出された第１の動きベクトルＶｉの位置情報と対応する画像ブロックＢａとにより第１の補間フレームＱ１を生成する。
図５は、上記第１の探索範囲Ｒａ、Ｒｂ内をサーチして画像ブロックＢａ’、Ｂｂ’対の最も相関度の高い画像ブロックＢａ、Ｂｂを探索する処理の説明図を示す。
【００１７】
この図５に示すように補間対象ブロックＢｉに関して、互いに幾何学的に対称位置となる画像ブロックＢａ’、Ｂｂ’をそれぞれ第１の探索領域Ｒａ、Ｒｂ内に設定して、その画像ブロックＢａ’、Ｂｂ’を対称性を保つように水平及び垂直方向にシフトしながら、各画像ブロックＢａ’、Ｂｂ’内で幾何学的に対称位置の画素間の差分の積算値（ＳＡＤ）をそれぞれ算出する。
図５では、最初に実線で示す位置に画像ブロックＢａ’、Ｂｂ’対を設定して、この設定位置で、画像ブロックＢａ’、Ｂｂ’対における対応する画素間の差分の積算値Σ１を算出する。
次に画像ブロックＢａ’、Ｂｂ’対を例えば水平方向に（対称性を保つように）１画素分シフト（点線で示す）して、同様に差分の積算値Σ２を算出する。このような処理を繰り返して、最後の画像ブロック位置まで行う。
【００１８】
そして、第１の探索範囲Ｒａ、Ｒｂ内において算出された全ての差分の積算値において、差分の積算値の絶対値が最小となるもの、或いは相関度が最も高いものを画像ブロックＢａ、Ｂｂとする（そして、その際に第１の動きベクトルＶｉが算出される）。
図５では、例えば斜線で示すものが最も相関度が高い画像ブロックＢａ、Ｂｂとして示されている。
このようにsymmetric serch法を利用して、第１の補間フレームを生成する。
第２の補間フレーム生成部７ｂもほぼ同様のsymmetric serch法を利用して、第２の補間フレームＱ２を生成する。
この場合には、図４にて説明した処理は、第１及び第２のフレームＰ１，Ｐ２の代わりに第２及び第３のフレームＰ２，Ｐ３が用いられる。また、第２及び第３のフレームＰ２，Ｐ３には、第２の探索範囲Ｒｂ，Ｒｃと画像ブロックＢｂ’、Ｂｃ’が設定される。
【００１９】
また、最初の補間フレームとなる第１の補間フレームＱ１においては、それ以前の動きベクトルの情報を有しないため、第１の探索範囲Ｒａ，Ｒｂは、例えば予め設定された既定値（例えば動きベクトルが０の位置を第１の探索範囲Ｒａ，Ｒｂの中心位置）で設定される。
【００２０】
これに対して、第２の探索範囲設定部１３ｂは、第１の動きベクトル格納部１２ａに格納された第１の動きベクトルＶｉを読み出し、この第１の動きベクトルＶｉの到達点を中心位置として第２の探索範囲Ｒｂ、Ｒｃの位置を設定する。
例えば図５で説明した処理により、補間対象ブロックＢｉの動きベクトルＶｉが算出されたとすると、この動きベクトルＶｉを用いて図６に示すように第２の探索範囲設定部１３ｂは第２の探索範囲Ｒｂ，Ｒｃを設定する。
【００２１】
図６の実線に示すように（第３のフレームＰ３中に設定される）第２の探索範囲Ｒｃは、その中心位置が、前の補間フレーム（つまり第１の補間フレームＱ１）における補間対象ブロックＢｉに対して算出された動きベクトルＶｉの到達位置に設定される。
この設定により、第２の探索範囲Ｒｃと対称位置に設定されるＲｂにおいては、その中心位置は、動きベクトルＶｉを反転した−Ｖｉの到達位置に設定される。
なお、図６において２点鎖線は、動きベクトルＶｉ分だけ、移動しないで設定した場合における第２の探索範囲Ｒｂ’、Ｒｃ’を参考用に示している。
このように、第２の探索範囲Ｒｂ，Ｒｃを設定して第２の補間フレーム生成部７ｂもほぼ同様のsymmetric serch法を利用して、第２の補間フレームＱ２を生成する。
なお、第２の補間フレームＱ２の次の第３の補間フレームに対しては、第２の補間フレームＱ２の生成の際に得られた動きベクトルを用いて第３の探索範囲を設定すれば良い。換言すれば、第１の補間フレームＱ１の際に得られた動きベクトルを用いて第２の補間フレームを生成したのと同様に、第２の補間フレームＱ２の生成の際に得られた動きベクトルを用いて第３の探索範囲を設定すれば良い。
【００２２】
図７は、第１の補間フレームＱ１の算出のための第１の動きベクトルの算出から第２の補間フレームＱ２の算出（第３のフレームＱ３以降の算出も含む）のための第２の動きベクトルを算出する処理手順をより一般化したフローチャートを示す。
以下の説明では、図２に示した第１及び第２の補間フレーム生成部７ａ、７ｂ等のａ，ｂを省いて１つの補間フレーム生成部７として説明する（符号１１ａ、１１ｂ、１２ａ、１２ｂ等も同様）。
最初のステップＳ１において補間フレーム生成部７は、第ｋの補間フレームＱｋに対応したパラメータｋを初期値１にセットする。そして、次のステップＳ２においてフレームメモリ６は、時間順となる第ｋ、第ｋ＋１のフレームＰｋ、Ｐｋ＋１（この場合にはｋ＝１であるのでＰ１，Ｐ２）を格納する。
【００２３】
次のステップＳ３において補間フレーム生成部７は、第ｋの補間フレームＱｋを生成するための補間フレーム面Ｑを複数（ｉ＝１からｎ）の補間対象ブロックＢｉに分割する。そして、ステップＳ４に示すようにその補間対象ブロックＢｉのブロック位置を示すパラメータｉを初期値１に設定する。
次のステップＳ５において、補間フレーム生成部７は、ｋ＝１かの判定を行う。この条件を満たす場合には、ステップＳ６に示すように探索範囲設定部１３は、補間対象ブロックＢｉに対応した探索範囲を所定の位置に設定して第ｋの探索範囲Ｒｋｉ，Ｒｋ＋１ｉ（図４のＲａ、Ｒｂに相当）とする。
この場合、第ｋの探索範囲Ｒｋｉ，Ｒｋ＋１ｉは、補間対象ブロックＢｉに関して互いに幾何学的に対称位置に設定される。
そして、補間フレーム生成部７は、第ｋの探索範囲Ｒｋｉ，Ｒｋ＋１ｉの画像をそれぞれ第ｋ及び第ｋ＋１のフレームＰｋ、Ｐｋ＋１から切り出す。
【００２４】
一方、ｋが１でない場合には、ステップＳ７に示すように第ｋの探索範囲Ｒｋｉ，Ｒｋ＋１ｉの中心位置を、前の補間フレーム生成の際に求めた動きベクトルＶｉの到達位置に設定する。
この場合、第ｋの探索範囲Ｒｋｉ，Ｒｋ＋１ｉは、補間対象ブロックＢｉに関して互いに幾何学的に対称位置に設定される。
そして、第ｋの探索範囲Ｒｋｉ，Ｒｋ＋１ｉの画像をそれぞれ第ｋ及び第ｋ＋１のフレームＰｋ、Ｐｋ＋１から切り出す。
ステップＳ６或いはステップＳ７の後に、ステップＳ８に進む。
このステップＳ８において、補間対象ブロックＢｉに関して幾何学的に対称位置となるように第ｋの探索範囲Ｒｋｉ、Ｒｋ＋１ｉの画像部分に対してそれぞれ画像ブロックＢｋｊ’、Ｂｋ＋１ｊ’（図４のＢａ’、Ｂｂ’に相当）を設定する。
【００２５】
ここで、ｊは第ｋの探索範囲Ｒｋｉ、Ｒｋ＋１ｉの画像内に設定される画像ブロックＢｋｊ’、Ｂｋ＋１ｊ’の位置を示すパラメータであり、例えばｊ＝１からｍである。
そして、ステップＳ９に示すようにパラメータｊは初期値１に設定される。
そして、以下のよう第ｋの探索範囲Ｒｋｉ、Ｒｋ＋１ｉ内においてsymmmtri serch法で画像ブロックＢｋｊ’、Ｂｋ＋１ｊ’対を移動（走査）し、画像ブロックＢｋｊ’、Ｂｋ＋１ｊ’対における最大の相関度のものをブロックマッチング処理で行う。
次のステップＳ１０において、画像ブロックＢｋｊ’、Ｂｋ＋１ｊ’対における互いに幾何学的に対称位置となる各画素間で差分の積算値の算出が行われる。
次のステップＳ１１において、ｊ＝ｍかの判定が行われ、この条件を満たさない場合にはステップＳ１２においてｊ＝ｊ＋１の処理が行われた後、ステップＳ１０に戻る。つまり、画像ブロックＢｋｊ’、Ｂｋ＋１ｊ’対を水平方向及び垂直方向に１画素づつ移動しながらステップＳ１０の処理を繰り返す。
【００２６】
一方、ステップＳ１１において、ｊ＝ｍの条件を満たす場合には、第ｋの探索範囲Ｒｋｉ、Ｒｋ＋１ｉの最後の位置までステップＳ１０の処理を終了したことになるため、次のステップＳ１３に進む。
このステップＳ１３において、相関度が最大となるもの（ここでは差分の積算値の絶対値が最小となる）画像ブロックＢｋ（ｉ）、Ｂｋ＋１（ｉ）（図４のＢａ、Ｂｂに相当）対を算出する。ここで、（ｉ）はｉに依存することを示している。
そして、ステップＳ１４に示すように相関度が最大となる差分の積算値の画像ブロックＢｋ（ｉ）、Ｂｋ＋１（ｉ）対間の位置からその画像ブロックＢｋ（ｉ）、Ｂｋ＋１（ｉ）対間の動きベクトルが算出される。
そして、その動きベクトルの１／２が、補間対象ブロックＢｉの動きベクトルＶｉとして算出される。ここでは、単にＶｉと表記するが、Ｖｉ（ｋ）と表記して第ｋの補間フレームＱｋを生成する際に算出されたものであることを示すようにしても良い。
【００２７】
また、この動きベクトルＶｉは（第ｋの）動きベクトル格納部１２に格納される。
次のステップＳ１５においてｉ＝ｎかの判定が行われる。このｉ＝ｎの条件を満たさない場合にはステップＳ１６においてｉ＝ｉ＋１の処理が行われた後、ステップＳ５に戻る。
一方、ｉ＝ｎの条件を満たす場合にはフレーム面Ｑにおける全ての補間対象ブロックＢｉに対する動きベクトルＶｉの算出が終了したことになるので、ステップＳ１７に示すようにｋ＝ｋ＋１を行う。そして、ステップＳ２に戻る。
そして、次の補間フレームＱｋの動きベクトルＶｉを算出する。この場合には前の補間フレームＱｋ−１の際に動きベクトルＶｉが算出されているので、ステップＳ５の次にステップＳ７の処理が行われるようになる。
【００２８】
このように処理する本実施形態に係るフレーム補間装置３によれば、時間的に前の補間フレーム生成の際に算出された動きベクトルだけ探索範囲の中心を移動して次の動きベクトルを算出するようにしているので、動き量が大きい場合においても、探索範囲を大きくしなくても動きベクトルの算出を適切に行うことができる。従って、フレーム補間装置３のハードウェアの規模を小規模のもので対処できることになり、フレーム補間装置３をコストダウンできる。
図８は、本実施形態に係る作用の説明図を示す。図８は例えば動画におけるある領域が第１，第２，第３フレーム上でＡ，Ｂ，Ｃのように時間経過により移動した例を、模式的に示したものである。
【００２９】
この場合、Ａ，Ｂの中間の第１の補間フレームＱ１を生成する際に、ある補間対象ブロックＢｉ（ｋ＝１）の動きベクトルＶｉ（ｋ＝１）が、Ａ、Ｂ間の動き量の半分として算出される。
そして、この補間フレームＱ１の補間対象ブロックＢｉ（ｋ＝１）に対応して、Ｂ，Ｃの中間を補間する補間フレームＱ２の補間対象ブロックＢｉ（ｋ＝２）における第２の探索範囲Ｒｃを設定する場合、上記動きベクトルＶｉ（ｋ＝１）の到達位置分だけ、移動した位置を、第２の探索範囲Ｒｃの中心位置に設定する。
このように第２の探索範囲Ｒｃを設定することによって、このように動きベクトルＶｉ（ｋ＝１）を移動しない場合においては大きな探索範囲に設定しないとＣの領域の動きを検出できないような場合においても、その動きを第２の探索範囲Ｒｃ内に捉えることができる。
【００３０】
従って本実施形態によれば、探索範囲のサイズ（領域）の大きさを変更しないでも、大きな動きや加速していくような動きがある画像の場合にも、画像中の動きベクトルを正確に求めることができる。従って、質の良い補間フレームを生成することができ、表示特性を向上することもできる。
換言すると、本実施形態は、動画のように時間的に隣接するフレーム間の相関性が大きい動きベクトルの情報を有効に利用して、それらを補間する補間フレームを生成するようにしているので、探索範囲を大きくしなくても、変化の大きいフレーム間を、有効に補間できる。
なお、上述の説明では、ある補間フレームＱｋにおける動きベクトルの算出の際に、１つ前の補間フレームＱｋ−１における動きベクトルの情報を利用した場合を説明したが、２つ前の補間フレームの動きベクトルの情報も利用するようにしても良い。
【００３１】
例えば２つ前の補間フレームＱｋ−２の動きベクトル（Ｖｋ−２で表す）から次の１つ前の補間フレームＱｋ−１の動きベクトルＶｋ−１が変化した場合には、これらの動きベクトルＶｋ−２，Ｖｋ−１の変化を考慮して、次の補間フレームＱｋの動きベクトルＶｋを探索する際の探索範囲の中心位置Ｒｃｅｎを設定するようにしても良い。
この場合、探索範囲の中心位置Ｒｃｅｎを以下のように設定するようにしても良い。
【００３２】
Ｒｃｅｎ＝Ｖｋ−１＋α（Ｖｋ−１−Ｖｋ−２） （１）
ここで、係数αは０から１までの値とする。１式のように設定すると、動きベクトルＶｋ−２からＶｋ−１がより加速或いは減速された場合には、その加速或いは減速の程度を考慮して、探索範囲の中心位置Ｒｃｅｎを設定する。
【００３３】
その概略の特徴を説明すると、例えば動きベクトルＶｋ−２からＶｋ−１が加速された場合には、１つ前のベクトルＶｋ−１の値よりも大きな動きベクトルの値で探索範囲の中心位置Ｒｃｅｎが設定される。
逆に動きベクトルＶｋ−２からＶｋ−１が減速された場合には、１つ前のベクトルＶｋ−１の値よりも小さな動きベクトルの値で探索範囲の中心位置Ｒｃｅｎが設定される。実際には、ベクトルは位置と方向性を持つため、方向変化の場合を含めて、より適切に対応できる可能性を持つ。
従ってこのように探索範囲の中心位置Ｒｃｅｎを設定すると、より動き方向を含めた変化等に適切に対処することが可能となる。
なお、本実施形態に係るフレーム補間装置３は、時間の経過を逆にしてフレーム補間を行う場合にも適用することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施形態に係るフレーム補間装置を備えた動画表示装置の構成を示すブロック図。
【図２】フレーム補間装置の構成を示すブロック図。
【図３】フレーム補間装置から時系列的に出力されるフレーム及び補間フレームを示す図。
【図４】２つのフレームからその間の補間フレームを生成する説明図。
【図５】補間対象ブロックに対して対称的に設定された探索範囲内において、画像ブロック対を対称的に移動して相関度が最大となる画像ブロック対を探索する説明図。
【図６】前の補間フレームの際に得られた動きベクトルの到達位置を探索範囲の中心位置に設定した様子を示す説明図。
【図７】第１の動きベクトル及び第２の動きベクトルの算出処理の方法を示すフローチャート。
【図８】本実施形態に係る作用の説明図。
【符号の説明】
【００３５】
３…フレーム補間装置、６…フレームメモリ、７ａ、７ｂ…補間フレーム生成部、１１ａ…第１の動きベクトル算出部、１１ｂ…第２の動きベクトル算出部。
【出願人】 【識別番号】０００００３０７８
【氏名又は名称】株式会社東芝
【出願日】 平成１８年６月３０日（２００６．６．３０）
【代理人】 【識別番号】１０００７６２３３
【弁理士】
【氏名又は名称】伊藤 進
【公開番号】 特開２００８−１１４７６（Ｐ２００８−１１４７６Ａ）
【公開日】 平成２０年１月１７日（２００８．１．１７）
【出願番号】 特願２００６−１８２５９４（Ｐ２００６−１８２５９４）