トップ :: G 物理学 :: G06 計算;計数

【発明の名称】 デジタル画像の二倍拡大法
【発明者】 【氏名】秋元 ヒロシ

【氏名】ホロボロディコ パブロー

【氏名】ホロボロディコ コンスタンティン

【要約】 【課題】対角のみならず広範な端部に対し配慮した適応自然型の方法により、固定型フィルターをもついかなる補間アルゴリズムよりも端部をより正確に再現することができ、ぼけと同時にブロック端部の人工的に発生するものを両方ともなくしてしまい、さらに、CCDセンサーの画像だけの処理に制約されることは無く、広範な適用範囲で使うことが出来る。

【解決手段】拡大された画像のピクセルは原画像の対応する取巻き近傍ピクセルの重み付けされた合計値として定義される。原画像を拡大するために適用される補間係数は原画像を二分の一に人為的に縮小したものから原画像に拡大することに対し最善となるようにして最適に組立てられる。最適化が出来たかどうかは誤差の最小自乗値の合計が最小となることとされている。最善の結果を出すために、画像の全てのピクセルはピクセル近傍の幾何学的位置関係により幾つかの異なった部分集合に分けられる。
【特許請求の範囲】
【請求項1】
二分の一に人為的に縮小された原画像から原画像に拡大するために最適となる補間重み係数を組み立て、その生成された重み係数を原画像の二倍拡大のために適用することに際して、
原画像を二分の一に縮小は近傍4ピクセルの平均を取ることにより行い、
個々のピクセルに対し傾斜ベクトルを計算し、数種の型により傾斜ベクトルの極格子量子化することで縮小画像のピクセル群を傾斜ベクトルの量子化により数種の型にクラス分けし、
縮小画像から原画像へ拡大のためにピクセル群の個別の型に対して補間重み値を生成は、ピクセルデータを累積し、最小自乗誤差が最小になるように下記連立一次方程式を解くことを特徴とするデジタル画像の二倍拡大法。


【発明の詳細な説明】【技術分野】
【0001】
本発明は、画像データの処理、特に画像の前印刷やデジタル映像の画像拡大に使うような画像の大きさを変える処理の方式に関するものである。
【背景技術】
【0002】
画像の大きさを変えることは、生物医学の画像や電子出版、マルチメディアなどデジタル画像の多くの用途の中で重要なことである。画像の拡大補間は通常復元処理−連続モデルでデータを適合すること−及び任意の割合でサンプリングすることの2段階で実行される。
【0003】
別々のデータから区分的連続関数の復元は入力データと復元中心核を線形結合させるときにしばしば用いられる。これまで多くの復元処理核が提案され解析されている。
【0004】
この分野の有名な試みはニアレストネイバー法、バイリニア法およびバイキュービック法である。これらの方法は計算が複雑でなく必要とする蓄積容量が少なくてすむ方式であるが、しばしば境界端部のぼやけや出来上がった結果画像には境界端部の周りに新たらに作られてしまった人工物(偽色)を発生させてしまう。同じような人工物の発生はラグランジェ多項式に基づいた方式でも現れる。
【0005】
このように動作してしまう主な理由は、画像のスムースでない領域に対して適応度が低いためで、結果として処理の過程で悪い複製物を作ってしまうからである。
【0006】
画像補間の技術を指向している幾つかの特許文献としては下記のものを挙げることができる。
【特許文献1】U.S. Pat. No. 5,754,710
【特許文献2】U.S. Pat. No. 6,281,875
【特許文献3】U.S. Pat. No. 6,411,305
【特許文献4】U.S. Pat. No. 6,421,084
【特許文献5】U.S. Pat. No. 6,832,009
【0007】
特許文献1のU.S. Pat. No. 5,754,710は複数の値を持ったデジタルデータにより表現された第一の解像度の画像を補間により第二の解像度の画像に変換する画像解像度変換方式を提案する。
【0008】
個々の変換後ピクセルに変換する第一解像度画像の多数の変換前ピクセルにより定義されるブロックを割り当てるステップから構成される。個々のピクセルのブロックに対するデータに基づくブロックに於いて端部検出を行う。この時少なくとも端部検出の結果が予め決定した条件を満たす場合には第一の補間方法により解像度変換を行い、予め決めた状態を満足しない端部検出の結果の時には第二の補間方法により解像度変換を行う。解像度変換はニアレストネイバー(nearest neighbor)法やバイリニア(bi-linear)法等の適応型でない補間因子の既定セットにより実行される。簡単な端部検出の技法としては実行する一つのピクセルブロックに対し適当な補間因子を選択することを用いる。
【0009】
特許文献2のU.S. Pat. No. 6,281,875は元の画像に対し相対的に拡大縮小されたものを目標画像とする場合に、目標画像の中で着目するピクセルに対するデータ値を元画像のピクセルに対するデータ値に基づいて決定する方法を提供する。
【0010】
具体的には以下の処理による。目標画像の対象ピクセルの位置に基づき元画像の位置を計算する。この計算段階で決定される元画像の位置の斜め傾斜の存在をテストする。テスト段階で斜め傾斜の存在に対応して、計算段階で計算された位置を取巻く元画像の中のピクセル値との関連によって斜め傾斜の存在をテストする。元画像の対角線上に隣接するピクセルに対する補間データ値に基づく目標画像のために計算する。そしてテスト段階で斜め傾斜が存在しない場合に関連して、元画像の中で少なくとも4個の取巻くピクセルに対する補間データ値に基づいて作られる目的画像に対しデータ値を計算する。
【0011】
この方法はバイリニア(bi-linear)法のアルゴリズムの画質向上を目指している。画像の斜め端部では強くブロック状の人工的に発生するノイズが現れる。これを解決するためにそのような領域の処理にはバイリニア(bi-linear)法を用いないように提案している方法である。
【0012】
特許文献3のU.S. Pat. No. 6,411,305はローパス拡大フィルタを使い初期の拡大画像を生成する方法を提供している。結果となる画像は通常では原画像より画像データの傾きが小さくなる。使用者またはアプリケーションがシャープにしたい画像部分を選んだときには対応する原画像データの部分はデータをシャープにするために一つまたは複数のハイパスフィルタによりハイパスフィルタ処理される。初期拡大画像データとシャープ化されたデータは結合されシャープ化された拡大画像が生成される。
【0013】
好適な実施例の中では、二つのハイパスフィルタが使われ各二つのハイパスフィルタの中で拡大係数が明確なシャープにするパラメータとして使われている。シャープにするパラメータは使用者が選択できる。このことは使用者にとって画像をシャープ化する過程で単一のハイパスフィルタを用いるより大きな制御を可能とする。提案されている仕組みは拡大処理や原画像をぼけたバイリニア補間画像と混合する前にシャープ化された原画像を用いることによりバイリニアの仕組みの人工的なぼけを軽減することを意図している。
【0014】
特許文献4のU.S. Pat. No. 6,421,084は単色センサーの配列からなるカメラからフルカラー画像を補間するためのデジタル画像システムを提供する。測定された色の値はシステムの記憶にデータ要素の配列として蓄積される。それぞれのデータ要素は一つのセンサーから測定された測定色値に対応する。一組の傾斜値は配列の特定の位置における個々のデータ要素に対して決定される。傾斜値は他方向のデータ要素から色値の違いに対応している。傾斜値のセットから閾値が決定される。閾値を用い部分集合の中から閾値より小さい値を持つものが選択される。個々のデータ要素に対して付加する色値は傾斜値の部分集合により補完される。
【0015】
特許文献5のU.S. Pat. No. 6,832,009はさまざまな拡大率、分数を含む拡大比率で画像を拡大することが出来、しかも視覚的に好ましくない人工物を減らすようなシャープな画像を作り出すことが出来る簡便な方法を提供する。実施例は傾斜に依存する指数重み関数および補完されるピクセルを計算するための距離に一次従属する関数を用いる。さらに実施例は端部の部分的なコントラストに関して最適化が出来るように指数を用いる。
【発明の開示】
【発明が解決しようとする課題】
【0016】
前記特許文献1〜特許文献5のうち、特許文献1の発明は、区分的連続関数の再構築に基づく先に言及したアルゴリズムの単なる変化形でありブロックノイズやぼけといった人工的に発生するノイズに依然として害される。
【0017】
特許文献2の発明は、写真の自然画像には通常対角ばかりでなくいろいろな種類の端部を含んでおり、このような端部処理にはバイリニア(bi-linear)法のアルゴリズムではブロックノイズやぼけといった人工的なノイズの発生が依然としてある。
【0018】
特許文献3の発明は、人工的なぼけを軽減することは出来ても人工的なブロックノイズは同じだけ残ることにあるいはシャープ化の過程で悪くすらなってしまう。
【0019】
特許文献4の発明は、着目するピクセルに対し適合する補間の方法を選択する技術に基づいているものの補間方法そのものが固定されており当該ピクセルを取巻く近傍の画像に依存していない。このことは画像のために選ばれた固定化された方法が最適でないために画像の質を損なうことになる。さらに、特許文献4の適用範囲はCCDセンサーの画像だけの処理に制約されている。
【0020】
特許文献5の発明で提案されている仕組みは拡大処理や原画像をぼけたバイリニア補間画像と混合する前にシャープ化された原画像を用いることによりバイリニアの仕組みの人工的なぼけを軽減することを意図している。しかしながらこのやり方は人工的なぼけを軽減することは出来ても人工的なブロックノイズは同じだけ残ることにあるいはシャープ化の過程で悪くすらなってしまう。
【0021】
本発明の目的は前記従来例の不都合を解消し、対角のみならず広範な端部に対し配慮した適応自然型の方法により、固定型フィルターをもついかなる補間アルゴリズムよりも端部をより正確に再現することができ、ぼけと同時にブロック端部の人工的に発生するものを両方ともなくしてしまい、さらに、CCDセンサーの画像だけの処理に制約されることは無く、広範な適用範囲で使うことが出来るデジタル画像の二倍拡大法を提供することにある。
【課題を解決するための手段】
【0022】
前記目的を達成するため請求項1記載の本発明は、二分の一に人為的に縮小された原画像から原画像に拡大するために最適となる補間重み係数を組み立て、その生成された重み係数を原画像の二倍拡大のために適用することに際して、
原画像を二分の一に縮小は近傍4ピクセルの平均を取ることにより行い、
個々のピクセルに対し傾斜ベクトルを計算し、数種の型により傾斜ベクトルの極格子量子化することで縮小画像のピクセル群を傾斜ベクトルの量子化により数種の型にクラス分けし、
縮小画像から原画像へ拡大のためにピクセル群の個別の型に対して補間重み値を生成は、ピクセルデータを累積し、最小自乗誤差が最小になるように下記連立一次方程式を解くことを要旨とするものである。


【0023】
本発明は、プリ印刷処理やマルチメディアシステムに使われる二倍の適応型デジタル画像拡大を提供するものである。
本発明は、周りの領域のデータ内容(コンテキスト)に依りピクセルをクラス分けするアルゴリズムを提供するものである。
本発明は、ピクセルを個々のユニークな周りのデータ内容(コンテキスト)の型に導いていく方法の構築手順を提供するものである。
【0024】
前記及び発明の更なる対象としては、周りのデータ内容(コンテキスト)に依りピクセルをクラス分けすることや個々の周りのデータ内容(コンテキスト)に対する再サンプル時の重み値を組立てること及びこの応用に関する画像拡大の技術を提供することである。
【0025】
まず最初に、二分の一に縮小した原画から原画にサイズを変更するときに、最小自乗誤差の平均を最小化することにより最善なリサイズ方法を構築する。次に、得られたリサイズ方法を原画に適用することにより結果的に二倍に拡大された画像となる。
【0026】
境界端部や風合い等に見た目でわかる人工的なノイズが入ることを避けるため、ピクセルはその近くの幾何学的な関係により数種の型に分けられ、縮小方法はそれぞれの型に対して別々に生成される。この仕組みは、元々在るピクセルは変えないでそのピクセルの間に新しいピクセルを差込んでいくというような従来のやり方と違い、元々のピクセルを分割して拡大した結果の4つのピクセルを作る方法として、二分の一に縮小する過程は考えられている。
【0027】
本発明での仕組みは、両方向に二倍の拡大をすることを対象としているがこれはある簡単な補間方法と結合させることにより整数とは限らないいかなる比率の再サンプルに使うことが出来る。
【0028】
本発明の更なる対象として、画像を印刷する前処理やマルチメディアシステムのような所で、色の深さや形式に関係なく高品質な画像のサイズ変更が出来ることが要求されるさまざまな場面でこの画像拡大方式は使われる。
【0029】
本発明の優位点は、最高の画質を要求されるプロ用高級マルチメディア処理機の用途のみならず簡単な既存の簡単な方法より良い結果を出力する実時間処理の用途にこの方式を柔軟に変えることが出来ることである。
【0030】
請求項1記載の本発明によれば、着目するピクセルの近傍領域のもつ幾何学的な性質からフィルターの係数を全て導き出すような完全に適応型の仕組みをとることにより、先のような欠点を克服している。適応型は固定型フィルターをもついかなる補間アルゴリズムよりも端部をより正確に再現することを可能になる。
【0031】
本発明によれば、対角のみならず広範な端部に対し配慮した適応自然型の方法によりブロックノイズやぼけといった人工的に発生するノイズに害されるという欠点を克服できる。さらに補間フィルターは補完される画像に基づいて全ての端部の型を唯一無二に導き出すことができる。
【0032】
本発明はぼけと同時にブロック端部の人工的に発生するものを両方ともなくしてしまう方法を提供する。これは補間フィルターが拡大されるところの特別な画像に基づいて適応的に計算されることにより可能となる。これにより適当なシャープのレベルと端部の滑らかさが自動的に維持される。加えて提案するアルゴリズムは使用者の補助を必要としないため自動的に画像を処理する仕組みの中でより適用範囲が広がることになる。
【0033】
本発明は、二つの意味において最適化された技術を提供する。すなわち、データ内容(コンテキスト)の最適化に対し、最善に適合する補間方法(フィルター)を構築するとともにピクセルデータ内容(コンテキスト)を選択する。さらに、特許文献4のように適用範囲がCCDセンサーの画像だけの処理に制約されること無く、広範な適用範囲で使うことが出来る。
【0034】
本発明によれば、傾斜の特性、大きさと方向性の二つの特性を計算に織り込むアルゴリズムを提供することで、画質の低下を抑えることができる。
【発明の効果】
【0035】
以上述べたように本発明のデジタル画像の二倍拡大法は、対角のみならず広範な端部に対し配慮した適応自然型の方法により、固定型フィルターをもついかなる補間アルゴリズムよりも端部をより正確に再現することができ、ぼけと同時にブロック端部の人工的に発生するものを両方ともなくしてしまい、さらに、CCDセンサーの画像だけの処理に制約されることは無く、広範な適用範囲で使うことが出来るものである。
【発明を実施するための最良の形態】
【0036】
以下、本発明の実施の形態を詳細に説明する。なお、この実施形態は最も良い実施形態などの、本発明の望ましい具体例を示すもので、本発明は本発明の趣旨を逸脱しない範囲についていろいろ違った形に修正して使うことができ、その結果、本発明は他の異なる具体的な形態になることもある。それ故に図示及び記述説明は限定されたものではない。
【0037】
まず、2倍のデジタル画像拡大のデータ内容(コンテキスト)適応型の補間の仕組みを記す。一般的な処理フローを図2と図4に示す。
【0038】
さきに、図2と図4を簡単に説明する。図2はアルゴリズムの一般的仕組みを示すもので、縮小画像→原画像→拡大画像を得るのに、縮小画像→原画像では、低解像度から高解像度に最良な上方サンプリングするためのデータ内容(コンテキスト)に基づいたフィルターの構築を行う。原画像→拡大画像では、第二段階の処理をすることにより構築されたデータ内容(コンテキスト)に基づいたフィルターを用いて原画像を拡大する。
【0039】
図4は供するアルゴリズムの流れ図で、原画像の平均化のために4つの近傍ピクセルによる低解析度画像の計算を行い(ステップ1)、傾斜量子化の手法により異なったタイプに低画像ピクセルをクラス分けする(ステップ2)、全てのピクセルタイプに対し最適な補間係数を組立てる(ステップ3)、原画像ピクセルのクラス分けとタイプに対応する最適な予測子に基づく出力ピクセルの計算を行う(ステップ4)。
【0040】
さらに詳細に説明する。
1. 考え方
関数f(x,y)は物理的な画像を代表しているアナログ信号である。画像のデジタル形式である二次元配列値Pは或る矩形領域A<x<B,A<y<B上でf(x,y)に対してサンプリング処理した結果として得られる。
完全な画像では切出しシステムは式(1)のような簡単な関係を一般には持つ。


ここでhx,hyはサンプルステップである。
【0041】
しかしながら現実のシステムはゼロでない矩形をもつ(光検知器のような)サンプリング素子を使うのでPi,jは現実にはサンプル素子表面に掛かる関数f(x,y)の平均値に相当する。この仮定に依ればピクセルは下記式(2)になる。


【0042】


【0043】
他の解像度の画像を得るためにはステップhx,hyを変えサンプリング処理、式(2)を繰り返す。通常これは物理的には出来ないし、画像は既定値として特定のhx,hy値を与えられている。ただし、これは一つの解像度でそれだけのバージョンであることを知りながら、いろいろな解像度で画像を生成するときに問題になることである。
すなわち、或る特定の解像度でデジタル処理された画像は原画を特定のhx,hy値でサンプリング処理は、式(2)された時に得られる。
他の解像度の画像を得るために、原画を他のhx,hy値で式(2)の再サンプリング処理をすることが必要となるが、通常は再サンプリング処理をするための原画が無く、物理的にサンプリング処理が出来ない。このために或る特定の解像度、すなわち或る特定のhx,hy値で式(2)のサンプリング処理がされたデジタル画像を元にしていろいろな解像度で画像を生成することが必要となる。
このときに起こる諸問題を解決する手段をこの発明は提供する。
【0044】
前記式(2)から、2倍違った二つの解像度を持つピクセルの相対的な位置関係は図1のように描かれる。図1は低解像度ピクセル(P-1)と高解像度ピクセル(P0)との一般的な対応関係を示す図である。低い解像度のピクセルは高解像度のものより2倍広い矩形となる。このことから値が残っている元々のピクセルの間に新たなものを差し込んで拡大するよりむしろピクセルを分割することによる画像の拡大の方が自然である。
【0045】
二回再サンプルする仕組みはこのアプローチである。アルゴリズム全体の仕組みの説明は先の図2に表せられる。まず、原画像の低解像度版を周りの4ピクセルの平均を取って生成する。その後可能な限り最良のアップサンプリングをするためにオリジナル画像の縮小されたものからデータ内容(コンテキスト)に基づく補間フィルターを作る。
【0046】
次の段階で直近に得られたフィルターを最終画像の生成のために原画に適用する。
補間フィルターの構築
図5は低解像度画像のピクセルを異なる型にクラス分けし、個々の型に対する最適な補間係数を創り上げる処理フローを示すもので、低解像度画像の全ピクセルに対し下のステップを実行する。
【0047】
近傍に或るピクセルに対する傾斜ベクトル座標を計算する(下記式(3))。
【0048】
図3に示す極格子により傾斜ベクトル座標を量子化する。
個々の極格子セルはピクセルの独自の型に対応する。
従って、この段階で着目するピクセルが属する型は既知となる。
【0049】
ピクセルの型に対応して線形システムの係数を更新する(下記式(5))。
【0050】
低解像度画像の全てのピクセルが処理されると同時に、収集された線形システムが解かれ全てのピクセルの型に最適な予測子が導き出される。
【0051】




【0052】


【0053】
個々の部分集合は同じセル内で量子化される全てのピクセルの傾斜ベクトルから成る。部分集合の総量Ωは量子化の係数ΔφとTに依存する。多くの経験から言えることとしてΔφ(方向傾斜量子化)は画質に対し主役を担う。
【0054】
この係数が大きくなるとブロックにより生成される人工的なものは少なくなる。閾値Tは殆どの写真画像に対して7にセットすれば境界端部方向でノイズの影響を抑えることが出来る。
【0055】




【0056】
ここで、Iωは全ピクセルのインデックスがデータ内容(コンテキスト)ωに属するピクセルの一式であり、連立一次方程式は次のように成る。


【0057】
2.補間フィルターの適用


そして部分集合に属する全ての原画像ピクセル個々に対し直近で作り上げた予測方式βを適用する。


【0058】
図6は、原画像に最適な補間係数を適用することにより、出力ピクセルを計算するフローであり、原画像の全てのピクセルに対し次のステップの処理をする(ステップ1)、近傍に或るピクセルに対する傾斜ベクトル座標を計算する(b式(3))(ステップ2)、図3に示す極格子により傾斜ベクトル座標を量子化する、個々の極格子セルはピクセルの独自の型に対応する、従って、この段階で着目するピクセルが属する型は既知となる、(ステップ3)、当該ピクセルをその型に対応する最適な補間係数により、4つの新しいピクセルに分割する。(ステップ3)
【実施例1】
【0059】
以下に本発明の実施例としてアルゴリズムの一つを説明する。
【0060】
GFQ_I(データ内容(コンテキスト)適応型2倍画像拡大法)
GFQ_I1
[初期化] 整数値Mからなる、M×Mの補間フィルターのサイズ及び極量子化閾値T、データ内容(コンテキスト)をクラス分けするφを選択する。
GFQ_I2
[第一段階、補間フィルターの構築 i,j項を繰り返す] 段階GFQ_I3、段階GFQ_I4を実行する。
GFQ_I3
[第一段階、データ内容(コンテキスト)の決定] 傾斜ベクトルGi,jを式(3)で計算、低解像度画像のピクセルi,jに対して量子化。
GFQ_I4
[第一段階、システムを収集] マッチするデータ内容(コンテキスト)を構成するために式(5)の連立一次方程式に対する当該ピクセルの近隣を収集する。
GFQ_I5
[補間フィルターの構成] 先の式(5)の連立一次方程式の解として個々のデータ内容(コンテキスト)に対して補間フィルターを生成する。
GFQ_I6
[第二段階、原画像の拡大i,j項を繰り返す] 段階GFQ_I7、段階GFQ_I8を実行する。
GFQ_I7
[第二段階、データ内容(コンテキスト)の決定] 式(3)により原画に対して計算される傾斜ベクトルGi,jに基づく原画像ピクセルi,jに対してデータ内容(コンテキスト)を決定する。
GFQ_I8
[第二段階、分割] 1つの原画像ピクセルを第一段階で生成した補間フィルターに対応させることにより4つの最終ピクセルに分割する。
【図面の簡単な説明】
【0061】
【図1】低解像度ピクセル(P-1)と高解像度ピクセル(P0)の対応関係を示す説明図である。
【図2】アルゴリズムの一般的な仕組みを示す説明図である。
【図3】周りのデータ内容(コンテキスト)の中での傾斜ベクトル量子化のために使われる極格子を示す図形である。
【図4】本発明の好ましい実施例によるところの補間の仕組みのブロック図である。
【図5】低解像度画像ピクセルのクラス分けと個々のピクセル型に対する最適な補間係数を組立てるためのフローチャートである。
【図6】対応する最適な補間係数を原画像に適用することによりピクセル出力値を計算するためのフローチャートである。
【出願人】 【識別番号】302051474
【氏名又は名称】株式会社高度圧縮技術研究所
【出願日】 平成17年11月10日(2005.11.10)
【代理人】 【識別番号】100078695
【弁理士】
【氏名又は名称】久保 司


【公開番号】 特開2007−133678(P2007−133678A)
【公開日】 平成19年5月31日(2007.5.31)
【出願番号】 特願2005−326306(P2005−326306)