トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 シャドウ領域補償方法、媒体およびシステム
【発明者】 【氏名】韓 榮 蘭

【氏名】李 承 信

【氏名】朴 斗 植

【要約】 【課題】暗い領域に対しては周辺輝度を考慮して輝度を大きく向上させ、明るい領域に対しては輝度を小さく向上させるシャドウ領域補償方法、媒体およびシステムを提供する。

【構成】映像情報を有するピクセルとピクセルの周囲に位置するピクセルとの輝度を反映して代表輝度Lを算出するステップと、算出された代表輝度を用いて補償輝度比を決定するステップと、補償輝度比によって出力輝度を上昇させるステップとを含む。
【特許請求の範囲】
【請求項1】
(a)映像情報を有するピクセルと前記ピクセルの周囲に位置するピクセルとの輝度を反映して、代表輝度を算出するステップと、
(b)前記算出された代表輝度を用いて補償輝度比を決定するステップと、
(c)前記補償輝度比によって出力輝度を上昇させるステップとを含み、
前記代表輝度が高くなるにつれて補償輝度比は減少する、シャドウ領域補償方法。
【請求項2】
入力映像を複数の領域に分割し、分割された領域での平均輝度を計算して閾値輝度より低い領域があるかを判断するステップをさらに含む、請求項1に記載のシャドウ領域補償方法。
【請求項3】
前記(a)ステップは、
該当ピクセルおよび前記ピクセルの周囲に位置するピクセルの輝度を平均したり、または該当ピクセルとの距離を反映して加重値を有する平均値を取って代表輝度として算出する、請求項1に記載のシャドウ領域補償方法。
【請求項4】
前記(a)ステップは、
該当ピクセルと前記ピクセルの周囲に位置するピクセルとの輝度差を計算し、計算された輝度差が閾値以上になるグループと閾値以下になるグループとに分けて、複数のピクセルが含まれるグループの輝度を平均して代表輝度として算出する、請求項1に記載のシャドウ領域補償方法。
【請求項5】
前記(b)ステップは、
前記代表輝度Lavを用いる一般式
【数1】


ここで、
【数2】


によって、補償輝度比のIN(x、y)/Yを決定するが、IN(x、y)は入力映像の(x、y)に位置するピクセルの輝度を標準化した値(Normalized value)、I(x、y)は入力映像の(x、y)に位置するピクセルの輝度値、I’は出力されるピクセルの輝度値、Yは向上した輝度比、IN(x、y)/Yは補償輝度比である、請求項1に記載のシャドウ領域補償方法。
【請求項6】
前記(c)ステップは、
補償輝度比を用いる一般式
【数3】


によって出力輝度(I’)を決定するが、IN(x、y)は入力映像の(x、y)に位置するピクセルの輝度を標準化した値(Normalized value)、I(x、yは入力映像の(x、y)に位置するピクセルの輝度値である、請求項5に記載のシャドウ領域補償方法。
【請求項7】
前記ピクセルに対する輝度情報と前記ピクセルの周囲に位置するピクセルの輝度を含む映像情報が入力されるステップと、前記ピクセルの上昇した出力輝度を有する出力映像を出力手段に出力するステップとをさらに含む、請求項1に記載のシャドウ領域補償方法。
【請求項8】
請求項1の方法を遂行する少なくとも一つの処理要素を制御するコンピュータ判読可能なコードを含む少なくとも一つの媒体。
【請求項9】
(a)映像情報を有するピクセルと前記ピクセルの周囲に位置するピクセルとの輝度を反映して代表輝度を算出するステップと、
(b)前記代表輝度を指数曲線に代入して適応輝度を算出するステップと、
(c)前記算出された適応輝度を用いて補償輝度比を決定するステップと、
(d)前記補償輝度比によって出力輝度を上昇させるステップとを含み、
前記代表輝度が高くなるにつれて補償輝度比は減少する、シャドウ領域補償方法。
【請求項10】
入力映像を複数の領域に分割し、分割された領域での平均輝度を計算して閾値輝度より低い領域があるかを判断するステップをさらに含む、請求項9に記載のシャドウ領域補償方法。
【請求項11】
(b)ステップは、
TとGのパラメータを用いた一般式
【数4】


によって、前記指数曲線を形成して適応輝度Ladを算出するが、Tはシャドウ補正をする輝度の最大値、Gは代表輝度Lavに累乗する指数である、請求項9に記載のシャドウ領域補償方法。
【請求項12】
前記(b)ステップは、
入力映像の全体ヒストグラムを作成して、入力映像を分類するステップをさらに含む、請求項9に記載のシャドウ領域補償方法。
【請求項13】
前記(b)ステップは、
前記分類された入力映像に対応するTとGのパラメータを選択するステップをさらに含む、請求項12に記載のシャドウ領域補償方法。
【請求項14】
前記(c)ステップは、
前記適応輝度Ladを用いる一般式
【数5】


ここで、
【数6】


によって、補償輝度比のIN(x、y)/Yを決定するが、IN(x、y)は入力映像の(x、y)に位置するピクセルの輝度を標準化した値(Normalized value)、I(x、y)は入力映像の(x、y)に位置するピクセルの輝度値、I’は出力されるピクセルの輝度値、Yは向上した輝度比、IN(x、y)/Yは補償輝度比である、請求項9に記載のシャドウ領域補償方法。
【請求項15】
前記(d)ステップは、
補償輝度比を用いる一般式
【数7】


によって出力輝度(I’)を決定するが、IN(x、y)は入力映像の(x、y)に位置するピクセルの輝度を標準化した値(Normalized value)、I(x、yは入力映像の(x、y)に位置するピクセルの輝度値である、請求項14に記載のシャドウ領域補償方法。
【請求項16】
前記ピクセルに対する輝度情報と前記ピクセルの周囲に位置するピクセルの輝度を含む映像情報が入力されるステップと、前記ピクセルの上昇した出力輝度を有する出力映像を出力手段に出力するステップとをさらに含む、請求項9に記載のシャドウ領域補償方法。
【請求項17】
請求項9の方法を遂行する少なくとも一つの処理要素を制御するコンピュータ判読可能なコードを含む少なくとも一つの媒体。
【請求項18】
映像情報を有するピクセルと前記ピクセルの周囲に位置するピクセルとの輝度を反映して代表輝度を算出する代表輝度算出部と、
前記算出された代表輝度を用いて補償輝度比を決定する補償輝度比決定部と、
前記補償輝度比によって出力輝度を上昇させるシャドウ補償部とを含み、
前記代表輝度が高くなるにつれて補償輝度比は減少する、シャドウ領域補償システム。
【請求項19】
入力映像を複数の領域に分割し、分割された領域での平均輝度を計算して閾値輝度より低い領域があるかを判断する空間輝度分析部をさらに含む、請求項18に記載のシャドウ領域補償システム。
【請求項20】
前記代表輝度算出部は、
該当ピクセルおよび前記ピクセルの周囲に位置するピクセルの輝度を平均したり、または該当ピクセルとの距離を反映して加重値を与えた平均値を取って代表輝度として算出する、請求項18に記載のシャドウ領域補償システム。
【請求項21】
前記代表輝度算出部は、
該当ピクセルと前記ピクセルの周囲に位置するピクセルとの輝度差を計算し、計算された輝度差が閾値以上になるグループと閾値以下になるグループとに分けて、複数のピクセルが含まれるグループの輝度を平均して代表輝度として算出する、請求項18に記載のシャドウ領域補償システム。
【請求項22】
前記補償輝度比決定部は、
前記代表輝度Lavを用いる一般式
【数8】


ここで、
【数9】


によって、補償輝度比のIN(x、y)/Yを決定するが、IN(x、y)は入力映像の(x、y)に位置するピクセルの輝度を標準化した値(Normalized value)、I(x、y)は入力映像の(x、y)に位置するピクセルの輝度値、I’は出力されるピクセルの輝度値、Yは向上した輝度比、IN(x、y)/Yは補償輝度比である、請求項18に記載のシャドウ領域補償システム。
【請求項23】
前記シャドウ補償部は、
補償輝度比を用いる一般式
【数10】


によって出力輝度(I’)を決定するが、IN(x、y)は入力映像の(x、y)に位置するピクセルの輝度を標準化した値(Normalized value)、I(x、yは入力映像の(x、y)に位置するピクセルの輝度値である、請求項22に記載のシャドウ領域補償装置。
【請求項24】
前記ピクセルに対する輝度情報と前記ピクセルの周囲に位置するピクセルの輝度を含む映像情報が入力される映像入力部と、前記ピクセルの上昇した出力輝度を有する出力映像を出力手段に出力する映像出力部とをさらに含む、請求項16に記載のシャドウ領域補償システム。
【請求項25】
映像情報を有するピクセルと前記ピクセルの周囲に位置するピクセルとの輝度を反映して代表輝度を算出する代表輝度算出部と、
前記代表輝度を指数曲線に代入して適応輝度Ladを算出する適応輝度算出部と、
前記算出された適応輝度を用いて補償輝度比を決定する補償輝度比決定部と、
前記補償輝度比によって出力輝度を上昇させるシャドウ補償部とを含み、
前記代表輝度が高くなるにつれて補償輝度比は減少する、シャドウ領域補償システム。
【請求項26】
入力映像を複数の領域に分割し、分割された領域での平均輝度を計算して閾値輝度より低い領域があるかを判断する空間輝度分析部をさらに含む、請求項25に記載のシャドウ領域補償システム。
【請求項27】
適応輝度算出部は、
TとGのパラメータを用いた一般式
【数11】


によって、前記指数曲線を形成して適応輝度Ladを算出するが、Tはシャドウ補正をする輝度の最大値、Gは代表輝度Lavに累乗する指数である、請求項25に記載のシャドウ領域補償システム。
【請求項28】
前記適応輝度算出部は、
入力映像の全体ヒストグラムを作成して、入力映像を分類するステップを分類するヒストグラム分析部をさらに含む、請求項25に記載のシャドウ領域補償装置。
【請求項29】
前記適応輝度算出部は、
前記分類された入力映像に対応するTとGのパラメータを選択するパラメータ選択部をさらに含む、請求項28に記載のシャドウ領域補償システム。
【請求項30】
前記補償輝度比決定部は、
前記適応輝度Ladを用いる一般式
【数12】


ここで、
【数13】


によって、補償輝度比のIN(x、y)/Yを決定するが、IN(x、y)は入力映像の(x、y)に位置するピクセルの輝度を標準化した値(Normalized value)、I(x、y)は入力映像の(x、y)に位置するピクセルの輝度値、I’は出力されるピクセルの輝度値、Yは向上した輝度比、IN(x、y)/Yは補償輝度比である、請求項25に記載のシャドウ領域補償システム。
【請求項31】
前記シャドウ補償部は、
補償輝度比を用いる一般式
【数14】


によって出力輝度(I’)を決定するが、IN(x、y)は入力映像の(x、y)に位置するピクセルの輝度を標準化した値(Normalized value)、I(x、yは入力映像の(x、y)に位置するピクセルの輝度値である、請求項30に記載のシャドウ領域補償システム。
【請求項32】
前記ピクセルに対する輝度情報と前記ピクセルの周囲に位置するピクセルの輝度を含む映像情報が入力される映像入力部と、前記ピクセルの上昇した出力輝度を有する出力映像を出力手段に出力する映像出力部とをさらに含む、請求項25に記載のシャドウ領域補償システム。
【発明の詳細な説明】【技術分野】
【0001】
本発明は、シャドウ領域補償方法、媒体およびシステムに関し、より詳しくは、暗い領域に対しては周辺輝度を考慮して輝度を大きく向上させ、明るい領域に対しては輝度を小さく向上させるシャドウ領域補償方法、媒体およびシステムに関するものである。
【背景技術】
【0002】
一般的に映像入力装置によって入力される映像は対象物の様々な情報を有するが、入力装置の条件によって映像信号に該当する輝度信号の成分が偏ったり歪んだりする場合には、映像に含まれている対象を明確に表現することが容易でない。特に映像内で輝度の分布が偏っている場合には、このような映像を見る者が暗い部分の対象物を識別できないという問題が生じ得る。
【0003】
このような問題を解決するための方案として、従来では輝度を向上させる方法が試みられてきた。例えば、特許文献1と特許文献2では、入力映像の全体輝度特性により表示する出力映像の全体輝度を調整して、シャドウ領域の視認性を向上させようとした。
【0004】
また、特許文献3では、入力映像の一部に対する情報を用いて出力映像全体の輝度を補償して、シャドウ領域の視認性を向上させようとした。特許文献4では、入力信号と関係がなくディスプレイ装置の輝度特性により出力映像の輝度を補償して、シャドウ領域の視認性を向上させる方法を適用した。
【0005】
前記のような方法によって、輝度を補償して出力する輝度特性を向上させる方法は、ピクセルが位置する領域の明るさに係わらず、同一の輝度(Intensity)を有するピクセルについては同一の程度の向上が生じたり、暗い領域だけでなく向上の必要のない明るい領域においても輝度が向上される問題があった。また、表示する装置の特性を考慮する輝度の補償方法は、入力映像の内部で輝度が低い場合には輝度を補償できない問題があった。
【0006】
特許文献5では、映像内部を複数のマクロブロックとマイクロブロックとに分けて、代表的な輝度値を定めて、輝度補償区間を設定し、このような輝度補償区間に対して一律的に輝度を上昇させる方法を適用した。このような方法においても、部分的な領域に対して輝度を上昇させることができるが、全体的な輝度向上はなく、また、同一の輝度を有するピクセルについては同一の輝度補償をするため、該当ピクセルの周囲の輝度を適切に考慮できないという問題があった。
【0007】
以上にて提示した問題をリアルタイムで解決するための一部技術においては、リアルタイムで活用しにくいメモリ問題を誘発した。
【特許文献1】米国特許第5132796号公報
【特許文献2】米国特許第5255093号公報
【特許文献3】米国特許第5394195号公報
【特許文献4】米国特許第6414659号公報
【特許文献1】大韓民国公開特許第2005−0042699号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
本発明は、上記のような問題点を考慮して案出したものであり、該当ピクセルだけでなく周辺領域で得られた情報に基づいて適切な輝度を向上させることによって鮮明な映像を実現することを目的とする。
【0009】
それと共に、同一の輝度(Intensity)を有するピクセルに対しても、他の位置と周辺に他の輝度を有するピクセルがある場合には輝度向上の程度を異にして、映像の一部が歪んでいると判断される暗い(Shadow)領域以外の領域は、原本映像そのまま保存して望まない輝度向上を抑制することを目的とする。
【0010】
また、ヒストグラムを用いて映像全体の明るさパターンを把握し、これをTとGのパラメータを用いた指数曲線により暗い領域での輝度を相対的に上昇させることを目的とする。
【0011】
本発明の目的は、以上で言及した目的に制限されず、言及していないまた他の目的は下記記載によって当業者が明確に理解できるものである。
【課題を解決するための手段】
【0012】
上述した目的を達成するための本発明の一態様に係わるシャドウ領域補償方法は、(a)映像情報を有するピクセルと前記ピクセルの周囲に位置するピクセルとの輝度を反映して代表輝度を算出するステップと、(b)前記算出された代表輝度を用いて補償輝度比を決定するステップと、(c)前記補償輝度比によって出力輝度を上昇させるステップとを含む。
【0013】
上述した目的を達成するための本発明の一形態に係わるジャドウ領域補償方法は、(a)映像情報を有するピクセルと前記ピクセルの周囲に位置するピクセルとの輝度を反映して代表輝度を算出するステップと、(b)前記算出された代表輝度をエクスポネンシャルカーブに代入し適応輝度を算出するステップと、(c)前記算出された適応輝度を用いて補償輝度比を決定するステップと、(d)前記補償輝度比によって出力輝度を上昇させるステップとを含み、前記代表輝度が高まるにつれて補償輝度比は減少する。
【0014】
上述した目的を達成するための本発明の一形態に係わるジャドウ領域補償媒体は、本発明の方法を遂行する少なくとも一つの処理要素を制御するコンピュータが判読可能なコードを含む少なくとも一つの媒体を含む
上述した目的を達成するための本発明の他の態様に係わるシャドウ領域補償システムは、映像情報を有するピクセルと前記ピクセルの周囲に位置するピクセルとの輝度を反映して代表輝度を算出する代表輝度算出部と、前記算出された代表輝度を用いて補償輝度比を決定する補償輝度比決定部と、前記補償輝度比によって出力輝度を上昇させるシャドウ補償部とを含む。
【0015】
上述した目的を達成するための本発明の他の態様に係わるシャドウ領域補償システムは、映像情報を有するピクセルと前記ピクセルの周囲に位置するピクセルとの輝度を反映して代表輝度を算出する代表輝度算出部と、前記代表輝度をエクスポネンシャルカーブに代入し適応輝度を算出する適応輝度部と、前記算出された適応輝度を用いて補償輝度比を決定する補償輝度比決定部、および前記補償輝度比によって出力輝度を上昇させるシャドウ補償部を含み、前記代表輝度が高まるにつれて補償輝度比は減少する。
【発明の効果】
【0016】
本発明の一実施形態によれば、次のような効果が1つあるいはそれ以上ある。
【0017】
第1に、該当ピクセルの輝度だけでなく周辺領域のピクセルの輝度を反映して、輝度を向上させることにより鮮明な映像を得ることができる。
【0018】
第2に、同一の輝度を有するピクセルに対しても周辺領域のピクセルの明るさを反映することによって暗い部分に対し輝度を上昇させられ、シャドウ領域以外の領域は原本映像そのまま保存して望まない輝度向上を抑制することができる。
【0019】
第3に、ヒストグラムを用いて全体映像の輝度および輝度分布を把握し、全体映像に適するように輝度を補償して全体的に鮮明な映像を得ることができる。
【0020】
本発明の効果は、以上で言及した効果に制限されず、言及していないまた他の効果は特許請求の範囲の記載から当業者が明確に理解できるものである。
【発明を実施するための最良の形態】
【0021】
その他、実施形態の具体的な事項は、詳細な説明および図面に含まれている。
【0022】
本発明の利点および特徴、そしてそれらを達成する方法は、添付する図面と共に詳細に後述する実施形態を参照すれば明確になる。しかし、本発明は以下にて開示する実施形態に限定されず、互いに異なる多様な形態によって実施され、単に本実施形態は本発明の開示が完全なものとなるようにし、本発明が属する技術分野で通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであって、本発明は請求項の範疇によってのみ定義されるものである。明細書の全体に亘り、同一参照符号は同一構成要素を示す。
【0023】
以下、本発明の好ましい実施形態について添付した図面を参照しながら詳細に説明する。
【0024】
図1は、本発明の一実施形態に係わるシャドウ領域補償方法のフローチャートである。
【0025】
本発明の一実施形態に係わるシャドウ領域補償方法は、映像情報が入力されるステップ(S100)、空間輝度を分析するステップ(S115)、代表輝度を算出するステップ(S140)、補償輝度比を決定するステップ(S155)、シャドウ補償するステップ(S160)および映像情報を出力するステップ(S170)を含むことができる。
【0026】
図1に示すように、先ず映像情報が入力される(S100)。入力された映像情報ではピクセルごとに色情報を入力するデータを含むことができる。
【0027】
入力された映像情報を用いて1つのイメージまたは該当フレームの空間輝度を分析できる(S115)。入力されたイメージまたは該当フレームを複数の領域に分割して、平均輝度を求めることができる。空間輝度分析という分割された各々の領域で求めた平均輝度が閾値輝度より低ければ該当映像または該当領域は暗い部分が存在し、輝度を向上させる必要があると判断する。
【0028】
図2は、本発明の一実施形態に係わるシャドウ領域補償方法において、空間輝度を分析するために映像を分割した図面である。図2に示すように、例えば1つのイメージを4つの領域すなわちA、B、C、D領域に分ける場合には、各領域での空間輝度、すなわち平均輝度を計算できる。算出された4つの平均輝度値のうちのいずれか1つの値でも閾値輝度以下に該当すれば、該当イメージでは輝度を向上させる必要がある領域がある。閾値輝度は、それ以下の輝度では視認性が落ちる可能性のある輝度として、予め決められた値またはユーザによって決められた値にすることができる。
【0029】
上記のように1つのイメージを4つの領域に分けるのは1つの例であって、イメージ領域をいくつかの領域に分割した後にもこれと重畳するものの同一でないいくつかの領域に分割することができる。分割した後には、平均輝度を計算してこれを閾値と比較し、閾値以下の領域が1つでもあれば、後述したシャドウ補償を行うことができる。反面、閾値を基準として閾値より領域における平均輝度が低い領域が1つもない場合には、シャドウ補償を行わないことがある。
【0030】
輝度向上を必要とする判断がなされた後には、該当映像をピクセルごとにスキャンしながら代表輝度(Lav)を求められる(S140)。代表輝度は、該当ピクセルを含む映像の局部的な部分での輝度情報において該当ピクセルの輝度値を代表する値である。これは、映像情報において該当ピクセルの情報をそのピクセルの情報だけを考慮するのではなく、周辺のピクセル情報を総合して、該当ピクセルの輝度に対する代表値として表わそうとするものである。例えば、代表輝度を算出する方法としては、該当ピクセルを中心に囲んでいるピクセルを含み、これらの平均値を求められる。
【0031】
図3は、本発明の一実施形態に係わるシャドウ領域補償方法において、平均輝度を求めるのに用いられるピクセル配置を示す概略図である。図3に示すように、例えば3×3または5×5などの該当ピクセル300を中心に周囲のピクセル310の輝度を平均して代表輝度を計算することができる。また、代表輝度算出方法としては、該当ピクセルを中心に一定の領域、例えば3×3または5×5などの領域に対し、各ピクセルに対する該当ピクセルとの距離を考慮して、加重値を与えることによって求めることもできる。
【0032】
また、他の代表輝度算出方法として、一般式(1)を用いて該当ピクセルを中心に適応輝度を算出する領域を定める。そして、周辺にピクセルと該当ピクセルとの輝度差を計算して、計算された輝度差が予め定義された閾値(α)より大きければb1グループに分類し、さもなければ、b2グループに分類することができる。
【0033】
【数15】


ここで、Pは周辺に位置する1つのピクセルの輝度値であり、Pは代表輝度を計算する該当ピクセルの輝度値を意味する。
【0034】
b1とb2のグループに分けた後、最終的にピクセルの数の多いグループに対して該当グループの平均輝度を計算し、これを該当ピクセルの代表輝度として求めることができる。
【0035】
以上のように、該当ピクセル300の代表輝度を求めるために周辺に位置するピクセル310の輝度を参照または反映することができる。そして、周辺のピクセルの輝度を用いて該当ピクセルの輝度に対する代表値を計算する多様な方法は、本発明の一実施形態による代表輝度を求める方法に含まれる。
【0036】
代表輝度を求めた後には、入力されたピクセルの輝度が低いシャドウ領域に位置する場合には、輝度を向上させる補正を行える(S160)。このような輝度を補正するためには、先ず一般式(2)および(3)を用いて補償輝度比を計算することができる(S155)。
【0037】
【数16】


【0038】
【数17】


ここで、IN(x、y)は入力映像の(x、y)に位置するピクセルの輝度を標準化した値(Normalized value)であり、I(x、y)は入力映像の(x、y)に位置するピクセルの輝度値であり、I’は前記一般式(2)および(3)によって出力されるピクセルの輝度である。Yは向上した輝度比であり、IN(x、y)/Yは補償輝度比を示す。
【0039】
一般式(2)は、該当ピクセルのI(x、y)とLav値とを用いて向上した輝度比Yを求められる。一般式(2)では該当ピクセルの入力輝度が高い場合にはY値がIN(x、y)より大きくなることもあり得るが、この時Y値がIN(x、y)より大きい場合にはYをIN(x、y)と指定し、一般式(3)における意図しない演算を防ぐことができる。
【0040】
一般式(3)に示すように、IN(x、y)/Yの補償輝度比値に入力された該当ピクセルの輝度をかけることによって、シャドウを補正する出力ピクセルの輝度を求めることができる。そして、補償輝度比(IN(x、y)/Y)値が1より小さければ出力ピクセルの輝度を低くし、補償輝度比(IN(x、y)/Y)値が1より大きくなれば出力ピクセルの輝度を高くすることができる。
【0041】
補償輝度比(IN(x、y)/Y)値が1より大きくなれば、出力されるピクセルの輝度が入力されたピクセルの輝度より高くすることができる。換言すれば、標準化された入力ピクセルの輝度(IN(x、y))に比べて、一般式(2)で求めた輝度比(Y)値が小さい場合には、出力されるピクセルの輝度を上昇させることができる。これは、入力されるピクセルの輝度が低く、これに対して代表輝度Lavも低くなりながらY値も低くなり得る。そして、一般式(3)でYの逆数を取りながら入力ピクセルの輝度を掛ければ、出力されるピクセルの輝度(I’)を上昇させることができる。
【0042】
一般式(2)および(3)を詳しく見れば、入力ピクセルの輝度と代表輝度とが高い場合には、補償輝度比(IN(x、y)/Y)値が略1に該当し、該当ピクセルの出力輝度の上昇が無いが、輝度が低い領域では、補償輝度比(IN(x、y)/Y)値が1より大きくなるため、相対的に出力されるピクセルの輝度(I’)を高めることができる。言い換えれば、代表輝度が増加するにつれて補償輝度比は減少し、補償輝度比の最小値は1であるため、代表輝度が高い領域の明るい部分では輝度の上昇が小さいかほとんど無いこともある。
【0043】
以上のように、代表輝度を算出し(S140)、算出された代表輝度によって補償輝度比を決定し(S155)、これを入力ピクセルに掛けることによってシャドウ領域を補償することができる(S160)。このようなシャドウ領域補償は、ピクセルごとに処理することによってピクセルごとの輝度の向上を異にすることができる。そして、全体的には輝度の高いピクセルについては輝度の上昇が低かったり上昇させられなかったりすることがあり、輝度が低いピクセルについては輝度を高く上昇させることができる。したがって、各ピクセルに対してシャドウ補償段階を経た該当映像に対しては、出力手段によって映像を出力することができる(S170)。
【0044】
これと共に、代表輝度を導入することによって該当ピクセルの周辺ピクセルの輝度を考慮し、該当ピクセルの輝度を用いて出力されるピクセルの輝度を決定することができる。したがって、入力時に該当ピクセルの輝度が同一の複数のピクセルがあるとしても各ピクセルの代表輝度は異なることもあり、これによって補正される出力ピクセルの輝度は異なることもある。言い換えれば、同一の輝度のピクセルでも算出された代表輝度が変われば、これによって代表輝度が相対的に低いピクセルについては輝度を大きく上昇させ、代表輝度が高いピクセルについては出力されるピクセルの輝度を相対的に小さく上昇させることができる。
【0045】
また、同一の輝度を有する複数のピクセルが集まっている領域においても、ピクセルごとに代表輝度を算出時に領域の境界部分にあるピクセルと領域の中心部にあるピクセルの代表輝度は異なることがある。そして、同一の輝度を有するピクセルがある領域においてもピクセルごとに輝度の補償が異なり得る。
【0046】
以上のように、イメージ内部に輝度が低い複数のピクセルがあったとしても、これを代表輝度で変換し、シャドウを補償するステップを行えばピクセルごとに輝度の補償が変わり、代表輝度によって輝度の補償を大きくまたは小さくして出力映像の鮮明度と自然さを実現することができる。
【0047】
本発明の一実施形態に係わるシャドウ領域補償方法は、映像情報が入力されるステップ(S100)と、空間輝度を分析するステップ(S115)と、代表輝度を算出するステップ(S140)と、補償輝度比を決定するステップ(S155)と、シャドウ補償するステップ(S160)と、映像情報を出力するステップ(S170)と、輝度ヒストグラムを分析するステップ(S125)と、TとGのパラメータを選択するステップ(S130)と、適応輝度を算出するステップ(S160)とを含むことができる。
【0048】
輝度ヒストグラムを分析するステップ(S125)と、TとGのパラメータを選択するステップ(S130)と、適応輝度を算出するステップ(S160)とを除いては、すでに詳しく説明したため省略することにする。
【0049】
入力された映像情報に対してイメージまたは該当フレーム全体ピクセルをスキャンしながら輝度ヒストグラムを作成できる(S125)。輝度ヒストグラムは、該当映像内のピクセルに対する輝度分布を示す。すなわち、輝度ヒストグラムはある映像に存在する明るい点と暗い点に対する分布の範囲と値とを表わすことができる。したがって、輝度ヒストグラムは、映像全体を簡便に把握できるため、これを用いて輝度向上に使える。このような輝度ヒストグラムは、該当イメージまたはフレームの全体ピクセルをスキャンしながら形成されるため、前述した空間輝度分析(S115)と同時に行える。
【0050】
輝度ヒストグラム分析ステップ(S125)は、入力された映像情報からピクセルごとに輝度値を受け取り、デジタル化された輝度値に対し映像内存在するピクセルの数を計算する。例えば、8ビットの輝度分布を有する場合には、0から255までの輝度を有することができる。したがって、該当映像内で各ピクセルの輝度を算出したり読み込んだりし、これを0から255までの輝度から各輝度が表れるピクセルの数を計算することができる。
【0051】
図4は、本発明の一実施形態に係わるシャドウ領域補償方法において、輝度ヒストグラム分析によって分類されたタイプを示す例示図である。
【0052】
輝度ヒストグラムを分析した後には、分析された輝度ヒストグラムを1つ以上のタイプに分類することができる。例えば、図4に示すように、3種類のタイプに分類することができる。図4を参照すれば、H1タイプ400のヒストグラムは映像内で暗い領域があるが大多数の領域が非常に明るい映像を意味する。これと共にヒストグラムがH2タイプ410に該当する場合には映像内で暗い領域があるが、中間の明るさ以上の領域が全体的に等しく分布していることが分かる。
【0053】
再び図4を参照すれば、ヒストグラムがH3タイプ420の場合には、H1とH2のタイプを除いたすべての場合を意味することができる。これは、H1タイプは明るいピクセルが多数を、H2タイプは中間の明るさのピクセルが多数を占め、このような場合を除くH3タイプは輝度が低い、すなわち暗いピクセルが多数を占める場合を意味することができる。
【0054】
ただし、このようなヒストグラムのタイプの分類は、後から説明するTとGのパラメータを選択するために用いられる。したがって、TとGのパラメータをより細かく選択するためにはヒストグラムの分類を多様化したり、さらに細分化したりすることができる。これと共に、シャドウ領域に対して輝度向上をさらに細かく制御するために、ヒストグラムの分類をさらに細分化することができ、特にヒストグラムで暗い領域が複数を占めることについて、より詳しく分類することができる。
【0055】
TとGのパラメータ選択ステップは、ヒストグラムによって分類されたタイプによってTとGのパラメータを選択することができる(S130)。例えば、図4のように、前述した3種類のヒストグラム分類によって8ビットの映像情報を有するピクセルに対してTとGの値が与えられ得る。このようなTとGのパラメータ値は、一定の値で固定されるのではなく、本発明の属する技術分野で通常の知識を有する者によって変更または用いられるTとGのパラメータ値になることができる。
【0056】
与えられたTとGのパラメータを用いて次の一般式(4)によって適応輝度Ladを算出できる(S150)。
【0057】
【数18】


ここで、TとGは入力映像の情報をヒストグラムで表して分類されるタイプによって選択されるパラメータであり、Ladは適応輝度である。
【0058】
一般式(4)は、代表輝度Lavがパラメータの値のTより小さい場合には一般式(4)によって計算されて適応輝度を算出することができる。算出される適応輝度は、Gパラメータの値によって代表輝度より小さくすることもでき、また大きくすることもできる。一般的に、G値が1より大きければ計算される適応輝度が代表輝度より小さい。
【0059】
一般式(4)で、Tは指数曲線が適用される範囲を示し、Gは指数曲線が適用される範囲でカーブの曲がる程度を示す。
【0060】
図5Aは、本発明の一実施形態に係わるシャドウ領域補償方法において、図4によって分類されたタイプに応じるTとGのパラメータを示すテーブルである。例えば、図5Aに示すH1タイプにおいて、Tが128であれば0から127までの代表輝度Lavに対して一般式(4)の指数曲線を適用し、Gが1.2であれば下の方へ膨らんだカーブをなすようになる。したがって、0から127までの輝度範囲においては、入力された代表輝度Lavに対して算出される適応輝度の値が相対的に小さくなる。したがって、このような範囲の代表輝度を有するピクセルに対して相対的に明るさを向上させるシャドウ補正をすることができる。
【0061】
図5Bは、本発明の一実施形態に係わるシャドウ領域補償方法において、図5Aによって選択されるTとGのパラメータを用いて指数曲線を表わす図面である。図5Bに示すようにTとGのパラメータが選択されれば、これに該当する指数曲線を求めることができる。このような指数曲線は、入力対比出力を示すカーブであって、一般式(4)をグラフで示したものである。このグラフは、代表輝度Lavを入力とし、適応輝度Ladを出力とする。
【0062】
入力と出力が同じであれば、傾きが1であるy(出力)=x(入力)の基準線とすることができる。これと共に、入力に比べて出力を相対的に小さくしようすれば、指数曲線がy(出力)=x(入力)の基準線より下の方に位置する。
【0063】
代表輝度は、該当ピクセルの輝度情報を、周辺情報を用いて平均化または周辺ピクセルの輝度情報を反映した該当ピクセルの適切な輝度値である。このような技法によって算出された代表輝度を、指数曲線を表わす一般式(4)に代入して適応輝度を求めることにより、輝度が低い領域で代表輝度をより低い適応輝度として算出することができる。これは、後述するシャドウ補正において輝度が低い領域に対し相対的に高い輝度の上昇を誘導することができる。
【0064】
例えば、ヒストグラムで映像を図4のH1、H2およびH3の3つのタイプに分類し、これに対するTとGのパラメータを図5Aのように選択して一般式(4)によって描かれる指数曲線は図5Bのようになる。
【0065】
図5Bに示すように、TとGのパラメータ値によって求めた指数輝度を用いれば、代表輝度が低い領域では適応輝度がさらに低く出て、代表輝度が高い領域では適応輝度が代表輝度と同一になる。
【0066】
したがって、図4および図5Bに示されるH1、H2およびH3タイプに対するTとGのパラメータの作用を説明すれば次の通りである。
【0067】
H1タイプにおけるTとGのパラメータの作用は、広い低輝度領域を中間程度の累乗(Exponential index mutiple)をして適応輝度を計算する。これは、暗い領域を強調しすぎて明るくすれば、ノイズ輝度向上(boosting)等の過度な上昇の可能性があるためである。H2タイプでは暗い領域があるが、全体が明るい映像であるため明るくする低階調の領域を狭くして(Tを小さくして)累乗も小さくする(Gを小さくする)。H3タイプでは、シャドウ補正を相対的に多くしなければならない映像であって、暗い領域に対して輝度を向上させるためにTを小さくし、Gを大きくして適応輝度を計算する。
【0068】
このようなTとGのパラメータ値は、一定の値で固定されるのではなく、本発明の属する技術分野で通常の知識を有する者によって、変更または用いられるTとGのパラメータ値になることができる。
【0069】
これと共に、輝度ヒストグラム分析段階を経なかったり、輝度ヒストグラム分析段階を経ても明確なタイプが決定しなかったりする場合には、予め定義されたTとGのパラメータ値を用いることもできる。
【0070】
算出された適応輝度を用いて入力ピクセルに対する輝度を補償して出力することができる(S160、S170)。シャドウ補正を計算する一般式は、一般式(2)および(3)で代表輝度Lavの代わりに適応輝度Ladを入力した一般式(5)および(3)によって計算できる。
【0071】
【数19】


TとGのパラメータを用いた一般式(4)および指数曲線によって適応輝度を計算することができる(S150)。算出された適応輝度を用いて、一般式(5)および(3)に入力することによって補償輝度比を計算することができる(S155)。そして、補償輝度比を入力ピクセルの輝度にかけて、該当ピクセルの補正された出力輝度(I’)を得ることができる(S160)。
【0072】
一般式(5)および(3)を詳しく見れば、入力ピクセルの輝度と適応輝度とが高い場合には補償輝度比(IN(x、y)/Y)の値が略1に該当して該当ピクセルの出力輝度の上昇がないこともあるが、入力ピクセルの輝度と適応輝度とが低い領域では補償輝度比(IN(x、y)/Y)値が1より大きくなるため、相対的に出力されるピクセルの輝度(I’)を高めることができる。言い換えれば、適応輝度が増加するにつれて補償輝度比は減少するようになる。
【0073】
図6は、本発明の一実施形態に係わるシャドウ領域補償方法において、TとGのパラメータを用いない場合と用いた場合とを分離してシャドウ補償した結果を示す図面である。
【0074】
ヒストグラムを適用しない場合には、適応輝度を算出せずに代表輝度を用いて入力輝度に対する出力輝度を観察することができる。TとGのパラメータによる指数曲線を適用しなくとも、一般式(2)および(3)によって代表輝度が低い領域では輝度の上昇が大きく、代表輝度が高い領域では輝度の上昇がほとんどない。したがって、輝度が低いシャドウ領域に対し輝度の向上がなされ得る。
【0075】
これと共に、TとGのパラメータによる指数曲線を適用した場合には、適応輝度を一般式(5)および(3)に代入し、入力輝度に対する出力輝度を観察することができる。G値が増加するにつれて代表輝度から適応輝度を低くすることによって、これによる輝度の上昇が高くなされ得る。したがって、G値を高くすることによってこれによる該当ピクセルの出力輝度値が上昇することが分かる。ヒストグラム技法を適用しても輝度が高い領域では輝度の上昇がないか弱くて、ピクセルの入力輝度が低い領域では高い輝度の上昇が形成されて暗い領域を相対的に明るくすることが分かる。
【0076】
図7Aは従来技術に係わる輝度向上を実現した結果を示す図面であり、図7Bは本発明の一実施形態に係わるシャドウ領域補償方法による輝度向上を実現した結果を示す図面である。
【0077】
従来技術に係わるイメージの輝度向上は、シャドウ領域に対する輝度補正時に向上する輝度の程度を決定した後に全体イメージで輝度を補正した。図7Aで原本映像と輝度が向上した映像とを比較すると、円形が描かれたシャドウ領域で輝度が鮮明に高くなるが、円形の外側の明るい部分でも同一に輝度が向上して明るい部分の映像の鮮明度とコントラストを下げる問題があった。
【0078】
反面、図7Bに示すように、本発明の一実施形態に係わるシャドウ領域補償方法によっては、主に下の方に位置する円形内にあるシャドウ領域に対しては輝度を強く向上させ、上の方に位置する楕円内の明るい領域に対しては輝度を変化させなかったり、輝度を弱く向上させたりする。したがって、明るい部分では映像がそのまま維持され、暗い部分では比較的明るくなることによって、映像の鮮明度とローカルコントラストとを補完することができる。
【0079】
これと共に、代表輝度を導入することによって同一の入力輝度を有するピクセルに対しても異なるように輝度向上を与えることができ、ヒストグラム技法によるTとGのパラメータを選択して適応輝度を求めることによって、全体的な映像の明るさおよび分布を考慮して輝度を向上させられる。
【0080】
図8は、本発明の一実施形態に係わるシャドウ領域補償システムのブロック図である。
本発明の一実施形態に係わるシャドウ領域補償システムは、映像入力部800、空間輝度分析部810、代表輝度算出部820、輝度ヒストグラム分析部830、パラメータ選択部840、適応輝度算出部850、補償輝度比決定部855、シャドウ補償部860および映像出力部870を含むことができる。
【0081】
映像入力部800は、該当映像のイメージまたはフレームが入力される役割を行う。映像入力部では後述するイメージ加工のためにイメージ全体またはピクセル別に入力されることができる。
【0082】
空間輝度分析部810は該当イメージが入力されて複数の領域に分割し、分割された領域で各々平均輝度を計算し、計算された各平均輝度が閾値輝度より低いかを検査する。複数の分割された領域で算出された空間輝度、すなわち平均輝度の値が1つでも閾値輝度より低い場合にはシャドウ補正が必要であり、そうではなければ、シャドウ補正をしないこともある。
【0083】
代表輝度算出部820は、各ピクセルに対して周辺にあるピクセル情報を用いて代表値になる輝度を算出する。計算しようとするピクセルを中心に3×3または5×5などのピクセルの輝度を平均して代表輝度Lavを計算できる。これと共に、一般式(1)を用いて周辺ピクセルのグループを指定して複数のグループにあるピクセルに対して平均を取ることによって代表輝度を得ることができる。
【0084】
輝度ヒストグラム分析部830は、イメージ全体をスキャンしながら各ピクセルに対する輝度分布を示すヒストグラムを作成して該当イメージを分類する。輝度ヒストグラムが作成されれば、該当イメージの概約的な明るさの分布が分かり得る。したがって、明るい領域と暗い領域の分布と大きさを概約的に把握し、予め準備した複数のタイプのうち1つでイメージを分類することができる。
【0085】
パラメータ選択部840は、輝度ヒストグラム分析部によって分類したタイプによってTとGのパラメータを選択することができる。Tパラメータは代表輝度の補償をする領域になって、Gパラメータは代表輝度に累乗するために用いられる指数(Index)である。したがって、Tパラメータが大きくなれば広い輝度に対して代表輝度を補償し、Gパラメータが1より大きくなれば代表輝度をより低い適応輝度Ladとして得ることができる。
【0086】
適応輝度算出部850は、TとGのパラメータを用いて適応輝度を計算する役割を行う。一般式(4)にT、Gおよび代表輝度を代入して適応輝度を計算することができる。一般式(4)に対応するグラフを描けば、例えば図5Bに示すような指数曲線になり得る。したがって、図5Bのように代表輝度が低い領域では算出される適応輝度がさらに低くなり、代表輝度が高い領域では算出される適応輝度が同一であったり、略一致したりする。したがって、一般式(4)によって代表輝度を用いて適応輝度を算出できる。
【0087】
補償輝度比決定部855は、各ピクセルで算出された適応輝度または代表輝度を用いて補償輝度比を決定する。代表輝度または適応輝度が増加するにつれて補償輝度比は減少し、結局、補償輝度比は略1になり、代表輝度または適応輝度が高い領域では輝度の上昇が小さいか無いことがあり得る。
【0088】
シャドウ補償部860は、決定された補償輝度比を該当ピクセルの入力輝度にかけることによって出力される輝度を上昇させる。したがって、補償輝度比によって該当ピクセルの輝度を大きく上昇させたり、小さく上昇させたりすることができる。
【0089】
映像出力部870は、各ピクセルに対して出力輝度を計算し、これを出力手段によって出力する役割を行う。したがって、輝度の上昇があるピクセルについては入力映像より明るく出力し、輝度の上昇がないピクセルについては入力映像をそのまま出力し得る。
【0090】
一方、上記のような本発明の実施形態で用いられる「〜部」という用語、すなわち「〜モジュール」または「〜テーブル」などは、ソフトウェア、FPGA(Field Programmable Gate Array)または特定用途向け集積回路(Application Specific Integrated Circuit、ASIC)のようなハードウェア構成要素を意味し、モジュールはある機能を行う。ただし、モジュールはソフトウェアまたはハードウェアに限定される意味ではない。モジュールは、アドレッシングできる格納媒体にあるように構成することもでき、1つまたはそれ以上のプロセッサを再生させるように構成することもできる。したがって、一例としてモジュールはソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素と同じ構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、および変数を含む。構成要素とモジュールの中で提供されている機能は、さらに小さい数の構成要素およびモジュールに結びついたり追加的な構成要素とモジュールにさらに分離できる。それだけでなく、構成要素およびモジュールはデバイス内の1つまたはそれ以上のCPUを再生させるように実現することもできる。
【0091】
以上、添付した図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野で通常の知識を有する者であれば、本発明がその技術的思想や必須の特徴を外れない範囲内でさまざまに置換え、変形および変更が可能であるため、他の具体的な形態によって実施することができるということを理解できる。したがって、以上で記述した実施形態はすべての面で例示的なものであり、限定的なものではないことを理解しなければならない。
【図面の簡単な説明】
【0092】
【図1】本発明の一実施形態に係わるシャドウ領域補償方法のフローチャートである。
【図2】本発明の一実施形態に係わるシャドウ領域補償方法において、空間輝度を分析するために映像を分割した図である。
【図3】本発明の一実施形態に係わるシャドウ領域補償方法において、平均輝度を求めるのに用いられるピクセル配置を示す概略図である。
【図4】本発明の一実施形態に係わるシャドウ領域補償方法において、輝度ヒストグラム分析によって分類されたタイプを示す例示図である。
【図5A】本発明の一実施形態に係わるシャドウ領域補償方法において、図4によって分類されたタイプに応じるTとGのパラメータを示すテーブルである。
【図5B】本発明の一実施形態に係わるシャドウ領域補償方法において、図5Aによって選択されるTとGのパラメータを用いて指数曲線を示す図である。
【図6】本発明の一実施形態に係わるシャドウ領域補償方法において、TとGのパラメータを用いない場合と用いた場合とを分離してシャドウ補償した結果を示す図である。
【図7A】従来技術に係わる輝度向上を実現した結果を示す図である。
【図7B】本発明の一実施形態に係わるシャドウ領域補償方法による輝度向上を実現した結果を示す図である。
【図8】本発明の一実施形態に係わるシャドウ領域補償システムのブロック図である。
【符号の説明】
【0093】
800 映像入力部
810 空間輝度分析部
820 代表輝度算出部
830 輝度ヒストグラム分析部
840 パラメータ選択部
850 適応輝度算出部
860 シャドウ補償部
870 映像出力部
【出願人】 【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【出願日】 平成19年7月25日(2007.7.25)
【代理人】 【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦

【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介

【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重


【公開番号】 特開2008−35518(P2008−35518A)
【公開日】 平成20年2月14日(2008.2.14)
【出願番号】 特願2007−193193(P2007−193193)