| 【発明の名称】 |
ヒストグラムプロジェクション処理用度数閾値設定装置、方法、及びそのプログラムを記録した記録媒体。 |
| 【発明者】 |
【氏名】小野 貴之
|
| 【要約】 |
【課題】低コントラスト画像に対してコントラスト強調効果の高い画像を得る。
【解決手段】映像信号入力部は外部からの入力映像信号をヒストグラム算出部とレベル変換部に出力する。ヒストグラム算出部は画像信号の各画素の複数フレーム間の輝度レベル平均に対する輝度ヒストグラムを算出して度数閾値判定部とレベル変換関数算出部へ出力する。度数閾値判定部は輝度ヒストグラムに対し度数分割し、その各分割区間内の信号レベル差の平均値を算出し、それら信号レベル差平均値の隣接区間間の差分(ΔL2 −ΔL1 、ΔL3 −ΔL2 、・・・)を算出し、上から下へ調べた信号レベル差の平均値の差分がN個連続して一定値RTH以下で且つN+1個目の度数分割区間で差分ΔLN+1 −ΔLN が一定値RTHを超えたとき、この画像をピークを持つ画像であると判定し、一定値RTHを超えたときの度数を、ピークに対する度数閾値として算出する。 |
【特許請求の範囲】
【請求項1】 入力画像データの各画素の複数フレーム間の輝度レベル平均に対して輝度ヒストグラムを算出する輝度ヒストグラム算出機能と、 前記生成された輝度ヒストグラムが一定以上のピークを有するか否かを判定するピーク有無判定機能と、 前記輝度ヒストグラムが一定以上のピークを有するとき、そのピークの立ち上がり部の度数を求めるピーク立上部度数取得機能と、 前記ピークが1つであるときはそのピークの立ち上がり部の度数、前記ピークが複数であるときは夫々のピークの立ち上がり部の度数の中の最小の度数を、前記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク有り度数閾値設定機能と、 一定以上のピークが無いときは、度数の多い階調順に度数を累積し、全画素数の所定割合を超えたときの加算度数を前記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク無し度数閾値設定機能と、 を実行させるためのプログラムをコンピュータにより読み取り可能に記録された記録媒体。 【請求項2】 入力画像データの各画素の複数フレーム間の輝度レベル平均に対して輝度ヒストグラムを算出する輝度ヒストグラム算出工程と、 前記生成された輝度ヒストグラムが一定以上のピークを有するか否かを判定するピーク有無判定工程と、 前記輝度ヒストグラムが一定以上のピークを有するとき、そのピークの立ち上がり部の度数を求めるピーク立上部度数取得工程と、 前記ピークが1つであるときはそのピークの立ち上がり部の度数、前記ピークが複数であるときは夫々のピークの立ち上がり部の度数の中の最小の度数を、前記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク有り度数閾値設定工程と、 一定以上のピークが無いときは、度数の多い階調順に度数を累積し、全画素数の所定割合を超えたときの加算度数を前記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク無し度数閾値設定工程と、 を含むことを特徴とするヒストグラムプロジェクション処理用度数閾値設定方法。 【請求項3】 入力画像データの各画素の複数フレーム間の輝度レベル平均に対して輝度ヒストグラムを算出する輝度ヒストグラム算出手段と、 前記生成された輝度ヒストグラムが一定以上のピークを有するか否かを判定するピーク有無判定手段と、 前記輝度ヒストグラムが一定以上のピークを有するとき、そのピークの立ち上がり部の度数を求めるピーク立上部度数取得手段と、 前記ピークが1つであるときはそのピークの立ち上がり部の度数、前記ピークが複数であるときは夫々のピークの立ち上がり部の度数の中の最小の度数を、前記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク有り度数閾値設定手段と、 一定以上のピークが無いときは、度数の多い階調順に度数を累積し、全画素数の所定割合を超えたときの加算度数を前記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク無し度数閾値設定手段と、 を有することを特徴とするヒストグラムプロジェクション処理用度数閾値設定装置。
|
【発明の詳細な説明】【技術分野】 【0001】 本発明は、低コントラストの画像をより鮮明に表示することのできるヒストグラムプロジェクション処理用度数閾値設定装置、方法、及びそのプログラムを記録した記録媒体に関する。 【背景技術】 【0002】 従来、カメラ等で取得された画像には往々にして低コントラストの画像がある。低コントラストの画像は見にくいので、画像処理技術によってコントラストを高め、より鮮明に表示するための様々な方法が開発されてきた。その画像処理のひとつとしてヒストグラムプロジェクション(以下、HPと記載)処理がある。 【0003】 HP処理は、1フレーム内において入力映像信号の信号レベルとその信号レベルの度数との関係を表すヒストグラムを生成し、度数閾値以上を持つ信号レベルのみを表示階調に割り当てるよう入力映像信号レベルを表示信号レベルに変換する方法である。 【0004】 図6(a),(b) は、従来のHP処理をより具体的に示す図である。これを演算する場合の式は、以下の式で表すことができる。 image_out(i)=hplevel(image_in(i)) ここで「image_out(i)」は第i画素の処理後の出力レベルを示し、「image_in(i)」は第i画素の入力レベルを示している。なお、係数iは、i=1,2,・・・Nを表し、Nは全画素数を表している。 【0005】 また、「hplevel(x)」は入力レベルがxの画素を表示階調にレベル変換する関数であり、式 hplevel(x)=GSdisp/GStotal×(GS(x)−1) により、求められる。ここで、GSdispは表示階調数、GStotalは切り捨て後の全階調教である。上記に示す式 GS(x)=Σ[j=0〜x](cnt(j)) は、x以下で画素数がHPth(度数閾値)を越えている階調数を表し、pop(y)を入力レベルyの画素数として、 cnt(y)=1|pop(y)≧HPth =0|pop(y)<HPth は、入力レベルyの画素数が度数閾値HPthを越えているか否かのフラグを表している。 【0006】 上記第i画素の入力レベル「image_in(i)」は、入力レベルxを表示階調にレベル変換する関数「hplevel(x)」に従い、第i素の処理後の出力レベル「image_out(i)」に変換される。 【0007】 「hplevel(x)」は、入力レベルx以下で画素数が度数閾値HPthを越えている階調数「GS(x)」から1を引いた値に、切り捨て後の全階調数「GStotal」を表示階調数「GSdisp」に有効に割当てるよう、その比を掛けることによって算出される。 【0008】 「GS(x)」は、入力レベルyの画素数「pop(y)」がHPth以上の場合、入力レベルyの画素数が度数閾値HPthを越えているか否かのフラグ「cnt(y)」を1とし、カウント値「Σ[j=0〜x](cnt(j)」をカウントアップすることによって算出される。 【0009】 上述したHP処理における度数閾値HPthは、入力画像の各場面に対して固定値となっており、通常は多くの入力映像信号レベルを残すように、低い値に設定されている。 図6(a) は、そのように輝度ヒストグラムの度数閾値が低い値に固定して設定されている場合の度数閾値と輝度ヒストグラムがピークを持つ画像である場合の輝度ヒストグラムとの関係を示すであり、同図(b) のその度数閾値に基づいてHP処理された画像の出力レベルを示す図である。 【0010】 図6(a) に示すように、度数閾値が常に低い値に固定して設定されていると、輝度ヒストグラムがピークを持つような画像では、同図(b) に示すように、その出力レベルではピークの部分が生かされず大差の無い階調の占める割合が多くなり、画像全体のコントラストが低下してしまう。 【0011】 画像のコントラストを強調するものとしては、画像データのヒストグラムに独特の処理を行って、ダイナミックレンジの狭い映像においても明暗のはっきりしたメリハリのある表示を可能とする方法が提案されている。(例えば、特許文献1参照。) 【特許文献1】特開2004−212809号公報(要約、段落0028〜0030、図1) 【発明の開示】 【発明が解決しようとする課題】 【0012】 特許文献1の技術は、段落0026〜段落0030の説明にもあるように、低輝度画素側と高輝度画素側のみ階調レベルを切り捨て表示階調に変換する処理であり、中間輝度画素が少ない場合では中間輝度の階調レベルは切捨てられないため表示階調に有効に変換できずコントラスト強調効果が低下してしまう。 また、従来からあるHP処理の方法は、上述したように度数閾値は、場面画像ごとに予め設定されているので、場面の急激な変化に伴う輝度レベルの頻繁な変化に対処できない。また、設定される度数閾値が一般的に低い値であるため、輝度ヒストグラムにピークを有する画像に対して明暗のはっきりしたメリハリのある表示ができない。 【0013】 本発明の課題は、上記従来の実情に鑑み、各場面のヒストグラムの形状により輝度分布の度数閾値を適切な値に変更設定することによって低コントラストの画像に対してもより鮮明にコントラスト強調効果の高い画像を得ることができるヒストグラムプロジェクション処理用度数閾値設定装置、方法、及びそのプログラムを記録した記録媒体を提供することである。 【課題を解決するための手段】 【0014】 先ず、第1の発明の記録媒体は、入力画像データの各画素の複数フレーム間の輝度レベル平均に対して輝度ヒストグラムを算出する輝度ヒストグラム算出機能と、上記生成された輝度ヒストグラムが一定以上のピークを有するか否かを判定するピーク有無判定機能と、上記輝度ヒストグラムが一定以上のピークを有するとき、そのピークの立ち上がり部の度数を求めるピーク立上部度数取得機能と、上記ピークが1つであるときはそのピークの立ち上がり部の度数、上記ピークが複数であるときは夫々のピークの立ち上がり部の度数の中の最小の度数を、上記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク有り度数閾値設定機能と、一定以上のピークが無いときは、度数の多い階調順に度数を累積し、全画素数の所定割合を超えたときの加算度数を上記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク無し度数閾値設定機能と、を実行させるためのプログラムをコンピュータにより読み取り可能に記録されている。 【0015】 次に、第2の発明のヒストグラムプロジェクション処理用度数閾値設定方法は、入力画像データの各画素の複数フレーム間の輝度レベル平均に対して輝度ヒストグラムを算出する輝度ヒストグラム算出工程と、上記生成された輝度ヒストグラムが一定以上のピークを有するか否かを判定するピーク有無判定工程と、上記輝度ヒストグラムが一定以上のピークを有するとき、そのピークの立ち上がり部の度数を求めるピーク立上部度数取得工程と、上記ピークが1つであるときはそのピークの立ち上がり部の度数、上記ピークが複数であるときは夫々のピークの立ち上がり部の度数の中の最小の度数を、上記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク有り度数閾値設定工程と、一定以上のピークが無いときは、度数の多い階調順に度数を累積し、全画素数の所定割合を超えたときの加算度数を上記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク無し度数閾値設定工程と、を含んで構成される。 【0016】 更に、第3の発明のヒストグラムプロジェクション処理用度数閾値設定装置は、入力画像データの各画素の複数フレーム間の輝度レベル平均に対して輝度ヒストグラムを算出する輝度ヒストグラム算出手段と、上記生成された輝度ヒストグラムが一定以上のピークを有するか否かを判定するピーク有無判定手段と、上記輝度ヒストグラムが一定以上のピークを有するとき、そのピークの立ち上がり部の度数を求めるピーク立上部度数取得手段と、上記ピークが1つであるときはそのピークの立ち上がり部の度数、上記ピークが複数であるときは夫々のピークの立ち上がり部の度数の中の最小の度数を、上記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク有り度数閾値設定手段と、一定以上のピークが無いときは、度数の多い階調順に度数を累積し、全画素数の所定割合を超えたときの加算度数を上記入力画像データのヒストグラムプロジェクション処理用の度数閾値として設定するピーク無し度数閾値設定手段と、を有して構成される。 【発明の効果】 【0017】 本発明によれば、各場面のヒストグラムの形状により輝度分布の度数閾値を適切な値に変更設定するので、低コントラストの画像に対してもより鮮明にコントラスト強調効果の高い画像を得ることができるヒストグラムプロジェクション処理用度数閾値設定装置、方法、及びそのプログラムを記録した記録媒体を提供することが可能となる。 【発明を実施するための最良の形態】 【0018】 以下、本発明の実施の形態を図面を参照しながら説明する。 【実施例1】 【0019】 図1は、一実施の形態におけるヒストグラムプロジェクション(以下、HPと記載)処理システムのブロック図である。同図に示すように、HP処理システムは、映像信号入力部1、ヒストグラム算出部2、レベル変換部3、度数閾値判定部4、及びレベル変換関数算出部5から構成される。 【0020】 映像信号入力部1には、外部から映像信号が1フレームごとに入力する。映像信号入力部1は、その入力する映像信号をヒストグラム算出部2とレベル変換部3に出力する。 ヒストグラム算出部2は、映像信号入力部1から入力される画像信号の各画素の複数フレーム間の輝度レベル平均に対する輝度ヒストグラムを算出し、その算出した輝度ヒストグラムを度数閾値判定部4とレベル変換関数算出部5へ出力する。 【0021】 尚、上記ヒストグラム算出部2で行われる輝度ヒストグラムの算出は、通常のHP処理で行われる処理である。 度数閾値判定部4は、ヒストグラム算出部2から入力される輝度ヒストグラムを用い、後述する度数分割と、差分の調査と、ピーク判定と、閾値の設定(算出)を行う。 【0022】 図2は、輝度ヒストグラムにピークが有る画像の場合のピーク判定と度数閾値の算出例を示す図である。同図は横軸に階調を示し、縦軸に度数を示している。なお、階調すなわち信号レベルは、本例では8ビット構成で0〜255の値をとる256階調で表されるものとする。 【0023】 度数閾値判定部4は、先ず、輝度ヒストグラムにローパスフィルタを掛けて大局的な変化を抽出する。次に、抽出した輝度ヒストグラムの度数最大値を算出する。そして、その度数最大値を、図2に示すように、ある一定度数値で分割する。 【0024】 そして、輝度ヒストグラムの最上段の度数分割区間から、信号レベル差の分布区間内平均値ΔL1 を算出し、次に最上段の度数分割区間から二番目の度数分割区間の信号レベル差の分布区間内平均値ΔL2 を算出するというように、順次輝度ヒストグラムの最下段の度数分割区間まで信号レベル差の分布区間内平均値(ΔL1 、ΔL2 、ΔL3 、・・・)をそれぞれ算出する。 【0025】 例えば1番目の度数分割区間において、最大度数をa個、最小度数をb個、b個である信号レベルをAレベル及びBレベル(B>A))とすると(仮にAレベルを階調118近傍、Bレベルを階調138近傍とする)、b個における信号レベル差は(B−A)となる。次に(b+1)個における信号レベル差を求め(B−A)に加算する。これをa個まで繰返し、総加算値を(a−b)で割った値が信号レベル差の平均値ΔL1となる。 【0026】 その結果を仮に138−118=20とする。また、この1番目の度数分割区間の信号レベルの差の平均値ΔL1 が所定の値よりも小さいときは、ここにピークがある可能性がある。 【0027】 上記に続いて、それら算出された信号レベル差平均値の隣接区間間の差分(ΔL2 −ΔL1 、ΔL3 −ΔL2 、・・・)を順次算出する。 例えば、2番目の度数分割区間において、最大度数をc個、最小度数をd個、d個である信号レベルをCレベル及びDレベル(D>C))とすると(仮にCレベルを階調113近傍、Dレベルを階調141近傍とする)、d個における信号レベル差は(D−C)となる。次に(d+1)個における信号レベル差を求め(D−C)に加算する。これをc個まで繰返し、総加算値を(c−d)で割った値が信号レベル差の平均値ΔL2となる。その結果を仮に143−113=30とする。 【0028】 そして、これら上下に隣接する度数分割区間の間の信号レベル差の平均値の差分「ΔL2 −ΔL1 」(仮の値としては「30−20=10」)が一定値RTH(例えば20)よりも大であるか否かを調べるということを、順次度数分割区間の下方へと行っていく。 【0029】 そして、その調べた信号レベル差の平均値の差分がN個連続して一定値RTH以下であって、かつ、N+1個目の度数分割区間で、N個目の度数分割区間との信号レベル差の平均値の差分が一定値RTHを超えたとき、この1フレームの画像をピークを持つ画像であると判定する。そして、一定値RTHを超えたときの度数を、そのピークに対する度数閾値として算出する。 【0030】 例えばN番目の度数分割区間において、最大度数をi個、最小度数をj個、j個である信号レベルをIレベル及びJレベル(J>I))とすると(仮にIレベルを階調85近傍、Dレベルを階調166近傍とする)、j個における信号レベル差は(J−I)となる。次に(j+1)個における信号レベル差を求め(J−I)に加算する。これをi個まで繰返し、総加算値を(i−j)で割った値が信号レベル差の平均値ΔLNとなる。その結果を仮に166−85=81とする。 【0031】 同様にして、例えばN+1番目の度数分割区間において、最大度数をm個、最小度数をn個、n個である信号レベルをMレベル及びNレベル(N>M))とすると(仮にMレベルを階調64近傍、Nレベルを階調188近傍とする)、n個における信号レベル差は(N−M)となる。次に(n+1)個における信号レベル差を求め(N−M)に加算する。これをm個まで繰返し、総加算値を(m−n)で割った値が信号レベル差の平均値ΔLN+1となる。その結果を仮に188−64=124とする。 【0032】 この隣り合う度数分割区間の信号レベル差の平均値の差分「ΔLN+1 −ΔLN 」(仮の値としては「124−81=43」)が所定の一定値RTHよりも大であったとすれば、この一定値RTHを超えた度数(N番目の度数分割区間とN+1番目の度数分割区間の中間値)がピークに対する度数閾値として算出される。 【0033】 尚、上記の「ΔLN+1 −ΔLN 」が一定値RTHを超えた度数は、階調の低いほうから見て輝度ヒストグラムのピークが立ち上がり始めた度数を示しているということも出来る。 図3(a) は、図6(a) に示した入力輝度ヒストグラムに対して、上述した手法により度数閾値を設定した図であり、同図(b) はその結果としての出力輝度ヒストグラムを示す図である。 【0034】 上述したようにして算出された度数閾値は、図1において度数閾値判定部4からレベル変換関数算出部5に出力される。レベル変換関数算出部5は、ヒストグラム算出部2から入力されている輝度ヒストグラムと、度数閾値判定部4から入力される度数閾値とに基づいてレベル変換関数を算出する。 【0035】 このレベル変換関数の算出では、まず、図3(a) に示すように、度数閾値によって度数閾値以下の階調部分a、b、cの度数が切捨てられる。度数が切捨てられた階調部分a、b、cは、このままでは使用されない、いわば余った階調部分である。この余った階調部分に、切捨てられずに残った階調部分d、eの度数を配分するための関数がレベル変換関数である。 【0036】 このレベル変換関数は、図1においてレベル変換部3に出力される。レベル変換部3は映像信号入力部1から入力される入力映像信号を、レベル変換関数算出部5から入力されたレベル変換関数に基づいて信号レベルを変換して表示装置に出力する。 【0037】 図3(b) は、その出力輝度ヒストグラムを示している。このように、本実施の形態によれば、場面画像に応じて度数閾値が設定され、例えば、輝度ヒストグラムがピークを持つような場面画像に対しては、ピークの部分を残すように度数閾値を高く設定するので、コントラスト強調効果の高い画像を得ることができる。 【0038】 また、各画素の複数フレーム間のレベル平均に対して輝度ヒストグラムを算出して、上記の処理を行うので、入力映像の場面が急激に変化して画面全体の輝度レベルが頻繁に変化するような場合でも、その輝度レベルを前後の場面に連動するよう緩やかな変化とすることができ、入力映像の輝度レベルが頻繁に変化するような場合でも、見やすい画像を得ることができる。 【0039】 尚、図3(a) に示す例では、輝度ヒストグラムにピークを持つ画像についての処理を分易く説明するために、ピークが二つある場合で、たまたま2つのピークの分布変化から算出された度数閾値が同一であった場合を取り上げているが、ピークごとに度数閾値が異なる場合について、代表的にピークが三つある場合を例にとって以下に説明する。 【0040】 図4は、輝度ヒストグラムに複数(図の例では三つ)のピークのある画像の度数閾値の設定例を示す図である。同図に示すように輝度ヒストグラムに三つのピーク6、7、8のある画像について、図2及び図3(a),(b) で説明した本発明の処理を行った結果、それぞれについて異なる3つの度数閾値Fth1 、Fth2 、Fth3 が算出され、Fth1 <Fth2 <Fth3 であるとする。 【0041】 この場合は、最小度数閾値として第1ピーク6に対して算出された度数閾値Fth1 を、この画像の度数閾値として設定する。これにより、複数ピークのある画像の強調効果を高めると共に、より多くの入力映像信号レベルを残すことができる。 【0042】 次に、輝度ヒストグラムにピークのない画像の度数閾値の設定について説明する。 図5は、輝度ヒストグラムにピークのない画像の度数閾値の設定例を示す図である。輝度ヒストグラムにピークのない画像の場合は、図1の度数閾値判定部4においては、先ず度数の多い階調順(降順)に度数を累積する。そして、全画素数のR%を越えた時の加算度数を度数閾値として設定する。尚、Rは、90〜100の範囲で設定される。 【0043】 このように、本例においては、輝度ヒストグラムがピークを持たない場面画像では、多くの入力映像信号レベルを残すように度数閾値を低く設定する。 【図面の簡単な説明】 【0044】 【図1】一実施の形態におけるヒストグラムプロジェクション(HP)処理システムのブロック図である。 【図2】輝度ヒストグラムにピークが有る画像の場合のピーク判定と度数閾値の算出例を示す図である。 【図3】(a) はピークのある入力輝度ヒストグラムに対して本発明の手法により度数閾値を設定した図、(b) はその結果としての出力輝度ヒストグラムを示す図である。 【図4】輝度ヒストグラムに複数のピークのある画像の度数閾値の設定例を示す図である。 【図5】輝度ヒストグラムにピークのない画像の度数閾値の設定例を示す図である。 【図6】(a),(b) は従来のHP処理をより具体的に示す図である。 【符号の説明】 【0045】 1 映像信号入力部 2 ヒストグラム算出部 3 レベル変換部 4 度数閾値判定部 5 レベル変換関数算出部 6,7,8 輝度ヒストグラムのピーク
|
| 【出願人】 |
【識別番号】000005223 【氏名又は名称】富士通株式会社
|
| 【出願日】 |
平成18年3月23日(2006.3.23) |
| 【代理人】 |
【識別番号】100074099 【弁理士】 【氏名又は名称】大菅 義之
【識別番号】100067987 【弁理士】 【氏名又は名称】久木元 彰
|
| 【公開番号】 |
特開2007−259148(P2007−259148A) |
| 【公開日】 |
平成19年10月4日(2007.10.4) |
| 【出願番号】 |
特願2006−81677(P2006−81677) |
|