| 【発明の名称】 |
信号処理システム |
| 【発明者】 |
【氏名】三本木 將夫
|
| 【要約】 |
【課題】エッジ強調処理を、適切かつ効果的に行うことができる信号処理システムを提供する。
【構成】CCD2により撮像され前処理部3によりデジタル化された映像信号に係る画像の領域毎にノイズ量を算出するノイズ算出部26及びパラメータ用ROM27と、上記映像信号に係る画像のエッジ成分を抽出するエッジ抽出部6と、上記ノイズ量と上記エッジ成分とに基づいて該エッジ成分を補正するための補正係数を算出する補正係数算出部7と、上記エッジ成分と上記補正係数とに基づいて上記映像信号に対するエッジ強調処理を行うエッジ強調部8と、を備えた信号処理システム。 |
【特許請求の範囲】
【請求項1】 デジタル化された映像信号に対して信号処理を行う信号処理システムであって、 上記映像信号に係る画像の領域毎にノイズ量を算出するノイズ量算出手段と、 上記映像信号に係る画像のエッジ成分を該映像信号から抽出するエッジ抽出手段と、 上記ノイズ量に基づいて上記エッジ成分に対する補正係数を算出する補正係数算出手段と、 上記エッジ成分と上記補正係数とに基づいて上記映像信号に対するエッジ強調処理を行うエッジ強調手段と、 を具備したことを特徴とする信号処理システム。 【請求項2】 上記ノイズ量に基づいて上記エッジ抽出手段と上記エッジ強調手段との少なくとも一方を制御するエッジ制御手段をさらに具備したことを特徴とする請求項1に記載の信号処理システム。
|
【発明の詳細な説明】【技術分野】 【0001】 本発明は、デジタル化された映像信号を信号処理するための信号処理システムに関する。 【背景技術】 【0002】 従来より、画像の輪郭などを際立たせるエッジ強調処理が行われており、このエッジ強調処理としては、例えば、供給された映像信号に対して微分演算を施すことによる手段が用いられている。 【0003】 しかし、多くの場合、映像信号にはノイズ成分が含まれているために、上述したような微分演算を用いたエッジ強調処理を行うと、ノイズ成分も強調されてしまうという課題が発生していた。 【0004】 このような課題に対応する技術として、例えば特開昭58−222383号公報には、エッジ抽出を行う前に平滑化演算を行うことによって入力画像に含まれるノイズを除去し、その後にエッジ強調処理を行う例が記載されている。 【0005】 一方、上述したような微分演算によってエッジ強調処理を行う手段は、入力画像に含まれる被写体がどのような対象の被写体であるかを認識するものではないために、該被写体に応じた効果的なエッジ強調を行うことができるものとはなっていなかった。 【0006】 これに対して、例えば特開平9−270005号公報には、入力画像の明るさに応じて領域を分割し、その領域のエッジを適切に強調する処理が記載されており、明るさによる被写体の分類は行われていた。 【特許文献1】特開昭58−222383号公報 【特許文献2】特開平9−270005号公報 【発明の開示】 【発明が解決しようとする課題】 【0007】 しかしながら、上記特開昭58−222383号公報に記載されたようなエッジ抽出の前に平滑化演算を行う手段では、本来エッジである部分も平滑化されてぼやけてしまうために、エッジ強調を十分に効果的に行うことができるとはいえなかった。 【0008】 また、上記特開平9−270005号公報に記載されたような明るさに応じて領域を分割する手段では、例えば人の肌、空、植物といった特定色に対応する被写体を認識することができないために、エッジ強調を被写体に応じて適切に行うには不十分であった。 【0009】 本発明は上記事情に鑑みてなされたものであり、エッジ強調処理を、適切かつ効果的に行うことができる信号処理システムを提供することを目的としている。 【課題を解決するための手段】 【0010】 上記の目的を達成するために、第1の発明による信号処理システムは、デジタル化された映像信号に対して信号処理を行う信号処理システムであって、上記映像信号に係る画像の領域毎にノイズ量を算出するノイズ量算出手段と、上記映像信号に係る画像のエッジ成分を該映像信号から抽出するエッジ抽出手段と、上記ノイズ量に基づいて上記エッジ成分に対する補正係数を算出する補正係数算出手段と、上記エッジ成分と上記補正係数とに基づいて上記映像信号に対するエッジ強調処理を行うエッジ強調手段と、を具備したものである。 【0011】 また、第2の発明による信号処理システムは、上記第1の発明による信号処理システムにおいて、上記ノイズ量に基づいて上記エッジ抽出手段と上記エッジ強調手段との少なくとも一方を制御するエッジ制御手段をさらに具備したものである。 【発明の効果】 【0012】 本発明の信号処理システムによれば、エッジ強調処理を、適切かつ効果的に行うことができる。 【発明を実施するための最良の形態】 【0013】 以下、図面を参照して本発明の実施例を説明する。 【実施例1】 【0014】 図1から図10は本発明の実施例1を示したものであり、図1は信号処理システムの構成を示すブロック図である。 【0015】 この信号処理システムは、図1に示すように、被写体像を結像するための撮影光学系1と、この撮影光学系1により結像される光学的な被写体像を光電変換して電気的な映像信号を出力する撮像素子たるCCD2と、このCCD2から出力されるアナログの映像信号をゲイン増幅しA/D変換を行ってデジタル映像信号に変換すると共にAF制御やAE制御等の処理も行う前処理部3と、この前処理部3から出力されるデジタル映像信号を一時的に記憶するバッファ4と、上記バッファ4から読み出した映像信号に基づき後述するようなノイズ推定やシーン推定等の処理を行う推定手段たる推定部5と、上記バッファ4から所定サイズの領域の映像信号を読み出して該領域のエッジ成分を抽出するエッジ抽出手段たるエッジ抽出部6と、上記推定部5による推定結果および上記エッジ抽出部6により抽出されたエッジ成分に基づいてエッジ成分に対する補正係数を算出する補正係数算出手段たる補正係数算出部7と、上記バッファ4から所定サイズの領域の映像信号を抽出して上記エッジ抽出部6からのエッジ成分と上記補正係数算出部7からの補正係数とに基づいてエッジ強調処理を行うエッジ強調手段たるエッジ強調部8と、このエッジ強調部8により処理された映像信号を例えばメモリカードなどへ記録して保存するために出力する出力部9と、電源スイッチ、シャッタボタン、撮影時の各種モードを切り換えるためのインタフェース等を含む外部I/F部11と、上記前処理部3,推定部5,エッジ抽出部6,補正係数算出部7,エッジ強調部8,出力部9、外部I/F部11と双方向に接続されていてこれらを含むこの信号処理システム全体を統合的に制御するマイクロコンピュータ等でなる制御部10と、を有して構成されている。 【0016】 次に、図1に示したような信号処理システムにおける信号の流れについて説明する。 【0017】 この撮像システムは、上記外部I/F部11を介してISO感度などの撮影条件を設定することができるように構成されており、これらの設定がなされた後に、該外部I/F部11のシャッタボタンを押すことにより、上記CCD2による映像信号の取り込みが開始される。 【0018】 上記撮影光学系1を介してCCD2により撮影され出力された映像信号は、上記前処理部3によってゲイン増幅やA/D変換がなされた後に、上記バッファ4へ転送されて記憶される。 【0019】 推定部5は、上記制御部10の制御に基づいて、上記バッファ4から映像信号を読み出し、後述するようなノイズ推定やシーン推定等の処理を行うことによって特徴量を算出して、算出した特徴量を補正係数算出部7へ転送する。 【0020】 一方、エッジ抽出部6は、上記制御部10の制御に基づいて、上記バッファ4に記憶されている映像信号の内の所定サイズの領域を抽出して読み出し、この領域のエッジ成分を抽出する。そして、エッジ抽出部6は、抽出したエッジ成分を、補正係数算出部7とエッジ強調部8とへ転送する。 【0021】 補正係数算出部7は、上記制御部10の制御に基づいて、上記推定部5からの推定量と上記エッジ抽出部6からのエッジ成分とを用いてエッジ成分に対する補正係数を算出し、エッジ強調部8へ転送する。 【0022】 エッジ強調部8は、上記制御部10の制御に基づいて、上記バッファ4に記憶されている映像信号の内の所定サイズの領域を抽出して読み出し、上記エッジ抽出部6からのエッジ成分と上記補正係数算出部7からの補正係数とに基づき、エッジ強調処理を行う。このエッジ強調処理は、RGB信号の内のG信号に対して行っても良いし、あるいは該RGB信号から輝度信号を算出して、算出した輝度信号に対して行っても構わない。 【0023】 上述したような、推定部5、エッジ抽出部6、補正係数算出部7、エッジ強調部8における各処理は、本実施例では所定サイズの領域を単位として、上記制御部10の制御に基づいて同期して行われるようになっている。 【0024】 このようにしてエッジ強調処理が行われた映像信号は、所定サイズの領域を単位として出力部9へ順次転送され、該出力部9により、メモリカードなどへ順次記録されて保存される。 【0025】 図2は、推定部5の第1の構成例を示すブロック図である。 【0026】 この図2は、ノイズ推定の機能を有するノイズ推定手段たる推定部5の構成例を示している。 【0027】 この推定部5は、上記バッファ4に記憶されている映像信号から所定サイズの局所領域を抽出して読み出す画像領域抽出手段たる局所領域抽出部21と、この局所領域抽出部21により読み出された局所領域の映像信号を一時的に記憶するバッファ22と、このバッファ22に記憶された局所領域の輝度の平均値を算出する平均輝度算出手段たる平均輝度算出部23と、上記外部I/F部11を介して設定されたISO感度に基づいて上記前処理部3により行われたゲインの増幅率を算出する増幅率算出手段たるゲイン算出部24と、上記ISO感度の情報が得られなかった場合の標準値となる増幅率を付与する標準値付与手段たる標準値付与部25と、増幅率とノイズ量算出に用いる関数情報との関係が記憶されているノイズ算出手段を構成するパラメータ用ROM27と、上記ゲイン算出部24または上記標準値付与部25から転送された増幅率に基づいて上記パラメータ用ROM27から関数情報を求め、求めた関数情報に基づく関数に上記平均輝度算出部23から転送された平均輝度を代入してノイズ量を算出し、算出したノイズ量を上記補正係数算出部7へ転送するノイズ算出手段たるノイズ算出部26と、を有して構成されている。 【0028】 上記制御部10は、上記局所領域抽出部21、平均輝度算出部23、ゲイン算出部24、標準値付与部25、ノイズ算出部26と双方向に接続されていて、これらを制御するようになっている。 【0029】 次に、このような推定部5における処理の流れについて説明する。 【0030】 まず、上記前処理部3は、上記外部I/F部11を介して設定されたISO感度に基づいて、上記CCD2から転送される映像信号のゲインを増幅する。 【0031】 上記ゲイン算出部24は、上記制御部10の制御に基づいて、該前処理部3によりなされたゲインの増幅率を求め、これをノイズ算出部26へ転送する。 【0032】 本実施例の信号処理システムにおいては、ISO感度として例えば100,200,400の三段階を設定することが可能であると想定しており、これらのISO感度に各対応する増幅率がそれぞれ1,2,4倍として設定される。なお、ISO感度の情報が得られなかった場合には、制御部10は、標準値付与部25を制御することにより、該標準値付与部25から所定の増幅率、例えばISO感度100に対応する増幅率である1倍の増幅率を上記ノイズ算出部26へ転送させる。 【0033】 上記ノイズ算出部26は、上記制御部10の制御に基づいて、ゲイン算出部24または標準値付与部25からの増幅率に対応する、ノイズ量算出に用いる関数情報を、パラメータ用ROM27から求める。 【0034】 このノイズ量算出に用いる関数について、図7を参照して説明する。図7は、パラメータ用ROM27に記録されている輝度値とノイズ量との関係に係る関数の形状を示す線図である。 【0035】 ノイズ量Nは、この図7に示すように、ほぼ輝度値Yのべき乗の関数形状で増加するようになっている。これをモデル化したものが、数式1に示す関数である。 [数1]
ここに、α,β,γは定数である。 【0036】 ノイズは、映像信号と共に、前処理部3のゲイン処理により増幅もしくは減少されるために、該ノイズの量は、該前処理部3のゲイン処理における増幅率に依存して増減することになる。図7は、ISO感度100,200,400(つまり、増幅率1,2,4)をパラメータとして、輝度値Yに対するノイズ量Nの変化の様子を示したものであり、各パラメータに係る3つの関数に各対応して3本の曲線が描画されている。 【0037】 このような増幅率による相違を考慮して数式1を拡張すると、次の数式2に示すような関数が得られる。 [数2]
ここに、iは増幅率を示すパラメータであり、本実施例ではi=1,2,4となる。 【0038】 上記パラメータ用ROM27は、この数式2における定数項αi ,βi ,γi (すなわち、増幅率iに各対応する定数項α,β,γ)を記録するものとなっている。 【0039】 上記ノイズ算出部26は、上記ゲイン算出部24または標準値付与部25から増幅率を取得すると、取得した増幅率iに対応する上記定数項αi ,βi ,γi を、上記パラメータ用ROM27から読み出す。このとき、増幅率は1枚の画像に係る映像信号において共通であるために、該定数項αi ,βi ,γi を読み出す処理は、各局所領域について行うのではなく、1枚の画像に係る映像信号に関して一回のみ行われる。 【0040】 次に、上記局所領域抽出部21は、上記制御部10の制御に基づいて、上記バッファ4に記憶されている映像信号から、所定サイズの領域、例えば5×5画素単位の領域を抽出し、バッファ22へ転送する。 【0041】 上記平均輝度算出部23は、上記制御部10の制御に基づいて、該バッファ22に記憶されている領域内の各画素に関し、次の数式3によって、画素単位で輝度信号Yを求める。 [数3] Y=0.299R+0.587G+0.114B さらに上記平均輝度算出部23は、画素単位で算出した輝度信号の、局所領域内における平均値を算出し、これをノイズ算出部26へ転送する。 【0042】 ノイズ算出部26は、上記平均輝度算出部23から転送された平均輝度を、上記数式2の輝度値Yとして代入することにより、ノイズ量を算出して、算出したノイズ量を上記補正係数算出部7へ転送する。このノイズ算出部26により算出されたノイズ量は、上記局所領域抽出部21により抽出された局所領域における中心画素のノイズ量であるとして扱われる。 【0043】 上記局所領域抽出部21は、上記制御部10の制御に基づいて、所定サイズの局所領域を、水平方向または垂直方向に1画素単位で移動しながら、全映像信号からノイズ量の算出を行う。 【0044】 次に、図3は、推定部5の第2の構成例を示すブロック図である。 【0045】 この図3は、シーン推定の機能を有する撮影シーン推定手段たる推定部5の構成例を示している。 【0046】 この推定部5は、上記前処理部3で設定されたAF情報を上記制御部10を介して取得し合焦位置に応じた分類を行う合焦位置推定部31と、上記バッファ4に記憶されている映像信号を複数の領域に分割し各領域の平均色を所定の色空間で算出する被写体色分布推定部32と、上記前処理部3で設定されたAE情報を上記制御部10を介して取得するとともに上記バッファ4に記憶されている映像信号を用いて画面全体の平均輝度レベルを算出しこれらを所定の条件と比較することにより夜景撮影であるか否かを推定する夜景推定部33と、上記合焦位置推定部31からの情報と上記被写体色分布推定部32からの情報と上記夜景推定部33からの情報とに基づいて撮影シーンを推定して推定結果を上記補正係数算出部7へ転送する全体推定部34と、を有して構成されている。 【0047】 上記制御部10は、上記合焦位置推定部31、被写体色分布推定部32、夜景推定部33、全体推定部34と双方向に接続されていて、これらを制御するようになっている。 【0048】 次に、このような推定部5における処理の流れについて説明する。 【0049】 上記合焦位置推定部31は、上記前処理部3で設定されたAF情報を上記制御部10から取得して、例えば5m〜∞(風景撮影)、1m〜5m(人物撮影)、1m以下(マクロ撮影)などに分類する。この合焦位置推定部31による分類結果は、上記全体推定部34へ転送される。 【0050】 上記被写体色分布推定部32は、上記制御部10の制御に基づいて、バッファ4からの映像信号を、例えば図4に示すような13個の領域a1 〜a13に分割する。図4は画像の領域分割パターンを説明するための図である。 【0051】 すなわち、この図4に示す例においては、該被写体色分布推定部32は、映像信号に係る領域を、最中央部と、この最中央部を取り巻く内周部と、この内周部を取り巻く外周部と、に分類し、さらにそれぞれを以下のような領域に分割する。 【0052】 すなわち、最中央部は、真ん中の領域a1 と、その左隣の領域a2 と、右隣の領域a3と、に分割される。 【0053】 また、内周部は、上記領域a1 の上の領域a4 および下の領域a5 と、該領域a4 の左の領域a6 および右の領域a7 と、該領域a5 の左の領域a8 および右の領域a9 と、に分割される。 【0054】 さらに、外周部は、左上の領域a10と、右上の領域a11と、左下の領域a12と、右下の領域a13と、に分割される。 【0055】 そして、被写体色分布推定部32は、RGB信号を、所定の色空間の信号、例えば、L* a* b* 色空間の信号へ変換する。このL* a* b* 色空間への変換は、以下に示すように、XYZ信号への変換を介して行われるようになっている。 【0056】 すなわち、被写体色分布推定部32は、RGB信号を、次の数式4に示すように、まずXYZ信号へ変換する。 [数4] X=0.607R+ 0.174G+0.200B Y=0.299R+ 0.587G+0.114B Z=0.000R+0.0661G+1.116B 次に、被写体色分布推定部32は、このXYZ信号を、次の数式5に示すように、L*a* b* 信号へ変換する。 [数5]
ここに関数fは、次の数式6に示すように定義される関数である。 [数6]
次に、被写体色分布推定部32は、L* a* b* 色空間の信号値による平均色を上記各領域a1 〜a13においてそれぞれ算出し、これらの算出結果を上記全体推定部34へ転送する。 【0057】 一方、上記夜景推定部33は、上記前処理部3で設定されたAE情報を制御部10から取得して、該制御部10の制御に基づいて、所定のシャッタ速度よりも長時間の露光であって、かつ画面全体の平均輝度レベルが所定の閾値以下である場合に、夜景撮影であると推定する。この夜景推定部33による推定結果は、上記全体推定部34へ転送される。 【0058】 上記全体推定部34は、撮影シーン推定手段を構成するものであり、上記制御部10の制御に基づいて、合焦位置推定部31、被写体色分布推定部32、夜景推定部33からの各情報に基づき、撮影シーンを推定する。 【0059】 すなわち、全体推定部34は、夜景推定部33からの情報が夜景撮影である場合には、そのまま夜景撮影であると推定して、その結果を補正係数算出部7へ転送する。 【0060】 一方、夜景撮影でないと推定される場合は、全体推定部34は、上記合焦位置推定部31からの分類結果と、上記被写体色分布推定部32からの各領域a1 〜a13の平均色の情報と、を用いて、撮影シーンを推定する。 【0061】 全体推定部34は、上記合焦位置推定部31からのAF情報が5m〜∞の分類となる場合には、風景撮影であると推定する。このときさらに、領域a10と領域a11との少なくとも一方の平均色が空色である場合には、上部に空がある風景撮影であると推定する。一方、AF情報が5m〜∞の分類であっても、領域a10と領域a11との平均色が何れも空色以外である場合には、上部に空がない風景撮影または上部に空が少ない風景撮影であると推定する。この場合には、植物や建造物等の、テクスチャ構造を有する被写体が主要被写体になると考えられる。 【0062】 次に、全体推定部34は、上記合焦位置推定部31からのAF情報が1m〜5mの分類となる場合には、領域a4 の平均色が肌色で、かつ領域a6 の平均色および領域a7 の平均色が肌色以外であるときに、一人の人物撮影であると推定する。一方、AF情報が1m〜5mの分類であって、かつ、領域a4 ,領域a6 ,領域a7 の平均色が全て肌色であるときには、複数人の人物撮影であると推定する。また、AF情報が1m〜5mの分類であって、かつ、領域a4 ,領域a6 ,領域a7 の平均色が全て肌色以外であるときには、その他の撮影であると推定する。 【0063】 最後に、全体推定部34は、上記合焦位置推定部31からのAF情報が1m以下の分類となる場合には、マクロ撮影であると推定する。このときさらに、領域a2 と領域a3 との輝度差がある閾値以上である場合には、複数の物体のマクロ撮影であると推定する。これとは逆に、領域a2 と領域a3 との輝度差が上記閾値未満である場合には、単一の物体のマクロ撮影であると推定する。 【0064】 このようにして全体推定部34により推定された結果は、上記補正係数算出部7へ転送される。 【0065】 図5は、エッジ抽出部6の構成例を示すブロック図である。 【0066】 このエッジ抽出部6は、上記バッファ4に記憶されている映像信号を画素単位で読み出して輝度信号を算出する輝度信号算出部41と、この輝度信号算出部41により画素単位で算出された輝度信号を全映像信号について記憶するためのバッファ42と、フィルタ処理を行うためのマトリクスとして構成されたフィルタ係数を記憶するフィルタ用ROM44と、上記バッファ42に記憶された輝度信号を所定サイズの領域毎に読み出してこのフィルタ用ROM44から読み出したマトリクスでなるフィルタ係数を用いてエッジ成分を算出し上記補正係数算出部7およびエッジ強調部8へ転送するフィルタ処理部43と、を有して構成されている。 【0067】 上記制御部10は、上記輝度信号算出部41、フィルタ処理部43と双方向に接続されていて、これらを制御するようになっている。 【0068】 次に、このようなエッジ抽出部6における処理の流れについて説明する。 【0069】 上記輝度信号算出部41は、上記制御部10の制御に基づいて、バッファ4に記憶されている映像信号を画素単位で読み出し、上記数式3によって輝度信号を算出する。 【0070】 バッファ42は、上記輝度信号算出部41により画素単位で算出された輝度信号を順次記憶して、最終的に、全映像信号に係る輝度信号を記憶する。 【0071】 こうして全映像信号から輝度信号が算出されたら、フィルタ処理部43は、制御部10の制御に基づいて、フィルタ用ROM44からフィルタ処理を行うためのマトリクスとして構成されたフィルタ係数を読み出す。 【0072】 次に、フィルタ処理部43は、上記制御部10の制御に基づいて、バッファ42に記憶されている輝度信号を、所定サイズの領域、例えば5×5画素単位の領域毎に読み込んで、マトリクスでなる上記フィルタ係数を用いてエッジ成分を求める。そして、フィルタ処理部43は、求めたエッジ成分を、上記補正係数算出部7とエッジ強調部8とへそれぞれ転送する。 【0073】 該フィルタ処理部43は、上記制御部10の制御に基づいて、所定サイズの領域を水平方向または垂直方向に1画素単位で移動しながら、全輝度信号から上述したようにしてエッジ成分を算出する。 【0074】 図6は、補正係数算出部7の構成例を示すブロック図である。 【0075】 この補正係数算出部7は、上記推定部5から画素単位で転送される推定量に基づいてコアリングを行うための閾値となるコアリング範囲Thを設定するコアリング調整手段たるコアリング調整部51と、後述する図8に示すような入力エッジ成分と出力エッジ成分とを関係付ける関数またはテーブルが記憶されている補正係数用ROM53と、この補正係数用ROM53から読み込んだ関数またはテーブルに上記コアリング調整部51からのコアリング範囲Thをバイアス成分として加算することにより上記エッジ抽出部6からのエッジ成分に対する補正係数を算出して上記エッジ強調部8へ転送する補正係数計算部52と、を有して構成されている。 【0076】 上記制御部10は、上記コアリング調整部51、補正係数計算部52と双方向に接続されていて、これらを制御するようになっている。 【0077】 上記コアリング調整部51は、上述したように、上記制御部10の制御に基づいて、推定部5から画素単位で転送される推定量に基づき、コアリングを行うための範囲Thを設定する。 【0078】 図8は、コアリング調整を説明するための線図である。 【0079】 コアリングは、入力エッジ成分を0に置換して出力エッジ成分とする処理であり、コアリングを行うための範囲は、自由に設定することが可能である。すなわち、上記エッジ強調部8は、この図8に示すように、入力エッジ成分がコアリング調整範囲(閾値)Th以下である場合には、出力エッジ成分を0にするコアリング処理を行うが、このときのコアリング調整範囲Thをコアリング調整部51において可変に設定することができるようになっている。 【0080】 例えば、上記推定部5が上記図2に示したようなノイズ推定を行うものである場合には、該コアリング調整部51は、推定されたノイズ量に、所定のマージンを含ませるような係数(例えば1.1)を乗算して、これをコアリング調整範囲Thとして設定する。 【0081】 一方、上記推定部5が上記図3に示したようなシーン推定を行うものである場合には、コアリング調整部51は、推定された撮影シーンに応じてコアリング調整範囲Thを変化させる。 【0082】 具体的には、コアリング調整部51は、ノイズ量が比較的多いと考えられる撮影シーンの画像に対してはコアリング調整範囲を大きな値であるThL に設定し、ノイズ量が比較的少ないと考えられる撮影シーンの画像に対してはコアリング調整範囲を小さな値であるThS に設定し、その他の撮影シーンの画像に対してはコアリング調整範囲を標準的な値であるThS とThL との中間の値に設定する処理を行う。 【0083】 すなわち、上記図3に示したような推定部5により、例えば、上部に空がある風景撮影であると推定された場合には、空は平坦であってノイズ成分が主観的に気になる領域であるために、コアリング調整部51は、コアリング調整範囲Thとして大きな値であるThL を指定する。 【0084】 また、上記推定部5により、上部に空がない風景撮影または上部に空が少ない風景撮影であると推定された場合には、植物や建造物等のテクスチャ構造をもつものが主要被写体になると考えられるために、コアリング調整部51は、コアリング調整範囲ThとしてThS とThL の中間の値を指定する。 【0085】 さらに、上記推定部5により、一人の人物撮影であると推定された場合には、顔の面積が比較的大きくなって平坦な箇所が増える一方で髪の微細構造を考慮する必要もあるために、コアリング調整部51は、コアリング調整範囲ThとしてThS とThL の中間の値を指定する。 【0086】 そして、上記推定部5により、複数人の人物撮影であると推定された場合には、顔の面積が比較的小さくかつ髪の微細構造を識別し難くなるために、コアリング調整部51は、コアリング調整範囲Thとして大きな値であるThL を指定する。 【0087】 また、上記推定部5により、その他の撮影であると推定された場合には、撮影された被写体が不明であるために、汎用性を考慮して、コアリング調整部51は、コアリング調整範囲ThとしてThS とThL の中間の値を指定する。 【0088】 さらに、上記推定部5により、複数の物体のマクロ撮影であると推定された場合には、主要被写体に微細構造があると考えられるために、コアリング調整部51は、コアリング調整範囲Thとして小さな値であるThS を指定する。 【0089】 そして、上記推定部5により、単一の物体のマクロ撮影であると推定された場合には、微細構造の有無を判断するのが困難となるために、汎用性を考慮して、コアリング調整部51は、コアリング調整範囲ThとしてThS とThL の中間の値を指定する。 【0090】 このようにして、推定部5の推定結果に応じてコアリング調整部51により指定されたコアリング範囲Thは、補正係数計算部52へ転送される。 【0091】 補正係数計算部52は、上記制御部10の制御に基づいて、上記補正係数用ROM53から上記図8に示したようなエッジを補正するための関数またはテーブルを読み込んで、読み込んだ関数またはテーブルに、上記コアリング調整部51からのコアリング範囲Thをバイアス成分として加算した値を、エッジ抽出部6からのエッジ成分に対する補正係数として、エッジ強調部8へ転送する。エッジ強調部8は、上記エッジ抽出部6からのエッジ成分と、この補正係数計算部52からの補正係数と、に基づいて、コアリングを含むエッジ強調処理を行うことになる。 【0092】 上述したような補正係数計算部52による補正係数の算出は、上記制御部10の制御に基づいて、画素単位で順次行われる。 【0093】 これにより、推定部5がノイズ推定を行うものである場合には、推定されたノイズ量以下のエッジ成分は0に置換されて、ノイズの目立たないエッジ強調処理を行うことが可能となる。また、推定部5がシーン推定を行うものである場合には、撮影シーンに応じたエッジ強調処理を行うことが可能となり、高品位な画像を得ることができる。 【0094】 なお、上述ではハードウェアによる処理を前提としていたが、これに限定されるものではない。例えば、上記CCD2から得られる映像信号を未処理のままのRawデータとしておき、このRawデータに、ISO感度情報や画像サイズなどの情報をヘッダ情報として付加する。そして、このヘッダ情報が付加されたRawデータをコンピュータ等の処理装置に出力して、該処理装置においてソフトウェアにより処理するようにしても良い。 【0095】 図9および図10を参照して、コンピュータにおいて信号処理プログラムにより行われる処理の例について説明する。 【0096】 図9は、ノイズ推定に基づき行われるソフトウェア的な信号処理の例を示すフローチャートである。 【0097】 処理を開始すると、上述したようにISO感度や画像サイズ等の情報が含まれるヘッダ情報を読み込んで(ステップS1)、さらにRawデータでなる画像を読み込む(ステップS2)。 【0098】 次に、読み込んだRawデータから、注目画素を中心とした所定サイズのブロック領域、例えば7×7画素でなるブロック領域、を読み込む(ステップS3)。 【0099】 続いて、読み込んだブロック領域のデータに基づいて、注目画素を単位としてノイズ推定を行う一方で(ステップS4)、この処理と平行して、注目画素を単位としてエッジ抽出処理を行う(ステップS6)。なお、ここでは並列的に処理を行っているが、任意の順序で順番に行うようにしても構わない。 【0100】 そして、上記ステップS4で得られた結果および上記ステップS6で得られた結果に基づいて、エッジ成分に対する補正係数を算出する(ステップS5)。 【0101】 このステップS5により得られた補正係数と、上記ステップS6で得られたエッジ成分と、に基づいて、注目画素を単位としてエッジ強調処理を行う(ステップS7)。 【0102】 その後、画像内の全ての画素について処理が終了したか否かを判断し(ステップS8)、終了するまでは上記ステップS3に戻って上述したような処理を繰り返して行う。 【0103】 こうして、上記ステップS8において、全ての画素において処理が終了したと判断された場合には、この一連の処理を終了する。 【0104】 図10は、シーン推定に基づき行われるソフトウェア的な信号処理の例を示すフローチャートである。この図10において、上記図9に示した処理と同様である部分には同一の符号を付して説明を省略する。 【0105】 上記ステップS2の処理を行った後に、上記ステップS3およびステップS6の処理を行う一方で、これらと平行して、読み込まれたRawデータに基づいて画像全体のシーン推定を行う(ステップS9)。なお、ここでは並列的に処理を行っているが、任意の順序で順番に行うようにしても構わない。 【0106】 そして、このステップS9により推定された撮影シーンと、上記ステップS6により抽出された注目画素単位のエッジ成分と、に基づいて、エッジ成分に対する補正係数を算出する(ステップS5A)。 【0107】 その後の処理は、上記図9に示したものと同様である。 【0108】 なお、上記CCD2としては、原色系または補色系の、単板CCD、二板CCD、三板CCD等の何れを用いることも可能である。例えば単板CCDを用いる場合には、上記前処理部3において、単板信号を三板化する補間処理を行うことになる。 【0109】 さらに、上述では、パラメータ用ROM27を参照してノイズ算出部26により行うノイズ量の算出が、関数化した手段により行われることを前提としていたが、これに限るものではなく、例えば、ノイズ量をテーブルとして記録する構成を採用することも可能である。この場合には、ノイズ量の算出を高精度かつ高速に行うことが可能となる。 【0110】 このような実施例1によれば、推定されたノイズ量や推定された撮影シーンに応じて、エッジ強調に対する補正係数を変化させるようにしているために、該撮影シーンに応じた最適なエッジ強調処理を行うことができ、高品位な画像を得ることが可能となる。 【0111】 また、推定されたノイズ量や推定された撮影シーンに応じて、エッジ強調処理に関するコアリング処理を適応的に補正し行うようにしているために、ノイズに起因するアーティファクトやノイズ自体の強調を低減することが可能となり、高品位な画像を得ることができる。 【0112】 さらに、ノイズ量の推定を、輝度値および増幅率に対応して画素単位で行うようにしているために、ノイズ量を高精度に推定することが可能となる。 【0113】 そして、ノイズ量に関する情報を関数化して保存しているために、関数情報を保存するためのROMの容量が少なくて済み、低コスト化を図ることができる。また、ノイズ量に関する情報をテーブル化して保存する場合には、ノイズ量の算出を高精度かつ高速に実行することができる。 【0114】 加えて、ノイズ量を算出するために必要となる増幅率が得られない場合でも、標準値を付与するようにしているために、ノイズ量の推定が可能となって、安定した動作を保証することができる。 【0115】 また、画像内に存在する特定色と、この特定色が存在する範囲と、に基づいて撮影シーンを推定しているために、画面全体に対する撮影シーンの推定を、高速かつ低コストに行うことができる。 【実施例2】 【0116】 図11、図12は本発明の実施例2を示したものであり、図11は信号処理システムの構成を示すブロック図、図12はエッジ抽出部の構成例を示すブロック図である。 【0117】 この実施例2において、上述の実施例1と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。 【0118】 この実施例2の信号処理システムは、図11に示すように、上記図1に示した実施例1の信号処理システムに対して、エッジ制御手段たるエッジ制御部12を付加したものとなっている。 【0119】 このエッジ制御部12は、上記制御部10の制御に基づいて、上記エッジ抽出部6およびエッジ強調部8の動作を制御するためのものであり、該エッジ抽出部6およびエッジ強調部8と双方向に接続されていると共に、上記制御部10と双方向に接続されている。 【0120】 次に、図11に示したような信号処理システムにおける信号の流れについて説明する。 エッジ抽出部6は、上記制御部10の制御に基づいて、上記バッファ4に記憶されている映像信号の内の所定サイズの領域を抽出して読み出し、この領域のエッジ成分を抽出する。 【0121】 上記制御部10は、上記推定部5による推定結果を参照するようになっており、該推定結果に応じて、上記エッジ制御部12を介して、該エッジ抽出部6の動作を停止させることもできるようになっている。このエッジ抽出部6の動作を停止させた場合には、所定領域の中心画素に対するエッジ強調処理は行われない。 【0122】 具体的には、推定部5がノイズ推定を行うものである場合には、推定されたノイズ量が所定の閾値を超えたときにエッジ抽出部6の動作を停止させるように制御する例が挙げられる。また、推定部5がシーン推定を行うものである場合には、夜景撮影と推定されたときにエッジ抽出部6の動作を停止させる例が挙げられる。 【0123】 次に、図12を参照して、エッジ抽出部6の構成例について説明する。 【0124】 このエッジ抽出部6は、上記図5に示したエッジ抽出部6とほぼ同様に構成されているが、フィルタ処理部43aが上記エッジ制御部12と双方向に接続されて制御されるようになっている点が異なっている。 【0125】 制御部10は、上記推定部5による推定結果を取得して、該推定結果に応じて上記エッジ制御部12を制御することにより、フィルタ処理部43aがフィルタ用ROM44から読み込むフィルタのマトリクスサイズ、またはマトリクスを構成する係数、またはその両方、を切り換えさせることができるようになっている。すなわち、フィルタ用ROM44には、フィルタ用の係数を行列として配列したものが記憶されており、マトリクスサイズを切り換える例としては5×5のマトリクスから3×3のマトリクスへ切り換えることが挙げられ、係数を切り換える例としてはラプラシアンからSobelへ切り換えることなどが挙げられる。 【0126】 上記推定部5がノイズ推定を行うものである場合には推定されたノイズ量に応じて、また、該推定部5がシーン推定を行うものである場合には推定された撮影シーンに応じて、フィルタ処理部43aは、フィルタ用ROM44から読み込む情報の切り換えを適応的に行う。 【0127】 なお、ここでもハードウェアによる処理を前提としていたが、これに限らず、ソフトウェアによって処理するようにしても良いことは、上述した実施例1と同様である。 【0128】 このような実施例2によれば、上述した実施例1とほぼ同様の効果を奏するとともに、エッジ抽出処理を必要に応じて停止させることができるようにしたために、ノイズ成分が多い領域や、所定の撮影シーンなどに対して、エッジ抽出処理を適宜省略することが可能となり、処理速度を高速化することができる。 【0129】 また、ノイズ推定やシーン推定に基づきエッジ抽出に用いるフィルタのマトリクスサイズと係数との少なくとも一方を適応的に切り換える場合には、ノイズ成分を抽出しないエッジ抽出や、撮影シーンに応じたエッジ抽出を行うことが可能となり、高品位な画像を得ることができる。 【0130】 そして、マトリクスサイズを適応的に切り換えることにより、不要に大きなマトリクスサイズでのフィルタ処理を回避することができるために、処理を高速化することが可能となる。 【実施例3】 【0131】 図13から図15は本発明の実施例3を示したものであり、図13は信号処理システムの構成を示すブロック図、図14は画像分割部の構成例を示すブロック図、図15は信号処理プログラムによりソフトウェア的に行われる処理の例を示すフローチャートである。 この実施例3において、上述の実施例1,2と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。 【0132】 この信号処理システムは、上記図1に示した信号処理システムの推定部5に代えて、画像分割手段たる画像分割部13を設けたものとなっている。 【0133】 この画像分割部13は、上記バッファ4に記憶されている映像信号を所定サイズの領域に分割して、ラベル付けを行い、その結果を補正係数算出部7へ転送するものである。また、該画像分割部13は、上記制御部10と双方向に接続されて制御されるようになっている。 【0134】 次に、図13に示したような信号処理システムにおける信号の流れについて説明する。 画像分割部13は、上記バッファ4に記憶されている映像信号を所定サイズの領域に分割し、ラベル付けを行って、その結果を補正係数算出部7へ転送する。 【0135】 補正係数算出部7は、上記制御部10の制御に基づいて、画像分割部13からの領域情報と、上記エッジ抽出部6からのエッジ成分と、を用いて、エッジ成分に対する補正係数を算出する。この補正係数算出部7により算出された補正係数は、エッジ強調部8へ転送される。 【0136】 続いて、図14を参照して、画像分割部13の構成例について説明する。 【0137】 この画像分割部13は、上記バッファ4に記憶されている映像信号を画素単位で読み出して色信号を算出する色信号算出部61と、この色信号算出部61により算出された色信号を記憶するバッファ62と、このバッファ62に記憶されている色信号を読み出して所定の閾値と比較する等により色に応じた領域に分割してラベル付けする特定色検出部63と、上記バッファ62に記憶されている色信号の内の例えば輝度信号に相当するような信号を読み出して所定の閾値と比較する等により暗部領域とそれ以外の領域に分割してラベル付けする暗部検出部64と、上記特定色検出部63からの情報と上記暗部検出部64からの情報とに基づいて領域の推定を行い総合的なラベルを付与して上記補正係数算出部7へ転送する領域推定部65と、を有して構成されている。 【0138】 上記制御部10は、上記色信号算出部61、特定色検出部63、暗部検出部64、領域推定部65と双方向に接続されていて、これらを制御するようになっている。 【0139】 次に、このような画像分割部13における処理の流れについて説明する。 【0140】 上記色信号算出部61は、上記制御部10の制御に基づいて、バッファ4に記憶されている映像信号を画素単位で読み出し、色信号を算出して、バッファ62へ転送する。ここに色信号とは、例えば上記数式4〜数式6を参照して説明したようなL* a* b* 信号などを指している。 【0141】 上記特定色検出部63は、上記制御部10の制御に基づいて、バッファ62に記憶されているL* a* b* 信号の内のa* b* 信号を読み出して、所定の閾値と比較する処理を行うことにより、映像信号に係る画像を、肌色領域、植物色領域、空色領域、その他の領域に分割する。そして、該特定色検出部63は、例えば、肌色領域に1、植物色領域に2、空色領域に3、その他の領域に0の各ラベルを画素単位で付与して、領域推定部65へ転送する。 【0142】 上記暗部検出部64は、上記制御部10の制御に基づいて、バッファ62に記憶されているL* a* b* 信号の内のL* 信号を読み出して、所定の閾値と比較する処理を行うことにより、映像信号に係る画像を、暗部領域、その他の領域に分割する。そして、該暗部検出部64は、例えば、暗部領域に4、その他の領域に0の各ラベルを画素単位で付与して、領域推定部65へ転送する。 【0143】 上記領域推定部65は、上記制御部10の制御に基づいて、特定色検出部63からのラベルと、暗部検出部64からのラベルと、を加算する処理を行う。具体的には、領域推定部65は、肌色領域に1、植物色領域に2、空色領域に3、暗部領域に4、肌色領域かつ暗部領域に5、植物色領域かつ暗部領域に6、空色領域かつ暗部領域に7、その他の領域に0の各ラベルを、総合的なラベルとしてそれぞれ付与して、補正係数算出部7へ転送する。 【0144】 上記補正係数算出部7は、これらのラベル情報に基づいて、ラベル1(肌色領域)、ラベル4(暗部領域)、またはラベル6(植物色領域かつ暗部領域)の各領域に対しては、コアリング調整範囲ThをThS とThL の中間の値に指定する。 【0145】 また、補正係数算出部7は、ラベル2(植物色領域)またはラベル0(その他の領域)の各領域に対しては、コアリング調整範囲をThS に指定する。 【0146】 そして、補正係数算出部7は、ラベル3(空色領域)、ラベル5(肌色領域かつ暗部領域)、またはラベル7(空色領域かつ暗部領域)の各領域に対しては、コアリング調整範囲ThをThL に指定する。 【0147】 なお、上述ではハードウェアによる処理を前提としていたが、これに限らず、ソフトウェアによって処理するようにしても良いことは、上述した実施例1,2と同様である。 【0148】 図15を参照して、コンピュータにおいて信号処理プログラムによりソフトウェア的に行われる処理の例について説明する。この図15において、上述した実施例1の図9に示した処理と同様である部分には同一の符号を付して説明を省略する。 【0149】 上記ステップS2の処理を行った後に、上記ステップS3およびステップS6の処理を行う一方で、これらと平行して、読み込まれたRawデータに基づいて、特定色毎に画像を分割してラベル付けを行う(ステップS11)。なお、ここでは並列的に処理を行っているが、任意の順序で順番に行うようにしても構わない。 【0150】 そして、このステップS11により分割された画像と、上記ステップS6により抽出された注目画素単位のエッジ成分と、に基づいて、エッジ成分に対する補正係数を算出する(ステップS5B)。 【0151】 その後の処理は、上記図9に示したものと同様である。 【0152】 なお、この図15においては、ステップS5Bにおいて、補正係数の算出を注目画素単位で行っているが、分割されラベル付けされた領域毎に行うようにしても構わない。同様に、ステップS7におけるエッジ強調処理を、分割されラベル付けされた領域毎に行っても良い。 【0153】 このような実施例3によれば、上述した実施例1,2とほぼ同様の効果を奏するとともに、画像中に含まれる特定色毎に適応的なエッジ強調処理を行うようにしたために、高品位な画像を得ることができる。そして、画像の分割を、色情報と暗部であるか否かの情報とに基づいて行っているために、領域の分割を高速に行うことができる。 【0154】 なお、本発明は上述した実施例に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。 【産業上の利用可能性】 【0155】 本発明は、デジタル化された映像信号を信号処理する際に用いられ、特に、エッジ強調処理を行う際に好適に用いられる。 【図面の簡単な説明】 【0156】 【図1】本発明の実施例1における信号処理システムの構成を示すブロック図。 【図2】上記実施例1における推定部の第1の構成例を示すブロック図。 【図3】上記実施例1における推定部の第2の構成例を示すブロック図。 【図4】上記実施例1において、画像の領域分割パターンを説明するための図。 【図5】上記実施例1におけるエッジ抽出部の構成例を示すブロック図。 【図6】上記実施例1における補正係数算出部の構成例を示すブロック図。 【図7】上記実施例1において、パラメータ用ROMに記録されている輝度値とノイズ量との関係に係る関数の形状を示す線図。 【図8】上記実施例1において、コアリング調整を説明するための線図。 【図9】上記実施例1において、ノイズ推定に基づき行われるソフトウェア的な信号処理の例を示すフローチャート。 【図10】上記実施例1において、シーン推定に基づき行われるソフトウェア的な信号処理の例を示すフローチャート。 【図11】本発明の実施例2における信号処理システムの構成を示すブロック図。 【図12】上記実施例2におけるエッジ抽出部の構成例を示すブロック図。 【図13】本発明の実施例3における信号処理システムの構成を示すブロック図。 【図14】上記実施例3における画像分割部の構成例を示すブロック図。 【図15】上記実施例3において、信号処理プログラムによりソフトウェア的に行われる処理の例を示すフローチャート。 【符号の説明】 【0157】 1…撮影光学系 2…CCD 3…前処理部 4…バッファ 5…推定部(推定手段、ノイズ推定手段、撮影シーン推定手段) 6…エッジ抽出部(エッジ抽出手段) 7…補正係数算出部(補正係数算出手段) 8…エッジ強調部(エッジ強調手段) 9…出力部 10…制御部 11…外部I/F部 12…エッジ制御部(エッジ制御手段) 13…画像分割部(画像分割手段) 21…局所領域抽出部(画像領域抽出手段) 22…バッファ 23…平均輝度算出部(平均輝度算出手段) 24…ゲイン算出部(増幅率算出手段) 25…標準値付与部(標準値付与手段) 26…ノイズ算出部(ノイズ算出手段) 27…パラメータ用ROM(ノイズ算出手段) 31…合焦位置推定部 32…被写体色分布推定部 33…夜景推定部 34…全体推定部 41…輝度信号算出部 42…バッファ 43,43a…フィルタ処理部 44…フィルタ用ROM 51…コアリング調整部(コアリング調整手段) 52…補正係数計算部 53…補正係数用ROM 61…色信号算出部 62…バッファ 63…特定色検出部 64…暗部検出部 65…領域推定部
|
| 【出願人】 |
【識別番号】000000376 【氏名又は名称】オリンパス株式会社
|
| 【出願日】 |
平成19年9月21日(2007.9.21) |
| 【代理人】 |
【識別番号】100076233 【弁理士】 【氏名又は名称】伊藤 進
|
| 【公開番号】 |
特開2008−35547(P2008−35547A) |
| 【公開日】 |
平成20年2月14日(2008.2.14) |
| 【出願番号】 |
特願2007−245787(P2007−245787) |
|