トップ :: G 物理学 :: G06 計算;計数

【発明の名称】 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路
【発明者】 【氏名】渡辺 辰巳

【氏名】尾島 修一

【要約】 【課題】簡易にかつ既存デバイスを利用して2D映像の奥行き感向上を実現する陰影強調を行うことを目的とする。

【構成】入力画像データはまず、明るさ情報算出部11で明るさ情報に変換される。その明るさ情報をもとに、処理対象画素における法線方向とエッジ情報が法線方向推定部13で推定される。そして、補正階調導出部201において、明るさ情報、推定された法線方向、エッジ情報をもとに、入力画像に陰影成分付加等の補正処理を行うことで、奥行き感のある処理画像を生成し、出力部15が所定の画像フォーマットへ変換・出力を行う。このように、入力画像の特徴に合わせて陰影部分等を付加することで簡易に2D画像の奥行き感向上をすることができる。
【特許請求の範囲】
【請求項1】
2次元画像を形成する画像信号から明るさ情報を導出する明るさ情報算出部と、
画素ごとまたは領域ごとに3次元ベクトル値を取得する法線方向推定部と、
前記3次元ベクトル値に基づいて前記画素または前記領域の輝度値を補正する補正階調導出部と、を備える画像処理装置。
【請求項2】
画素からなる2次元画像を形成することができる入力された画像信号から、前記画像信号の明るさ情報を算出する明るさ情報算出部と、
前記画像信号により形成される前記2次元画像上に奥行き感を与えるために、前記明るさ情報から、前記画素ごと又は複数の前記画素からなる領域ごとに法線方向を推定し、推定された法線方向に基づいて、前記画素ごと又は前記領域ごとに3次元ベクトルである法線方向ベクトルを取得する法線方向推定部と、
前記法線方向推定部で取得された前記法線方向ベクトルに基づいて前記明るさ情報の補正量を求め、前記明るさ情報の前記補正量に基づいて前記画像信号の前記明るさ情報を補正する補正階調導出部と、
を備える画像処理装置。
【請求項3】
前記補正階調導出部により前記明るさ情報が補正された前記画像信号を、所定の形式により出力させる出力部をさらに備える、
請求項1又は2に記載の画像処理装置。
【請求項4】
前記補正階調導出部は、少なくとも1つの仮想光源を設定し、前記仮想光源の光源位置を決定し、前記画素の画素位置と前記光源位置との位置関係および前記法線方向ベクトルに基づいて、前記画像信号の前記明るさ情報を補正する、
請求項1から3のいずれかに記載の画像処理装置。
【請求項5】
前記補正階調導出部は、少なくとも1つの仮想光源を設定し、前記画素ごと又は前記領域ごとに前記仮想光源への方向を持つ3次元ベクトルである光源方向ベクトルを求め、前記法線方向ベクトルと前記光源方向ベクトルとに基づいて、前記画像信号の前記明るさ情報を補正する、
請求項1から4のいずれかに記載の画像処理装置。
【請求項6】
前記補正階調導出部は、前記画素の画素値に対して陰影付加処理を行うことで、前記画像信号の前記明るさ情報を補正する、
請求項5に記載の画像処理装置。
【請求項7】
前記補正階調導出部は、前記画素の画素値に対して光付加処理を行うことで、前記画像信号の前記明るさ情報を補正する、
請求項5に記載の画像処理装置。
【請求項8】
前記法線方向推定部は、前記2次元画像上で前記画素の画素位置を決定するための2次元座標情報である、第1方向の成分の値である第1方向成分値および第2方向の成分の値である第2方向成分値と、前記2次元画像が形成する平面上には含まれない第3方向の成分の値である第3方向成分値と、の3つの方向成分の値により前記法線方向ベクトルを決定する、
請求項1から5のいずれかに記載の画像処理装置。
【請求項9】
前記法線方向推定部は、前記第3方向成分値を所定の値である第1の値に設定し、複数の前記画素について、前記第3方向成分値を前記第1の値と同じ値にして、前記画素ごと又は前記領域ごとに前記法線方向ベクトルを決定する、
請求項8に記載の画像処理装置。
【請求項10】
前記法線方向推定部は、前記画素の画素値の前記第1方向についての微分値に基づいて、前記法線方向ベクトルの前記第1方向成分値を決定する、
請求項8又は9に記載の画像処理装置。
【請求項11】
前記法線方向推定部は、前記画素の画素値の前記第2方向についての微分値に基づいて、前記法線方向ベクトルの前記第2方向成分値を決定する、
請求項8又は9に記載の画像処理装置。
【請求項12】
前記法線方向推定部は、前記画素の画素値の前記第1方向についての微分値に基づいて、前記法線方向ベクトルの前記第1方向成分値を決定し、前記画素の画素値の前記第2方向についての微分値に基づいて、前記法線方向ベクトルの前記第2方向成分値を決定し、
前記補正階調導出部は、前記変調法線方向ベクトルに基づいて、前記明るさ情報の補正量を求め、前記明るさ情報の前記補正量に基づいて前記画像信号の前記明るさ情報を補正する、
請求項8又は9に記載の画像処理装置。
【請求項13】
前記明るさ情報の前記補正量は、前記法線方向ベクトルの前記第1方向成分値または前記第2方向成分値の変化に伴い変化する、
請求項8から12のいずれかに記載の画像処理装置。
【請求項14】
前記法線方向推定部は、前記法線方向ベクトルを変調することにより変調法線方向ベクトルを取得し、
前記補正階調導出部は、前記変調法線方向ベクトルに基づいて、前記明るさ情報の補正量を求め、前記明るさ情報の前記補正量に基づいて前記画像信号の前記明るさ情報を補正する、
請求項8から13のいずれかに記載の画像処理装置。
【請求項15】
前記法線方向推定部は、前記画素の画素値の前記第1方向についての微分値に基づいて、前記法線方向ベクトルを変調することにより前記変調法線方向ベクトルを取得する、
請求項14に記載の画像処理装置。
【請求項16】
前記法線方向推定部は、前記画素の画素値の前記第2方向についての微分値に基づいて、前記法線方向ベクトルを変調することにより前記変調法線方向ベクトルを取得する、
請求項14に記載の画像処理装置。
【請求項17】
前記法線方向推定部は、前記画素の画素値の前記第1方向および前記第2方向についての微分値に基づいて、前記法線方向ベクトルを変調することにより前記変調法線方向ベクトルを取得する、
請求項14に記載の画像処理装置。
【請求項18】
前記法線方向推定部は、前記画像信号において処理対象とされている前記画素である注目画素についての前記明るさ情報と、前記注目画素の周辺画素の前記明るさ情報とに基づいて明るさ対比量を算出し、前記明るさ対比量に基づいて、前記法線方向ベクトルの前記第3方向成分値を変化させることにより前記変調法線方向ベクトルを取得する、
請求項14から17のいずれかに記載の画像処理装置。
【請求項19】
前記法線方向推定部は、前記画像信号において処理対象とされている前記画素である注目画素についての前記明るさ情報と、前記注目画素の周辺画素の前記明るさ情報とに基づいて明るさ対比量を算出し、前記明るさ対比量に基づいて、視覚的奥行き感の程度を示す第1視覚的奥行き量を算出し、前記第1視覚的奥行き量に基づいて、前記法線方向ベクトルの前記第1方向成分値および前記第2方向成分値を変化させることにより前記変調法線方向ベクトルを取得する、
請求項14から17のいずれかに記載の画像処理装置。
【請求項20】
前記法線方向推定部は、前記画像信号において処理対象とされている前記画素である注目画素についての色情報と、前記注目画素の周辺画素の前記色情報とに基づいて色対比量を算出し、前記色対比量に基づいて、視覚的奥行き感の程度を示す第2視覚的奥行き量を算出し、前記第2視覚的奥行き量に基づいて、前記法線方向ベクトルの前記第1方向成分値および前記第2方向成分値を変化させることにより前記変調法線方向ベクトルを取得する、
請求項14から17のいずれかに記載の画像処理装置。
【請求項21】
前記法線方向推定部は、
前記画像信号において処理対象とされている前記画素である注目画素についての前記明るさ情報と、前記注目画素の周辺画素の前記明るさ情報とに基づいて明るさ対比量を算出し、前記明るさ対比量に基づいて、視覚的奥行き感の程度を示す第1視覚的奥行き量を算出し、
前記画像信号において処理対象とされている前記画素である注目画素についての色情報と、前記注目画素の周辺画素の前記色情報とに基づいて色対比量を算出し、前記色対比量に基づいて、視覚的奥行き感の程度を示す第2視覚的奥行き量を算出し、
前記第1視覚的奥行き量および前記第2視覚的奥行き量に基づいて、前記法線方向ベクトルの前記第1方向成分値および前記第2方向成分値を変化させることにより前記変調法線方向ベクトルを取得する、
請求項14から17のいずれかに記載の画像処理装置。
【請求項22】
前記法線方向推定部は、前記法線方向ベクトルを変調することにより変調法線方向ベクトルを取得し、
前記補正階調導出部は、前記変調法線方向ベクトルおよび前記光源方向ベクトルに基づいて、前記明るさ情報の補正量を求め、前記明るさ情報の前記補正量に基づいて前記画像信号の前記明るさ情報を補正する、
請求項5に記載の画像処理装置。
【請求項23】
前記法線方向推定部は、前記法線方向ベクトルと前記光源方向ベクトルとのなす角度αに基づいて、前記法線方向ベクトルを変調する、
請求項22に記載の画像処理装置。
【請求項24】
前記補正階調導出部は、前記角度αが大きくなるに従い、前記明るさ情報の前記補正量を増加させる、
請求項23に記載の画像処理装置。
【請求項25】
前記補正階調導出部は、前記角度αが、前記2次元画像の法線ベクトルと前記光源方向ベクトルとのなす角度であるα0より大きい場合であって、第1閾値角度α1以下の場合、前記角度αが大きくなるに従い、前記明るさ情報の前記補正量を増加させ、
前記角度αが前記第1閾値角度α1より大きくなった場合、前記角度αが大きくなるに従い、前記補正量を減少させる、
請求項23に記載の画像処理装置。
【請求項26】
前記補正階調導出部は、前記補正量により、前記画素の画素値に対して陰影付加処理を行うことで、前記画像信号の前記明るさ情報を補正する、
請求項25に記載の画像処理装置。
【請求項27】
前記法線方向ベクトルを変調させる特性を決定させるための情報を入力することができる入力部をさらに備える、
請求項14に記載の画像処理装置。
【請求項28】
前記補正階調導出部は、前記光源方向ベクトルと前記法線方向ベクトルとの内積値に基づいて、前記画像信号の前記明るさ情報を補正する、
請求項5に記載の画像処理装置。
【請求項29】
前記補正階調導出部は、前記光源方向ベクトルと前記法線方向ベクトルとを、数式モデルまたはルックアップテーブルに適用させることで、陰影強調画像信号を取得し、前記陰影強調画像信号を前記画像信号に合成することにより、前記画像信号の前記明るさ情報を補正する、
請求項5又は28に記載の画像処理装置。
【請求項30】
前記補正階調導出部は、前記光源方向ベクトルと前記法線方向ベクトルとを、数式モデルまたはルックアップテーブルに適用させることで、光強調画像信号を取得し、前記光強調画像信号を前記画像信号に合成することにより、前記画像信号の前記明るさ情報を補正する、
請求項5又は28に記載の画像処理装置。
【請求項31】
前記補正階調導出部は、前記光源方向ベクトルと前記法線方向ベクトルとを、数式モデルまたはルックアップテーブルに適用させることで、陰影強調画像信号および光強調画像信号を取得し、前記陰影強調画像信号および前記光強調画像信号を前記画像信号に合成することにより、前記画像信号の前記明るさ情報を補正する、
請求項5又は28に記載の画像処理装置。
【請求項32】
前記法線方向推定部は、前記法線方向ベクトルを空間方向に平滑化した平滑化法線方向ベクトルを求め、
前記補正階調導出部は、前記平滑化法線方向ベクトルに基づいて前記画像信号の前記明るさ情報を補正する、
請求項1から31のいずれかに記載の画像処理装置。
【請求項33】
前記法線方向推定部は、前記法線方向ベクトルを時間方向に平滑化した平滑化法線方向ベクトルを求め、
前記補正階調導出部は、前記平滑化法線方向ベクトルに基づいて前記画像信号の前記明るさ情報を補正する、
請求項1から32のいずれかに記載の画像処理装置。
【請求項34】
画素からなる2次元画像を形成することができる入力された画像信号から、前記画像信号の明るさ情報を算出する明るさ情報算出ステップと、
光源位置の座標(c1,c2,c3)(c1,c2およびc3は実数。)を設定する光源位置ステップと、
前記2次元画像が形成する平面上にある所定の座標位置(p1,p2)(p1およびp2は実数。)の前記画素の前記明るさ情報と、前記平面上のx方向に隣接する画素の明るさ情報との差分x,および前記平面上のy方向に隣接する画素の前記明るさ情報との差分yを算出する差分算出ステップと、
前記差分算出ステップにより算出された前記差分xおよび前記差分yから、法線方向ベクトル(前記差分x,前記差分y,c3)を算出する法線方向ベクトル算出ステップと、
前記光源位置および前記画素の画素位置(p1,p2)に基づいて、光源方向ベクトル(c1−p1,c2−p2,c3)を算出する光源方向ベクトル算出ステップと、
前記法線方向ベクトルおよび前記光源方向ベクトルに基づいて前記画素の前記明るさ情報を補正する補正ステップと、
を備える画像処理方法。
【請求項35】
前記光源位置が太陽光線のように前記画素の画素位置に対して、無限平行位置にある場合、前記光源位置の座標(c1,c2,c3)は、前記光源位置である前記無限平行位置の方向に向かって所定の大きさをもつ値である、
請求項34に記載の画像処理装置。
【請求項36】
画素からなる2次元画像を形成することができる入力された画像信号から、前記画像信号の明るさ情報を算出する明るさ情報算出ステップと、
前記画像信号により形成される前記2次元画像上に奥行き感を与えるために、前記明るさ情報から、前記画素ごと又は複数の前記画素からなる領域ごとに法線方向を推定し、推定された法線方向に基づいて、前記画素ごと又は前記領域ごとに3次元ベクトルである法線方向ベクトルを取得する法線方向推定ステップと、
前記法線方向推定ステップで取得された前記法線方向ベクトルに基づいて前記明るさ情報の補正量を求め、前記明るさ情報の前記補正量に基づいて前記画像信号の前記明るさ情報を補正する補正階調導出ステップと、
を備える画像処理方法。
【請求項37】
コンピュータを
画素からなる2次元画像を形成することができる入力された画像信号から、前記画像信号の明るさ情報を算出する明るさ情報算出部、
前記画像信号により形成される前記2次元画像上に奥行き感を与えるために、前記明るさ情報から、前記画素ごと又は複数の前記画素からなる領域ごとに法線方向を推定し、推定された法線方向に基づいて、前記画素ごと又は前記領域ごとに3次元ベクトルである法線方向ベクトルを取得する法線方向推定部、
前記法線方向推定部で取得された前記法線方向ベクトルに基づいて前記明るさ情報の補正量を求め、前記明るさ情報の前記補正量に基づいて前記画像信号の前記明るさ情報を補正する補正階調導出部、
として機能させるためのプログラム。
【請求項38】
コンピュータを
画素からなる2次元画像を形成することができる入力された画像信号から、前記画像信号の明るさ情報を算出する明るさ情報算出部、
前記画像信号により形成される前記2次元画像上に奥行き感を与えるために、前記明るさ情報から、前記画素ごと又は複数の前記画素からなる領域ごとに法線方向を推定し、推定された法線方向に基づいて、前記画素ごと又は前記領域ごとに3次元ベクトルである法線方向ベクトルを取得する法線方向推定部、
前記法線方向推定部で取得された前記法線方向ベクトルに基づいて前記明るさ情報の補正量を求め、前記明るさ情報の前記補正量に基づいて前記画像信号の前記明るさ情報を補正する補正階調導出部、
として機能させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項39】
画素からなる2次元画像を形成することができる入力された画像信号から、前記画像信号の明るさ情報を算出する明るさ情報算出部と、
前記画像信号により形成される前記2次元画像上に奥行き感を与えるために、前記明るさ情報から、前記画素ごと又は複数の前記画素からなる領域ごとに法線方向を推定し、推定された法線方向に基づいて、前記画素ごと又は前記領域ごとに3次元ベクトルである法線方向ベクトルを取得する法線方向推定部と、
前記法線方向推定部で取得された前記法線方向ベクトルに基づいて前記明るさ情報の補正量を求め、前記明るさ情報の前記補正量に基づいて前記画像信号の前記明るさ情報を補正する補正階調導出部と、
を備える集積回路。
【請求項40】
ユーザの指示により処理モードを選択させるユーザモード選択部と、
前記出力部からの出力を画像として表示させる表示部と、
請求項1から33のいずれかに記載の画像処理装置と、
を備える表示装置。
【請求項41】
前記ユーザモード選択部は、少なくとも、前記明るさ情報の補正の強度に関する情報を含む前記処理モードを選択させる、
請求項40に記載の表示装置。
【発明の詳細な説明】【技術分野】
【0001】
本発明は、2次元画像に陰影付加・光付加を行うことにより画像の奥行き感や立体感を強調する画像処理装置、画像処理方法、プログラム、記録媒体および、集積回路に関するものである。
【背景技術】
【0002】
大画面FPD(フラット・パネル・ディスプレイ)装置等の画面に表示される映像をより自然な映像として表示させるために、表示映像において「奥行き感」や「立体感」を向上させる技術が、ユーザから強く求められている。これに対して、人間の両眼視差を利用した3次元テレビ等が提案されているが、特殊な専用眼鏡を必要とする場合が多いという課題、画像依存性が大きいという課題、あるいは、特殊なデバイスを必要とするため高コストになるというような課題が指摘されている。現状では、大画面ディスプレイ装置でのセールスポイントとして、大画面ディスプレイ装置の表示画像内での階調特性や色特性を滑らかにすることで、表示画像(映像)の立体感を実現させる技術がアピールされることが多い。
人間は、両眼視差のみならず、色情報、彩度、明暗、(色情報や明るさ情報の)コントラスト、陰影、肌理の勾配、相対的大きさ等の単眼情報を利用して、2次元画像に奥行き感や立体感を知覚することが明らかとなっている。
【0003】
このような単眼情報を利用した従来技術として、照明方向を検知して、その検知した照明方向に対応するフィルタ処理画像(シェーディング画像)を入力画像に加算することで立体化画像を生成する技術がある(例えば、特許文献1参照)。
図82は、その従来の画像処理装置(立体化装置)9000の構成を示すブロック図である。
画像処理装置9000の生成部5001において、まず、入力画像(入力画像信号)が入力されると、入力画像信号に対して複数の照明方向検出用に用意されたフィルタ係数をもつフィルタが適用され、各々のフィルタ処理画像(シェーディング画像)が生成される。画像処理装置9000では、このフィルタ処理画像と入力画像の画素値間の平均差分値がもっとも小さいフィルタ係数に対応するフィルタ方向から照明(照明光)が来ていると判定される。そして、判定された照明方向に対応するフィルタ処理画像は、画質改善部5002において、ノイズ除去処理(雑音除去部5003による処理)、(画像上の)上下左右への拡散処理(ぶれ部5004による処理)が行なわれる。その後、利得調整部5005で得られた利得率がフィルタ処理画像に乗算され、乗算されて取得された出力は、加算器5006により、入力画像に加算される。そして、加算器5006の出力は、マッピング5007での処理を経て、画像処理装置9000から出力される。画像処理装置9000は、このようにして得られた画像を出力することで、立体化画像を生成する。なお、画像処理装置9000では、各照明方向に対応するフィルタとして、複数方向の輪郭を抽出するためのフィルタが用意されている。また、(画像上の)上下左右にフィルタ処理画像の値を拡散することで、立体付加を図っているのである。なお、この画像処理装置9000では、照明(照明光)が一方向から来ていると仮定して検出処理を行っており、そのために各方向に対応したフィルタの係数が予め用意されていることが前提となる。
【特許文献1】特開2003−196639号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
上記従来技術では、画像内における照明方向の検出を必要とし、その検出精度の影響を大きく受ける。さらに、照明が一方向から来る場合のみを想定しているため、自然画像で多く見受けられる複数照明が存在する場合に適切に対応することができない。つまり、従来技術では、複数照明方向(複数の照明(光源)による照明方向)を検出できないとともに、部分的に照明方向が変動している場合には、照明検出精度は大きく悪化する恐れがある。そのため、従来技術では、画像依存性が高く、特に自然画像において適切な効果を奏することが出来ない場合が多い。また、予め照明検出用フィルタを用意しておく必要がある等の課題もある。
本発明は、上記従来技術の課題に鑑み、従来技術のような照明方向の検出を必要とせず、かつ、画像内にある照明分布がどのようなものであっても(複数照明の場合であっても)画像に適切な陰影付加を行うことで、処理画像において奥行き感・立体感向上を実現させる画像処理装置、画像処理方法、プログラム、記録媒体および集積回路を提供することを目的とする。また、本発明は、画像に適切な光付加を行うことで、さらなる処理画像の奥行き感・立体感向上を実現させる画像処理装置、画像処理方法、プログラム、記録媒体および集積回路を提供することを目的とする。
【課題を解決するための手段】
【0005】
第1の発明は、2次元画像を形成する画像信号から明るさ情報を導出する明るさ情報算出部と、画素ごとまたは領域ごとに3次元ベクトル値を取得する法線方向推定部と、3次元ベクトル値に基づいて画素または領域の輝度値を補正する補正階調導出部と、を備える画像処理装置である。
この画像処理装置では、2次元画像から3次元の法線方向ベクトルを求め、それを用いて3次元的な処理を施すことができるので、処理画像において奥行き感・立体感を効果的に向上させることができる。
第2の発明は、明るさ情報算出部と、法線方向推定部と、補正階調導出部と、を備える画像処理装置である。明るさ情報算出部は、画素からなる2次元画像を形成することができる入力された画像信号から、画像信号の明るさ情報を算出する。法線方向推定部は、画像信号により形成される2次元画像上に奥行き感を与えるために、明るさ情報から、画素ごと又は複数の画素からなる領域ごとに法線方向を推定し、推定された法線方向に基づいて、画素ごと又は領域ごとに3次元ベクトルである法線方向ベクトルを取得する。補正階調導出部は、法線方向推定部で取得された法線方向ベクトルに基づいて明るさ情報の補正量を求め、明るさ情報の補正量に基づいて画像信号の明るさ情報を補正する。
【0006】
この画像処理装置では、法線方向推定部により、明るさ情報から、画素ごと又は複数の画素からなる領域ごとに法線方向を推定し、推定された法線方向に基づいて、画素ごと又は領域ごとに3次元ベクトルである法線方向ベクトルが取得される。そして、補正階調導出部により、法線方向推定部で取得された法線方向ベクトルに基づいて明るさ情報の補正量を求め、明るさ情報の補正量に基づいて画像信号の明るさ情報が補正される。したがって、この画像処理装置では、2次元画像から3次元の法線方向ベクトルを求め、それを用いて3次元的な処理を施すことができるので、処理画像において奥行き感・立体感を効果的に向上させることができる。
【0007】
第3の発明は、第1または第2の発明であって、補正階調導出部により明るさ情報が補正された画像信号を、所定の形式により出力させる出力部をさらに備える。
これにより、画像処理装置により処理した画像を所定の形式で出力させて、表示装置に表示させることができる。
ここで、「所定の形式」とは、表示装置に表示させるための画像に関する形式のことをいい、例えば、画像(映像)フォーマット形式(例えば、JPEG画像形式、BMP画像形式、MPEG形式、NTSC方式の映像形式)等がこれに該当する。
第4の発明は、第1から第3のいずれかの発明であって、補正階調導出部は、少なくとも1つの仮想光源を設定し、仮想光源の光源位置を決定し、画素の画素位置と光源位置との位置関係および法線方向ベクトルに基づいて、画像信号の明るさ情報を補正する。
【0008】
第5の発明は、第1から第4のいずれかの発明であって、補正階調導出部は、少なくとも1つの仮想光源を設定し、画素ごとまたは領域ごとに仮想光源への方向を持つ3次元ベクトルである光源方向ベクトルを求め、法線方向ベクトルと光源方向ベクトルとに基づいて、画像信号の明るさ情報を補正する。
これにより、この画像処理装置では、少なくとも1つの仮想光源を設定することで、画像信号の明るさ情報を補正するすることができるので、従来技術のような照明方向の検出を必要とせず、かつ、画像内にある照明分布がどのようなものであっても(複数照明の場合であっても)処理画像において奥行き感・立体感を効果的に向上させることができる。
【0009】
第6の発明は、第5の発明であって、補正階調導出部は、画素の画素値に対して陰影付加処理を行うことで、画像信号の明るさ情報を補正する。
これにより、この画像処理装置により処理した画像において、効果的に陰影を付加することができる。なお、「陰影付加処理」とは、立体感を向上させるために、画像データの中の所定の画素に対して、画素値の明るさを示す成分値を減少させる処理(輝度値を低下させる処理と等価な処理を含む。)である。
第7の発明は、第5の発明であって、補正階調導出部は、画素の画素値に対して光付加処理を行うことで、画像信号の明るさ情報を補正する。
これにより、この画像処理装置により処理した画像において、効果的に光を付加することができる。なお、「光付加処理」とは、立体感を向上させるために、画像データの中の所定の画素に対して、画素値の明るさを示す成分値を増加させる処理(輝度値を増加させる処理と等価な処理を含む。)処理である。
【0010】
第8の発明は、第1から第5のいずれかの発明であって、法線方向推定部は、2次元画像上で画素の画素位置を決定するための2次元座標情報である、第1方向の成分の値である第1方向成分値および第2方向の成分の値である第2方向成分値と、2次元画像が形成する平面上には含まれない第3方向の成分の値である第3方向成分値と、の3つの方向成分の値により法線方向ベクトルを決定する。
ここで、第1方向とは、例えば、XYZ空間におけるx軸方向(x方向)であり、第2方向とは、XYZ空間におけるy軸方向(y方向)であり、XYZ空間におけるz軸方向(z方向)である。なお、第1方向、2方向、および第3方向は、互いに平行ではない方向である。
【0011】
第9の発明は、第8の発明であって、法線方向推定部は、第3方向成分値を所定の値である第1の値に設定し、複数の画素について、第3方向成分値を第1の値と同じ値にして、画素ごと又は領域ごとに法線方向ベクトルを決定する。
これにより、2次元画像による情報から、簡単に、3次元ベクトルである法線方向ベクトルを決定させることができる。なお、2次元画像を形成する全画素について、第3方向成分値を第1の値と同じ値にして、法線方向ベクトルを決定するようにしてもよい。
第10の発明は、第8又は第9の発明であって、法線方向推定部は、画素の画素値の第1方向についての微分値に基づいて、法線方向ベクトルの第1方向成分値を決定する。
これにより、第1方向の変化が大きい部分についての法線方向ベクトルの第1方向成分の値が大きくなり、法線方向ベクトルにより決定される立体曲面と2次元画像平面とのなす角度が大きくなるので、効果的に陰影付加処理や光付加処理を実行することができる。
なお、ここで、「微分」とは、差分を含む概念であり、例えば、注目画素の画素値と、注目画素に隣接する画素の画素値との差分をとる演算が含まれる。
また、「第1方向についての微分値」とは、例えば、XYZ空間における、x軸方向について微分(差分)した値、つまり、x成分についての偏微分値である。
【0012】
第11の発明は、第8又は第9の発明であって、法線方向推定部は、画素の画素値の第2方向についての微分値に基づいて、法線方向ベクトルの第2方向成分値を決定する。
これにより、第2方向の変化が大きい部分についての法線方向ベクトルの第2方向成分の値が大きくなり、法線方向ベクトルにより決定される立体曲面と2次元画像平面とのなす角度が大きくなるので、効果的に陰影付加処理や光付加処理を実行することができる。
なお、「第2方向についての微分値」とは、例えば、XYZ空間における、y軸方向について微分(差分)した値、つまり、y成分についての偏微分値である。
【0013】
第12の発明は、第8又は第9の発明であって、法線方向推定部は、画素の画素値の第1方向についての微分値に基づいて、法線方向ベクトルの第1方向成分値を決定し、画素の画素値の第2方向についての微分値に基づいて、法線方向ベクトルの第2方向成分値を決定し、補正階調導出部は、変調法線方向ベクトルに基づいて、明るさ情報の補正量を求め、明るさ情報の補正量に基づいて画像信号の明るさ情報を補正する。
これにより、第1方向および第2方向の変化が大きい部分についての法線方向ベクトルの第1方向成分の値および第2方向成分の値が大きくなり、法線方向ベクトルにより決定される立体曲面と2次元画像平面とのなす角度が大きくなるので、効果的に陰影付加処理や光付加処理を実行することができる。
ここで、例えば、第1方向成分をXYZ空間のx成分とし、第2方向成分をXYZ空間のy成分とした場合、第1方向成分の微分値dx、および第2方向成分の微分値dyを用いて、法線方向ベクトルを、3次元ベクトル表示で(−dx,−dy,c)(cは定数)とすることが好ましい。
【0014】
第13の発明は、第8から第12のいずれかの発明であって、明るさ情報の補正量は、法線方向ベクトルの第1方向成分値または第2方向成分値の変化に伴い変化する。
第14の発明は、第8から第13のいずれかの発明であって、法線方向推定部は、法線方向ベクトルを変調することにより変調法線方向ベクトルを取得し、補正階調導出部は、変調法線方向ベクトルに基づいて、明るさ情報の補正量を求め、明るさ情報の補正量に基づいて画像信号の明るさ情報を補正する。
これにより、法線方向ベクトルにより決定される立体曲面と2次元画像平面とのなす角度が小さい場合であっても、変調法線方向ベクトルにより決定される立体曲面と2次元画像平面とのなす角度が大きくすることができるので、効果的に陰影付加処理や光付加処理を実行することができる。
【0015】
第15の発明は、第14の発明であって、法線方向推定部は、画素の画素値の第1方向についての微分値に基づいて、法線方向ベクトルを変調することにより変調法線方向ベクトルを取得する。
これにより、法線方向ベクトルにより決定される立体曲面と2次元画像平面とのなす角度が小さい場合であっても、変調法線方向ベクトルにより決定される立体曲面と2次元画像平面とのなす角度が大きくすることができるので、効果的に陰影付加処理や光付加処理を実行することができる。
第16の発明は、第14の発明であって、法線方向推定部は、画素の画素値の第2方向についての微分値に基づいて、法線方向ベクトルを変調することにより変調法線方向ベクトルを取得する。
これにより、法線方向ベクトルにより決定される立体曲面と2次元画像平面とのなす角度が小さい場合であっても、変調法線方向ベクトルにより決定される立体曲面と2次元画像平面とのなす角度が大きくすることができるので、効果的に陰影付加処理や光付加処理を実行することができる。
【0016】
第17の発明は、第14の発明であって、法線方向推定部は、画素の画素値の第1方向および第2方向についての微分値に基づいて、法線方向ベクトルを変調することにより変調法線方向ベクトルを取得する。
これにより、法線方向ベクトルにより決定される立体曲面と2次元画像平面とのなす角度が小さい場合であっても、変調法線方向ベクトルにより決定される立体曲面と2次元画像平面とのなす角度が大きくすることができるので、効果的に陰影付加処理や光付加処理を実行することができる。
第18の発明は、第14から第17のいずれかの発明であって、法線方向推定部は、画像信号において処理対象とされている画素である注目画素についての明るさ情報と、注目画素の周辺画素の明るさ情報とに基づいて明るさ対比量を算出し、明るさ対比量に基づいて、法線方向ベクトルの第3方向成分値を変化させることにより変調法線方向ベクトルを取得する。
これにより、法線方向ベクトルにより決定される立体曲面と2次元画像平面とのなす角度が小さい場合であっても、変調法線方向ベクトルにより決定される立体曲面と2次元画像平面とのなす角度が大きくすることができるので、効果的に陰影付加処理や光付加処理を実行することができる。
【0017】
第19の発明は、第13から第16のいずれかの発明であって、法線方向推定部は、画像信号において処理対象とされている画素である注目画素についての明るさ情報と、注目画素の周辺画素の明るさ情報とに基づいて明るさ対比量を算出し、明るさ対比量に基づいて、視覚的奥行き感の程度を示す第1視覚的奥行き量を算出し、第1視覚的奥行き量に基づいて、法線方向ベクトルの第1方向成分値および第2方向成分値を変化させることにより変調法線方向ベクトルを取得する。
これにより、法線方向ベクトルにより決定される立体曲面と2次元画像平面とのなす角度が小さい場合であっても、変調法線方向ベクトルにより決定される立体曲面と2次元画像平面とのなす角度が大きくすることができるので、効果的に陰影付加処理や光付加処理を実行することができる。
この画像処理装置では、視覚効果の1つである明るさ対比により発生する明るさ感知の効果を考慮して視覚的奥行き量(第1視覚的奥行き量)を定義し、その視覚的奥行き量より法線方向を求めるものである。こうすることで、明るくかつ明るさ対比効果が高いほど明るく感じるとともに、ユーザにより近く感じる視覚心理に応じて補正された法線推定が可能となる。
【0018】
第20の発明は、第14から第17のいずれかの発明であって、法線方向推定部は、画像信号において処理対象とされている画素である注目画素についての色情報と、注目画素の周辺画素の色情報とに基づいて色対比量を算出し、色対比量に基づいて、視覚的奥行き感の程度を示す第2視覚的奥行き量を算出し、第2視覚的奥行き量に基づいて、法線方向ベクトルの第1方向成分値および第2方向成分値を変化させることにより変調法線方向ベクトルを取得する。
【0019】
これにより、法線方向ベクトルにより決定される立体曲面と2次元画像平面とのなす角度が小さい場合であっても、変調法線方向ベクトルにより決定される立体曲面と2次元画像平面とのなす角度が大きくすることができるので、効果的に陰影付加処理や光付加処理を実行することができる。
視覚心理として鮮やかであるほど凸形状である(画像を見ているユーザ方向に近い)と感じることが指摘されている。よって、この画像処理装置では、前述の対象部分の輝度のみの関数で定義した奥行き量に色対比により発生する効果を考慮して視覚的奥行き量(第2視覚的奥行き量)を定義し、その視覚的奥行き量より法線方向を求めるものである。こうすることで、明るく色対比効果が高いほど明るくあざやかに感じるとともに、ユーザにより近く感じる視覚心理に応じて補正された法線推定が可能となる。
【0020】
第21の発明は、第14から第17のいずれかの発明であって、法線方向推定部は、画像信号において処理対象とされている画素である注目画素についての明るさ情報と、注目画素の周辺画素の明るさ情報とに基づいて明るさ対比量を算出し、明るさ対比量に基づいて、視覚的奥行き感の程度を示す第1視覚的奥行き量を算出し、画像信号において処理対象とされている画素である注目画素についての色情報と、注目画素の周辺画素の色情報とに基づいて色対比量を算出し、色対比量に基づいて、視覚的奥行き感の程度を示す第2視覚的奥行き量を算出し、
第1視覚的奥行き量および第2視覚的奥行き量に基づいて、法線方向ベクトルの第1方向成分値および第2方向成分値を変化させることにより変調法線方向ベクトルを取得する。
【0021】
第22の発明は、第5の発明であって、法線方向推定部は、法線方向ベクトルを変調することにより変調法線方向ベクトルを取得し、補正階調導出部は、変調法線方向ベクトルおよび光源方向ベクトルに基づいて、明るさ情報の補正量を求め、明るさ情報の補正量に基づいて画像信号の明るさ情報を補正する。
これにより、法線方向ベクトルにより決定される立体曲面と2次元画像平面とのなす角度が小さい場合であっても、変調法線方向ベクトルにより決定される立体曲面と2次元画像平面とのなす角度が大きくすることができる。そして、光源方向ベクトルと変調法線方向ベクトルにより決定される立体曲面との位置関係により陰影を付加すべきであるのか、あるいは、光付加をするべきであるのかを適切に判断することができるため、この画像処理装置で処理した画像において、効果的に陰影付加や光付加を行うことができる。
特に、この画像処理装置では、2次元画像上において、平坦部で、かつ、階調値(画素値)の微小変化のある画素(あるいは領域)において、効果的に陰影付加や光付加を行うことができる(特に、処理画像において、効果的に丸み・膨らみ感を与えることができる)。
【0022】
第23の発明は、第22の発明であって、法線方向推定部は、法線方向ベクトルと光源方向ベクトルとのなす角度αに基づいて、法線方向ベクトルを変調する。
これにより、この画像処理装置で処理した画像で、効果的に陰影付加や光付加を行うことができる。
第24の発明は、第23の発明であって、補正階調導出部は、角度αが大きくなるに従い、明るさ情報の補正量を増加させる。
これにより、この画像処理装置で処理した画像で、効果的に陰影付加や光付加を行うことができる。
特に、この画像処理装置では、2次元画像上において、平坦部で、かつ、階調値(画素値)の微小変化のある画素(あるいは領域)において、効果的に陰影付加や光付加を行うことができる。
【0023】
第25の発明は、第23の発明であって、補正階調導出部は、角度αが、2次元画像の法線ベクトルと光源方向ベクトルとのなす角度であるα0より大きい場合であって、第1閾値角度α1以下の場合、角度αが大きくなるに従い、明るさ情報の補正量を増加させ、角度αが第1閾値角度α1より大きくなった場合、角度αが大きくなるに従い、補正量を減少させる。
これにより、この画像処理装置で処理した画像で、効果的に陰影付加や光付加を行うことができる。
特に、この画像処理装置では、2次元画像上において、平坦部で、かつ、階調値(画素値)の微小変化のある画素(あるいは領域)において、効果的に陰影付加や光付加を行うことができる。
【0024】
第26の発明は、第25の発明であって、補正階調導出部は、補正量により、画素の画素値に対して陰影付加処理を行うことで、画像信号の明るさ情報を補正する。
第27の発明は、第14の発明であって、法線方向ベクトルを変調させる特性を決定させるための情報を入力することができる入力部をさらに備える。
これにより、ユーザは、法線方向ベクトルを変調させる特性を決定させるための情報を入力することができ、ユーザの好みの画像処理を、この画像処理装置において実現させることができる。
【0025】
第28の発明は、第5の発明であって、補正階調導出部は、光源方向ベクトルと法線方向ベクトルとの内積値に基づいて、画像信号の明るさ情報を補正する。
これにより、光源方向ベクトルと変調法線方向ベクトルにより決定される立体曲面との位置関係を、光源方向ベクトルと法線方向ベクトルとの内積値により、簡単に把握することができ、陰影を付加すべきであるのか、あるいは、光付加をするべきであるのかを適切に判断することができる。このため、この画像処理装置で処理した画像において、効果的に陰影付加や光付加を行うことができる。
ここで、例えば、第1方向成分をXYZ空間のx成分とし、第2方向成分をXYZ空間のy成分とした場合、対象画素i(x,y,z)(での第1方向成分の微分値dx、および対象画素i(x,y,z)での第2方向成分の微分値dyを用いて、対象画素i(x,y,z)の法線方向ベクトルHi=(−dx,−dy,c)(cは定数)とし、光源方向ベクトルが対象画素i(x,y,z)から光源位置への方向を持つベクトルであるとして、法線方向ベクトルと光源方向ベクトルとのなす角度が小さい(0度に近い)ほど、対象画素i(x,y,z)は、光源からの光が当たる領域にある可能性が高いと判断し、光付加処理の程度を高める(あるいは、陰影付加処理の程度を弱める)ようにし、法線方向ベクトルと光源方向ベクトルとのなす角度が大きい(180度に近い)ほど、対象画素i(x,y,z)は、光源からの光が当たらない領域にある可能性が高いと判断し、陰影付加処理の程度を高める(あるいは、光付加処理の程度を弱める)ようにする。
【0026】
第29の発明は、第5又は第28の発明であって、補正階調導出部は、光源方向ベクトルと法線方向ベクトルとを、数式モデルまたはルックアップテーブルに適用させることで、陰影強調画像信号を取得し、陰影強調画像信号を画像信号に合成することにより、画像信号の明るさ情報を補正する。
これにより、光源方向ベクトルと変調法線方向ベクトルにより決定される立体曲面との位置関係により陰影を付加すべきであるのか否かを適切に判断することができるため、この画像処理装置で処理した画像において、効果的に陰影付加や光付加を行うことができる。
なお、ここで、「数式モデル」とは、光源についての3次元データおよび注目画素(対象画素)についての3次元データから、注目画素の明るさ情報を算出することができる数式モデルのことをいい、例えば、PhongモデルやTorrance and Sparrowによるモデルやコンピュータグラフィックス(CG)で使用されるモデル等がこれに該当する。
また、ここでの「ルックアップテーブル」は、例えば、光源方向ベクトルと法線方向ベクトルとに基づくデータを入力することで、上記数式モデルの演算結果に相当するデータを出力するデータを保持している参照テーブルのことをいう。
【0027】
第30の発明は、第5又は第28の発明であって、補正階調導出部は、光源方向ベクトルと法線方向ベクトルとを、数式モデルまたはルックアップテーブルに適用させることで、光強調画像信号を取得し、光強調画像信号を画像信号に合成することにより、画像信号の明るさ情報を補正する。
これにより、光源方向ベクトルと変調法線方向ベクトルにより決定される立体曲面との位置関係により光を付加すべきであるのか否かを適切に判断することができるため、この画像処理装置で処理した画像において、効果的に陰影付加や光付加を行うことができる。
【0028】
第31の発明は、第5又は第28の発明であって、補正階調導出部は、光源方向ベクトルと法線方向ベクトルとを、数式モデルまたはルックアップテーブルに適用させることで、陰影強調画像信号および光強調画像信号を取得し、陰影強調画像信号および光強調画像信号を画像信号に合成することにより、画像信号の明るさ情報を補正する。
これにより、光源方向ベクトルと変調法線方向ベクトルにより決定される立体曲面との位置関係により陰影を付加すべきであるのか、あるいは、光付加をするべきであるのかを適切に判断することができるため、この画像処理装置で処理した画像において、効果的に陰影付加や光付加を行うことができる。
【0029】
第32の発明は、第1から第31のいずれかの発明であって、法線方向推定部は、法線方向ベクトルを空間方向に平滑化した平滑化法線方向ベクトルを求め、補正階調導出部は、平滑化法線方向ベクトルに基づいて画像信号の明るさ情報を補正する。
これにより、法線方向ベクトルがノイズ等により変動することを抑制でき、安定した画像信号の補正処理を行うことができる。
ここで、「空間方向に平滑化」するとは、法線方向ベクトルが定義される3次元空間において平滑化することをいい、例えば、注目画素の法線方向ベクトルと、注目画素の隣接画素の法線方向ベクトルとを平均した法線方向ベクトル(これが「平滑化法線方向ベクトル」に該当する。)を取得することがこれに該当する。
第33の発明は、第1から第32のいずれかの発明であって、法線方向推定部は、法線方向ベクトルを時間方向に平滑化した平滑化法線方向ベクトルを求め、補正階調導出部は、平滑化法線方向ベクトルに基づいて画像信号の明るさ情報を補正する。
これにより、法線方向ベクトルが時間方向に変動する場合であっても、安定した画像信号の補正処理を行うことができる。特に、この画像処理装置において連続した画像(つまり、映像)を扱う場合において、画像間(フレーム間)で、法線方向ベクトルが急激に変動することにより生じる映像上のちらつき等を抑制することができる。
ここで、「時間方向に平滑化」するとは、例えば、時刻の異なる画像信号における、複数の法線方向ベクトルを平均した法線方向ベクトル(これが「平滑化法線方向ベクトル」に該当する。)を取得することをいう。
【0030】
第34の発明は、明るさ情報算出ステップと、光源位置ステップと、差分算出ステップと、法線方向ベクトル算出ステップと、光源方向ベクトル算出ステップと、補正ステップと、を備える画像処理方法である。明るさ情報算出ステップでは、画素からなる2次元画像を形成することができる入力された画像信号から、画像信号の明るさ情報を算出する。光源位置ステップでは、光源位置の座標(c1,c2,c3)(c1,c2およびc3は実数。)を設定する。差分算出ステップでは、2次元画像が形成する平面上にある所定の座標位置(p1,p2)(p1およびp2は実数。)の画素の明るさ情報と、平面上のx方向に隣接する画素の明るさ情報との差分x,および平面上のy方向に隣接する画素の明るさ情報との差分yを算出する。法線方向ベクトル算出ステップでは、差分算出ステップにより算出された差分xおよび差分yから、法線方向ベクトル(差分x,差分y,c3)を算出する。光源方向ベクトル算出ステップでは、光源位置および画素の画素位置(p1,p2)に基づいて、光源方向ベクトル(c1−p1,c2−p2,c3)を算出する。補正ステップでは、法線方向ベクトルおよび光源方向ベクトルに基づいて画素の明るさ情報を補正する。
【0031】
第35の発明は、第34の発明であって、光源位置が太陽光線のように画素の画素位置に対して、無限平行位置にある場合、光源位置の座標(c1,c2,c3)は、光源位置である無限平行位置の方向に向かって所定の大きさをもつ値である。
これにより、点光源の場合だけでなく、平行光源の場合についても、この画像処理方法による画像処理を実現することができる。
第36の発明は、明るさ情報算出ステップと、法線方向推定ステップと、補正階調導出ステップと、を備える画像処理方法である。明るさ情報算出ステップでは、画素からなる2次元画像を形成することができる入力された画像信号から、画像信号の明るさ情報を算出する。法線方向推定ステップでは、画像信号により形成される2次元画像上に奥行き感を与えるために、明るさ情報から、画素ごと又は複数の画素からなる領域ごとに法線方向を推定し、推定された法線方向に基づいて、画素ごと又は領域ごとに3次元ベクトルである法線方向ベクトルを取得する。補正階調導出ステップでは、法線方向推定ステップで取得された法線方向ベクトルに基づいて明るさ情報の補正量を求め、明るさ情報の補正量に基づいて画像信号の明るさ情報を補正する。
これにより、第1の発明と同様の効果を奏する画像処理方法を実現することができる。
【0032】
第37の発明は、コンピュータを、明るさ情報算出部、法線方向推定部、補正階調導出部、として機能させるためのプログラムである。明るさ情報算出部は、画素からなる2次元画像を形成することができる入力された画像信号から、画像信号の明るさ情報を算出する。法線方向推定部は、画像信号により形成される2次元画像上に奥行き感を与えるために、明るさ情報から、画素ごと又は複数の画素からなる領域ごとに法線方向を推定し、推定された法線方向に基づいて、画素ごと又は領域ごとに3次元ベクトルである法線方向ベクトルを取得する。補正階調導出部は、法線方向推定部で取得された法線方向ベクトルに基づいて明るさ情報の補正量を求め、明るさ情報の補正量に基づいて画像信号の明るさ情報を補正する。
これにより、第1の発明と同様の効果を奏するプログラムを実現することができる。
【0033】
第38の発明は、コンピュータを、明るさ情報算出部、法線方向推定部、補正階調導出部、として機能させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体である。明るさ情報算出部は、画素からなる2次元画像を形成することができる入力された画像信号から、画像信号の明るさ情報を算出する。法線方向推定部は、画像信号により形成される2次元画像上に奥行き感を与えるために、明るさ情報から、画素ごと又は複数の画素からなる領域ごとに法線方向を推定し、推定された法線方向に基づいて、画素ごと又は領域ごとに3次元ベクトルである法線方向ベクトルを取得する。補正階調導出部は、法線方向推定部で取得された法線方向ベクトルに基づいて明るさ情報の補正量を求め、明るさ情報の補正量に基づいて画像信号の明るさ情報を補正する。
これにより、第1の発明と同様の効果を奏するプログラムを記録したコンピュータで読み取り可能な記録媒体を実現することができる。
【0034】
第39の発明は、明るさ情報算出部と、法線方向推定部と、補正階調導出部と、を備える集積回路である。明るさ情報算出部は、画素からなる2次元画像を形成することができる入力された画像信号から、画像信号の明るさ情報を算出する。法線方向推定部は、画像信号により形成される2次元画像上に奥行き感を与えるために、明るさ情報から、画素ごと又は複数の画素からなる領域ごとに法線方向を推定し、推定された法線方向に基づいて、画素ごと又は領域ごとに3次元ベクトルである法線方向ベクトルを取得する。補正階調導出部は、法線方向推定部で取得された法線方向ベクトルに基づいて明るさ情報の補正量を求め、明るさ情報の補正量に基づいて画像信号の明るさ情報を補正する。
これにより、第1の発明と同様の効果を奏する集積回路を実現することができる。
【0035】
第40の発明は、ユーザの指示により処理モードを選択させるユーザモード選択部と、出力部からの出力を画像として表示させる表示部と、第1から第32のいずれかの発明である画像処理装置と、を備える表示装置である。
これにより、この表示装置において、ユーザは、処理モードを選択することができる。特に、ユーザは、表示部に表示される処理画像を確認しながら、処理モードを選択することができるため、ユーザの所望の画像処理特性による画像処理を、この表示装置において実現させることができる。
【0036】
第41の発明は、第40の発明であって、ユーザモード選択部は、少なくとも、明るさ情報の補正の強度に関する情報を含む処理モードを選択させる。
これにより、この表示装置において、ユーザは、明るさ情報の補正の強度を選択して、この表示装置での明るさ情報補正の強度を変えることができる。例えば、この表示装置において、明るさ情報の補正の強度を設定させる処理モードとして、「強モード」、「中モード」、および「弱モード」を設け、ユーザがそのいずれかのモードを選択することで、ユーザの所望の明るさ情報補正が実現される。
《定義》
なお、本願発明では、別段の記載のない限り、以下の用語の定義を用いる。
「画素」とは、画像を構成する最小の単位要素をいう。
「画素値」とは、RGB、YCrCb等任意の色空間における色成分(YCrCb空間の場合は、輝度成分(Y成分)を含む。)のうち少なくとも1成分の値を含む、画素の値(画素ごとの固有の値)をいう。
【0037】
「画像データ」とは、それぞれ画素値を有する複数の画素の集合データ(画素値の集合データ、あるいは、画素値に対応する信号の集合データ)であって、平面に表示することができる2次元画像を形成することができる有意な数の画素の集合データのことをいう。
「画素位置」とは、画像データにより形成される2次元画像における画素の座標位置(x,y)のことをいう。つまり、画素位置とは、画像データにより形成される2次元画像平面上の座標位置(x,y)のことをいう。
「領域位置」とは、領域(隣接する複数の画素の集合であって、画像データを構成する画素の数より少ない数の画素の集合)を、代表する画素の位置である。
「立体感」とは、表示された画像データを、平面的ではなく奥行きまたは広がりのある感じとして、人間が視覚を通じて(あるいは、人間が知覚して)把握する感覚をいう。
【0038】
「陰影付加処理」とは、立体感を向上させるために、画像データの中の所定の画素に対して、画素値の明るさを示す成分値を減少させる処理(輝度値を低下させる処理と等価な処理を含む。)である。
「光付加処理」とは、立体感を向上させるために、画像データの中の所定の画素に対して、画素値の明るさを示す成分値を増加させる処理(輝度値を増加させる処理と等価な処理を含む。)処理である。
「明るさ情報」とは、典型的には、画素又は領域の明るさを示す成分値であり、典型的には輝度値である。なお、「明るさ情報」は、定義される色空間のうち実質的に輝度値に相当する成分値を含む概念である。
「明るさ変調」とは、画素又は領域(複数画素からなる領域)についての明るさ情報を変化させることをいい、少なくとも陰影付加処理および光付加処理のいずれか一方を同時または個別に行う処理を行うことにより実現される。
【0039】
「装置」とは、装置、集積回路、プロセッサ、コンピュータを含む概念である。
「3次元ベクトル」とは、複数の画素により形成される2次元画像平面(画素位置を定義する平面)上の第1方向(x方向)と第2方向(y方向)とを含む2方向、及び、前述のxy平面(2次元画像平面)上に存在しない点の方向を示すため第3方向(z方向)、の3つの方向(x方向、y方向、およびz方向)、並びに、各々の方向(x方向、y方向、およびz方向)についての大きさ(x方向成分、y方向成分、およびz方向成分)からなるベクトルである。
「3次元ベクトル値」とは、前述の3次元ベクトルの第1〜第3方向(x方向、y方向、およびz方向)の各々の方向の大きさを示す、第1成分値(x方向成分)、第2成分値(y方向成分)、及び第3成分値(z方向成分)からなる3次元データである。この3次元データは、装置に適合されるフォーマットに変換され保持されたデータ、または、分離して保持された各成分値のデータを含む概念である。
【0040】
「仮想光源を設定する」とは、前述画像データを構成する座標系のうち、x、y座標のとりうる範囲、あるいは、その範囲の外部に座標位置を仮定的に設定・保持・導出することである。この仮想光源の座標は、z方向に成分を有し、3次元ベクトル値として保持される。仮想光源の座標は、前述のx、y平面に含まれる座標をもつ処理対象画素までの所定ベクトルを導出することができるものであればよい。つまり、仮想光源の座標は、設定された仮想光源の座標位置と、前述のx、y平面に含まれる処理対象画素の座標位置との間で、所定のベクトルを導出することができるものであればよい。
なお、「仮想光源を設定する」とは、仮想光源として点光源(即ち、座標位置を1点のみとする光源)を仮定(設定)することのみならず、複数の仮想光源を設定する(処理対象の座標位置の画素に対して、平行光を仮定するために用いるものである場合を含む。つまり、平行光源を設定する場合を含む。)ことを含む概念である。
【発明の効果】
【0041】
本発明によれば、従来技術のような照明方向の検出を必要とせず、かつ、画像内にある照明分布がどのようなものであっても(複数照明の場合であっても)画像に適切な陰影付加を行うことで、処理画像において奥行き感・立体感向上を実現させる画像処理装置、画像処理方法、プログラム、記録媒体および集積回路を提供することができる。
また、本発明によれば、画像に適切な光付加を行うことで、さらなる処理画像の奥行き感・立体感向上を実現させる画像処理装置、画像処理方法、プログラム、記録媒体および集積回路を提供することができる。
【発明を実施するための最良の形態】
【0042】
以下、本発明の第1〜第17実施形態について説明する。
第1実施形態では、入力された画像信号の明るさ情報と推定された法線情報とに基づいて明るさ情報を補正することで、奥行き感向上を実現する画像処理装置および画像処理方法について説明する。
第2実施形態では、エッジ情報と推定された法線情報とをもとに画像の陰影強調を行うことで、奥行き感向上を実現する画像処理装置および画像処理方法について説明する。
第3実施形態では、エッジ情報と推定された法線情報をもとに画像の所定領域に微小な光付加を行うことで、奥行き感向上を実現する画像処理装置および画像処理方法について説明する。
第4実施形態では、第2実施形態例で得られた陰影強調画像と第3実施形態例で得られた光強調画像を適応的に合成して両方の特徴である陰影付加と光付加効果を合わせ持つことで、より奥行き感が向上した画像生成を実施する画像処理装置および画像処理方法について説明する。
【0043】
第5実施形態では、第4実施形態に明るさ情報のフィルタ処理と、その差分を処理済み画像に加える画像処理装置および画像処理方法について説明する。
第6実施形態では、第5実施形態における陰影強調画像生成と光強調画像生成の代わりに各処理での明るさ変動量のみを保持する画像処理装置および画像処理方法について説明する。
第7実施形態では、第2から第6実施形態における法線推定において、エッジ量で法線方向ベクトルを補正する画像処理装置および画像処理方法について説明する。
第8実施形態では、第2から第6実施形態における法線推定において、明るさ対比量で法線方向ベクトルを補正する画像処理装置および画像処理方法について説明する。
第9実施形態では、第2から第6実施形態における法線推定において、視覚効果の1つである明るさ対比により発生する明るさ感知の効果を考慮して視覚的奥行き量を定義し、その視覚的奥行き量より法線方向を求める画像処理装置および画像処理方法について説明する。
【0044】
第10実施形態では、第2から第6実施形態における法線方向推定において、対象部分の輝度のみの関数で定義した奥行き量に色対比により発生する効果を考慮して視覚的奥行き量を定義し、その視覚的奥行き量より法線方向を求める画像処理装置および画像処理方法について説明する。
第11実施形態では、第2から第6実施形態の法線方向推定において、対象部分の輝度のみの関数で定義した奥行き量に明るさ対比により発生する効果と色対比による発生する効果を考慮して視覚的奥行き量を定義し、その視覚的奥行き量より法線方向を求める画像処理装置および画像処理方法について説明する。
第12実施形態では、算出された所定の法線方向と設定した光源のなす角度を変調して曲面法線方向の変調を実施しその角度変調に生じた明るさ変調を行うことで画像内の中間調付近の階調変調を行う画像処理装置および画像処理方法について説明する。
【0045】
第13実施形態では、第12実施形態の特徴である所定の法線方向と光源のなす角度変調をもとにした明るさ変調により画像内の所定部分の階調変調を行う工夫に加えて、第2実施形態の特徴である陰影付加処理を組み合わせた画像処理装置および画像処理方法について説明する。
第14実施形態では、第12実施形態の特徴である所定の法線方向と光源のなす角度変調をもとにした明るさ変調により画像内の所定部分の階調変調を行う工夫に加えて、第3実施形態の特徴である光付加処理を組み合わせた画像処理装置および画像処理方法について説明する。
第15実施形態では、第12実施形態の特徴である所定の法線方向と光源のなす角度変調をもとにした明るさ変調により画像内の所定部分の階調変調を行う工夫に加えて、第4実施形態の特徴である陰影・光付加処理を組み合わせた画像処理装置および画像処理方法について説明する。
【0046】
第16実施形態では、第2から第15実施形態の対象領域単位での法線方向ベクトル推定に、現時点よりもp時刻前のフレーム画像から現時点のフレーム画像までの法線方向情報を使って時間方向の平滑化処理を行う工夫を加えた画像処理装置および画像処理方法について説明する。
第17実施形態では、第1から第16における実施形態例を画像処理部として、その補正レベル等の処理モードをユーザが選択する画像処理装置および画像処理装置について説明する。
以下、図面を用いて、本発明の実施形態について説明する。
[第1実施形態]
図1〜図3を用いて、第1実施形態の画像処理方法および画像処理装置について説明する。
【0047】
<1.1:画像処理装置の構成>
図1に、本実施形態に係る画像処理装置100の構成図を示す。
画像処理装置100は、主に、入力された画像信号vIi(x,y)の明るさ情報を算出する明るさ情報算出部11と、画像信号により形成される画像上に奥行き感を与えるための法線方向を推定する法線方向推定部13と、法線方向推定部13で推定された法線をもとに明るさ情報の補正分(補正量)を算出して入力画像vIi(x,y)の明るさ情報を補正する補正階調導出部201と、補正階調導出部201で得られた画像信号(明るさ変調を実行された画像信号)を所定の画像データ形式に変換して出力する出力部15と、から構成されている。
明るさ情報算出部11は、2次元画像を形成することができる画像信号vIi(x,y)を入力とし、入力された画像信号vIi(x,y)の明るさ情報を算出し、算出した明るさ情報を法線方向推定部13に出力する。
【0048】
法線方向推定部13は、明るさ情報算出部11により算出された明るさ情報を入力とし、画像信号により形成される画像上に奥行き感を与えるための法線方向を推定する。具体的には、法線方向を示す3次元のベクトルである法線方向ベクトル(法線方向ベクトル情報)(「法線方向ベクトル」を「法線ベクトル」ということもある。以下、同じ。)を算出する。法線方向推定部13は、算出した法線方向ベクトル情報を補正階調導出部201に出力する。
補正階調導出部201は、入力画像信号vIi(x,y)および法線方向推定部13で算出された法線方向ベクトル情報を入力とし、法線方向ベクトル情報に基づいて、入力画像信号vIi(x,y)の明るさ情報の補正分を算出して入力画像vIi(x,y)の明るさ情報を補正し、補正した画像信号を出力部15に出力する。
【0049】
出力部15は、補正階調導出部201により補正された画像信号を入力とし、補正階調導出部201で得られた画像信号(明るさ変調を実行された画像信号)を所定の画像データ形式に変換して、出力画像信号vOuti(x,y)として出力する。
<1.2:画像処理装置の動作>
次に、画像処理装置100の動作について、説明する。
まず、(1.2.1)法線方向推定部13の処理および(1.2.2)補正階調導出部201の処理について、説明する。
(1.2.1:法線方向推定部13の処理)
法線方向推定部13は、所定の画素位置(入力画像信号vIi(x,y)により形成される2次元画像を構成する画素の、2次元画像上の位置)の画素(入力画像信号vIi(x,y)により形成される2次元画像を構成する画素)に対し、それぞれ、3次元ベクトル値を生成する処理を行う。つまり、法線方向推定部13は、所定の画素位置の画素についての法線方向ベクトルを生成する。
【0050】
法線方向推定は、2次元画像に立体感を生じさせるための処理に含まれる処理である。
法線方向とは、2次元画像平面上の所定位置(x,y)の、画素ごともしくは領域ごとに設定される、前記所定位置(x,y)からの3次元ベクトルが示す方向であり、この法線方向を示す法線方向ベクトルは、3次元ベクトル値として、例えば、画像処理装置内やコンピュータ内で用いられる。
この法線方向の3次元ベクトル値は、対象画素と、その対象画素の隣接画素(あるいは所定の方向に含まれる画素等)との輝度の変化量に基づいて変化する3次元ベクトル値である。この3次元ベクトル値を有する3次元ベクトルが法線方向ベクトルである。
法線方向ベクトルにより、法線方向ベクトルを法線とする画素位置(x,y)における接平面を画素ごとに決定させることができる。そして、画素ごとに法線方向ベクトルにより決定された接平面を全画素について繋げていくことで、立体曲面を生成(想定)することができる。
【0051】
法線方向は、2次元画像平面上の所定画素位置(x,y)を立体曲面(法線方向ベクトルを法線とする画素位置(x,y)における接平面により決定される立体曲面)で表現する際の当該立体曲面の向かう方向を示すものであり、その方向に当該立体曲面が凸に膨らんでいることを示す。具体的には、例えば、図10の場合、(数式1)で表される法線方向ベクトルHi(x,y)が示す方向が法線方向となる。
自然画を構成する画像データは、2次元画像を形成する画像データであるので、3次元の情報を有しているコンピュータグラフィックス(CG)のデータとは異なり、当該画像データにおける位置についての情報としては、2次元の情報(x,y)しか有してない。
したがって、2次元画像に立体感を付加する場合、2次元画像内の所定の画素位置でどのような高さ(2次元画像平面外の成分(z成分))を有しているかを設定する必要がある。
【0052】
法線方向とは、より具体的には、2次元画像内の2つの成分値(x成分値およびy成分値)に、この高さ情報を第3成分値(z成分値)として加えて表される3次元ベクトルにより表される方向である。そして、この3次元ベクトルが法線方向ベクトルである。
「法線を推定する」とは、所定画素または領域を立体的に表現するための上記3次元ベクトル(法線方向ベクトル)を推定することを意味し、装置・プロセッサ等においては、所定画素または領域毎に上記3次元ベクトル値を導出・設定・保持することである。
具体的には、対象画素と、その対象画素の隣接画素との明るさの変化量が大きくなるにつれて、対象画素における立体曲面は、画像データが存在するXY平面に垂直になるように定義され(立体曲面の対象画素での接平面とXY平面とのなす角度が垂直(90度)に近づくように定義され)、対象画素の法線方向ベクトルの第1成分値(x成分値)もしくは第2成分値(y成分値)が大きくなるように推定される。
【0053】
一方、対象画素を含む2次元画像平面内に存在しない法線方向ベクトルの第3成分値(z成分値)には、所定の値が設定される。なお、対象画素の法線ベクトルの第3成分値(z成分値)は、予め定めた所定の値に設定するようにしてもよいし、あるいは、対象画素と隣接画素との明るさの変化量に応じて変化するように設定するようにしてもよい。この場合、この第3成分値(z成分値)は、対象画素と隣接画素との明るさの変化量が大きくなるにつれて、小さくなるように設定される。
なお、画像処理装置100あるいは画像処理装置100で実現される画像処理方法において、法線方向として定義されたベクトル(法線方向ベクトル)は、画素位置(または領域位置)ごとに導出あるいは設定される3次元(3成分を有する)のデータとして保持・設定される。そして、法線方向推定では、画素毎もしくは領域毎に、画素位置もしくは領域位置に対応づけて、上記3次元のデータ(法線方向ベクトルの3次元データ)が、それぞれ、設定・導出・保持される。
【0054】
このように、法線方向推定部13では、明るさ算出部11で得られた明るさ情報Ki(x,y)をもとに法線方向推定が実施される。
(1.2.2:補正階調導出部201の処理)
補正階調導出部201では、前述したように、位置が2次元で示される画素(あるいは領域に含まれる画素)の画素値に対して、人間が画像データを立体的に知覚する方向に画素値を変更(ここで、「変更」とは、処理せずにそのままの値を用いる場合も含む概念である。以下同じ。)する処理を行う。具体的には、補正階調導出部201は、算出された所定の法線方向(法線方向ベクトル)を用いて対象部分の明るさ変調を行う。
明るさ変調とは、前述した2次元画像立体感表現のために、所定領域の階調を変化させることである。具体的には、所定の領域あるいは画素の、画素値(RGB、YCC(YCbCr)、等のカラーコンポーネント値(あらゆる色空間によるカラーコンポーネント値を含む。)。以下同じ。)に対して行う処理である。
【0055】
ここで、「階調を変化させる」とは、所定画素の値そのものや、その値から得られる明るさを示す値(輝度の値等)の分布や傾向を変化させる(階調値を変化させることを含む。)ことである。
補正階調導出部201が行う明るさ変調では、法線方向として定義された3次元ベクトル値(法線方向ベクトルの3次元ベクトル値)の変化に応じて、所定領域に陰影付加や光付加を行うことで、当該所定領域の階調を変化させる。
具体的には、補正階調導出部201は、所定領域の法線方向ベクトルにおいて、第1成分値(x成分値)または第2成分値(y成分値)の増加に従い、当該所定領域で、陰影付加や光付加による画素値の明るさ変化が大きくなるように明るさを変化させる。
また、補正階調導出部201は、所定領域の法線方向ベクトルの第3成分値(z成分値)の増加に従い、当該所定領域で、陰影付加や光付加による画素値の明るさ変化量が小さくなるように変化させる。
【0056】
さらに、補正階調導出部201は、所定領域の法線方向ベクトルの第1成分値(x成分値)または第2成分値(y成分値)の増加に従い、陰影付加や光付加による画素値の明るさ変化量が所定の値まで大きくなり、その所定値に明るさ変化量が達すると、漸近的に明るさ変化量が小さくなるように、明るさ変化量を変化させることもできる。この場合、補正階調導出部201は、当該所定領域の法線方向ベクトルの第3成分値(z成分値)の増加に従い、陰影付加や光付加による画素値の明るさ変化量が所定の値まで大きくなり、その所定値に明るさ変化量が達すると、漸近的に明るさ変化量が小さくなるように変化させることもできる。
また、補正階調導出部201が行う明るさ変調では、所定領域の法線方向ベクトルの第1成分値(x成分値)の増加に従い、第1成分値(x成分値)の示す方向に沿って陰影付加や光付加による画素値の明るさを変化させる。同様に、所定領域の法線方向ベクトルの第2成分値(y成分値)の増加に従い、第2成分値(y成分値)の示す方向に沿って陰影付加や光付加による画素値の明るさを変化させる。
【0057】
一方、補正階調導出部201は、所定領域の法線方向ベクトルの第1成分値(x成分値)と第2成分値(y成分値)の増加に従い、第1成分値(x成分値)の変化方向と第2成分値(y成分値)の変化方向で示される2次元ベクトル方向に沿って陰影付加や光付加による画素値の明るさを変化させる。
さらに、陰影付加を行う場合、補正階調導出部201は、所定の光源ベクトル(「光源ベクトル」を「光源方向ベクトル」ということもある。以下、同じ。)と法線方向ベクトルとが逆方向になるに従い、陰影による画素値の明るさ変化が大きくなるように変化させる。光付加を行う場合、補正階調導出部201は、所定の光源ベクトルと法線方向ベクトルが同じ方向になるに従い、光による画素値の明るさ変化が大きくなるように変化させる。
【0058】
また、陰影付加を行う場合、補正階調導出部201は、所定の光源ベクトルと法線方向ベクトルとのなす角度が所定の角度になるまで大きくなるに従い、陰影による画素値の明るさ変化量を大きくし、所定の光源ベクトルと法線方向ベクトルとのなす角度が、その所定の角度より大きくなり、法線方向ベクトルが光源ベクトルと逆方向を向くに従い、陰影による画素値の明るさ変化量を漸近的に小さくするように変化させてもよい。具体的には、補正階調導出部201は、図3の右図に示すような制御を行うことで陰影付加を行うようにしてもよい。なお、図3の右図において、横軸は、法線方向(法線方向ベクトル)と光源方向(光源ベクトル)とのなす角度αであり、縦軸は、明るさ補正量を決定させるための補正係数Keisuである。
また、光付加を行う場合、補正階調導出部201は、所定の光源ベクトルと法線方向ベクトルとのなす角度が所定の角度になるまで小さくなるに従い、光による画素値の明るさ変化量を大きくし、所定の光源ベクトルと法線方向ベクトルとのなす角度が、その所定の角度より小さくなり、法線方向ベクトルが光源ベクトルと同じ方向を向くに従い、光による画素値の明るさ変化量を漸近的に小さくするように変化させてもよい。
【0059】
ここで、光源ベクトルと法線方向で定義された3次元ベクトル(法線方向ベクトル)とが同じ方向を向くとは、2つのベクトルのなす角度αが所定の角度αthを用いて、0度≦α<αth≦90度にある場合を示し、角度αが0度に近づくほど同じ方向を向くことを示す。
また、光源ベクトルと法線方向で定義された3次元ベクトル(法線方向ベクトル)とが逆方向を向くとは、2つのベクトルのなす角度αが、αth≦90度≦α≦180度にある場合を示し、角度αが180度に近づくほど逆方向を向くことを示す。所定の角度αthとして、後述するように、画像の含まれるXY平面(2次元画像平面)の法線方向として定義された3次元ベクトルと光源ベクトルとのなす角度α0を用いてもよい。
補正階調導出部201は、以上のような明るさ変調を行うことで、2次元画像上の輪郭付近よりも、階調が緩やかに変化する比較的明るさが均一な部分へ陰影付加や光付加を効果的に行うことできる。これにより、2次元画像上の階調が緩やかに変化する比較的明るさが均一な部分に、効果的な階調変化を与えることができる。
【0060】
また、上記で説明下処理により、輪郭付近への陰影付加や光付加を行うことも可能である。本来、2次元情報(x,y)しか持たない自然画像を構成する2次元画像データは、3次元方向(z方向)の成分も持たないため、高さ(3次元方向(z方向)の奥行き)を感じることができない。しかし、画像処理装置100では、上記で説明した処理により、2次元画像において、変化の乏しい比較的明るさが均一な部分での階調変化をつけることができるので、見た目に立体感を増す効果を実現させた2次元画像を取得することができる。
(1.2.3:画像処理装置100の具体的動作)
以上のことをもとに図1〜図3を用いて、画像処理装置100の具体的動作について説明する。
【0061】
まず、明るさ算出部11により、画像処理装置100に入力された画像信号vIi(x,y)から明るさ情報Ki(x,y)が取得される。そして、法線方向推定部13により、明るさ情報Ki(x,y)をもとに法線方向推定が実施される。
ここで、画像信号vIi(x,y)等の変数の頭文字が「v」であるベクトルデータ(複数のデータからなる集合データ)は、対象画素i(x,y)について複数の情報(データ)を有していることを示す。例えば、画像信号vIi(x,y)は、処理対象画素i(注目画素i)について、輝度データY、色差データCbおよびCrの合計3つの情報(データ)を有する情報であってもよく、また、対象画素iについて、RGB色空間による表現を用い、R成分について情報(データ)、G成分についての情報(データ)、およびB成分についての情報(データ)の合計3つの情報(データ)を有する情報であってもよく、さらに、別の色空間等の表現を用いた、当該色空間による複数の成分の情報(データ)であっても良い。
【0062】
法線方向推定部13により、具体的には、明るさ情報Ki(x,y)から法線方向ベクトルvHi(x,y)が取得される。ここで、法線方向ベクトルvHi(x,y)は、画素単位で取得される。そのため、その画素単位の法線方向ベクトルvHi(x,y)をそのまま使用してもよいし、画像信号vIi(x,y)により形成される画像上の平坦に近いがゆるやかに変化している階調部分での法線抽出のため画素単位の法線方向ベクトルvHi(x,y)の各法線成分別でのフィルタ処理(平滑化)を行ってもよい(法線方向ベクトルのx成分、y成分およびz成分ごとに、それぞれ、フィルタ処理(平滑化)を行ってもよい)。
補正階調導出部201では、この法線方向ベクトルvHi(x,y)を使って、所定部分の陰影付加による明るさ変調が行われる。図3の右図のグラフは、光源ベクトルと法線方向ベクトルとのなす角度αと、補正係数Keisuとの関係を示している。そして、この補正係数Keisuを、図3の左下に示した数式に適用させることにより、陰影付加による明るさ補正(低下)量ΔKiが求められる。
【0063】
図3では、前述の明るさ変調の方法を、陰影変調させたい(陰影付加の程度を変化させたい)部分の角度α(光源ベクトルと法線方向ベクトルとのなす角度α)により制御する様子を模式的に示しており、処理内容としては、前述の明るさ変調の方法と同様である。
この補正階調導出部201での処理により、設定された光源ベクトルvL(x,y)と法線方向ベクトルvHi(x,y)とのなす角度αをもとに、対象画素の明るさ情報Ki(x,y)の変調分ΔKi(x,y)が求められる。光源ベクトルとして、画素i(x,y)から、設定された光源へ向かうベクトルを用いている。ここでは、光源ベクトルvL(x,y)として、左上(図3の左図のvL1が示す方向)にある平行光源による光源ベクトルを設定している。なお、光源ベクトルvL(x,y)は、これに限定されず、他のユーザ指定の光源方向を示す光源ベクトルであってもよく、第12実施形態のような方法で推定された最適な光源方向を示す光源ベクトルであってもよい。
【0064】
上記説明において、光源を「決定する」とは、本来、装置内部で、前記画像データの所定の位置に光源となるべき場所の座標(少なくともx成分値、y成分値)を含む値(情報)を決定する処理である。なお、所定の位置は、必ずしも1つである必要はなく、複数であってもよい。つまり、光源の座標は、1点の座標である必要はなく、複数の座標(つまり、光源が複数存在する場合に相当。)であってもよい。また、決定された所定位置は、結果として、画像処理装置100により出力される画像中に、本来ならここに光源があるとして人間に認識される位置となる。
図3の右図で示されるように、陰影変調させたい部分の角度αでの法線方向を変化させて陰影付加による明るさ変調を起こす(光源方向と法線方向とのなす角度に基づいて、明るさ変調を起こす)。具体的には、明るさ変調量ΔKiを制御する係数である補正係数Keisuを、光源方向と法線方向とのなす角度αに基づいて、変化させる。図3の右図に示すように、角度αが、陰影変調させたい平坦部における光源方向と法線方向(入力画像信号vIi(x,y)により形成される2次元画像平面の法線方向)とのなす角度α0である付近から、補正係数Keisuの値が大きくなるように制御する。そして、ある角度(図3の右図の角度α1)をピークにして、そこから角度αが大きく鳴るに従い、補正係数Keisuの値を減少させ「0」に漸近的に近づくように変化させる。これにより、輪郭付近での陰影変調を抑える。この場合の明るさ変調分ΔKiは、
ΔKi=Keisu×Δαc (a1)
のようになる。ここで、Δαcは、所定の基準変動量であり正定数である。
【0065】
なお、ここでは、陰影付加による明るさ変調を示しているので、補正後の明るさ情報OKi(x,y)は、
OKi(x,y)=Ki(x,y)−ΔKi (a2)
のようになる。
この値が補正階調導出部201から出力される明るさ情報OKi(x,y)となる。なお、補正階調導出部201から出力される色情報は、入力画像vIi(x,y)の色情報から変化させず、入力画像の色差情報Cri(x,y)、Cbi(x,y)をそのまま補正階調導出部201から出力させる。つまり、補正階調導出部201からの出力される色差情報OCbi(x,y)=Cbi(x,y)、OCri(x,y)=Cri(x,y)とする。なお、これ以外にも、処理済の明るさ情報OKi(x,y)、入力画像の明るさ情報Ki(x,y)、入力画像の色差情報Cri(x,y)、Cbi(x,y)より、明るさ情報の改善比Ratio=OKi(x,y)/Ki(x,y)を使って色差の改善比RatioCrCbを求め、入力画像の色差Cri(x,y)、Cbi(x,y)に色差の改善比RatioCrCb(RatioCrCbは、明るさ情報の改善比Ratioと同値であってもよい。)を乗算し、乗算結果を色差情報OCbi(x,y)、OCri(x,y)として、補正階調導出部201から出力させるようにしてもよい。
【0066】
出力部15は、補正階調導出部201で得られた各画素Piの処理済み画像vOi(x,y)(上記の場合、ベクトルデータvOi(x,y)は、OKi(x,y)、OCbi(x,y)およびOCri(x,y)である。ここで、ベクトルデータとは、複数のデータからなるデータをいい、例えば、明るさ情報のデータ、色差情報のデータからなるデータがこれに該当する。)を、使用機器で扱うことのできる画像フォーマットに応じて変換して得られた処理画像データを出力する。
このように、画像処理装置100では、陰影変調させたい部分(図3では、輪郭付近部分ではなく、比較的平坦でゆるやかに階調変化している部分)の法線方向(つまり角度α)を変化させること(角度αにより補正係数Keisuを変化させることを含む。)で発生する明るさ変調分を求め、陰影付加として、発生した明るさ変調分を入力画像の明るさ情報から減算することで、補正後の明るさ情報を求める。
【0067】
なお、図3の右図での補正係数Keisuを明るさ情報Ki(x,y)に応じて制御することで、より効果的な陰影付加による明るさ変調が可能となる。例えば、明るさ情報Ki(x,y)の増加に応じて、maxKの値を単調減少させることが可能である。また、図3の右図に一例として示した補正係数Keisuは、数式モデル(例えば、PhongモデルやTorrance and SparrowによるモデルやCGで使用されるモデル)により決定させてもよい。また、補正係数Keisuは、テーブル化(ルックアップテーブル(LUT)化)をして、決定させてもよい。そして、そのテーブルをもとに補正量を決めることも可能である。その際、明るさ情報KiでmaxKを制御する場合は、法線と光源ベクトルとのなす角度α、および明るさ情報Kiの2つを入力値(参照値)とし、補正量ΔKiを出力値(補正係数Keisuを出力値としてもよい。)とする2次元プロファイルテーブル(2次元LUT(ルック・アップ・テーブル))を参照することとなる。また、光源方向(光源ベクトル)と補正量ΔKi(あるいは補正係数Keisu)を合わせてLUT化することも可能であり、その場合、LUT化されたテーブルは、3次元LUTとなる。
【0068】
また、図3の右図で、補正係数Keisuを負にすることで、陰影付加ではなく光付加による階調変調も可能であり、所定の比較的平坦な部分で光源に向かう領域で明るくすることでも、同様の効果が実現される。
以上のように、本実施形態の画像処理装置100では、算出された所定の法線方向(法線方向ベクトル)と設定した光源方向(光源ベクトル)とのなす角度をもとに陰影付加による明るさ変調を行うので、画像内の輪郭付近よりも中間調付近の階調変調を行うことができる。その結果、画像処理装置100では、ゆるやかに階調が変化する中間調付近(物体輪郭付近ではなく、ゆるやかな明るさが変化する物体平坦部や薄めの陰付近等)での明るさ変調・変化強調を行うことができ、画像処理装置100により処理された画像において、単なる輪郭コントラストのみにメリハリがついた際に感じる平板な立体感ではなく、より自然な丸み・膨らみ感をもつ立体感を実現させることが可能となる。
【0069】
[第2実施形態]
図4から図18を用いて、本発明の第2実施形態として、陰影付加により画像内の奥行き感向上を実現する画像処理方法及び画像処理装置について説明する。
図4に、本発明の第2実施形態に係る画像処理装置200の構成を示す。また、図5は法線方向推定部13の構成を、図6に陰影強調画像生成部14の構成を示す。
図7に本発明の第1実施形態に係る画像処理方法の処理フローチャートを示す。また、図8に、本発明の第1実施形態に係る画像処理方法内の法線方向推定ステップの処理フローチャートを示す。図9に、陰影強調画像生成ステップの処理フローチャートを示す。
この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、これらの撮影機器で取得したデジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話やカーモバイル機器・PDA等、あるいは、様々な環境下で使用される大型映像表示機器等へ搭載される。
【0070】
<2.1:画像処理装置の構成>
画像処理装置200は、主に、入力された画像信号vIi(x,y)の明るさ情報Ki(x,y)を算出する明るさ情報算出部11と、明るさ情報算出部11で算出された明るさ情報Ki(x,y)から法線情報(法線方向ベクトル)vHi(x,y)およびエッジ量EDGEi(x,y)を算出する法線方向推定部13と、法線方向推定部13で取得された法線方向ベクトルvHi(x,y)およびエッジ量EDGEi(x,y)並びに明るさ情報算出部11で算出された明るさ情報Ki(x、y)に基づいて、入力画像信号vIi(x,y)に陰影付加・強調処理を行う陰影強調画像生成部14と、陰影強調画像生成部14で得られた画像信号を所定の画像データ形式に変換して出力する出力部15と、から構成されている。
【0071】
なお、本実施形態において、前述の実施形態と同様の部分については、同一の符号を付し、説明を省略する。
法線方向推定部13は、図5に示すように、主に,水平方向微分算出部30と、垂直方向微分算出部31と、法線方向ベクトル算出部32と、から構成される。
水平方向微分算出部30は、明るさ情報Ki(x,y)を入力とし、明るさ情報Ki(x,y)を水平方向(x方向)について微分し(xについての偏微分を行い)、算出した微分値を法線方向ベクトル算出部32に出力する。
垂直方向微分算出部31は、明るさ情報Ki(x,y)を入力とし、明るさ情報Ki(x,y)を垂直方向(y方向)について微分し(yについての偏微分を行い)、算出した微分値を法線方向ベクトル算出部32に出力する。
【0072】
法線方向ベクトル算出部32は、水平方向微分算出部30により算出された水平方向の微分量および垂直方向微分算出部31により算出された垂直方向の微分量に基づいて、エッジ量EDGEi(x,y)および法線情報(法線方向ベクトル)vHi(x,y)を算出し、陰影強調画像生成部14に出力する。ここで、法線方向ベクトル算出部32は、例えば、(数式1)による処理により、法線方向ベクトルvHi(x,y)を算出する。
陰影強調画像生成部14は、明るさ情報Ki(x,y)、その法線方向ベクトルvHi(x,y)、明るさによるエッジ量EDGEi(x,y)に基づいて、入力画像(信号)vIi(x,y)に陰影付加・強調を行い、陰影強調画像vSOi(x,y)を生成する。そして、陰影強調画像生成部14は、生成した陰影強調画像(信号)を出力部15に出力する。
【0073】
なお、Phongモデルを使用する場合、陰影強調画像生成部14は、図6に示すように構成される。この場合、陰影強調画像生成部14は、外部制御信号Cにより仮想光源を設定する仮想光源設定部41と、設定された仮想光源と明るさ情報Kiと法線方向ベクトル(法線情報)vHiとにより拡散反射成分を算出する拡散反射成分算出部42と、設定された仮想光源と明るさ情報Kiと法線方向ベクトル(法線情報)vHiとにより鏡面反射成分を算出する鏡面反射成分算出部43と、設定された仮想光源と明るさ情報Kiと法線方向ベクトル(法線情報)vHiとにより環境光反射成分を算出する環境光成分算出部44と、を備える。また、陰影強調画像生成部14は、拡散反射成分算出部42により算出された拡散反射成分、鏡面反射成分算出部43により算出された鏡面反射成分、および環境光成分算出部44により算出された環境光成分に基づいて、陰影成分画像を生成する陰影成分画像生成部46と、明るさ情報Kiとエッジ量EDGEiとから合成係数を算出する合成係数算出部45と、合成係数算出部45により算出された合成係数および明るさ情報Kiに基づいて、陰影成分画像から陰影強調画像を生成する陰影強調画像算出部47と、入力画像vIiから色差成分を算出し、陰影強調画像算出部から出力された陰影強調画像に色差成分を考慮して、陰影強調画像vSOiに変換し、変換した陰影強調画像vSOiを出力する色差成分算出部と、を備える。
【0074】
<2.2:画像処理装置の動作>
次に、画像処理装置200の動作について説明する。
(2.2.1:処理の概要)
図7から図9の処理フローチャートを参照して、画像処理装置200における処理の概要について説明する。
まず、画像処理装置200に画素i(x,y)における画素値vIi(x,y)をもつ画像データが入力される。ここで(x,y)とは画素iの(水平画素位置、垂直画素位置)を示す。また、変数の先頭の小文字の「v」はベクトルデータを示すものとする。
明るさ算出部11において、画像データvIi(x,y)を構成する各画素のデータは、所定の明るさ情報Ki(x,y)へ変換される。明るさ情報としては多くの例があり、輝度Y、色差Cb、Crより構成されるYCbCr空間データの輝度Yや、明度L、色a*、b*より構成されるLa*b*空間データの明度L等がその一例である。ここでは、YCbCr空間データにおける輝度Yを画素iで計算して明るさ情報Ki(x,y)とする。
【0075】
法線方向推定部13により、画像に付加する奥行き曲面のための法線方向ベクトルと、画素i(x,y)における明るさ情報のエッジ量EDGEi(x,y)とが求められる。本来、入力された画像は2次元データのため、奥行き感や立体感をつけるための奥行き方向のデータが不足している。これは、通常、不定問題と呼ばれ解析は不可能である。本発明で行う、この不足している奥行き方向のデータに関する処理について、図10を用いて説明する。
まず、画素ごとに法線方向を決定する。一般に、ユーザは、画面正面より画面を構成する2次元画像を観察している。そこで、2次元画像の画面に垂直な方向で、かつ、ユーザに向かう方向に、法線方向ベクトルvHi(x,y)の1つであるZ方向成分hz(x,y)を仮定する。
【0076】
次に、画素i(x,y)における明るさ情報Ki(x,y)のX方向(水平方向)の微分値にマイナスを付加した値と、Y方向(垂直方向)の微分値にマイナスを付加した値を求め、その画素i(x,y)における法線方向ベクトル方向のX成分hx(x,y)およびY成分hy(x,y)に設定する。
つまり、法線方向ベクトルvHi(x,y)は、3次元データ(hx(x,y),hy(x,y),hz(x,y))となる。
画素i(x,y)における明るさ情報Ki(x,y)の変化が大きいほど、人間はそこに注目するとともに距離感を感じる。そこで、画素i(x,y)にKi(x,y)の水平方向(X方向)の変化量dxと垂直方向(Y方向)の変化量dyを求める。この値を使って、画素i(x,y)における奥行き曲面の法線方向ベクトルvHi(x,y)の水平方向成分hx(x,y)と、垂直方向成分hy(x,y)を(数式1)により算出する。
【0077】
【数1】


【0078】
法線方向ベクトル算出部32により、EDGEi(x,y)が算出される。例えば、画素i(x,y)でのdKxとdKyの大きさを求め、求めた値を画素i(x,y)におけるエッジ量EDGEi(x,y)とする。つまり、
EDGEi(x,y)=((dKx)+(dKy)0.5
とする。
また、(数式1)において、LENは、法線方向ベクトルvdHi(x,y)=(−dKx,−dKy,1)の大きさであり、各成分を正規化したものが(数式1)における法線方向ベクトルvHi(x,y)になる。つまり、
LEN=(dKx)+(dKy)+1)0.5
である。
【0079】
なお、(数式1)のように、法線方向ベクトルvHi(x,y)((数式1)では、ベクトルデータではなく、明るさ情報Kiのみについてのデータであるので、Hi(x,y)としている。)を定義した場合、図10の左図のように、明るさ(輝度)の高い領域と明るさ(輝度)の低い領域とが接した部分での法線方向ベクトルは、図10の右図のようになる。このような場合、図10の右下図に模式的に示すように、高い明るさをもつ領域部分がユーザ正面に向かって凸になっていると仮定することとなる。つまり、この法線方向ベクトルにより決定される立体曲面は、ユーザ正面方向に凸となる形状を有することになる。
陰影強調画像生成部14は、明るさ情報Ki(x,y)、その法線方向ベクトルvHi(x,y)、明るさによるエッジ量EDGEi(x,y)を受けて、陰影付加・強調した画像を生成する。この処理は、図9に示すように実施される。
【0080】
まず、図11のように、仮想光源(仮想光源は、図11のD11で示す方向に存在する。)を仮定し、そこから画像への光源方向ベクトルvR1(図11のD11に相当。)を決定する。これは、この仮想光源による陰影付加を目的とする。なお、光源方向ベクトルvR1は、図11のx11で示すx方向ベクトルと、y11で示すy方向ベクトルと、z11で示すz方向ベクトルとの合成ベクトルである。つまり、光源方向ベクトルvR1は、x11で示される成分をx方向成分とし、y11で示される成分をy方向成分とし、z11で示される成分をz方向成分とする3次元ベクトルである。
一般に、人間は上方(左上)からの光を強く感じる傾向があることが視覚心理より判明している。そこで、図11に示す場合においても、人間が強く感じる光源方向による陰影付加を行うために、左上からの平行光源照明を仮定して、光源方向ベクトルvR1を設定する。
【0081】
そして、現在の画素(対象画素)i(x,y)の明るさ情報Ki(x,y)の中で、この仮想光源からの照明による明るさをdSKi(x,y)(対象画素i(x,y)の全ての明るさ情報Ki(x,y)のうち、対象画素i(x,y)において仮想光源からの照明により生じる明るさをdSki(x,y)とする。)を、ある平行光源を設定した場合の物体曲面での明るさを近似する近似モデルを利用して推定・抽出する。
ここで、設定された仮想光源方向ベクトルvR1による明るさ情報dSKi(x,y)がKi(x,y)に近い場合、この画素i(x,y)での曲面(物体曲面)(法線方向ベクトル)は、光源方向ベクトルvR1の方向を向いている可能性が高いため、陰影付加をする必要性は低い。
しかし、dSKi(x,y)がKi(x,y)よりもずっと小さい場合は、この画素i(x,y)での曲面(物体曲面)(法線方向ベクトル)は、vR1とは異なる方向を向いている可能性が高いため、陰影付加をする必要性は高くなる。
【0082】
この近似モデルとしては、多くの方法や式があるが、例えば、比較的簡易でありよく用いられるPhongにより提案されたPhongモデルを用いることができる。これ以外にも、Torrance and SparrowによるモデルやCGで使用されるモデルがあり、これらを利用することも可能である。
(2.2.2:Phongモデルを使用した場合について)
図12は、照明を近似するモデルとして、画素ごとの画素i(x,y)の明るさKoが、Phongのモデル(以下、「Phongモデル」という。)を使った場合、どのような成分より構成されるかを示すものである。
まず、Phongモデルでは、ある点の明るさ(輝度)は、拡散反射成分と鏡面反射成分と環境光成分とにより近似される。
【0083】
これを本発明における仮想光源による画素i(x,y)での明るさdSKi(x,y)の算出に適用すると、(数式2)で示すように、拡散反射成分dKoai(x,y)、鏡面反射成分dKobi(x,y)、環境光成分dKoci(x,y)の3つの成分で近似表現される。
【0084】
【数2】


【0085】
(数式2)の各成分は、光源方向と物体表面法線(法線方向ベクトル)とのなす角αや物体表面係数等から算出することができる。
《拡散反射成分dKoa》
まず、拡散反射成分dKoaについて、図13を用いて説明する。光源方向ベクトルvR1(図13の矢印dIiと逆方向のベクトル)と物体表面の法線方向ベクトルvHiのなす角度をαとした場合、拡散反射成分dKoaは、角度αの余弦であるcosαと、物体表面係数等で決まる。つまり、拡散反射成分dKoaは、光沢のない(表面に微細な凹凸がある)物体表面にある光が当たった場合、物体はすべての方向にほぼ同じ強さで光を拡散反射するという仮定により定義された成分である。この拡散反射成分dKoaは、cosα、入力される輝度(入射光による明るさ(輝度))dKi(x,y)、物体表面の拡散係数kaを用いると(数式3)のように表現される。
【0086】
【数3】


【0087】
この拡散反射成分dKoa(対象画素i(x,y)の拡散反射成分がdKoai(x,y)である。)は、光源の方向と面の法線の向きが一致した場合に、最も明るく(拡散反射成分dKoaの値が大きく)なり、光源方向(光源方向ベクトル)と物体表面の法線(法線方向ベクトル)の向きのずれが大きくなる(角度αが大きくなる)に従い、暗くなっていく(拡散反射成分dKoaの値が小さくなっていく)性質を持つ。ここでは、物体係数kaは、固定値として定義されるため、拡散反射成分dKoaは、cosαと入射される明るさdKi(x,y)で決まる。
本発明では、仮想光源から入射される明るさdKi(x,y)は、仮想的に明るさ情報Ki(x,y)が入力(入射)されるものとして計算する。これは、現時点での明るさ情報Ki(x,y)において、仮想光源からの方向(つまり、角度α)に基づいて算出される拡散成分dKoaiを抽出するためである。
【0088】
《鏡面反射成分dKob》
次に、鏡面反射成分dKobについて図11を用いて説明する。鏡面反射成分dKobは、物体の表面の質により変わる反射光成分を表しており、鏡や金属のように反射率の高い物体に光が当たると、局所的に明るい部分が発生する現象により生じる成分である。つまり、鏡面反射成分dKobは、表面に凹凸がない一様な表面(鏡面)を持った物体に光が当たった場合に発生する特定方向への反射成分を示す。
鏡面反射成分dKobは、物体係数kbと、ユーザ視線と反射方向間の角度βで決定され、(数式4)により求められる。なお、(数式4)で、nは正定数である。
【0089】
【数4】


【0090】
しかし、本発明では、ユーザが画面方向に垂直方向から観察していると仮定しているため、cosβとして、物体の法線ベクトルvHiと光源方向ベクトルvR1のなす角度αの余弦cosαを使って、鏡面反射成分dKobを求めることができる。また、物体係数kbは、固定値として定義される。このため、(数式4)により、鏡面反射成分dKobは、cosαと入射される明るさdKi(x,y)とで決まる。ここでも、仮想光源から入射される明るさ情報dKi(x,y)は、仮想的に明るさ情報Ki(x,y)が入力(入射)されるものとして仮定する。そして、現時点での明るさ情報Ki(x,y)において、仮想光源からの方向(つまり、角度β)に基づいて算出される鏡面反射成分dKobiを抽出する。鏡面反射成分dKobは、(数式4)より明らかなように、光の反射角の方向と視線が一致する場合に非常に明るくなり、その角度βがすれるに従い急速に減衰する性質を持つ。
【0091】
《環境光成分dKoc》
環境光成分dKocについて図15を用いて説明する。図15に示すように、環境光成分は、物体全体に一定の明るさを与える周囲光に相当するものであり、表面材質に関係なく、周囲に均一に存在する成分である。
この環境光成分dKociは、周囲係数kcと、入力される輝度(入射光による明るさ(輝度))dKi(x,y)とを用いて、(数式5)のように表現される。
【0092】
【数5】


【0093】
なお、(数式5)以外にも固定明るさを環境光成分dKocとすることができる。ここでも、拡散反射成分や鏡面反射成分と同様に、仮想光源から入射される明るさdKi(x,y)は、仮想的に明るさ情報Ki(x,y)が入力(入射)されるものとして計算する。数式5)は、現時点での明るさKi(x,y)において、仮想光源dKi(x,y)に基づいて算出される環境光成分dKociを抽出するために設定された。なお、(数式5)のようなPhongモデルの場合、環境光成分は、仮想光源とのなす角度αに依存しない。しかし、環境光成分として、仮想光源とのなす角度αによる変動分を考慮することも可能である。
以上のことより、Phongモデルによる対象画素i(x,y)の明るさ情報Ki(x,y)は、物体上の表面係数等を固定とした場合、物体表面の法線方向ベクトルと光源方向へのベクトル(光源方向ベクトル)とがなす角度αの余弦値cosαで、その強度を決定することができる。なお、図9において、「相関CoA」とは、光源方向ベクトルと法線方向ベクトルとの相関を示すものであればよく、上記余弦値cosαがこの一例である。
【0094】
以上の値を(数式2)に代入することで、画像処理装置200では、現在の明るさ情報Ki(x,y)より推定された仮想光源方向ベクトルvR1による明るさ情報dSKi(x,y)を求める。
そして、画像処理装置200は、このdSKi(x,y)と入力明るさKi(x,y)とを合成することで、入力画像の照明分布を保持しながら、陰影部分を強調する画像vSOi(x,y)を生成する。
しかし、以上の処理により求められるdSKi(x,y)は、人間が強く感じる方向から来る光が、現在の入力明るさ情報Kiに寄与しているもの(寄与分)を示しているに過ぎない。つまり、dSKi(x,y)は、以下(1)(2)に示す特徴を有する。
(1)法線方向ベクトルと光源方向ベクトルとのなす角度αが大きい画素では、仮想光源による光が入射されないものとして、この仮想光源による明るさdSKi(x,y)は、入力された明るさ情報Ki(x,y)よりもずっと小さくなる(陰影強調)。
【0095】
(2)法線方向ベクトルと光源方向ベクトルとのなす角度αが小さい画素では、仮想光源による光が実際の照明分布に近いものとして、この仮想光源による明るさdSKi(x,y)は、入力された明るさ情報Ki(x,y)より小さいが、入力された明るさ情報Ki(x,y)にある程度近い値になる。
このため、dSKi(x,y)は、本来の入力画像の明るさ情報Ki(x,y)よりも低下する(小さい値をとる)傾向がある。
そこで、画像処理装置200では、この2つ(dSKi(x,y)と入力明るさ情報Ki(x,y))を合成することで、入力画像の明るさをある程度保持しながら、陰影強調を行うようにする。
《結合係数wksの制御について》
仮想光源により抽出された画素i(x,y)の明るさ情報dSKi(x,y)に係る結合係数wks(0.0≦wks≦1.0)の制御には多くの方法がある。結合係数wksの制御の方法について、以下、説明する。
【0096】
(S−1)wksを明るさ情報Ki(x,y)に対して単調減少させるとともに、エッジ情報EDGEi(x,y)に対して単調増加させる。
こうすることで、画像上の低輝度の輪郭部における陰影強調を適切に行うことができ、本来陰影でない部分を強調することが少なくなる。
(S−2)wksを法線方向ベクトルと光源方向ベクトルとがなす角度αの余弦値cosαの絶対値に対して、単調減少させるとともに、エッジ情報EDGEi(x,y)に対して単調増加させる。cosαは、法線方向ベクトルと光源方向ベクトルとの間の相関を示す値であり、この値が小さい場合には、仮想光源からの光が当たらないような立体面(立体曲面)を持つと考えられる。よって、このようにwksを制御することにより、輪郭部において、仮想光源の光が当たらない部分での陰影強調をすることができ、仮定した立体曲面(法線方向ベクトルにより決定される立体曲面)の陰影に相当する箇所に陰影付加・強調ができる。
【0097】
(S−3)wksを法線方向ベクトルと光源方向ベクトルとがなす角度αの余弦値cosαの絶対値に対して、単調減少させるとともに、エッジ情報EDGEi(x,y)に対して単調増加させる。さらに、明るさ情報Ki(x,y)に対して単調減少させる。
こうすることで、仮想光源からの光が当たらないような立体面(立体曲面)を持ち、元々明るさが低い(低輝度の)輪郭部において陰影強調をすることができる。このようにwksを制御することで、仮定した立体曲面での陰影に相当する部分であり、かつ、元々暗い領域(低輝度の領域)に陰影付加・強調ができる。
ここでは、(S−1)の例を採用するが、他の方法も使用可能である。(S−1)の方法を採用した場合、陰影強調後の明るさSKi(x,y)は、(数式6)により求められる。
【0098】
【数6】


【0099】
(数式6)で、SStは陰影強調強度パラメータであり、所定の定数であってもよく、ユーザが指定した値であってもよい。
図16、図17は、本処理による処理結果を模式的に示している。ここでは、説明便宜のため、明るさに対する結果のみを示す。
図16は、中心円の明るさが周囲の円よりも高い場合を示している。図16は、左上から光を照射する仮想光源を設定した例である。
図16(a)に示すように、中心円の右下の領域(1)では、光源方向と法線方向とが異なる。この領域(1)では、図16(b)に示すように光源方向ベクトルvR1と法線方向ベクトルvHiとが大きく異なる(なす角度が大きい)ため、領域(1)の明るさが高い円に接する低い円の輪郭部(低明るさ側(暗い側))で輝度低下が生じ、陰影強調が実施される。
【0100】
それに対して、図16(a)に示す、中心円の左上の領域(2)では、光源方向と法線方向とがほぼ一致する。この領域(2)では、図16(c)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとが一致する方向に近づくため、明るさ(輝度)低下は小さくなり、陰影強調も小さい。
また、図17は、中心円の明るさが周囲の円よりも低い場合を示している。図17は、左上から光を照射する仮想光源を設定した例である。
図17(a)における中心円の右下の領域(1)では、設定した光源方向と算出した法線方向がほぼ一致する(光源方向ベクトルと法線方向ベクトルとのなす角度が小さい)。そのため、この領域(1)では、図17に示すように光源方向ベクトルvR1と法線方向ベクトルvHiが一致する(なす角度が小さい)方向に近づくため、領域(1)の明るさ低下は小さく、陰影強調も小さい。
【0101】
それに対して、図17(a)における中心円の左上の領域(2)では、設定した光源方向と算出された法線方向とが異なる(光源方向ベクトルと法線方向ベクトルとのなす角度が大きい)。そのため、この領域(2)では、図17(c)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiが大きく異なる(光源方向ベクトルと法線方向ベクトルとのなす角度が大きい)ため、領域(2)の明るさの低い円輪郭部(低明るさ側(暗い側))で輝度低下が生じ、陰影強調が実施される。
色差成分算出部48は、この得られた陰影強調後の明るさ情報SKi(x,y)と入力画像vIi(x,y)の明るさ情報Ki(x,y)とから、陰影強調後の色差情報SCri(x,y)とSCbi(x,y)とを求める。
ここでも、多くの方法がある。例えば、SCri(x,y)=Cri(x,y)、SCb(x,y)=Cbi(x,y)のように入力画像の色差を保持する方法がある。
【0102】
次に、この得られた陰影強調後の明るさ情報SKi(x,y)と入力画像の明るさ情報Ki(x,y)との比Ratio=SKi(x,y)/Ki(x,y)(明るさ改善比)をもとに、入力画像vIi(x,y)の色差Cri(x,y)とCbi(x,y)とに乗算される色差改善比RatioCrCbを、図18に示すようにして求めることもできる。
図18は、画像処理装置200内の色差成分算出部48の制御例に関する模式図である。
図18(a)は、陰影強調後の明るさ情報SKi(x,y)と入力画像の明るさ情報Ki(x,y)との比Ratioに対する色差比の制御例(色差制御関数例)を示し、横軸は陰影強調後の明るさ情報SKi(x,y)と入力画像の明るさ情報Ki(x,y)との比Ratioに相当し、縦軸は得られる色差比に相当する。この図18(a)で示される特性は、(数式7)により定義される。
【0103】
また、図18(b)は、色差制御関数における傾き係数Keisuを陰影強調後の明るさ情報SKi(x,y)(=outkido)で制御する例を示す。これは、(数式8)のように定義できる。
なお、図18や(数式7)(数式8)におけるoutkidoは、
outkido=SKi
である。
また、MinRatio、MaxRatio、OMin、OMax、ThresHighは、所定の正定数であり、通常、MinRatio=1.0、OMin=1.0となる。また、ThresHigh<1.0となる。
なお、この式では明るさ情報が0≦Ki≦1.0を仮定している。
【0104】
【数7】


【0105】
【数8】




【0106】
図18や(数式7)(数式8)で得られた色差比RatioCrCbを入力画像の対象画素i(x,y)における色差Cri(x,y)およびCbi(x,y)に乗算して陰影強調後の色差情報SCri(x,y)およびSCbi(x,y)を求める処理が、色差成分算出部48により実施される。このように、画像処理装置200では、明るさ改善比Ratioに対して色差改善比の強さを抑制することで、過剰な改善を抑える効果を持たせることができる。
また、画像処理装置200では、(数式8)のように傾き係数Keisuを改善後の明るさ情報SKiがハイライト(高い明るさ(高輝度))になるほど抑制することで、ハイライト側(高輝度部分)での飽和現象を抑制する効果を持つ。
最後に、出力部15は、陰影強調画像生成部14で得られた各画素i(x,y)の陰影強調画像vSOi(x,y)=(SKi(x,y),SCbi(x,y),SCri(x,y)を、使用機器で扱うことのできる画像フォーマットに応じて変換して得られた処理画像データを出力する。
【0107】
以上により、画像処理装置200では、陰影強調画像を生成することで、画像内の照明分布を推定することなく、また画像内の照明分布に大きな影響を与えることなく、所定の領域への陰影付加や陰影強調を行うことができるとともに、簡易な構成で画像の奥行き感の向上を実現することができる。
[第3実施形態]
図19から図24を用いて、本発明の第3実施形態として、光付加により画像内の奥行き感向上を実現する画像処理方法及び画像処理装置300について説明する。
図19に、本実施形態に係る画像処理装置300の構成を示す。また、図20に、画像処理装置300内の光強調画像生成部50の構成を示す。
図21に本実施形態に係る画像処理方法の処理フローチャートを示す。また、図22に光強調画像生成ステップの処理フローチャートを示す。
【0108】
この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、これらの撮影機器で取得したデジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話やカーモバイル機器・PDA等、あるいは、様々な環境下で使用される大型映像表示機器等へ搭載される。
<3.1:画像処理装置の構成>
第3実施形態に係る画像処理装置300は、第2実施形態に係る画像処理装置200と同様の構成を有しており、画像処理装置200の陰影強調画像生成部14を光強調画像生成部50に置換した点のみが異なる。
なお、本実施形態に係る画像処理装置300において、前述の実施形態と同様の部分については、同一の符号を付し、説明を省略する。
【0109】
光強調画像生成部50は、明るさ情報Ki(x,y)、その法線方向ベクトルvHi(x,y)、明るさによるエッジ量EDGEi(x,y)に基づいて、入力画像(信号)vIi(x,y)に光付加・強調を行い、光強調画像vLOi(x,y)を生成し、出力部15に出力する。なお、Phongモデルを使用する場合、光強調画像生成部50は、図20に示すように構成される。
<3.2:画像処理装置の動作>
図21および図22の処理フローチャートを参照して、画像処理装置300における処理の概要について説明する。
まず、画像処理装置300に画素i(x,y)における画素値vIi(x,y)をもつ画像データが入力される。ここで(x,y)とは画素iの(水平画素位置、垂直画素位置)を示す。また、変数の先頭の小文字の「v」はベクトルを示すものとする。
【0110】
明るさ算出部11および法線方向推定部13の処理は、前述の実施形態と同様であるので、説明を省略する。
光強調画像生成部50は、明るさ情報Ki(x,y)、その法線方向ベクトルvHi(x,y)、明るさによるエッジ量EDGEi(x,y)を受けて、光付加・強調した画像を生成する。この処理は図21に示すように実施される。
まず、前述の実施形態と同様に、仮想光源を仮定し、そこから画像への光源方向ベクトルvR1を決定する。そして、この方向から微弱な仮想光成分cKci(x,y)を仮定して、この仮想光付加成分による光付加を目的とする。なお、前述の実施形態と同様に、仮想光成分は、左上からの平行光源照明によるものであると仮定して、光源方向ベクトルvR1を設定する。つまり、画面に対して左上方向に仮想光源があると仮定する。
【0111】
この際、光成分の明るさ情報cKci(x,y)の設定には多くの方法があるが、ここでは、入力画素i(x,y)の明るさ情報Ki(x,y)に所定の光付加係数AddLightを乗算して設定することとする。こうすることで、対象画素i(x,y)の明るさ情報Ki以上の明るさがその画素iに付加されることを抑制することができ、明るさ飽和の抑制になる。なお、光付加係数AddLightは、予め用意された正定数であっても、ユーザが入力して設定された値であってもよい。
この仮想光成分cKci(x,y)=AddLeight×Ki(x,y)を加えた際の光付加画像がまず生成される。その際、前述の実施形態と同様に、Phongモデルを用いることとする。これ以外にも、Torrance and SparrowによるモデルやCGで使用されるモデルがあり、これらを利用することも可能である。
【0112】
仮想光源成分cKci(x,y)による画素i(x,y)で付加される光成分の明るさ情報dLKi(x,y)は、付加拡散成分cKcai(x,y)、付加鏡面反射成分cKcbi(x,y)、付加環境光成分cKcci(x,y)、入力画像の明るさ情報Ki(x,y)により、(数式9)のように表現される。
【0113】
【数9】


【0114】
付加拡散反射成分cKcai(x,y)、付加鏡面反射成分cKcbi(x,y)、および付加環境光成分cKcci(x,y)は、それぞれ、(数式3)(数式4)および(数式5)において、dKi(x,y)=cKci(x,y)とすることで求めることができる。そして、この処理は、図20で示した付加拡散反射成分算出部61、付加鏡面反射成分算出部62、および付加環境成分算出部63により実行される。
光付加画像生成部65では(数式9)を用いて、画素i(x,y)における仮想光成分cKci(x,y)による光付加画像の明るさ情報dLKi(x,y)が求められる。
この後、このdLKi(x,y)と入力明るさKi(x,y)とを合成することで、入力画像の照明分布を保持しながら、光部分を強調する画像vLOi(x,y)が生成される。画像処理装置300において、このような処理を行うことで、人間が強く感じる方向から来る弱い仮想光成分を加えて、より印象深くなるようにして光強調画像を生成することができる。
【0115】
明るさ情報dLKi(x,y)は、以下の(1)および(2)に示す特徴を有する。
(1)法線方向ベクトルと光源方向ベクトルとのなす角度αが大きい画素では、仮想光源成分cKciによる光がこないため、明るさdLKi(x,y)は、入力された明るさKi(x,y)とほぼ同じとなり、光付加量も小さい。
(2)法線方向ベクトルと光源方向ベクトルとのなす角度αが小さい画素では、仮想光源成分cKciによる光は、画素i(x,y)に到達する。そのため、明るさdLKi(x,y)は、入力された明るさKi(x,y)よりもやや高い値となり、光強調された状態となる。
明るさ情報dLKi(x,y)は、このようなの特徴をもつため、本来の入力画像の明るさKi(x,y)よりも上昇する傾向がある。そこで、この2つ(dLKi(x,y)と入力明るさKi(x,y))を合成することで、入力画像の明るさをある程度保持しながら、光強調を行うようにする。
【0116】
《結合係数wklの制御について》
仮想光源により抽出された画素i(x,y)の明るさ情報dLKi(x,y)に係る結合係数wkl(0.0≦wkl≦1.0)の制御には多くの方法がある。結合係数wklの制御の方法について、以下、説明する。
(L−1)wklを明るさ情報Ki(x,y)に対して単調増加させるとともに、エッジ情報EDGEi(x,y)に対して単調増加させる。
こうすることで、輪郭部の高輝度における光強調をすることができ、本来光でないところを強調することが少なくなる。
(L−2)wklを法線方向ベクトルと光源方向ベクトルとがなす角度αの余弦値cosαの絶対値に対して、単調増加させるとともに、エッジ情報EDGEi(x,y)に対して単調増加させる。cosαは、法線方向ベクトルと光源方向ベクトルと間の相関を示す値であり、この値が大きい場合には、仮想光源からの光が十分当たるような立体面(立体曲面)を持つと考えられる。よって、このようにwklを制御することにより、輪郭部で、仮想光源の光が当たる部分での光強調をすることができる。
【0117】
(L−3)wklを法線方向ベクトルと光源方向ベクトルとがなす角度αの余弦値cosαの絶対値に対して、単調増加させるとともに、エッジ情報EDGEi(x,y)に対して単調減少させる。こうすることで、仮想光源からの光が十分当たるような平坦部の光強調をすることができる。
(L−4)wklを法線方向ベクトルと光源方向ベクトルとがなす角度αの余弦値cosαの絶対値に対して、単調増加させるとともに、エッジ情報EDGEi(x,y)に対して単調減少させる。さらに、明るさ情報Ki(x,y)に対して単調増加させる。こうすることで、仮想光源からの光が十分当たるような立体面(立体曲面)を持ち、元々明るさが高い平坦部(高輝度の平坦部)での光強調をすることができる。つまり、仮定した曲面(法線方向ベクトルに決定される立体曲面)での平坦部に相当する部分であり、かつ、元々明るい領域(高輝度の領域)に光影付加・強調をすることで、この領域を印象付けることができる。
【0118】
ここでは、(L−1)の例を採用するが、他の方法も使用可能である。(L−1)の方法を採用した場合、光強調後の明るさLKi(x,y)は、(数式10)により求められる。
【0119】
【数10】


【0120】
(数式10)で、LStは光強調強度パラメータであり、所定の定数であっても、ユーザが指定した値であってもよい。
図23、図24は、本処理による処理結果を模式的に示している。
図23は、第2実施形態で模式的に示した結果例1に対する処理済み画像の傾向を示すものである。この図では左上から光を照射する仮想光源を設定した例である。
図23は、中心円の明るさが周囲の円よりも高い場合を示すものである。
図23(a)に示すように、中心円の右下の領域(1)では、設定された光源方向と算出された法線方向が異なる。そのため、この領域(1)では、図23(b)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとが大きく異なる(なす角度が大きい)ため、仮想光成分cKci(x,y)による光付加が小さくなり、光強調が小さい。
【0121】
それに対して、図23(a)に示すように、中心円の左上の領域(2)では、設定された光源方向と算出された法線方向がほぼ一致する(光源方向ベクトルと法線方向ベクトルとのなす角度が小さい)。そのため、図23(c)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとが一致する方向に近づくため、中心の明るい円の輪郭部(明るさが高い側(明るい側))で光付加が実施され、輪郭部の明るさ上昇が発生し、光強調が実施される。
また、図24は、中心円の明るさが周囲の円よりも低い場合を示している。ここでも、左上から光を照射する仮想光源を設定した例である。図24(a)に示す、中心円の右下の領域(1)では、設定された光源方向と算出された法線方向のずれが小さい(光源方向ベクトルと法線方向ベクトルとのなす角度が小さい)。そのため、図24(b)に示すように光源方向ベクトルvR1と法線方向ベクトルvHiとが一致する方向に近づくため、領域(1)では、中心の輝度が低い円に接する明るい円輪郭部(明るさが高い側(明るい側))で光付加が実施され、輪郭部の明るさ上昇が発生し、光強調が実施される。
【0122】
それに対して、図24の中心円の左上の領域(2)では、設定された光源方向と算出された法線方向が異なる(光源方向ベクトルと法線方向ベクトルとのなす角度が大きい)傾向がある。そのため、図24(c)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとが大きく異なる(光源方向ベクトルと法線方向ベクトルとのなす角度が大きい)ため、領域(2)での光付加は小さくなり、光強調も小さい。
色差成分算出部48は、この得られた光強調後の明るさ情報LKi(x,y)と入力画像vIi(x,y)の明るさ情報Ki(x,y)より光強調後の色差情報LCri(x,y)とLCbi(x,y)とを求める。これは、前述の実施形態と同様である。
最後に、出力部15は、光強調画像生成部50で得られた各画素i(x,y)の陰影強調画像vLOi(x,y)=(LKi(x,y)、LCbi(x,y)、LCri(x,y)を、使用機器で扱うことのできる画像フォーマットに応じて変換して得られた処理画像データを出力する。
【0123】
画像処理装置300では、このようにして光強調画像を生成することで、画像内の照明分布を推定することなく、また画像内の照明分布に大きな影響を与えることなく、所定の領域へ光付加や光強調を行うことができるとともに、簡易な構成で画像の奥行き感向上を実現できる。
[第4実施形態]
図25から図34を用いて、本発明の第4実施形態として、陰影強調・光強調を利用して画像の奥行き感向上補正を行う画像処理方法及び画像処理装置400について説明する。
図25に、本実施形態に係る画像処理装置400の構成を示す。
画像処理装置400は、図25に示すように、主に、明るさ算出部11、明るさ対比算出部71、法線方向推定部13、陰影強調画像生成部14、光強調画像生成部50、合成部70、出力部15より構成される。
【0124】
図26に合成部70の構成を示す。合成部70は、図26に示すように、主に、合成係数算出部80、明るさ合成部81、色差成分算出部48より構成される。
図27に、明るさ対比算出部71を示す。明るさ対比算出部71は、図27に示すように、主に、周辺明るさ情報算出部91と明るさ対比量算出部92より構成される。
図28は、本実施形態に係る画像処理方法の処理フローチャートを示す。図29は、明るさ対比量算出処理のフローチャートを示す。図30は、陰影強調画像と光強調画像との合成ステップの処理フローチャートを示す。
この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、これらの撮影機器で取得したデジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話やカーモバイル機器・PDA等、あるいは、様々環境下で使用される大型映像表示機器等へ搭載される。
【0125】
本実施形態に係る画像処理装置400および画像処理方法の特徴は、第2実施形態例で得られた陰影強調画像と、第3実施形態例で得られた光強調画像とを合成して、両方の特徴である陰影付加効果と光付加効果をを合わせ持つ効果を実現させることで、より奥行き感が向上した画像生成を実施する点にある。
図28から図30の処理フローチャートをもとに処理の流れを示す。
画像処理装置400に画像データが入力され、各画素のデータが所定の明るさ情報Ki(x,y)へ変換される。この明るさ情報Ki(x,y)をもとに、明るさ対比量RKi(x,y)の算出を、明るさ対比算出部71が行う。
明るさ対比算出部71が、明るさ情報Ki(x,y)に対して視覚特性に応じた明るさ特性を示す情報を求める。この明るさ特性を示すものとしては、多くのものが考えられるが、より人間の見た目に近いような補正を実現するために、人間の視覚特性に対応した情報を用いることとした。人間の視覚特性として、多くのものがあり、明るさ対比特性を用いることとする。図31は、その特性を説明するための図である。この値(明るさ対比量)は、色に対する色対比が明るさ情報についても生じることが知られており、明るさ対比量は、その程度を数値化したものである。例えば、明るさの低い大きな円中心部分に、その周囲よりも明るさが高い小さな中心円がある例を考える。この場合、大きな円の中心部は、人間には、実際の明るさよりもより明るく感じる傾向があることが視覚心理より明らかとされている。この現象は、明るさ対比特性により生じる現象であり、対象物体の周囲を異なる明るさが取り囲む場合に、物体の明るさが、その周囲の明るさに影響を受けることにより発生する現象である。
【0126】
つまり、物体自体の明るさよりもその物体の周囲を取り囲む明るさが高い場合、物体の明るさは低く感じられる。逆に、物体自体の明るさよりもその物体の周囲を取り囲む明るさが低い場合、物体の明るさは高く感じられる。
また、図32を用いて、明るさ対比について説明する。図32は、同じ明るさ対比を1つの円の境界で考えるための説明図である。
中心の円は均一な明るさ情報を持つ。一方、左の矩形内は中心円よりやや高い明るさを持ち、右の矩形内は中心円よりもずっと低い明るさを持つ(ずっと暗い)とする。この場合、中心円境界上で2つの星印で示された位置の画素Aの明るさと画素Bの明るさとを確認する。本来、画素Aの明るさと画素Bの明るさとは、同じ明るさを持つ。しかし、画素Bでは、周辺領域内の明るさよりも画素Bがずっと明るいため、その対比効果により本来の画素Bの明るさよりもずっと明るく感じる傾向がある。それに対して、画素Aでは、周辺領域内の明るさよりも画素Aの明るさがやや低いため、これも対比効果により、本来の画素Aの明るさよりもやや暗く感じてしまう。その結果、ユーザは、画素Bの方が画素Aよりも明るく感じる現象が発生するのである。
【0127】
本発明では、この明るさ対比量RYi(x,y)を明るさ対比算出部71で求める。その際、明るさ対比量RYi(x,y)を求める際の周辺領域として、人間の視野に相当する画像の1/6から1/3程度を占める画素範囲(領域)を用いて処理することとする。この際、周囲の代表明るさAKi(x,y)としては、例えば、人間の視野領域に相当する所定の広さを持つ画素領域Ωi内の重み付き平均明るさを、対象画素i(x,y)の周囲の画素の代表明るさAKi(x,y)とすることが好ましいが、これ以外にも、視野領域内の画素を対象として、当該領域内の画素の明るさ(輝度)についてのヒストグラム(輝度ヒストグラム)を求め、その輝度ヒストグラムにおいて、最も度数の多い輝度値や、視野領域内の統計的分布をもとにしたクラスタリング処理で得られた代表輝度や、視野領域内の平均輝度度等を、代表明るさAYiとすることも可能である。
【0128】
また、明るさ対比量RKi(x,y)の定義としても、
(a)明るさ情報Ki(x,y)の、その周辺を代表する明るさ情報AKi(x,y)に対する比、
(b)明るさ情報Ki(x,y)から、その周辺を代表する明るさ情報AKi(x,y)を減算した値、
等の定義を採用することができる。なお、これ以外にも多くの定義があるが、ここでは対比をより明確に表すために、(a)の明るさ情報Ki(x,y)のその周辺を代表する明るさ情報AKi(x,y)に対する比を用いることとした。
【0129】
【数11】


【0130】
周辺代表明るさ算出部91が、周囲の代表明るさAKi(x,y)を求め、明るさ対比量算出部92が、明るさ対比量RKi(x,y)を(数式1)より求める。
また、法線方向推定部13が、各画素における法線方向ベクトルvHi(x,y)=(hx,hy,hz)を設定する。
陰影強調画像生成部14は、明るさ情報Ki(x,y)、法線方向ベクトルvHi(x,y)、およびエッジ情報EDGEi(x,y)をもとに、陰影成分が強調された陰影強調画像vSOi(x,y)を、第2実施形態と同様にして生成する。
また、光強調画像生成部50は、明るさ情報Ki(x,y)、法線方向ベクトルvHi(x,y)、およびエッジ情報EDGEi(x,y)をもとに、光付加を行われた光強調画像vLOi(x,y)を、第3実施形態と同様にして生成する。
【0131】
陰影強調画像生成部14および光強調画像生成部50により取得された2つの画像を合成部70が合成して、最終的な処理済み画像を生成する。
出力部15は、合成部70で得られた各画素i(x,y)の補正明るさ情報や補正色差そのまま出力することもできるが、合成部70で得られた各画素i(x,y)の補正明るさ情報や補正色差を、使用機器により扱うことのできる画像フォーマットに応じて変換して得られた処理画像データを出力するようにしてもよい。
なお、ここで、陰影強調画像生成部14および光強調画像生成部50は、陰影強調画像vSO(x,y)および光強調画像vLO(x,y)を出力し、合成部70で利用されるとした。
しかし、陰影強調画像生成部14が陰影強調画像内の陰影強調後の画素i(x,y)における明るさ情報SKi(x,y)を合成部70に出力し、光強調画像生成部50が光強調画像内の光強調後の画素i(x,y)における明るさ情報LKi(x,y)を合成部70に出力し、合成部70が明るさ情報SKi(x,y)および明るさ情報LKi(x,y)を、処理済み画像vOi(x,y)の明るさ情報OKi(x,y)の算出に利用し、その値と入力画像vIi(x,y)より得られる画素i(x,y)の明るさ情報Ki(x,y)、色差情報Cbi(x,y)、Cri(x,y)を使って、画素i(x,y)の処理済み画像の色差OCbi(x,y)、OCri(x,y)を算出しても良い。
【0132】
合成部70は、明るさ対比量RKi(x,y)を使って画素i(x,y)における光強調画像vLOi(x,y)の明るさ情報LKi(x,y)に掛かる結合係数wl2(0.0≦wl2≦1.0)を算出する。この場合、陰影強調画像vLOi(x,y)の明るさ情報SKi(x,y)に掛かる結合係数は、1.0−wl2となる。
《結合係数wl2の制御》
結合係数wl2の制御には多くの方法が考えられる。ここでは、その一例について説明する。
まず、第2実施形態による陰影強調画像vSOi(x,y)は、画像内の明るさがやや低下する可能性がある。一方、第3実施形態による光強調画像vLOi(x,y)は、画像内の明るさがやや上昇する可能性がある。
【0133】
そこで、画素i(x,y)における明るさ対比量RKi(x,y)が「1.0」よりずっと高い場合、陰影強調画像よりも光強調画像を優先し、得られた処理済み画像vOi(x,y)の明るさ情報OKi(x,y)を入力画像vIi(x,y)の明るさ情報Ki(x,y)に近づけることにより、処理済画像の画質によい効果をもたらすことができる。このことより、wl2=Func(RKi(x,y))のように、RKi(x,y)の増大に従い、w12の値が緩やかに単調増加するように、w12を設定する。その際、画素i(x,y)の明るさ情報Ki(x,y)が周囲の代表明るさ情報AKi(x,y)と同じ値の場合、対比量RKi(x,y)=1.0となるが、この場合は、光強調画像の明るさ情報LKi(x,y)と、陰影強調画像の明るさ情報SKi(x,y)とが処理済み画像vOi(x,y)に同じ程度貢献するとして、wl2=0.5となるように設定する。
【0134】
この処理は、第3合成係数算出部80により実行される。
明るさ合成部81が、第3合成係数算出部80で得られた結合係数wl2より、(数式12)のように、2つの画像の明るさ情報の合成を行い、処理済み画像の明るさ情報OKi(x,y)を求める。
【0135】
【数12】


【0136】
図33は、第2実施形態や第3実施形態で模式的に示した結果例1に対する処理済み画像の傾向(状況)を説明するための模式図である。図33は、左上から光を照射する仮想光源を設定した例であり、中心部が周辺領域より輝度が高い場合を示している。図33(a)における中心円の右下の領域(1)では、設定された光源方向と算出された法線方向が異なる(光源方向ベクトルと法線方向ベクトルとのなす角度が大きい)。そのため、この領域(1)では、図33(b)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとが大きく異なる(光源方向ベクトルと法線方向ベクトルとのなす角度が大きい)ことで光強調効果よりも陰影強調効果が強く発生する。つまり、この領域(1)では、高輝度円に接する低輝度円輪郭部(低輝度側)で輝度低下が発生し陰影強調が実施される。
【0137】
それに対して、図33(a)における中心円の左上の領域(2)では、設定された光源方向と算出された法線方向がほぼ一致する(光源方向ベクトルと法線方向ベクトルとのなす角度が小さい)。そのため、この領域(2)では、図33(c)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとが一致する方向に近づくことで陰影強調効果よりも光強調効果が強く発生する。つまり、この領域(2)では、高輝度円輪郭部(高輝度側)で光付加(輝度上昇)が実施され、光強調が実施される。
以上の結果として、画像処理装置400では、中心の高輝度円部分が正面に向かって凸に感じられる画像が得られる。
また、図34は、第2実施形態や第3実施形態で模式的に示した結果例2に対する処理済み画像の傾向(状況)を説明するための模式図である。図34は、左上から光を照射する仮想光源を設定した例であり、中心部が周辺領域より輝度が低い場合を示している。図34(a)における中心円の右下の領域(1)では、設定された光源方向と算出された法線方向がほぼ一致する(光源方向ベクトルと法線方向ベクトルとのなす角度が小さい)。そのため、この領域(1)では、図34(b)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとが一致する方向に近づくことで陰影強調効果よりも光強調効果が強く発生する。つまり、この領域(1)では、低輝度円に接する高輝度円輪郭部(高輝度側)で光付加(輝度上昇)が発生し光強調が実施される。
【0138】
それに対して、図34(a)における中心円の左上の領域(2)では、設定された光源方向と算出された法線方向が異なる(光源方向ベクトルと法線方向ベクトルとのなす角度が大きい)。そのため、この領域(2)では、図34(c)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとが大きく異なる(光源方向ベクトルと法線方向ベクトルとのなす角度が大きい)ことで光強調効果よりも陰影強調効果が強く発生する。つまり、領域(2)では、低輝度円輪郭(低輝度側)で輝度低下が発生し陰影の強調が実施される。
結果として、中心の高輝度円部分が正面より凹のようにややくぼんで感じられる画像が得られる。この凹凸感は、第2実施形態や第3実施形態の場合でも同様に発生するが、本実施形態に係る画像処理装置400では、この2つの異なる効果を加えることで、より奥行き感が向上した画像を得ることができる。
【0139】
次に、色差成分算出部48が、処理済み画像の明るさ情報OKi(x,y)、入力画像の明るさ情報Ki(x,y)、入力画像の色差情報Cri(x,y)およびCbi(x,y)により、処理済み画像の色差情報OCri(x,y)およびOCbi(x,y)を求める。これについては、前述の実施形態と同様に、以下の2通りの方法を適用することができる。
(i) OCbi(x,y)=Cbi(c、y)、OCri(x,y)=Cri(x,y)のように、入力画像の色差を処理済み画像の色差に適用する。
(ii) 明るさ情報の改善比Ratio=OKi(x,y)/Ki(x,y)を使って色差の改善比RatioCrCbを求め、入力画像の色差Cri(x,y)、Cbi(x,y)に乗算して算出する。
【0140】
これ以外にも多くの方法があるが、色差成分算出部48は、このように処理済み画像の色差を算出する。
出力部15は、合成部70で得られた各画素i(x,y)の処理済み画像vOi(x,y)を、使用機器で扱うことのできる画像フォーマットに応じて変換して得られた処理画像データを出力する。
このように、画像処理装置400では、陰影強調画像と光強調画像の合成を行うことで、両方の特徴である陰影付加と光付加効果を合わせ持つ画像を生成することができ、より奥行き感が向上した画像を得ることができる。また、画像処理装置400では、第2実施形態の方法での明るさがやや低下する可能性や、第3実施形態の方法での明るさがやや上昇する可能性を抑え、画質の点でも優れた画像を得ることが可能となる。
【0141】
[第5実施形態]
図35に示された第5実施形態の画像処理装置500について説明する。
画像処理装置500は、第4実施形態の画像処理方法および画像処理装置において、フィルタ処理後の明るさ情報値により法線方向ベクトルを推定するとともに、明るさ情報とフィルタ後の明るさ情報の差分値に比例した値を陰影強調・光強調後の合成画像の明るさ情報に加算することを特徴とする。
図35に示す画像処理装置500において、フィルタ処理部72、差分明るさ算出部73、補正分算出部74、以外は、第4実施形態と同様であるので、説明を省略する。法線方向推定部13、陰影強調画像生成部14、光強調画像生成部50では、フィルタ処理部72で得られた平滑化明るさLKi(x,y)に対して、第4実施形態と同様の処理が実施される。
【0142】
フィルタ処理部72は、明るさ情報算出部11で得られた明るさ情報Ki(x,y)に対して画像内における平滑化フィルタ処理を行い、平滑化後の明るさ情報LKi(x,y)を求める。
この目的は、弱い輪郭やテクスチャでの微小輝度変動により生じる法線方向ベクトル変動を抑えることで、弱い輪郭やテクスチャへの陰影強調・光強調の効果を抑えることである。よって、フィルタ処理部72で使用されるフィルタは、除去したい周波数の大きさ(カットオフ周波数)に応じた重みを持つ平滑フィルタが適用され、例えば、中心画素(対象画素)i(x,y)とフィルタ内画素j(s,t)間の距離lenに対するガウス分布を重み係数g(s,t)に持つ平滑化フィルタが適用される。また、中心画素とフィルタ内対象画素間の距離に対するガウス分布の重み係数g(s,t)に、中心画素の明るさKi(x,y)とフィルタ内画素の明るさKj(s,t)の差より得られた値を乗算したバイラテラルフィルタを用いることで、画像上の輪郭付近のある程度大きな明るさ(輝度)を保持しながら、明るさの平滑化を行ってもよい。フィルタのサイズも除去したいテクスチャサイズや処理時間を考慮した適切な固定の大きさ(例えば、11画素×11画素や5画素×5画素、7画素×7画素)でもよいし、対象部分のテクスチャのもつ周波数成分よりフィルタサイズを決定する機能部を設け、そのフィルタサイズをもとに明るさ情報の平滑化処理を行うことも可能である。さらに、画像内を所定サイズのブロック領域に分割し、各ブロック内の平均明るさを算出する。そして、対象画素が含まれるブロックの平均輝度で平滑化明るさを代用することも可能である。さらに、ブロック単位での平滑化フィルタを行い、対象画素が含まれるブロックの平滑化された平均明るさとその周囲ブロックの平滑化された平均明るさとを使った補間処理で対象画素の平滑化明るさを求めるようにしてもよい。
【0143】
差分明るさ算出部73では、フィルタ処理部72で得られた平滑化明るさLKi(x,y)と明るさKi(x,y)との差分明るさsubKi(x,y)を、(数式13)により求める。
【0144】
【数13】


【0145】
そして、この差分明るさsubKi(x,y)に所定の正係数ηをかけた値を補正高周波分dOKi(x,y)(=η×subKi(x,y))として、合成部70で得られた処理済画像に加えるのである。
平滑化された明るさに陰影・光強調処理をすることで、弱い輪郭やテクスチャへの過剰補正を抑制できるが、平滑化したことで高周波成分が落ちてしまい、ぼやけた処理画像となる可能性がある。
そこで、補正分算出部74により、平滑化で落ちてしまった高周波成分を補正・加算することで、その弊害を抑制することができる。
[第6実施形態]
図36に示された第6実施形態の画像処理装置600について説明する。
【0146】
画像処理装置600は、本発明の第5実施形態において、陰影強調画像・光強調画像ともに変動量のみを算出することとしたものである。
図36に示す画像処理装置600において、陰影による減少生成部75と光による加算生成部76、変化分合成部77以外は、第5実施形態と同様であるので、説明を省略する。
法線方向推定部13は、フィルタ処理部72で得られた平滑化後の明るさ情報LKi(x,y)をもとに実施される。これを受けて陰影による減少生成部75と光による加算生成部76とが、それぞれ、陰影付加処理と光付加処理とを実施する。
陰影による減少生成部75では、第5実施形態の陰影強調画像生成部14における陰影強調後の明るさ情報dSKi(x,y)に、強度SStと制御係数wksとを掛けた値と、平滑された明るさ情報LKi(x,y)との差分を求め、その値を陰影付加により発生する減少明るさ情報subdSKi(x,y)とする。
【0147】
また、光による加算生成部76は、第5実施形態の光強調画像生成部50における仮想光源成分cKci(x,y)による光付加後の明るさ情報dLKi(x,y)に、強度LStと制御係数wklとを掛けた値と、平滑化された明るさ情報LKi(x,y)との差分を求め、その値を光付加により発生する加算明るさ情報subdKi(x,y)を求める。
変化分合成部77は、この2つの値(減少明るさ情報subdSKi(x,y)と加算明るさ情報subdKi(x,y))を平滑化された明るさ情報LKi(x,y)に加えた処理済画像の明るさ情報OKi(x,y)を求め、補正分算出部74で得られた補正分dOKi(x,y)で補正する処理を実施する。
こうすることで、陰影強調画像生成部14や光強調画像生成部50で実施していた、その時点での平滑化された明るさ情報LKi(x,y)との重み付け合成をする処理を削減できる。
【0148】
変化分合成部77は、陰影による減少明るさ情報subdSKi(x,y)と光付加による加算明るさ情報subdLKi(x,y)とに、明るさ対比量RKi(x,y)による重み係数(1.0−wl2)とwl2とを、それぞれ乗算した値と平滑化された明るさLKi(x,y)との和を求め、OKi(x,y)とする。つまり、変化分合成部77は、(数式14)に示す処理を行い、OKi(x,y)を生成する。
【0149】
【数14】


【0150】
この後、変化分合成部77は、このOKi(x,y)を補正分算出部74で得られた補正分dOKi(x,y)で補正する。
この場合、重み係数wl2は、前述の実施形態の場合と同様でもよいが、前述の実施形態よりも補正程度が大きくなる可能性があるので、
subdSKi(x,y)×(1−wl2)+subdLKi(x,y)×wl2
に所定の正係数σ(σ≦1.0)を掛けたあとで、LKi(x,y)に加えるようにしてもよい。
ここでのポイントは、陰影強調・光強調における処理量削減であり、第5実施形態への適用を説明したが、第4実施形態への本処理における陰影による減少生成部75と光による加算生成部76、変化分合成部77を適用することも可能である。
【0151】
[第7実施形態]
図37〜図39で示された第7実施形態の画像処理方法および画像処理装置について説明する。
本実施形態に係る発明は、前述の実施形態における画像処理方法および画像処理装置における法線方向推定部13において、x方向、y方向ともに差分量が小さい場合に発生する法線方向の変動が小さくなる弊害を改善するものであり、エッジ量の大きさを変数とする関数でさらにx,y方向の成分の大きさもしくはz方向の成分の大きさを制御することで法線方向の変動を大きくしたものである。この点が、本実施形態に係る発明の特徴である。
図37は、本実施形態に係る法線方向推定部13の構成を表すブロック図である。図37に示すように、本実施形態に係る法線方向推定部13において、XY成分強調量算出部13100と法線方向ベクトル調整部101とが追加機能を果たす。
【0152】
図38に、この法線方向推定部13での処理のフローチャートを示す。この処理以外は、前述の実施形態と同様なので、説明を省略する。
まず、対象画素i(x,y)の明るさ情報(たとえば輝度)Ki(x,y)のX方向、Y方向における変化分dKx,dKyを求める(S30)。この大きさを成分に持つベクトルvd(dKx,dKy)がエッジベクトルに相当し、その大きさlenがエッジ量となる。この値をもとに、仮の法線方向ベクトルvHti(x,y,z)=(dKx,dKy、1)を設定する。
次に、X方向成分dKxとY方向成分dKyとを補正する補正係数xykeisuを求め(S100)、この値により仮の法線方向ベクトルvHti(x,y,z)のXY成分を補正することで、法線方向ベクトルvHi(x,y,z)を求めるが、ここでは、法線方向ベクトルvHiの大きさを正規化する(大きさを「1」にする)ために、まず、ベクトルvdd(dKx×xykeisu、dKy×xykeisu、1)の大きさLENDを求める。
【0153】
そして、このLENDでベクトルvddの大きさを正規化したベクトルが調整済みの法線方向ベクトルvHi(x,y)となる。(数式15)は、それを示す。なお、法線方向男ベクトルの大きさを「1」に正規化することは必須ではない。
この処理について、図39を用いて説明する。
図39の左図は、第2実施形態から第4実施形態までの法線方向ベクトルを模式的に示すものである。この場合、課題として明るさ情報Ki(x,y)のXY方向微分量が小さい場合が多く、その場合に法線方向の変化が輪郭付近であってもあまり大きくならない場合があることが挙げられる。
本実施形態に係る発明では、図39の右図のように、XY方向の微分量で設定された法線方向ベクトルvHiのX,Y成分をエッジ量で制御する係数xykeisuを求め、そのX,Y成分を制御することで、法線方向に変化を与える。特に、本実施形態に係る発明は、輪郭付近で、よりX,Y成分を大きく保つとともに、平坦部でのX,Y成分を小さくすることで、図39の右図のように、断面図の立体感をより効果的に表現できる法線方向ベクトルvHiを求めることが特徴である。この制御係数xykeisuは、いろいろ考えられるが、一例として、本発明では、(数式16)を用いる。
【0154】
【数15】


【0155】
【数16】


【0156】
(数式16)でxyMaxは、制御係数の最大値を表す正定数であり、xydeltaは制御変数の分散程度を表す正定数である。xydeltaとして、画像内のエッジ量lenの最大値を用いてもよい。(数式16)に示すxykeisuを用いることで、xykeisuは、「1」〜「1+xyMax」を変動することとなり、仮法線方向ベクトルvHti(「仮法線方向ベクトル」を「仮法線ベクトル」ということがある。以下、同じ。)におけるX,Y成分を始点として、エッジ量に応じてX,Y成分の値を大きくすることとなる。なお、(数式16)の変わりに、(数式17)を用いてもよい。
(数式17)の場合、エッジ量が小さいときは、法線方向ベクトルのX,Y成分は「0」に近付き、より平坦部の法線を示すこととなる。この場合は、(数式16)よりも輪郭部の法線方向と平坦部の法線方向との差がより大きくなることで立体感が増す可能性があるが、その反面、微小変動の影響を受け、法線方向が振れすぎるおそれもある。
【0157】
【数17】


【0158】
なお、エッジ量でX,Y成分を制御する係数xykeisu以外にも、XY成分以外にZ成分を制御することでも、より立体感を効果的に表現できる法線方向ベクトルの調整が可能である。この場合、エッジ量lenが大きいほどZ成分を制御する係数を大きくすることとなる。
このように、本実施形態の発明は、法線方向推定において、x方向、y方向ともに差分量が小さい場合に発生する法線方向の変動が小さくなる弊害を改善するものであり、エッジ量の大きさを変数とする関数でさらにx,y方向の成分の大きさもしくはz方向の成分の大きさを制御することで法線方向の変動を大きくしたものである。特に、本実施形態の発明は、画像上の弱い輪郭付近での法線方向ベクトルが、z方向の成分値よりもx,y方向成分値が小さいことにより画像平面において垂直方向のベクトルからあまり変動せず、法線方向ベクトルにより決定される立体曲面が凸形状となりにくい傾向があることを改善するものである。
【0159】
[第8実施形態]
図40〜図42で示した第8実施形態の画像処理方法および画像処理装置について説明する。
本実施形態に係る発明は、第2から第6実施形態に係る画像処理方法および画像処理装置における法線方向推定部13において、x方向、y方向ともに差分量が小さい場合に発生する法線方向の変動が小さくなる弊害を改善するものであり、明るさ対比量RKiの大きさを変数とする関数でz方向の成分の大きさを制御することで法線方向の変動を大きくしたものである。この点が、本実施形態に係る発明の特徴である。
図40は、本実施形態に係る法線方向推定部13の構成を表すブロック図である。図40に示すように、明るさ対比算出部71とZ成分算出部110が加えられている点が前述の実施形態と異なる。ここでの明るさ対比算出部71は、第4実施形態におけるものと同じ処理をするものであり、第4、5、6実施形態では兼用することとなる。
【0160】
また、第2、第3実施形態では、明るさ対比算出部71が法線方向推定部13内に追加されることとなる。
図41に、本実施形態の法線方向推定部13の処理のフローチャートを示す。この処理以外は、第2から第6実施形態と同様なので、説明を省略する。
まず、対象画素i(x,y)の明るさ情報(たとえば輝度)Ki(x,y)のX方向、Y方向における変化分dKx,dKyを求める(S30)。この大きさを成分に持つベクトルvd(dKx,dKy)がエッジベクトルに相当し、その大きさlenがエッジ量となる(S31)。
この後、第4実施形態で説明した、対象画素i(x,y)の明るさ情報Ki(x,y)とその周辺画素の明るさ情報を代表する周辺代表明るさ情報AKi(x,y)の比を明るさ対比量RKi(x,y)として求める(S12)。この値RKi(x,y)を使って、法線方向ベクトルvHi(x,y)のZ成分を求める。
【0161】
《z方向算出の考え方》
このz方向算出の考え方を、模式的に示したのが図42である。
図42(a)における座標での膨らみをもつ断面に対して設定される法線方向ベクトルのXY成分は、対応する明るさ情報のX,Y方向微分量で設定される。それに対して、図42(b)に示すように、得られる明るさ対比量RKi(x,y)を使って、図42(c)のように、Z成分を決定するのである。これは、RKiが「1」に近いほど、大域的に平坦な部分にあると考えられるので、Z成分はそのまま「1」とする。
一方、RKiが「1」より離れるほど、大域的に平坦部から離れ、輪郭部へ近づくと考えられる。したがって、(RKi−1.0)の絶対値に応じて、Z成分を小さくすることで得られる法線方向ベクトルvHi(x,y)は、輪郭の特徴を表すこととなる。本実施形態に係る発明は、この考え方を適用して、実現されたものである。
【0162】
本実施形態の発明では、明るさ対比量で法線方向ベクトルを補正することで、第2から第6実施形態における法線方向推定において、x方向、y方向ともに差分量が小さい場合に発生する法線方向の変動が小さくなる弊害を改善でき、より立体感を効果的に表現する法線方向ベクトルを得ることができる。特に、本実施形態の発明では、画素エッジ量を用いるよりも、明るさ対比量を法線方向ベクトルのZ成分制御に用いることで微小の明るさ変動量に左右される影響が小さくなり、外光や伝送による明るさ変動の影響を受けにくく安定して効果的な法線推定が可能となる。
[第9実施形態]
図43〜図45で示した第9実施形態の画像処理方法および画像処理装置について説明する。
【0163】
図43は、本実施形態に係る法線方向推定部13の構成を示すブロック図である。図44に、本実施形態に係る法線方向推定方法の手順を示す。これ以外の部分については、前述の実施形態と同様のため、説明を省略する。
図43および図44をもとに、本実施形態の画像処理方法における法線方向推定方法について説明する。
本実施形態に係る発明は、明るさ対比量RKi(x,y)を組み合わせた視覚的奥行き量Zdを定義し、Zdをもとに、対象画素i(x,y)における法線方向ベクトルvHi(x,y)を求めるものである。この点が、本実施形態に係る発明の特徴である。
まず、本実施形態に係る法線方向推定部13は、対象画素i(x,y)の明るさ情報のX,Y方向における変化分(X方向の微分量、Y方向の微分量)dKx,dKyを求め、ベクトルvd(dKx,dKy)の大きさlenを求める。このlenがエッジ量EDEGEiとなり、以降の機能部で使用される。
【0164】
その後、本実施形態に係る法線方向推定部13は、明るさ対比量RKi(x,y)を求め、この値(明るさ対比量RKi(x,y))を明るさ情報Ki(x,y)に組み合わせた視覚的奥行き量Zdを求める。
この視覚的奥行き量の定義としては、多くの方式があり、ここでは、(数式18)のように、Gk(K(x,y)、AK(x,y))で表現する。(数式18)では、画素iの値であることを示す下付き文字(添え字)iを削除している。AKi(x,y)は周辺平均明るさ情報(例えば、対象画素i(x,y)の周辺画素の明るさ情報の平均値がこれに相当する。)を示す。
【0165】
【数18】


【0166】
視覚的奥行き量Zdは大きいほど、見ている人間までの距離が近いことを示し、gKは明るさ対比量RKの関数であることを示す。
一般に、(1)人間の視覚は、明るさ情報をもとに物体までの距離感を感じることが指摘されている。また、(2)注目部分の明るさが周辺内の明るさよりも高い場合、人間は、心理効果として、注目部分をより明るく感じることが指摘されている。
つまり、同じ明るさを持つ部分であっても、周辺より明るい部分の方が、より人間から見て、近く感じるといえる。
(数式18)で定義した視覚的奥行き量は、上記(1)および(2)を考慮して、より人間の視覚に合うような奥行き感を定義することで導出されたものである。
図45は、その視覚的奥行き量Zdから法線方向ベクトルvHi(x,y)を算出する様子を数式的に示している。
【0167】
(数式18)におけるZdは、K(x,y)、AK(x,y)の関数であり、この2つは、画素位置i(x,y)の関数である。このため、法線方向ベクトルのための3次元空間におけるz成分にZdをおいて、そのzの微小量dzを求める。ここで、周辺明るさ情報AK(x,y)は、視野に相当する画像内の領域(視野領域)である、画像内の全画像領域の1/3から1/4、あるいは1/6の大きさを持つ領域の平均の明るさに相当する。つまり、周辺明るさ情報AK(x,y)は、視野領域に相当する大局的に広い周辺領域内の平均明るさに相当するもので、そのx座標に対する変動量∂(AK)/∂xや、そのy座標に対する変動量∂(AK)/∂yは「0」と見なすことができる。
その結果、法線方向ベクトルvHi(x,y)(=(hx,hy,hz))は、(数式19)のようになる。
【0168】
【数19】


【0169】
このため、本実施形態の処理では、視覚的奥行き量Zdをもとにして、第2から第6実施形態で示した法線方向ベクトルのX方向成分とY方向成分とを補正する制御係数GKeisu=∂(Gk)/∂Kを求める。この値は、(数式18)で示されるように、明るさK(x,y)と明るさ対比量RK(x,y)とで得られる値Gkの、明るさK(x,y)に対する変化分の形で求めることができる。
ベクトルvdd(−dKx×GKeisu、−dKy×GKeisu、1)は、制御係数で補正した後の、正規化していない法線方向ベクトルになり、本実施形態の発明では、その大きさLENDをもとに各成分を正規化することで、法線方向ベクトルvHi(x,y)を求める。
なお、(数式18)のgKとして多くの定義があるが、一例として(数式20)を示す。(数式20)で、λは改善程度を表す正定数である。
【0170】
【数20】


【0171】
以上により、本実施形態の発明では、第2から第6実施形態における法線方向推定において、x方向、y方向ともに差分量が小さい場合に発生する法線方向の変動が小さくなる弊害を改善することができる。特に、本実施形態の発明では、第2から第6実施形態における対象部分の輝度のみの関数で定義した奥行き量に、明るさ対比により発生する効果を考慮した視覚的奥行き量を定義し、その視覚的奥行き量より法線方向を求めることで、明るく明るさ対比が高い画像上の領域(画素)ほど、ユーザにより近く感じる視覚心理に応じて補正された法線推定が可能となる。
【0172】
【数21】


【0173】
なお、視覚的奥行き量Zdの定義として、(数式18)以外に、(数式21)のように明るさK(x,y)と明るさ対比量RK(x,y)との関数であるgK(RK(x,y))の積等による形や、K(x,y)とRK(x,y)とを変数とする非線形変換関数を用いることも可能である。
[第10実施形態]
図46〜図50で示された第10実施形態の画像処理方法および画像処理装置について説明する。
図46は、本実施形態に係る法線方向推定部13の構成を示すブロック図である。図44に、本実施形態に係る法線方向推定方法の手順を示す。これ以外の部分については、前述の実施形態と同様のため、説明を省略する。
【0174】
本実施形態に係る発明は、色対比量RCi(x,y)を組み合わせた視覚的奥行き量Zdを定義し、Zdをもとに、対象画素i(x,y)における法線方向ベクトルvHi(x,y)を求めるものである。
色対比特性の概念は、図48および図49に模式的に示されている。この図48では、灰色背景の中に中心部分が開いた赤と青の2つの円が描かれている。なお、2つの円の中心領域は、背景と同じ灰色をしているとする。人が、これらの円を、図48に示す星印にある視線位置に注目して観察した場合、人は、赤色円の中心をやや青く感じる傾向があり、また、青色円の中心をやや赤く感じる傾向がある。この現象は、視覚心理より明らかとされており、色対比特性により生じる現象である。色対比特性とは、対象物体の周囲を異なる彩度や色相が取り囲む場合に、対象物体の彩度や色相に与える影響のことをいう。そして、以下の(1)および(2)に示す特性が明らかになっている。
【0175】
(1)対象物体の色相と異なる色相が対象物体を取り囲む場合、対象物体に周囲の色相の補色が加わって感じられる。
(2)対象物体の彩度よりも対象物体の周囲を取り囲む彩度が高い場合、対象物体の彩度は、低く感じられる。逆に、対象物体の彩度よりも対象物体の周囲を取り囲む彩度が低い場合、対象物体の彩度は高く感じられる。
本発明では、この色対比特性を用いて、画素の色情報補正を行うことでより、人間の視覚に近い印象を与える(人間が画像(映像)を見たときに人間の視覚特性上自然と感じる)画像補正を行うのである。例えば、色情報vCi(Ciのベクトルデータ)の中から彩度Vi(x,y)を補正対象Ci(x,y)とした場合、図48に模式的に示すように、彩度補正を行うことで人間の視覚に近い印象を促進できると考えられる。つまり、図48の左円のように円の中心に対象画素i(x,y)があり、対象画素i(x,y)の彩度Vi(x,y)が、対象画素i(x,y)の周囲の画素(複数の画素)の代表彩度AVi(x,y)(例えば、周囲の画素の彩度の(重み付き)平均値)よりも低い場合には、対象画素i(x,y)の彩度Vi(x,y)を減少させることで、良好な画像補正(色情報補正)が実現される。逆に、右円のように対象画素i(x,y)の彩度Vi(x,y)が、対象画素i(x,y)の周囲の画素(複数の画素)の代表彩度AVi(x,y)よりも高い場合には、対象画素iの彩度Vi(x,y)を上昇させることで、良好な画像補整(色情報補正)が実現される。以上のような処理を行うことで、人間の視覚特性上、好ましい画像(映像)補正(色情報補正)が実現される。対象画素i(x,y)の周囲の代表彩度Vi(x,y)としては、例えば、人間の視野領域に相当する所定の広さを持つ画素領域Ωi内の重み付き平均彩度を、対象画素i(x,y)の周囲の画素の代表彩度とすることが好ましいが、これ以外にも、視野領域内の画素を対象として、当該領域内の画素の彩度についてのヒストグラム(彩度ヒストグラム)を求め、その彩度ヒストグラムにおいて、最も度数の多い彩度値や、視野領域内の統計的分布をもとにしたクラスタリング処理で得られた代表彩度や、視野領域内の平均彩度等を代表彩度Vi(x,y)とすることも可能である。上記のように、彩度による色情報補正を行う場合、各画素i(x,y)における彩度以外の色情報は保存することで、画像のバランスを保つことができ、視覚特性上、自然な色情報補正が実現される。
【0176】
また、色情報vCiの中から色相Hi(x,y)を補正対象Ci(x,y)とした場合、図49に模式的に示すように、色相補正を行うことで人間の視覚に近い印象を促進できると考えられる。つまり、図49の左円のように円の中心に対象画素i(x,y)があり、対象画素i(x,y)の色相Hi(x,y)よりも対象画素i(x,y)の周囲の画素(複数の画素)の代表色相AHi(x,y)(例えば、周囲の画素の色相の(重み付き)平均値)が赤い(色相が赤方向により近い)場合には、対象画素i(x,y)の色相Hi(x,y)を青方向へ動かすことで、良好な画像補正(色情報補正)が実現される。この際、色相以外の色情報は保存される(変更されない)。また、色相に関しても、色相を急激に変化させることで画像上に発生する弊害を抑制するために、色相の移動量(変化量)を抑制することで、画像のバランス(色のバランス)をできるだけ保持することができる。つまり、色相の移動量(変化量)を抑制することで、視覚特性上、画像の色が不自然になることを防止することができる。逆に、右円のように対象画素i(x,y)の色相Hi(x,y)が、対象画素i(x,y)の周囲の画素の代表色相AHi(x,y)よりも青い(色相が青方向により近い)場合には、対象画素iの色相Hi(x,y)を赤方向へ動かことで、良好な画像補正(色情報補正)が実現される。対象画素i(x,y)の周囲の画素の代表色相AHi(x,y)としては、人間視野領域に相当する所定の広さを持つ画素領域Ωi内の重み付き平均色相を、対象画素i(x,y)の周囲の画素の代表色相とすることが好ましいが、これ以外にも、視野領域内の画素を対象として、当該領域内の画素の色相についてのヒストグラム(色相ヒストグラム)を求め、その色相ヒストグラムにおいて、最も度数の多い色相値や、視野領域内の統計的分布をもとにしたクラスタリング処理で得られた代表色相や、視野領域内の平均色相等を代表色相AHiとすることも可能である。なお、ここでは、色相Hiを所定の方向へ動かすことにより、色情報補正を行う場合について説明したが、YCbCr空間における色差CbとCrとを変化させることでも色相を動かす(変化させる)ことも可能である。この場合、定性的には、色差Cbの成分を大きくすることで青成分が発生し、色差Crの成分を大きくすることで赤成分が発生する。
【0177】
次に、図46および図47を用いて、本実施形態における画像処理装置内の法線方向推定部13について説明する。
まず、本実施形態に係る法線方向推定部13は、対象画素i(x,y)の明るさ情報のX,Y方向における変化分(X方向の微分量、Y方向の微分量)dKx,dKyを求め、ベクトルvd(dKx,dKy)の大きさlenを求める。このlenがエッジ量EDEGEiとなり、以降の機能部で使用される。
その後、本実施形態に係る法線方向推定部13は、色対比量RCi(x,y)を求め、この値(色対比量RCi(x,y))を明るさ情報Ki(x,y)に組み合わせた視覚的奥行き量Zdを求める。
この視覚的奥行き量の定義としては、多くの方式があり、ここでは、(数式22)のように、Gv(K(x,y)、AV(x,y))で表現する。(数式22)では、色対比量RCi(x,y)として彩度対比量RVi(x,y)を選択し、画素iの値であることを示す下付き文字(添え字)iを削除している。そして、AVi(x,y)は、周辺平均彩度情報を示す。
【0178】
【数22】


【0179】
視覚的奥行き量Zdは大きいほど、見ている人間までの距離が近いことを示し、gVは彩度対比量RVの関数であることを示す。
一般に、(1)人間の視覚は、明るさ情報をもとに物体までの距離感を感じることが指摘されている。また、(2)人間は、鮮やかな色に高い関心を示す傾向にあり、注目部分の色(彩度、色相等)が周辺の色よりも高い(例えば、彩度が高い(色が鮮やかである))場合、注目部分の色をより濃く鮮やかに感じることが指摘されている。
つまり、同じ明るさを持つ部分であっても、周辺より鮮やかな部分の方が、より人間から見て近く感じるといえる。
(数式22)で定義した視覚的奥行き量は、上記(1)および(2)を考慮して、より人間の視覚に合うような奥行き感を定義することで導出されたものである。
【0180】
図50は、その視覚的奥行き量Zdから法線方向ベクトルvHi(x,y)を算出する様子を数式的に示している。
(数式22)におけるZdは、K(x,y)、AV(x,y)の関数であり、この2つは、画素位置i(x,y)の関数である。このため、法線方向ベクトルのための3次元空間におけるz成分にZdをおいて、そのzの微小量dzを求める。ここで、周辺彩度AV(x,y)は、視野に相当する画像内の領域(視野領域)である、画像内の全画像領域の1/3から1/4、あるいは1/6の大きさを持つ領域の平均の彩度に相当する。つまり、周辺彩度AV(x,y)は、視野領域に相当する大局的に広い周辺領域内の平均彩度に相当するもので、∂(AV)/∂xや、∂(AV)/∂yは、「0」と見なすことができる。
【0181】
その結果、法線方向ベクトルvHi(x,y)(=(hx,hy,hz))は(数式23)のようになる。
【0182】
【数23】


【0183】
このため、本実施形態の処理では、視覚的奥行き量Zdをもとにして、第2から第6実施形態で示した法線方向ベクトルのX方向成分とY方向成分とを補正する制御係数GKeisu=∂(Gt)/∂Kを求める。この値は、(数式22)で示されるように、明るさK(x,y)と色対比量RV(x,y)とで得られる値Gvの、K(x,y)に対する変化分の形で求めることができる。
次に、ベクトルvdd(−dKx×GKeisu、−dKy×GKeisu、1)は、制御係数で補正した後の、正規化していない法線方向ベクトルになり、本実施形態の発明では、その大きさLENDをもとに各成分を正規化することで、法線方向ベクトルvHi(x,y)を求める。
なお、(数式22)のgVとして多くの定義があるが、一例として(数式24)を示す。(数式24)で、λは改善程度を表す正定数である。
【0184】
【数24】


【0185】
以上により、本実施形態の発明では、第2から第6実施形態における法線方向推定において、x方向、y方向ともに差分量が小さい場合に発生する法線方向の変動が小さくなる弊害を改善することができる。特に、本実施形態の発明では、第2から第6における対象部分の輝度のみの関数で定義した奥行き量に、色対比による発生する効果を考慮した視覚的奥行き量を定義しその視覚的奥行き量より法線方向を求めることで、明るく色対比効果が高い部分ほど鮮やかに、かつ、明るく感じ、ユーザにより近く感じる視覚心理に応じて補正された法線推定が可能となる。
【0186】
【数25】


【0187】
なお、視覚的奥行き量Zdの定義として、(数式22)以外に、(数式25)のように明るさK(x,y)と色対比量RV(x,y)との関数であるgV(RV(x,y))の積等による形や、K(x,y)とRV(x,y)とを変数とする非線形変換関数を用いることも可能である。
[第11実施形態]
図51から図53で示された第11実施形態の画像処理方法および画像処理装置について説明する。図51は、本実施形態における法線方向推定部13の構成を示すブロック図である。図52は、本実施形態に係る法線方向推定方法の手順を示す。これ以外の部分については、前述の実施形態と同様のため、説明を省略する。
図51および図52をもとに本実施形態の画像処理方法における法線方向推定方法について説明する。
【0188】
本実施形態に係る発明は、第9実施形態における明るさ対比量RKi(x,y)と第10実施形態における色対比量RCi(x,y)とを組み合わせた視覚的奥行き量Zdをもとに、対象画素i(x,y)における法線方向ベクトルvHi(x,y)を求めるものである。
まず、対象画素i(x,y)の明るさ情報のX,Y方向における変化分(X方向の微分量、Y方向の微分量)dKx,dKyを求め、ベクトルvd(dKx,dKy)の大きさlenを求める。このlenがエッジ量EDEGEiとなり、以降の機能部で使用される。
その後、明るさ対比量RKi(x,y)と色対比量RCi(x,y)とを求め、この2つの値を明るさ情報Ki(x,y)に組み合わせた視覚的奥行き量Zdを求める。
【0189】
この視覚的奥行き量の定義としては、多くの方式があり、ここでは、(数式26)のように、第9実施形態と第10実施形態を線形結合したGt(K(x,y),AK(x,y),AV(x,y))で表現する。(数式26)では、色対比量RCi(x,y)として彩度対比量RVi(x,y)を選択し、画素iの値であることを示す下付き文字(添え字)iを削除している。そして、AKi(x,y)は、周辺平均明るさ情報を示し、AVi(x,y)は、周辺平均彩度情報を示す。
【0190】
【数26】


【0191】
視覚的奥行き量Zdは大きいほど、見ている人間までの距離が近いことを示し、gKは明るさ対比量RKの関数であり、gVは彩度対比量RVの関数であることを示す。α、βは、所定の定数である。
一般に、第9および第10実施形態で示したように、(1)人間の視覚は、明るさ情報をもとに物体までの距離感を感じることが指摘されている。また、(2)人間は、注目部分の明るさが周辺内の明るさよりも高い場合、注目部分をより明るく感じること、また、(3)人間は、鮮やかな色に高い関心を示す傾向にあり、注目部分の色(彩度、色相等)が周辺の色よりも高い場合、注目部分の色をより濃く鮮やかに感じることが指摘されている。つまり、同じ明るさを持つ部分であっても、周辺より明るく鮮やかな部分の方が、より人間から見て近く感じるといえる。
【0192】
(数式26)で定義した視覚的奥行き量は、上記(1)〜(3)を考慮して、より人間の視覚に合うような奥行き感を定義することで導出されたものである。
図53では、その視覚的奥行き量Zdから法線方向ベクトルvHi(x,y)を算出する様子を数式的に示す。
(数式26)におけるZdは、K(x,y)、AK(x,y)、およびAV(x,y)の関数であり、この3つの関数は、画素位置i(x,y)の関数である。このため、法線方向ベクトルのための3次元空間におけるz成分にZdをおいて、そのzの微小量dzを求める。ここで、周辺明るさ情報AKは、視野に相当する画像内の領域(視野領域)である、画像内の全画像領域の1/3から1/4、あるいは1/6の大きさを持つ領域の平均の明るさに相当する。つまり、周辺明るさ情報AK(x,y)は、視野領域に相当する大局的に広い周辺領域内の平均明るさに相当するもので、そのx座標に対する変動量∂(AK)/∂xや、そのy座標に対する変動量∂(AK)/∂yは、「0」と見なすことができる。
【0193】
同様に、周辺彩度AVは、視野に相当する画像内の領域(視野領域)である、画像内の全画像領域の1/3から1/4、あるいは1/6の大きさを持つ領域の平均の明るさに相当する。つまり、周辺彩度情報AV(x,y)は、視野領域に相当する大局的に広い周辺領域内の平均彩度に相当するもので、∂(AV)/∂xや∂(AV)/∂yは、「0」と見なすことができる。
その結果、法線方向ベクトルvHi(x,y)(=(hx,hy,hz))は(数式27)のようになる。
【0194】
【数27】


【0195】
このため、本実施形態の処理では、視覚的奥行き量Zdをもとにして、第2から第6実施形態で示した法線方向ベクトルのX方向成分とY方向成分を補正する制御係数GKeisu=∂(Gt)/∂Kを求める。
次に、ベクトルvdd(−dKx×GKeisu、−dKy×GKeisu、1)は、制御係数で補正した後の、正規化していない法線方向ベクトルになり、本実施形態の発明では、その大きさLENDをもとに各成分を正規化することで、法線方向ベクトルvHi(x,y)を求める。
なお、(数式26)のgK、gVとして多くの定義があるが、一例として(数式28)を示す。(数式28)で、λおよびμは改善程度を表す正定数である。
【0196】
【数28】


【0197】
以上により、本実施形態の発明では、第2から第6実施形態における法線方向推定において、x方向、y方向ともに差分量が小さい場合に発生する法線方向の変動が小さくなる弊害を改善することができる。特に、本実施形態の発明では、第2から第6実施形態における対象部分の輝度のみの関数で定義した奥行き量に、明るさ対比により発生する効果と色対比による発生する効果とを考慮した視覚的奥行き量を定義し、その視覚的奥行き量より法線方向を求めることでで、明るく明るさ対比・色対比効果が高いほど明るくあざやかに感じるとともに、ユーザにより近く感じる視覚心理に応じて補正された法線推定が可能となる。
【0198】
【数29】


【0199】
なお、視覚的奥行き量Zdの定義として、(数式26)以外に、(数式29)のように明るさK(x,y)、明るさ対比量RK(x,y)、および色対比量RV(x,y)の関数であるgK(RK(x,y))、gV(RV(x,y))の積等による形や、K(x,y)、RK(x,y)、およびRV(x,y)を変数とする非線形変換関数を用いることも可能である。
[第12実施形態]
図54〜図67で示された第11実施形態の画像処理方法および画像処理装置1200について説明する。
<12.1:画像処理装置の構成>
図54に、本実施形態に係る画像処理装置1200の構成図を示す。
【0200】
画像処理装置1200は、主に、入力された画像信号vIi(x,y)の明るさ情報を算出する明るさ情報算出部11と、画像上に奥行き感を与えるための法線方向を推定する法線方向推定部13と、法線方向推定部13で推定された法線方向より所定の法線方向を得るための法線平滑化部12200と、法線平滑化部12200で得られた所定の法線方向を変調する法線方向変調部12201と、法線方向変調部12201で変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正するための輝度変調分(明るさ変調分)を算出する輝度変調分算出部202と、輝度変調分を入力画像信号に合成し、明るさ変調画像を取得する合成部203と、合成部203により取得された明るさ変調画像を所定の画像データで出力する出力部15と、から構成されている。
なお、本実施形態において、前述の実施形態と同様の部分については、同一の符号を付し、説明を省略する。
【0201】
本実施形態に係る発明は、算出された所定の法線方向(法線方向ベクトル)と設定した光源方向(光源方向ベクトル)のなす角度を変調して曲面法線方向の変調を実施し、その角度変調により生じた明るさ変調を行う。この点が、本実施形態に係る発明の特徴である。
<12.2:画像処理装置の動作>
次に、図面を用いて、画像処理装置1200の動作について説明する。
図54から図56を中心に処理の内容を説明する。
まず、明るさ算出部11で得られた明るさ情報Ki(x,y)をもとに、前述の実施形態で説明したのと同様の手法により法線方向推定が実施される。ここで、法線vHi(x,y)は画素単位で得られており、画素値変動に大きく影響を受ける。また、このままの法線を以降の処理に利用すると、画像上の輪郭部で大きな法線変動が生じ、そこを中心に処理が実施される傾向がある。
【0202】
しかし、本実施形態に係る発明では、画像上の輪郭部への陰影変調よりも、画像上の平坦に近いがゆるやかに変化している階調を有する部分(中間調付近)での法線による陰影変調を目的としているため、このままの法線方向ベクトルを用いるのは、都合が悪い。
そこで、本実施形態に係る発明では、法線方向ベクトルvHi(x,y)の各法線成分別でのフィルタ処理(平滑化)を行い、輪郭部での変動を弱めて、より大局的に変化した法線方向ベクトルを抽出することとした。この際のフィルタ処理としては、多くの手法がある。例えば、第5実施形態における中心画素(対象画素)i(x,y)とフィルタ内画素j(s,t)間の距離lenに対するガウス分布を重み係数g(s,t)に持つ平滑化フィルタがある。しかし、この場合、輪郭部での法線変動を大きく抑制する傾向があるので、中心画素(対象画素)とフィルタ内対象画素間の距離に対するガウス分布の重み係数g(s,t)に、中心画素の明るさKi(x,y)とフィルタ内画素の明るさKj(s,t)との差より得られた結合係数値kweightを乗算したバイラテラルフィルタを用いることで、画像上の輪郭付近のある程度大きな明るさ(輝度)を保持しながら、法線vHiの各成分の平滑化を行うこととした。(数式30)は、輝度に関する重み係数の一例である。BKeisuは所定の正定数であり、kweightの分散程度を制御するものである。
【0203】
【数30】


【0204】
これ以外に線形に変化させることで、法線vHiの各成分の平滑化を行うようにしてもよい。また、kweightは、輝度差で制御したが、対象画素i(x,y)の法線vHi(x,y)=(hxi,hyi,hzi)における各成分値とフィルタ内画素の法線vHj(s,t)=(hxj,hyj,hzj)の対応する成分値の差で同様に抑制することもできる。
こうして得られたフィルタ処理後の画素i(x,y)における法線方向ベクトルvHi(x,y)を使って、所定部分の陰影変調を行う。この処理は、設定された光源ベクトルvL(x,y)と法線方向ベクトルvHi(x,y)とのなす角度αをもとに、対象画素の角度αを変調するΔαを求め、その角度変調分Δαにより発生する明るさ変調分ΔKi(x,y)を求めることで実現される。光源ベクトルとしては、画素i(x,y)から設定された光源へ向かうベクトルで表示され、ここではvL(x,y)として、左上に平行光源が存在すると仮定して、光源ベクトルを設定する。この角度変調分Δαの決定には多くの方法があるが、本実施形態では、図57から図59による方法1と、図60による方法2を用いる。以下、図面を用いて、方法1および方法2について説明する。なお、図57〜図59、およびお図60において、角度の単位は「度」であっても「ラジアン」であってもよい。
【0205】
《方法1(角度変調分Δαの決定方法1)》
方法1は、角度αに応じて、画像上の領域を3つの部分に分ける方法である。
画像上の平坦部における光源ベクトルvL(x,y)と法線方向ベクトルのなす角度をα0とする。図57は、角度αがα0より小さく、かつ、法線方向ベクトルvHiのz成分hzが光源ベクトルvLのz成分lzよりも小さい場合を示している。(ここで、法線方向ベクトルの大きさと光源ベクトルの大きさとは同じであるものとする(法線方向ベクトルと光源ベクトルとは、正規化されたベクトルであるものとする)。以下、同じ。)
図57(a)に、水平軸を座標とし、縦軸を膨らみをとした処理前の断面図(法線方向ベクトルにより決定される立体曲面の断面図)を模式的に示す。その下の図は、対象点Pの近傍Qの拡大図であり、近傍Qにおける光源方向と法線方向との関係を明示している。このP点とQ点(近傍Q)とは、互いに近傍であるため2つの法線の方向は、同じ方向となる。このP点に丸みを与える(P点付近の立体曲面に丸みを与える)ことを考えた場合、図57(b)のように近傍Qでの処理後の法線の方向は、光源から離れる方向に動くこととなる。つまり、図57(b)の下に示した拡大図のように、立体曲面に丸みをつけた後のQ点における光源方向と法線方向のなす角度α’は、αより大きくなり、その角度変調分Δαは、正の変動となる。この領域では、角度αが「0」、つまり法線方向と光源方向とが同じ方向である点Cから離れるほど、その部分における法線方向ベクトル(角度変調後の法線方向ベクトル)は、図57(a)の点Rへ向かうこととなる。この場合、角度αの変調分Δαもその丸み変化(立体曲面の丸み変化)に応じて、正の方向へ単調増加することとなる。また、角度α=0では、光源方向と法線方向とが同じであるC点を示すため、その点における角度変調分Δαは「0」となる。
【0206】
図58は、角度αがα0より大きい場合を示しており、光源と逆方向に法線が向いた例を示している。図58(a)における近傍Qでの法線は、P点で、立体曲面に丸みをつけた図58(b)の場合、より光源方向より開いた方向を向くこととなる。つまり、図58(a)の下図および図58(b)の下図のQ点付近拡大図のように、図57の場合と同様に、立体曲面に丸みをつけた後でのQ点における光源方向と法線方向のなす角度α’は、αより大きくなり、その角度変調分Δαは正の変動となる。この領域では、角度αがα0から離れるほど、その部分における法線方向ベクトル(角度変調後の法線方向ベクトル)は、図58(a)の点Wへ向かうこととなる。この場合、角度αの変調分Δαもその丸み変化(立体曲面の丸みの変化)に応じて、正の方向へ単調増加することとなる。また、角度α0における角度変調分は、平坦部(図58(a)の頂点Tの部分)における角度変調分に相当するものであり、ここでの明るさを保つために角度変調分Δα0=0となる。
【0207】
一方、図59は、角度αがα0より小さく、かつ、法線vHiのz成分hzが光源vLのz成分lzよりも大きい場合を示している。この場合、図57、図58の場合とは異なり、図59(a)におけるP部分の立体曲面に丸みをつけた場合、その近傍Qにおける法線の方向は、光源方向に近づくこととなる。つまり、図59(a)の下図および図59(b)の下図にあるQ点付近の拡大図に示すように、立体曲面の丸みによりQ点付近での光源方向と法線方向のなす角度αは小さくなる方向へ変化し、その角度変調分Δαも負に変動することとなる。この角度変動分の動きと、図57における角度α=0における角度変動分が「0」であること、図58における角度α0における角度変動分が「0」である条件より、この領域では、一度角度αの増加に対してΔαは単調減少した後、この領域の所定の角度αdを持つ地点(0<αd<α0、例えば、αd=α0/2)で最小変動量Δαdとなり、そこから角度αが角度α0へ向かって大きくなるにつれて、Δαも「0」へ向かって単調増加するように変化する。これは、図57における角度α=0、つまり、光源方向と法線方向とのなす方向が一致する部分でのΔα=0の条件と、図59における角度α0、つまり、平坦部分(法線がz成分のみを持つ部分)でのΔα0=0の条件と、Δαがゆるやかに連続に変化する(α=0とα=α0での微分値が一致する)条件より決まるものである。
【0208】
画像処理装置1200では、この角度変調分Δαを、図61および図62に示すように、制御係数wd1と制御係数wd2との2つの制御係数により制御する。
制御係数wd1は、図61(a)に示すように、光源方向と法線方向のなす角度αにより光源側か陰影側かを判断する制御係数である。
制御係数wd2は、図61(b)に示すように、光源ベクトルのXY平面(2次元画像平面)への射影ベクトルと、法線方向ベクトルのXY平面(2次元画像平面)への射影ベクトルとのなす角度ηにより光源側か陰影側かどうかを判断する制御係数である。
制御係数wd1および制御係数wd2は、一例として、(数式31)および(数式32)のようになる。
(数式31)および(数式32)で、SSS1、SSS2は所定の正定数であり、制御係数の傾き程度を制御するものである。また、α0dは、α0d=α0−δα0で表されるものであり、画像上の平坦部における法線方向と光源方向のなす角度から微小変動させた値に相当する。(数式31)におけるη0は、η0=π×0.5−δη0([ラジアン])で示される正定数であり、δη0は微小な正定数を示す。対象画素の法線方向ベクトルをXY平面に投影したベクトルと光源ベクトルをXY平面に投影したベクトルとの間のなす角度ηが90度(π×0.5[ラジアン])より大きい場合、その光源ベクトルは、対象画素に当たらない可能性が大きい。このことを考慮すると、対象画素の法線方向ベクトルをXY平面に投影したベクトルと光源ベクトルをXY平面に投影したベクトルとの間のなす角度ηの判定角度η0の候補として90度(π×0.5[ラジアン])が考えられる。本実施形態では、90度(π×0.5[ラジアン])から明るさ変調が実施される角度領域に多少の余裕を持たせるために、微小角度δη0を減算した値を判定角度η0に設定した。なお、δα0=0としてもよい。またδη0=0を用いてもよい。また、制御係数wd1およびwd2の定義として、(数式31)、(数式32)以外の表現も可能である。
【0209】
【数31】


【0210】
【数32】


【0211】
(数式31)および(数式32)による制御係数wd1およびwd2は、図57から図59に示すように、角度変調分Δαがあくまでも立体曲面に丸みをつける観点により制御されるものであることを想定して決定されたものであり、実際には、光源と対象画素の関係により、さらに制御する必要がある(さらに制御する要素が増える)。このように、wd1は、対象画素が光源側にある場合は「0」に近い値を取り、陰影側になるほどwd1は「1」に近づく。これは、角度αが所定の基準値より小さいかどうかで判断することができ、画像処理装置1200では、角度αと平坦部における角度α0との大小関係で判断する。つまり、α<α0では、wd1は小さく、α≧α0では、角度αの増加に従い、制御係数wd1は単調増加する。
一方、wd2は、角度ηにより光源側かどうかを判断する制御係数である。これは、α0がα0<45度の場合、たとえ、α>α0であっても、対象画素が光源側に存在する可能性がある(対象画素の立体曲面上の点が、光源ベクトルと法線ベクトルとが一致する立体曲面上の点より下側部分(z方向での下側部分)に存在する可能性がある)ためである。
【0212】
このwd2は、ηが所定の基準値η0よりも小さい場合には、対象画素が光源側にあると判断してwd2を「0」に近づける。逆に、ηがη>η0の場合は、対象画素が陰影側にあると判断して、ηに応じてwd2を「1」へ単調増加させる。
画像処理装置1200では、この2つの制御係数に合わせて、さらに、対象画素i(x,y)の明るさ情報Ki(x,y)の大きさに応じた制御係数wk1により制御する。制御係数wk1は、明るさ情報が高い部分での角度変調Δαによる急激な低下を抑えるものであり、図62(c)のように、明るさ情報Ki(x,y)に対して単調減少する。
この3つの制御係数の積で決定された係数tkeisuを、角度変調Δαに掛けることにより、(数式33)の形で、角度変調分Δαtが決定される。なお、制御係数wd1およびwd2は、角度αおよびηで制御したが、角度αの余弦値cosαや角度ηの余弦値cosηで制御しても良い。この場合、各基準値であるα0およびη0も、その角度の余弦値となる。
【0213】
【数33】


【0214】
画像処理装置1200では、(数式33)で得られた角度変調分Δαtを、図63に示した数式に適用させることで、明るさ変調分ΔKi(x,y)を算出する。ここで、拡散反射成分、鏡面反射成分ともにcosαの関数であるため、その微分によりマイナスが発生し、図57および図58のようにΔαtが正である(法線方向ベクトルが光源方向ベクトルから遠ざかる方向に動く(法線方向と光源方向とのなす角度αが大きくなる))場合、明るさ変調分ΔKi(x,y)は、負に変動することとなり、陰影変調が発生する。
逆に、図59の場合、Δαtは、負である(法線方向ベクトルが光源方向ベクトルに近づく方向に動く(法線方向と光源方向とのなす角度αが小さくなる))場合、明るさ変調分ΔKi(x,y)は正となり、光変調が発生する。なお、環境光成分は、図63に記載されているが、通常は角度αには依存しないため、この角度変調分Δαによる環境光成分の増分は「0」となる。
【0215】
《方法2(角度変調分Δαの決定方法2)》
次に、方法2について、説明する。
図57から図59を用いて説明した方法1に対して、図60に示した方法2では、光源方向と法線方向とのなす角度αの場合分けをせず、図59の右図のように、陰影変調させたい部分の角度変調分Δαが大きくなるようにするものである。
この場合、角度変調分を決めるfkeisuを、以下のように制御する。
法線方向と光源方向とのなす角度αが、画像上の平坦部における光源方向と法線方向のなす角度α0の付近から大きくなるに従い、fkeisu(=Keisu)(図60では、Keisu)を増加させ、ある角度(図60の右図のα1)をピークにfkeisuを減少させ、W点で「0」に近づけるように変化させる。この場合の角度変調分Δαは、(数式34)のようになる。Δαbaseは、所定の基準変動量であり正定数である。
【0216】
【数34】


【0217】
この方法では、角度変調Δαをα=0から角度αに応じて正方向に変動させるものであるが、方法1のようにα=0からα=α0の間の変調分を負にすることも可能である。条件としては、角度変調分Δαがなめらかに連続的に変化するように決定されることである。
こうして得られた角度αでの角度変調分Δαを、方法1と同じように、図61および図62に示すように、制御係数wd1と制御係数wd2との2つの制御係数により制御する。
画像処理装置1200では、この2つの制御係数に合わせて、さらに、対象画素i(x,y)の明るさ情報Ki(x,y)の大きさに応じた制御係数wk1により制御する。
この3つの制御係数の積で決定された係数tkeisuを、角度変調Δαに掛けることにより、(数式33)の形で、角度変調分Δαtが決定される。
【0218】
その後、図63に従い、角度変調分Δαから明るさ変調分ΔKi(x,y)が方法1の場合と同様にして求められる。なお、方法1、2ともに、制御係数wd1とwd2とは、角度αと角度ηとで制御したが、角度αの余弦値cosαや角度ηの余弦値cosηで制御するようにしても良い。この場合、各基準値であるα0およびη0も、その角度の余弦値となる。
図64および図65は、方法2による陰影変調例を模式的に示している。
この本実施形態の発明の特徴は、画像上の輪郭付近よりもより平坦で緩やかな階調をもつ部分での法線に対する変調を中心に行われるという点にある。第2実施形態や第3実施形態の場合に比べて、図64および図65における領域(1)や(2)は広がっている。法線方向ベクトル平滑化により、輪郭部での法線方向ベクトルが、XY平面(2次元画像平面)より離れることとなるが、緩やかな平坦部での法線方向ベクトルは、逆にXY平面(2次元画像平面)に近づくこととなる。よって、第2実施形態や第3実施形態の場合に比べて、輪郭付近よりも、特にその輪郭から平坦部へ向かう方向に存在する部分への陰影変調が効果的に実施されることになる。図64の領域(1)および(2)の大きさは、そのことを表している。それに応じて、図64および図65に示されるように、階調変調(陰影変調)も、輪郭付近からより緩やかに階調が変化する平坦部へ向かった部分(図64と図65の網掛け部分)に染み出すように実施される。
【0219】
図64は、第2実施形態や第3実施形態で模式的に示した結果例1に対する、画像処理装置1200による処理済み画像の傾向(状況)を示すものである。この図では、左上から照射する仮想光源を設定した例であり、中心部が周辺領域より輝度が高い場合を示している。図64(a)に示すように、中心円の右下の領域(1)では、設定された光源方向と算出された法線方向が異なる。この領域(1)では、図64(b)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとが異なる(なす角度が大きい)ことで、外側の輝度の低い円で緩やかに変化していた部分で明るさ変調による陰影変調が発生する。つまり、この領域(1)では、外側の低輝度円中心から外周に向かって緩やかに変化する部分での陰影変調による膨らみ感向上の2つの効果が発生する。
それに対して、図64(a)に示す、中心円の左上の領域(2)では、設定された光源方向と算出された法線方向がほぼ同じ方向(光源方向ベクトルと法線方向ベクトルとのなす角度が小さい)となる。そのため、この領域(2)では、図64(c)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとが同じ方向に近づくことで、明るさ変調による陰影変調は抑制される。
【0220】
以上の結果として、画像処理装置1200では、中心の高輝度円部分が正面に向かって出るとともに、低輝度円における輝度平坦部分での膨らみ感が感じられる画像が得られる。
また、図65は、第2実施形態や第3実施形態で模式的に示した結果例2に対する、画像処理装置1200による処理済み画像の傾向(状況)を示すものである。この図では、左上から照射する仮想光源を設定した例であり、中心部が周辺領域より輝度が低い場合を示している。図65(a)に示す、中心円の右下の領域(1)では、設定された光源方向と算出された法線方向とがほぼ同じ方向である。そのため、この領域(1)では、図65(b)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとのなす角度が小さく、明るさ変調による陰影変調は発生しない。
【0221】
それに対して、図65(a)に示す、中心円の左上の領域(2)では、設定された光源方向と算出された法線方向とが異なる(光源方向ベクトルと法線方向ベクトルとのなす角度が大きい)。そのため、この領域(2)では、図65(c)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとが異なる(光源方向ベクトルと法線方向ベクトルとのなす角度が大きい)ことで、輝度の低い中心円内で中心から外周へ向かって緩やかに変化する部分の明るさ変調(陰影変調)が発生する。つまり、この領域(2)では、中心円の輪郭から中心へ向かう陰影変調効果が発生する。結果として、図65の場合、中心の低輝度円部分が正面からなだらかにややくぼんで感じられる画像が得られる。
方法1の場合、定性的には同じような処理が得られるが、角度α≦α0であり、法線方向ベクトルのz成分hzが光源ベクトルのz成分より大きい図59の領域では、角度変調分Δαが負となるため、対応する明るさ変調分ΔKi(x,y)は正になる。しかし、光源方向との関係による制御係数wd1によりその効果は小さくなり、結果として、光源に向いた側で微小な光変調(光付加)効果が追加発生することとなる。
【0222】
以上の処理により、輝度変調分算出部202で、入力画像の明るさ情報を補正するための輝度変調分(明るさ変調分)が算出される。
そして、合成部203により、輝度変調分算出部202で算出された輝度変調分(明るさ変調分)が入力画像vIi(x,y)に合成される。
合成部203により合成された画像信号は、出力部15に出力される。
そして、出力部15により、合成部203により合成された画像信号は、使用機器で扱うことのできる画像フォーマットに応じて変換して得られた出力画像データvOuti(x,y)として出力される。
以上のように、本実施形態に係る発明では、算出された所定の法線方向と設定した光源への方向である光源方向のなす角度を変調して、立体曲面の法線方向の変調を実施し、その角度変調に生じた明るさ変調を行うことで画像内の中間調付近の階調変調を行うことができる。
【0223】
その結果、本実施形態に係る発明では、ゆるやかに階調が変化する中間調付近(物体輪郭付近ではなく、ゆるやかな明るさが変化する物体平坦部や薄めの陰付近等)での明るさ変調・変化強調が可能となり、単なる輪郭コントラストのみにメリハリがついた際に感じる平板な立体感ではなく、より自然な丸み・膨らみ感をもつ立体感を与えることが可能となる。
なお、法線平滑化部12200で、BKeisuを固定としたが、フィルタ内の明るさ情報分布やエッジ量分布に応じてBKeisuを可変にすることも可能である。例えば、フィルタサイズ内のエッジ量EDGEiの分散値DelEDEGを、所定の基準値ThEDEGと比較して、DelEDGE>ThEDEGの場合は、強い輪郭が多い部分であるとして、BKeisuを大きくすることで、よりエッジが保存される平滑化が可能である。
【0224】
一方で、DelEDGE≦ThEDEGの場合は、強い輪郭が少ない部分であるとして、BKeisuを小さくすることで、より平滑化度合いを増すことができる。
また、法線平滑化部12200で、フィルタサイズを可変にすることも可能である。この場合も、例えば、DelEDGE>ThEDEGの場合は、強い輪郭が多い部分であるとして、フィルタサイズを小さくすることで、よりエッジが保存される平滑化が可能である。
一方で、DelEDGE≦ThEDEGの場合は、強い輪郭が少ない部分であるとして、フィルタサイズを大きくすることで、より平滑化度合いを増すことができる。
さらに、画像内を所定サイズのブロック領域に分割し各ブロック内の平均法線方向ベクトルを算出する。そして、対象画素が含まれるブロックの平均法線方向ベクトルで代用することも可能である。また、ブロック単位での平滑化フィルタを行い、対象画素が含まれるブロックの平滑化された平均法線方向ベクトルとその周囲ブロックの平滑化された平均法線方向ベクトルを使った補間処理で対象画素の平滑化法線方向ベクトルを求めることも可能である。
【0225】
また、角度変調において、α0>45度の場合、方法1、方法2ともに、wd2は不要となる(wd2=1.0)。例えば、方法2の場合、wd1を(数式34)に加え、Keisu=wd2×fkeisuとすることで、改めて角度αに対する角度変動分Δαとすることができる。
【0226】
【数35】


【0227】
そうした場合、明るさ情報Ki(x,y)の制御係数wk1と、この補正係数Keisuとの2つで角度変調Δαtおよび明るさ変調分ΔKi(x,y)を制御することとなり、角度αと明るさ情報Ki(x,y)とで予め決定された任意の角度変調関数や角度変調テーブル(LUT等)、プロファイルを用意することで、任意部分への階調変調(陰影変調や光変調)が可能となる。
また、光源は設定されるものとしたが、例えば、図54において、法線平滑化部12200の後に(法線方向変調部12201と輝度変調分算出部202との間に)、最適な画像を生成する光源方向とを推定する最適光源推定部を加えることも可能である。この場合、角度変調分を求める法線方向変調部12201で、図67のように用意された複数方向光源の各光源ベクトルLn(n=0、1、2、…、LNum)と法線方向ベクトルvHiとのなす角度αに対して角度変調分を重点的に実施する画素を抽出することができる。各光源に対して、重点的に角度変調を実施する画素をまず抽出し、その画素i(x,y)の処理前の明るさ情報Kib(x,y)と処理後の明るさ情報Kia(x,y)とで表される評価関数Eval(Ln)を満足する画素数がもっとも大きい方向、もしくは上位NNN(NNN<Lnum)の重心方向に最適な光源があるように設定して、法線方向変調部12201から以降の処理を実施することでより効果的な明るさ変調を実施することができる。
【0228】
評価関数Evalの例として、図66のようなものが考えられる。しかし、評価関数Evalは、各光源方向で抽出された画素の処理前の明るさ情報と処理後の明るさ情報との2乗誤差の平均値や、処理前の明るさ情報と処理後の明るさ情報との差分をもとに変換した値を用いるものであってもよい。
[第13実施形態]
図68〜図71で示された第13実施形態の画像処理方法および画像処理装置1300について説明する。
図68に、本実施形態の画像処理装置1300の構成ブロック図を示す。図66に、画像処理装置1300の処理(画像処理方法)のフローチャートを示す。
なお、前述の実施形態と同様の部分については、同じ符号を付し、説明を省略する。
【0229】
図65および図66に示されるように、ここでは、第2実施形態における陰影強調画像生成部14で得られた陰影強調処理画像の画素i(x,y)における明るさ情報SKi(x,y)と、第12実施形態における輝度変調分算出部202で得られた明るさ情報Ki(x,y)の輝度変調分dFKi(x,y)および入力画像の明るさ情報Ki(x,y)により得られる明るさ変調画像の明るさ情報FKi(x,y)=Ki(x,y)+dFKi(x,y)とを、第2合成部210が組み合わせる処理を行う。この際、第2合成部210で得られる最終的な処理済み画像の明るさ情報OKi(x,y)は、(数式36)のように単純に合成してもよい。これは、2つの効果を付加する部分が重なる割合が少ないことによる。
【0230】
【数36】


【0231】
また、FKi(x,y)を制御係数wfsにより制御するようにしてもよく、この場合、制御係数wfsを、対象画素i(x,y)の明るさ対比量RKi(x,y)で制御するようにしてもよい。
【0232】
【数37】


【0233】
(数式37)で、wfsdeltaは所定の正定数であり、ガウス分布で変化するwfsの分散程度を示す。この場合、得られる最終的に得られる処理済み画像の明るさ情報OKi(x,y)は、
【0234】
【数38】


【0235】
で得られる。ここで、RKi(x,y)が「1」付近では、平坦で緩やかに変動する部分に対象画素i(x,y)が含まれると考えられるので、明るさ変調後の明るさ情報FKi(x,y)への制御係数wfsを大きくする。一方、RKi(x,y)が「0」に近くなったり、「1」よりもずっと大きくなったりした場合、輪郭付近に対象画素i(x,y)が含まれると考え、陰影強調後の明るさ情報SKi(x,y)にかかる制御係数(1.0−wfs)を大きくする。このように制御することで、2つの効果をさらにうまく両立させることができる。
図70は、第2実施形態や第3実施形態で模式的に示した結果例1に対する、画像処理装置1300による処理済み画像の傾向(状況)を示すものである。この図では左上から光を照射する仮想光源を設定した例であり、中心部が周辺領域より輝度が高い場合を示している。図70(a)に示すように、中心円の右下の領域(1)では、設定された光源方向と算出された法線方向が異なる(光源方向ベクトルと法線方向ベクトルとのなす角度が大きい)。この領域(1)では、図70(b)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとが異なる(光源方向ベクトルと法線方向ベクトルとのなす角度が大きい)ことで、まず輪郭付近で陰影強調効果が発生する。そして、外側の輝度の低い円で緩やかに変化していた部分で明るさ変調による陰影変調が発生する。つまり、この領域(1)では、輪郭における陰影強調でのコントラスト感向上と、外側の低輝度円中心から外周に向かって緩やかに変化する部分での陰影変調による膨らみ感向上の2つの効果が生じる。
【0236】
それに対して、図70(a)に示す、中心円の左上の領域(2)では、設定された光源方向と算出された法線方向がほぼ同じ方向となる(光源方向ベクトルと法線方向ベクトルとのなす角度が小さい)。そのため、この領域(2)では、図70(c)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとが同じ方向に近づくことで輪郭部分での陰影強調効果は発生しない。また、明るさ変調に関しても、光源方向と法線が同じ方向を向くことで陰影変調も抑制される。
以上の結果として、中心の高輝度円部分が正面に向かって出るとともに、低輝度円における輝度平坦部分での膨らみ感が感じられる画像が得られる。
また、図71は、第2実施形態や第3実施形態で模式的に示した結果例2に対する、画像処理装置1300による処理済み画像の傾向(状況)を示すものである。この図では左上から光を照射する仮想光源を設定した例であり、中心部が周辺領域より輝度が低い場合を示している。図71(a)に示す、中心円の右下の領域(1)では、設定された光源方向と算出された法線方向とがほぼ同じ方向を向く(光源方向ベクトルと法線方向ベクトルとのなす角度が小さい)。そのため、この領域(1)では、図71(b)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとのなす角度が小さいので、陰影強調効果は出ない。また、明るさ変調に関しても、光源方向と法線方向とがほぼ同じ方向を向くことで陰影変調も抑制される。
【0237】
それに対して、図71(a)に示す、中心円の左上の領域(2)では、設定された光源方向と算出された法線方向が異なる(光源方向ベクトルと法線方向ベクトルとのなす角度が大きい)。そのため、この領域(2)では、図71(c)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとが異なる(光源方向ベクトルと法線方向ベクトルとのなす角度が大きい)ことで陰影強調効果が輪郭付近で発生する。そして、輝度の低い中心円内で中心から外周へ向かって緩やかに変化する部分の明るさ変調(陰影変調)が発生する。つまり、この領域(2)では、輪郭における陰影強調でのコントラスト感向上と、中心円の輪郭から中心へ向かう陰影変調効果が生じる。
結果として、図71の場合、中心の低輝度円部分が正面からなだらかにややくぼんで感じられる画像が得られる。
【0238】
以上のように、本実施形態の発明では、第12実施形態の特徴である所定の法線方向と光源方向のなす角度による角度変調をもとにした明るさ変調により画像内の所定部分の階調変調を行う工夫に加えて、第2実施形態の特徴である陰影付加処理を組み合わせた効果をもつことで、より立体感効果を実現することができる。
[第14実施形態]
図72〜図75で示された第14実施形態の画像処理方法および画像処理装置1400について説明する。
図72に、本実施形態の画像処理装置1400の構成ブロック図を示す。図70に、画像処理装置1400の処理(画像処理方法)のフローチャートを示す。
なお、前述の実施形態と同様の部分については、同じ符号を付し、説明を省略する。
【0239】
図69および図70に示されるように、ここでは、第3実施形態における光強調画像生成部50で得られた光強調処理画像の画素i(x,y)における明るさ情報LKi(x,y)と、第12実施形態における輝度変調分算出部202で得られた明るさ情報Ki(x,y)の輝度変調分dFKi(x,y)および入力画像の明るさ情報Ki(x,y)より得られる明るさ変調画像の明るさ情報FKi(x,y)=Ki(x,y)+dFKi(x,y)とを、第3合成部220が組み合わせる処理を行う。この際、第3合成部220で得られる最終的な処理済み画像の明るさ情報OKi(x,y)は、(数式39)のように単純に合成してもよい。これは、2つの効果を付加する部分が重なる割合が少ないことによる。
【0240】
【数39】


【0241】
また、FKi(x,y)を制御係数wflにより制御するようにしてもよく、この場合、制御係数wflを、対象画素i(x,y)の明るさ対比量RKi(x,y)で制御するようにしてもよい。
【0242】
【数40】


【0243】
(数式40)で、wfldeltaは所定の正定数であり、ガウス分布で変化するwflの分散程度を示す。この場合、得られる最終的に得られる処理済み画像の明るさ情報OKi(x,y)は、
【0244】
【数41】


【0245】
で得られる。ここで、RKi(x,y)が「1」付近では、平坦で緩やかに変動する部分に対象画素i(x,y)が含まれると考えられるので、明るさ変調後の明るさ情報FKi(x,y)への制御係数wflを大きくする。一方、RKi(x,y)が「0」に近くなったり、「1」よりもずっと大きくなったりした場合、輪郭付近に対象画素i(x,y)が含まれると考え、光強調後の明るさ情報LKi(x,y)にかかる制御係数(1.0−wfl)を大きくする。このように制御することで、2つの効果をさらにうまく両立させることができる。
図74は、第2実施形態や第3実施形態で模式的に示した結果例1に対する、画像処理装置1400による処理済み画像の傾向(状況)を示すものである。この図では左上から光を照射する仮想光源を設定した例であり、中心部が周辺領域より輝度が高い場合を示している。図74(a)に示すように、中心円の右下の領域(1)では、設定された光源方向と算出された法線方向が異なる(光源方向ベクトルと法線方向ベクトルとのなす角度が大きい)。この領域(1)では、図74(b)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとが異なる(光源方向ベクトルと法線方向ベクトルとのなす角度が大きい)ことで、まず光強調効果が抑制される。逆に、外側の輝度の低い円で緩やかに変化していた部分で明るさ変調による陰影変調が発生する。
【0246】
それに対して、図74(a)に示す、中心円の左上の領域(2)では、設定された光源方向と算出された法線方向がほぼ同じ方向となる(光源方向ベクトルと法線方向ベクトルとのなす角度が小さい)。そのため、この領域(2)では、図74(c)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとが同じ方向に近づくことで光強調効果が発生する。逆に、明るさ変調による陰影変調は光源方向と法線が同じ方向を向くことで抑制される。
以上の結果として、領域(2)での中心の高輝度円に接する部分での光強調効果と、領域(1)での外側の低輝度円中心から円周に向かってゆるやかに変化する部分での階調変調とにより、中心の高輝度円が正面に向かって出るとともに、低輝度円における輝度平坦部分での膨らみ感が感じられる画像が得られる。
【0247】
また、図75は、第2実施形態や第3実施形態で模式的に示した結果例2に対する、画像処理装置1400による処理済み画像の傾向(状況)を示すものである。この図では左上から光を照射する仮想光源を設定した例であり、中心部が周辺領域より輝度が低い場合を示している。図75(a)に示す、中心円の右下の領域(1)では、設定された光源方向と算出された法線方向とがほぼ同じ方向を向く(光源方向ベクトルと法線方向ベクトルとのなす角度が小さい)。そのため、この領域(1)では、図75(b)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとのなす角度が小さいので、光強調効果が発生するが、明るさ変調による陰影変調は、光源方向と法線方向とが同じ方向を向くことで抑制される。
それに対して、図75(a)に示す、中心円の左上の領域(2)では、設定された光源方向と算出された法線方向が異なる(光源方向ベクトルと法線方向ベクトルとのなす角度が大きい)。そのため、この領域(2)では、図75(c)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとが異なる(光源方向ベクトルと法線方向ベクトルとのなす角度が大きい)ことで光強調効果は発生しない。しかし、輝度の低い中心円より中心に向かって緩やかに変化する部分の明るさ変調(陰影変調)が発生する。
【0248】
以上の結果より、領域(2)での中心円の輪郭から中心へ向かう陰影変調効果と、領域(1)での中心の低輝度円と接する部分が光強調されたことで、正面からなだらかにややくぼんで感じられる画像が得られる。
以上のように、本実施形態では、第12実施形態の特徴である所定の法線方向と光源のなす角度変調をもとにした明るさ変調により画像内の所定部分の階調変調を行う工夫に加えて、第3実施形態の特徴である光付加処理を組み合わせた効果をもつことで、より立体感効果を実現することができる。
[第15実施形態]
図76〜図79で示された第15実施形態の画像処理方法および画像処理装置1500について説明する。
【0249】
図76に、本実施形態の画像処理装置1500の構成ブロック図を示す。図77に、画像処理装置1500の処理(画像処理方法)のフローチャートを示す。
なお、前述の実施形態と同様の部分については、同じ符号を付し、説明を省略する。
図76および図77に示されるように、ここでは、第4実施形態における陰影強調画像生成部14で得られた陰影強調処理画像の明るさ情報SKi(x,y)および光強調画像生成部50で得られた光強調処理画像の明るさ情報LKi(x,y)の合成明るさ情報OKTi(x,y)と、第12実施形態における輝度変調分算出部202で得られた明るさ情報Ki(x,y)の輝度変調分dFKi(x,y)および入力画像の明るさ情報Ki(x,y)より得られる明るさ変調画像の明るさ情報FKi(x,y)=Ki(x,y)+dFKi(x,y)とを、第4合成部15300が組み合わせる処理を行う。
【0250】
第4合成部15300では、まず、第4実施形態のように、SKi(x,y)およびLKi(x,y)の合成画像の明るさ情報OKTi(x,y)を求める。この処理は、明るさ対比量RKi(x,y)によるLKi(x,y)にかかる重み係数wlt2をもとに実施される。なお詳細についてはは、第4実施形態と同様であるので、説明を省略する。
次に、FKi(x,y)およびOKTi(x,y)の合成により、最終的な処理済み画像の明るさ情報OKi(x,y)が求められる。この合成処理は、(数式42)のように単純に合成することで実行されてもよい。(数式42)により処理できるのは、3つの効果を付加する部分が重なる割合が少ないことによる。
【0251】
【数42】


【0252】
また、FKi(x,y)を制御係数wfslにより制御するようにしてもよく、この場合、制御係数wfslを対象画素i(x,y)の明るさ対比量RKi(x,y)で制御するようにしてもよい。
【0253】
【数43】


【0254】
(数式43)で、wfsldeltaは所定の正定数であり、ガウス分布で変化するwfslの分散程度を示す。この場合、得られる最終的に得られる処理済み画像の明るさ情報OKi(x,y)は、
【0255】
【数44】


【0256】
で得られる。ここで、RKi(x,y)が「1」付近では、平坦で緩やかに変動する部分に対象画素i(x,y)が含まれると考えられるので、明るさ変調後の明るさ情報FKi(x,y)への制御係数wfslを大きくする。一方、RKi(x,y)が「0」に近くなったり、「1」よりもずっと大きくなったりした場合、輪郭付近に対象画素i(x,y)が含まれると考え、陰影強調・光強調後の明るさ情報OKTi(x,y)にかかる制御係数(1.0−wfsl)を大きくする。このように制御することで、3つの効果をさらにうまく両立させることができる。
図78は、第2実施形態や第3実施形態で模式的に示した結果例1に対する、画像処理装置1500による処理済み画像の傾向(状況)を示すものである。この図では左上から光を照射する仮想光源を設定した例であり、中心部が周辺領域より輝度が高い場合を示している。図78(a)に示すように、中心円の右下の領域(1)では、設定された光源方向と算出された法線方向が異なる(光源方向ベクトルと法線方向ベクトルとのなす角度が大きい)。この領域(1)では、図78(b)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとが異なる(光源方向ベクトルと法線方向ベクトルとのなす角度が大きい)ことで、まず輪郭付近で陰影強調効果が発生する。そして、外側の輝度の低い円で緩やかに変化していた部分で明るさ変調による陰影変調が発生する。つまり、この領域(1)では、輪郭における陰影強調でのコントラスト感向上と、外側の低輝度円中心から外周に向かって緩やかに変化する部分での陰影変調による膨らみ感向上の2つの効果が発生する。
【0257】
それに対して、図78(a)に示す、中心円の左上の領域(2)では、設定された光源方向と算出された法線方向がほぼ同じ方向(光源方向ベクトルと法線方向ベクトルとのなす角度が小さい)となる。そのため、この領域(2)では、図78(c)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとが同じ方向に近づくことで輪郭部分での光強調効果が発生するが、明るさ変調による陰影変調は抑制される。
以上の結果として、中心の高輝度円部分がより正面に向かって出るとともに、低輝度円における輝度平坦部分での膨らみ感が感じられる画像が得られる。
また、図79は、第2実施形態や第3実施形態で模式的に示した結果例2に対する、画像処理装置1500による処理済み画像の傾向(状況)を示すものである。この図では左上から光を照射する仮想光源を設定した例であり、中心部が周辺領域より輝度が低い場合を示す。図79(a)に示す、中心円の右下の領域(1)では、設定された光源方向と算出された法線方向とが同じ方向を向く。そのため、この領域(1)では、図79(b)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとのなす角度が小さくなることで陰影強調効果は生じず、光強調効果が発生する。それに対して、明るさ変調による陰影変調は抑制される。
【0258】
それに対して、図79(a)に示す、中心円の左上の領域(2)では、設定された光源方向と算出された法線方向とが異なる(光源方向ベクトルと法線方向ベクトルとのなす角度が大きい)。そのため、この領域(2)では、図79(c)に示すように、光源方向ベクトルvR1と法線方向ベクトルvHiとが異なる(光源方向ベクトルと法線方向ベクトルとのなす角度が大きい)ことで陰影強調効果が輪郭付近で発生する。そして、輝度の低い中心円内で中心から外周へ向かって緩やかに変化する部分の明るさ変調(陰影変調)が発生する。つまり、この領域(2)では、輪郭における陰影強調でのコントラスト感向上と、中心円の輪郭から中心へ向かう陰影変調効果が発生する。
結果として、図79の場合、中心の低輝度円部分がより正面からなだらかにややくぼんで感じられる画像が得られる。
【0259】
以上のように、本実施形態の発明では、第12実施形態の特徴である所定の法線方向と光源のなす角度変調をもとにした明るさ変調により画像内の所定部分の階調変調を行う工夫に加えて、第4実施形態の特徴である陰影・光付加処理を組み合わせて特に輪郭付近でのコントラスト感を高めるた効果を合わせ持つことで、コントラスト感があるとともにより自然に感じされる立体感を実現することができる。
[第16実施形態]
図80および図81を用いて、第16実施形態の画像処理方法および画像処理装置について説明する。
本実施形態に係る発明は、第2から第15実施形態における画像処理方法および画像処理装置における法線方向推定部13において、現フレーム画像内の対象画素i(x,y)における法線方向ベクトルvHi(x,y)のx、y、z成分に対して、現フレームのpフレーム前のフレーム画像から、現フレームの1フレーム前のフレーム画像までの各フレーム画像より得られた対象画素i(x,y)の法線方向ベクトルを使った時間方向法線平滑化部80400が加えられている。この点が本実施形態の発明の特徴である。
【0260】
なお、図80では、第2実施形態における法線方向推定部13に時間方向法線平滑化部80400が加えられている。第7から第11実施形態の場合にも、時間方向法線平滑化部80400は適用できる。第7、9、10、および第11実施形態の場合、法線方向ベクトル調整部101の後に、時間方向法線平滑化部80400を挿入し、第8実施形態の場合、法線方向ベクトル算出部32の後に挿入することで、本実施形態と同様の効果を実現させることができる。
対象画素i(x,y)における法線方向ベクトルvHi(x,y)を算出する処理以外は、第2から第15実施形態と同様であるので、説明を省略する。
図80を用いて、本実施形態に係る発明の処理について説明する。
対象画素i(x,y)の明るさ情報Ki(x,y)におけるx方向微分値dKxとy方向微分値dKyが求められ、z方向に所定の大きさ「1」を与えることで法線方向ベクトルvHi(x,y,t)が、現フレーム画像(現フレームを取得する時刻を時刻tとする。)より求められる。
【0261】
【数45】


【0262】
ここで、現フレームからpフレーム前のフレーム画像が取得される時刻をt−pとし、現フレームの1フレーム前のフレーム画像が取得される時刻をt−1とする。
上記処理の後、時間方向法線平滑化部80400において、時刻t−pから時刻t−1までの間の時間において取得された、時刻kにおけるフレーム画像の画素i(x,y)における法線方向ベクトルvHi(x,y,k)(k=t‐p、…、t‐1)に乗算する重み係数tkeisuを決定する。係数tkeisuは、現フレームが取得される時刻である時刻tからの時間差分dt=t‐kに応じて(数式45)のように決定される係数で、vHi(x,y,k)に乗算する重み係数である。
(数式45)で、TKDeltaは所定の正係数であり、大きいほどdtの変化に対してtkeisuは大きく変化する。
【0263】
現フレーム画像のpフレーム前のフレーム画像から現フレーム画像の1フレーム前のフレーム画像において、重み係数を乗算した法線方向ベクトルの平均ベクトルvHiG(x,y)を求め、その値を改めて現フレーム時刻tの法線方向ベクトルvHi(x,y,t)とする。ここで、Totaltkeisuは、k=t‐pからk=t‐1における重み係数tkeisuの総和を示す。
この処理の目的について、図81に示した模式図を用いて説明する。
図81の左上図は、ある輝度分布をもつ立体曲面(法線方向ベクトルにより決定される立体曲面)の断面図を表しており、動画像として見た場合、この断面が右から左に動く例を示している。また、図81の右上図は、時刻0における対象画素ppにおける法線方向ベクトルを矢印で示している。
【0264】
【数46】


【0265】
この断面が、図81の下左図のように緩やかに動いた場合、法線方向も、図81の上右図と比較して連続かつ緩やかに変化することが予想される。しかし、外光等で立体曲面の断面輝度が変動した場合。図81の下真ん中図のように、立体曲面の断面の微小変動が原因で、法線方向が急激に大きく変わる現象が発生してしまう。
そして、その断面の微小変動部を通過し、元の断面に近い部分がppの位置まで動いてきた時刻で、法線方向が、元々の法線方向に近い方向に戻ることで、法線方向のばらつきが生じてしまう。これが原因となり、本実施形態の発明の処理における陰影強調・光強調・明るさ変調における時間方向でのちらつき(本実施形態の発明により処理した画像(映像)上でのちらつき)を発生させる危険性がある。
そこで、本実施形態の発明では、このような法線方向ベクトルの時間方向での急激な変動を抑制することで、動画像を処理した場合の処理画像のちらつき等の弊害を抑制する。さらに、本実施形態の発明は、同じ画素における時間方向の法線方向の動きを滑らかにすることで、第2から第15実施形態における処理方法を動画像のフレーム画像に適用した場合に必要となるであろう時間方向での補償処理の追加をする必要もない。
【0266】
なお、ここでは、外光による輝度変動例を図81で説明したが、本実施形態の発明では、画像自身の内容が急激に変化するシーン変化部分における急激な法線方向の変動に対する弊害も同様に抑制することができる。
また、本実施形態の発明において、時間方向法線平滑化部80400の前に、現フレーム画像のpフレーム前のフレーム画像から、現フレームの1フレーム前のフレーム画像における法線方向ベクトルvHi(x,y,k)(k=t‐p、…、t‐1)と、現フレーム画像の法線方向ベクトルvHi(x,y,t)の差分ベクトルの大きさより得られる値をもとに、時間方向での平滑化をした法線方向ベクトルvHiG(x,y)を時刻tでの法線方向ベクトルとするかどうかを判定する平滑化判断部を加えることも可能である。こうすることで、時間方向での法線平滑化により効果がやや弱まる可能性があるが、その処理の必要性を判断することで、本実施形態の発明において、本陰影強調・光強調・明るさ変調の効果を弱めるを抑えながら、法線方向の急激な変動による処理済み動画像のちらつき等の弊害も抑制することができる。
【0267】
[第17実施形態]
図82および図83を用いて、第17実施形態の画像処理方法および画像処理装置(表示装置)1700について説明する。
本実施形態の発明は、陰影付加・光付加・明るさ変調による奥行き補正を実施する行き情報に応じて装置において、ユーザが処理モードを選択するユーザモード選択部3001を加えたものである。
図82に示すように、この画像処理装置(表示装置)1700は、本発明の第1実施形態から第16実施形態で説明した機能を実現する画像処理部2と、その処理結果を表示する表示部3000、そしてユーザが処理モードを選択するユーザモード選択部3001と、から構成される。
【0268】
画像処理装置(表示装置)1700では、画像処理部2で取得された奥行き補正結果画像が表示部3000に表示される。ユーザは、表示部3000での処理画像を視覚的に確認して、処理モードをユーザモード選択部3001により選択することができる。つまり、画像処理装置(表示装置)1700は、より個々人の特性に応じた(ユーザの嗜好に応じた)色補正ができるような構成になっている。ここで、表示部3000は、画像(映像)を表示させることができる機能を有するものであり、液晶ディスプレイ装置や、プラズマディスプレイ装置や、一般のTVのメイン画面表示装置あるいはサブ画面表示装置等であってもよい。ユーザモード選択部3001として、例えば、仮想光源方向を選択する場合は、図67(1)上方光源モード、(1−2)上方右光源モード、(1−3)真上光源モード、(1−4)下方左光源モード、(1−5)下方右光源モード、(1−6)真下光源モード、(1−7)デフォルト光源方向モードのようなメニュー選択方式を用いる。
【0269】
また、強度パラメータを選択する場合も、(2−1)強モード、(2−2)弱モード、(2−3)中間モード、(2−4)デフォルト強度モードのようなメニュー選択方式を用いる。
なお、これらに限定されることがないのは、言うまでもない。
ユーザは、表示部3000に表示された画像(映像)を確認して、ユーザモード選択部3001に用意されたメニュー内のオプションを選択する。例えば、仮想光源方向選択の場合、デフォルト光源方向モードとしては上方左からの光源方向が設定されている。このデフォルト光源方向モードは、メニューでの(1−1)上方左光源モードと同じでもよいし、同じ上方左に設定された仮想光源であるが、その角度を変えた光源を設定するモードであってもよい。
【0270】
第2から第6実施形態のように陰影強調画像を生成する際、図84のように輝度の低い背景内に輝度の高いパターン領域があった場合を例にして説明する。
デフォルトの光源方向モードの場合、図84の左上図のようにパターンの右下の陰影が付加・強調される。この画像をユーザが見て、(1−2)上方右光源モードを選択した場合、図84右上のように左下の陰影付加・強調が実施される。
また、ユーザが(1−4)下方左光源モードを選択した場合、図84左下のように、右上の陰影付加・強調が実施される。また、ユーザが(1−5)下方右光源モードを選択した場合、図84右下のように、左上の陰影付加・強調が実施される。
第3実施形態の場合、同じように輝度の低い背景内に輝度の高いパターン領域があった場合を例にして説明すると、(1−7)デフォルト光源モードでは、左上に光付加・強調が実施される。(1−2)上方右光源モードを選択した場合では、右上の光付加・強調が実施される。
【0271】
また、ユーザが(1−4)下方左光源モードを選択した場合、左下の光付加・強調が実施される。また、ユーザが(1−5)下方右光源モードを選択した場合、右下の光付加・強調が実施される。
第4から第6実施形態の場合も、同様に輝度の低い背景内に輝度の高いパターン領域があった場合を例にして説明すると、(1−7)デフォルト光源モードでは、右下に陰影付加・強調が行われ、左上に光付加・強調が実施される。
ユーザが(1−2)上方右光源モードを選択した場合、左下に陰影付加・強調が実施され、右上の光付加・強調が実施される。また、ユーザが(1−4)下方左光源モードを選択した場合、右上に陰影付加・強調が実施され、左下の光付加・強調が実施される。また、ユーザが(1−5)下方右光源モードを選択した場合、左上に陰影付加・強調が実施され、右下の光付加・強調が実施される。
【0272】
一方、第12実施形態における明るさ変調の場合、明るさ変調における対象画素の角度変調はゆるやかに階調が変化する部分の陰影変調を前提とする例を示す。図84のような輝度の低い背景に輝度が高いパターンに対して、(1−7)デフォルト光源モードでは、輝度の高いパターンの右下部分の階調変調(陰影変調)が実施されるが輪郭部分ではその効果は抑制される。
ユーザが(1−2)上方右光源モードを選択した場合は、輝度の高いパターンの左下部分の階調変調(陰影変調)が実施される。また、ユーザが(1−4)下方左光源モードを選択した場合は、輝度の高いパターンの右上部分の階調変調(陰影変調)が実施され、ユーザが(1−5)下方右光源モードを選択した場合、輝度の高いパターンの左上部分の階調変調(陰影変調)が実施される。
【0273】
第13から第15実施形態の場合は、陰影強調処理、光強調処理、明るさ変調処理の対応する組み合わせに応じて、対応する第2、第3、第4、第12実施形態での効果が光源方向の選択に応じて実現される。
このようにユーザが表示部3000を確認して、陰影強調や光強調具合により生じる奥行き感・立体感をもとに、好みの仮想光源方向を選択できる。
同様に、ユーザは、表示部3000を確認して、ユーザモード選択部3001に用意されたメニュー内にある強度パラメータ選択に関して、例えば、(2−1)強モード、(2−2)弱モード、(2−3)中間モード、(2−4)デフォルト強度モードより選択することができる。ここでデフォルトモードとは、奥行き補正する際の陰影強調・光強調・明るさ変調の強度をデフォルト値に設定したモードに相当する。この選択結果を受けて、陰影強調・光強調画像・明るさ変調画像における、陰影付加・光付加・明るさ変調のための強度を制御するのである。なお、これらの強度パラメータ用メニューでは強度パラメータ以外にも、拡散反射成分・鏡面反射成分・環境光成分を算出する際に仮定した物体表面パラメータ等を連動して調整することも可能であるし、これらの成分算出時の仮定パラメータに関して別の選択メニューを用意しても良い。
【0274】
これらの選択に応じて、ユーザモード選択部3001により、画像処理部2で適用された陰影強調・光強調・明るさ変調の程度や陰影付加・光付加方向・明るさ変調方向を制御して、好みの立体感・奥行き感を実現するように制御することができる。こうすることで、人間の視覚特性に近い印象を与える奥行き感補正処理を行うとともに、さらに各個人の見た目に応じてレベルを制御することができる。
なお、ここではメニュー選択方式の例を示したが、仮想光源方向選択の場合、マウスやポインタのように連続的に動くインターフェースにより方向指定する方法も可能であり、その際のポインタインターフェースはアナログ的に動くものであっても、予め設定された複数方向だけデジタル的に動くものであってもよい。
さらに、図83に示すように、1)陰影強調と光強調、2)陰影強調と明るさ変調、3)光強調と明るさ変調、4)陰影強調と光強調、明るさ変調の異なる組み合わせを同時に1つのスライダーやバーで調整するような構成も可能である。例えば、1)陰影強調と光強調処理が選択された場合、図83(a)のようになる。バー強度Bは「0」から「BMax」まで選択でき、陰影強調の強度SSと光強調の強度LSはバー強度Bの関数で定義される。バー強度Bが大きくなるにつれて、陰影強調による強度SS(B)を増加させるが、光強調の強度LS(B)の増加量を抑えることで、陰影強調による効果を引き立たせる。しかし、ある程度、陰影強調がされた画像では、平均輝度低下と対象部分の過剰付加とが問題となるため、バー強度Bが設定しきい値ThB1を越えた時点で陰影強調強度SS(B)を所定の最大陰影強調強度MaxSSに漸近的に収束させる。逆に、光強調強度LS(B)を大きく増加するように変化させる。こうすることで、陰影による効果よりも光強調による効果を優先することで、輝度低下をある程度より抑えるとともに、陰影と光によるコントラスト効果で立体感を上げるように動作させることができる。
【0275】
また、2)明るさ変調と光強調処理が選択された場合、図83(b)のようになる。このような場合、バー強度Sに応じて明るさ変調の強度FS(B)は線形的に変化させることがより自然であるため、そのように動作させるが、その影響として変調させる部分が大きいほど平均輝度低下を招く恐れがある。そこで、光強調処理では、その強度LSをバー強度Bが設定しきい値ThB2より小さい場合は、単調増加させる。ある程度光強調が強くなると、その弊害が特に輪郭付近で目立つ危険性があるので、バー強度Bが設定しきい値ThB2より大きくなった場合、一定値MaxLSで固定する。
3)明るさ変調と陰影強調処理が選択された場合、図83(c)のようになる。このような場合、バー強度Sに応じて明るさ変調の強度FS(B)は線形的に変化させることがより自然であるが、陰影強調の効果が重畳する恐れがある。そこで、2)よりも、明るさ変調の強度FS(B)における線形の増加率を抑える。それに対して、陰影強調の強度SS(B)も、1)と比べて低いレベルで飽和するように変化させる。こうすることで、緩やかに階調が変化する部分および輪郭部分への陰影効果が増す(高くなる)とともに、2つの処理の重畳による過剰補正を抑制する。なお、3)の場合、輝度低下が発生するため、その改善に光強調処理も同時に処理することも可能である。この場合、1)のように光強度の強度LS(B)を制御することで、画像内の平均輝度低下を抑えるとともに、陰影と光のコントラスト向上による立体感を深めることができる。
【0276】
[他の実施形態]
ここで、仮想光源として人間の視覚特性として上側から来る光を強く感じる傾向があることに起因して、左上方向からの仮想光源による陰影強調画像および光強調画像の2つを合成した処理済画像で定義して説明した。しかし、これは一義ではなく、他の上方やそれ以外の方向からの仮想光源を用いることもできる。
上記実施形態において説明した本発明の画像処理方法および画像処理装置では、陰影強調画像生成処理や光強調画像生成処理において、エッジ情報EDGEi(x,y)、法線方向ベクトルvHi(x,y)、そして明るさ情報Ki(x,y)を用いたが、エッジ情報の代わりに、第4実施形態で説明した明るさ対比量RKi(x,y)を用いてもよい。
上記実施形態において説明した本発明の画像処理方法および画像処理装置では、対象とする明るさ情報の明るさ対比量データRKi(x,y)として、(1)周辺の代表明るさ情報に対する対象画素の明るさ情報の比と(2)対象画素の明るさ情報と周辺の代表明るさ情報の差分量を用いることが好ましいが、これ以外にも、上記(1)と(2)とを所定の関数により変換して得られる値を用いるようにしてもよい。また、代表明るさ情報算出に使用される周辺領域として、対象画素周辺の所定サイズ領域を用いたが、固定にする必要はなく、例えば、対象画素i(x,y)の明るさ情報Ki(x,y)と周辺領域内の画素k(s,t)の明るさ情報Kk(s,t)との差分や、画素iと画素kとの距離lengthに応じて、周辺領域を適応的に変えるようにしてもよい。また、代表明るさ情報として周辺領域内の平均を用いる場合、対象画素iの明るさ情報Ki(x,y)と周辺領域内の画素kの明るさ情報Kk(s,t)との差分や、画素iと画素kとの距離lengthに応じて、周辺領域画素kの明るさKk(s,t)にかかる重み係数を弱めたり、強めたりするようにしてもよい。
【0277】
また、各処理装置内の仮想光源方向情報や強度パラメータ等は、画像処理装置内に保持されるように構成してもよいが、これに限定されることはなく、例えば、RAMのような外部メモリや、外部から入力部を介して、これらのデータを提供するようにしてもよい。
上記実施形態において説明した本発明の画像処理方法および画像処理装置は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、PDA、カーTVなど、画像を取り扱う機器に内臓、あるいは接続して用いられる装置であり、LSIなどの集積回路として実現される。
上記各実施形態で説明した各種処理を実現する各機能ブロックの一部または全部は、個別に1チップ化させてもよいし、一部又は全てを含むように1チップ化されても良い。なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
【0278】
また、集積回路の手法にはLSIに限るものではなく、専用回路又は汎用プロセッサで実現することも可能である。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用することも可能である。
さらに、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により行われる。
【0279】
また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
また、第2実施形態から第4実施形態における陰影強調処理と光強調処理とを行う場合、その光源は所定の設定された光源としたが、第12実施形態で追加説明した最適光源推定部を用いて得られた光源方向を用いることも可能である。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【0280】
[付記]
本発明は、次のように表現することも可能である。
(付記1)
光源位置の座標(c1,c2,c3)を入力するステップと、
所定位置(p1,p2)の画素の輝度と
x方向に隣接する画素の輝度との差分x,および
y方向に隣接する画素の輝度との差分y
を入力するステップと
ベクトル1(前記差分x,前記差分y,c3)と、
ベクトル2(c1−p1,c2−p2,c3)とに基づいて
前記画素を補正するステップと、
を含む陰影付加方法。
【0281】
(付記2)
光源位置の座標(c1,c2,c3)を入力するステップと、
所定位置(p1,p2)の画素の輝度と
x方向に隣接する画素の輝度との差分x、および
y方向に隣接する画素の輝度との差分y
を入力するステップと
ベクトル1(前記差分x,前記差分y,c3)と、
ベクトル2(c1−p1,c2−p2,c3)とに基づいて
前記画素を補正するステップと、
を含む光付加方法。
【0282】
(付記3)
光源位置が太陽光線のように無限平行位置にある場合、前記光源位置の座標(c1、c2、c3)は、その無限平行位置方向に向かって所定の大きさをもつ値となる、
付記1または付記2に記載の陰影または光付加方法。
(付記4)
入力されたカラー画像データを補正するカラー画像処理方法において、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記対象画素における法線方向情報を用いて、入力画像の明るさ情報を補正して陰影部分を強調する陰影強調画像生成ステップと、
得られた陰影強調画像を所定の画像データで出力する出力ステップより
構成されることを特徴とする画像処理方法。
【0283】
(付記5)
入力されたカラー画像データを補正するカラー画像処理方法において、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記対象画素における法線方向情報より、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成ステップと、
得られた光強調画像を所定の画像データで出力する出力ステップより
構成されることを特徴とする画像処理方法。
【0284】
(付記6)
入力されたカラー画像データを補正するカラー画像処理方法において、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
前記明るさ情報より明るさ対比量を求める明るさ対比算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記対象画素における法線方向情報を用いて、
入力画像の陰影部分を強調する陰影強調画像生成ステップと、
前記対象画素における法線方向情報より、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成ステップと、
前記対象画素における明るさ対比量より、前記陰影強調画像と前記光強調画像の合成を行う合成ステップと、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力ステップより
構成されることを特徴とする画像処理方法。
【0285】
(付記7)
入力されたカラー画像データを補正するカラー画像処理方法において、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記法線方向より所定の法線方向を得るための法線平滑化ステップと、
前記得られた所定の法線方向を変調する法線方向変調ステップと、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成ステップと、
得られた明るさ変調画像を所定の画像データで出力する出力ステップより
構成されることを特徴とする画像処理方法。
【0286】
(付記8)
入力されたカラー画像データを補正するカラー画像処理方法において、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記法線方向より所定の法線方向を得るための法線平滑化ステップと、
前記得られた所定の法線方向を変調する法線方向変調ステップと、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成ステップと、
前記得られた所定の法線方向情報を用いて、入力画像の明るさ情報を補正して陰影部分を強調する陰影強調画像生成ステップと、
前記対象画素における明るさ変調画像と陰影強調画像の合成を行う合成ステップと、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力ステップより
構成されることを特徴とする画像処理方法。
【0287】
(付記9)
入力されたカラー画像データを補正するカラー画像処理方法において、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記法線方向より所定の法線方向を得るための法線平滑化ステップと、
前記得られた所定の法線方向を変調する法線方向変調ステップと、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成ステップと、
前記得られた所定の法線方向情報を用いて、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成ステップと、
前記対象画素における明るさ変調画像と光強調画像の合成を行う合成ステップと、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力ステップより
構成されることを特徴とする画像処理方法。
【0288】
(付記10)
入力されたカラー画像データを補正するカラー画像処理方法において、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
前記明るさ情報より明るさ対比量を求める明るさ対比算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記法線方向より所定の法線方向を得るための法線平滑化ステップと、
前記得られた所定の法線方向を変調する法線方向変調ステップと、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成ステップと、
前記対象画素における所定の法線方向情報を用いて、
入力画像の陰影部分を強調する陰影強調画像生成ステップと、
前記対象画素における所定の法線方向情報より、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成ステップと、
前記対象画素における明るさ対比量より、前記陰影強調画像と前記光強調画像、そして明るさ変調画像の合成を行う合成ステップと、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力ステップより
構成されることを特徴とする画像処理方法。
【0289】
(付記11)
明るさ対比算出ステップが、対象とする画素の明るさ情報を、その周囲の領域内の明るさ情報を代表する周囲明るさ情報と比較する明るさ対比処理により構成されることを特徴とする、
付記6または10のいずれかに記載の画像処理方法。
(付記12)
合成ステップは、明るさ対比量より合成係数を算出し、
陰影強調画像と光強調画像の明るさ情報を合成して処理済み画像の明るさ情報を算出し、
前記処理済み画像の明るさ情報と入力画像の明るさ情報より処理済み画像の色差成分を算出して処理済画像を生成することを特徴とする、
付記6に記載の画像処理方法。
【0290】
(付記13)
合成ステップは、明るさ対比量より合成係数を算出し、
陰影強調画像と光強調画像の明るさ情報を合成した画像の明るさ情報を算出した後に、
前記合成画像に明るさ変調画像の明るさ情報を合成して処理済み画像の明るさ情報を算出し、
前記処理済み画像の明るさ情報と入力画像の明るさ情報より処理済み画像の色差成分を算出して処理済画像を生成することを特徴とする、
付記10に記載の画像処理方法。
(付記14)
出力ステップが、入力画像の輝度分布を表す値と処理済画像の輝度分布を表す値をもとに、処理済画像の輝度の階調変換を実施する出力階調補正ステップと、
前記出力階調補正ステップで得られた出力輝度値をもとに、出力フォーマットに合わせた色差成分の補正を実施する出力色差補正ステップより構成されることを特徴とする、
付記4から10のいずれか1項に記載の画像処理方法。
【0291】
(付記15)
対象領域内の法線方向情報が、
前記領域にx方向に隣接する領域内画素の平均輝度との差分xと、
前記領域にy方向に隣接する領域内画素の平均画素との差分yにより決定されることを特徴とする、
付記4から10のいずれか1項に記載の画像処理方法。
(付記16)
対象領域内の法線方向情報が、
前記領域にx方向に隣接する領域内画素の平均輝度との差分xと、
前記領域にy方向に隣接する領域内画素の平均画素との差分yと、
前記対象領域内の画素の平均輝度値、と前記対象領域周囲の所定の大きさ内にある配置された周囲領域内の画素の平均輝度値との関係を示す輝度対比量に応じた値により決定されることを特徴とする、
付記4から10のいずれか1項に記載の画像処理方法。
【0292】
(付記17)
対象領域内の法線方向情報が、
前記領域にx方向に隣接する領域内画素の平均輝度との差分xと、
前記領域にy方向に隣接する領域内画素の平均画素との差分yと、
前記対象領域内の画素の平均色情報値、と前記対象領域周囲の所定の大きさ内にある配置された周囲領域内の画素の平均色情報値との関係を示す色対比量に応じた値により決定されることを特徴とする、
付記4から10のいずれか1項に記載の画像処理方法。
(付記18)
対象領域内の法線方向情報が、
前記領域にx方向に隣接する領域内画素の平均輝度との差分xと、
前記領域にy方向に隣接する領域内画素の平均画素との差分yと、
前記対象領域内の画素の平均輝度値、と前記対象領域周囲の所定の大きさ内にある配置された周囲領域内の画素の平均輝度値との関係を示す輝度対比量に応じた値と、
前記対象領域内の画素の平均色情報値、と前記対象領域周囲の所定の大きさ内にある配置された周囲領域内の画素の平均色情報値との関係を示す色対比量に応じた値により決定されることを特徴とする、
付記4から10のいずれか1項に記載の画像処理方法。
【0293】
(付記19)
対象領域内の法線方向情報が、
前記領域にx方向に隣接する領域内画素の平均輝度との差分xと、
前記領域にy方向に隣接する領域内画素の平均画素との差分yと、
前記対象域内の輝度変動を示す値により決定されることを特徴とする、
付記4から10のいずれか1項に記載の画像処理方法。
(付記20)
陰影強調画像生成ステップは、仮想の光源方向を設定し、
入力画像の明るさ情報より、その仮想光源による拡散反射成分を算出し、
入力画像の明るさ情報より、その仮想光源による鏡面反射成分を算出し、
入力画像の明るさ情報より、その仮想光源による環境成分を算出し、
前記拡散反射成分、鏡面反射成分、環境光成分による陰影成分画像を生成し、
法線方向推定ステップで算出された法線情報とエッジ量より、前記陰影成分画像に掛かる合成係数を算出し、
前記合成係数をもとに陰影成分画像と入力画像の明るさ情報より陰影強調画像の明るさ情報を算出し、
前記陰影強調画像の明るさ情報と入力画像の明るさ情報より陰影強調画像の色差成分を算出して陰影強調画像を生成することを特徴とする、
付記4、6、7、10、のいずれか1項に記載の画像処理方法。
【0294】
(付記21)
光強調画像生成ステップは、付加する仮想光源方向を設定し、
その仮想光源による付加拡散反射成分を算出し、
その仮想光源による付加鏡面反射成分を算出し、
その仮想光源による付加環境成分を算出し、
前記付加拡散反射成分、付加鏡面反射成分、付加環境光成分による光付加画像を生成し、
法線方向推定ステップで算出された法線情報とエッジ量より、前記光付加画像に掛かる合成係数を算出し、
前記合成係数をもとに光付加画像と入力画像の明るさ情報より光強調画像の明るさ情報を算出し、
前記光強調画像の明るさ情報と入力画像の明るさ情報より光強調画像の色差成分を算出して光強調画像を生成することを特徴とする、
付記5、6、9、10のいずれか1項に記載の画像処理方法。
【0295】
(付記22)
明るさ変調画像生成ステップは、仮想光源を設定し、
法線方向変調ステップで実施された対象画素の変調前の法線方向ベクトルと変調後の法線差分ベクトルの間の角度変動量を求め、
その角度変動量より、仮想光源による拡散反射成分の変動量を算出し、
その角度変動量より、仮想光源による鏡面反射成分の変動量を算出し、
前記拡散反射成分、鏡面反射成分の変動量で入力画像の明るさ情報を補正することで明るさ変調画像を生成することを特徴とする、
付記7、8、9、10のいずれか1項に記載の画像処理方法。
(付記23)
法線平滑化ステップでは、対象領域の法線方向情報に対して、同じフレーム時刻における画像内で、対象領域から所定の大きさ内にある周囲領域の法線方向情報を使って、空間方向に平滑化処理を行うことを特徴とする、
付記7から10のいずれか1項に記載の画像処理方法。
【0296】
(付記24)
法線方向推定ステップでは、対象領域において、現時点よりもp時刻前のフレーム画像から現時点のフレーム画像までの法線方向情報を使って、時間方向に平滑化処理を行うことを特徴とする、
付記1から10のいずれか1項に記載の画像処理方法。
(付記25)
法線方向平滑化ステップでは、対象領域の法線方向情報に対して、同じフレーム時刻における画像内で、対象領域から所定の大きさ内にある周囲領域の法線方向情報を使って、空間方向に平滑化処理を行うとともに、対象領域において、現時点よりもp時刻前のフレーム画像から現時点のフレーム画像までの法線方向情報を使って、時間方向にも平滑化処理を行うことを特徴とする、
付記7から10のいずれか1項に記載の画像処理方法。
【0297】
(付記26)
入力されたカラー画像データを補正するカラー画像処理方法において、
ユーザが所定の方法で提示されたメニューやボタンより処理モードを選択するユーザ処理選択ステップと、
前記ユーザ処理選択ステップで得られた処理モードに応じて、付記4から10のいずれかに記載の画像処理方法の処理制御を行うステップと、
前記画像処理方法による結果を所定の表示機器に表示するステップと、
前記表示ステップで得られた処理済み画像が良好である場合、その画像を所定の方法で出力することを指示するユーザ出力指示ステップと、
前期ユーザ出力ステップで出力指示がされた時点で所定の方法で処理済画像を出力する出力ステップより
構成されることを特徴とする、
付記2から7のいずれかに記載の画像処理方法。
【0298】
(付記27)
ユーザ処理選択ステップは、付記4から10のいずれかに記載の画像処理方法における処理において陰影付加、光付加、または明るさ変調をする際の仮想光源方向や、拡散反射係数、鏡面反射係数、環境光係数や、陰影強調、光強調の強度、または明るさ変調強度に関するパラメータを調整するものであり、設定された所定の複数モードより選択することを特徴とする、
付記27に記載の画像処理方法。
(付記28)
ユーザ処理選択ステップは、付記4から10のいずれかに記載の画像処理方法における処理において、陰影強調、光強調、明るさ変調から選ばれた異なる2つの効果を1つの軸を持つスライダバーで調整するものであり、前記選択された2つの効果の組み合わせに対応する複数モードから1つのモードを選択することを特徴とする、
付記27に記載の画像処理方法。
【0299】
(付記29)
画像に光源位置を設定する設定部と、
前記画像を領域毎に分割する分割部と、
第1の領域の輝度の補正量と、前記第1の領域と隣接する第2の領域の輝度の補正量とを決定する決定部を備え、
前記決定部は、
第1の領域の平均輝度が第2の領域の平均輝度より高く、
かつ
第1の領域の中心座標が前記第2の領域の中心座標に比して光源位置に近い場合に、
第2の領域の補正量を第1の補正量に比して大きく決定する、
画像処理装置。
【0300】
(付記30)
入力されたカラー画像データを補正するカラー画像処理装置において、
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記対象画素における法線方向情報を用いて、
入力画像の陰影部分を強調する陰影強調画像生成部と、
得られた陰影強調画像を所定の画像データで出力する出力部
より構成されることを特徴とする、
画像処理装置。
(付記31)
入力されたカラー画像データを補正するカラー画像処理装置において、
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記対象画素における法線方向情報より、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成部と、
得られた光強調画像を所定の画像データで出力する出力部より構成される
ことを特徴とする、
画像処理装置。
【0301】
(付記32)
入力されたカラー画像データを補正するカラー画像処理装置において、
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
前記明るさ情報より明るさ対比量を求める明るさ対比算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記対象画素における法線方向情報を用いて、
入力画像の陰影部分を強調する陰影強調画像生成部と、
前記対象画素における法線方向情報より、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成部と、
前記対象画素における明るさ対比量より、前記陰影強調画像と前記光強調画像の合成を行う合成部と、
前記合成部で得られた処理済画像を所定の画像データで出力する出力部より
構成されることを特徴とする、
画像処理装置。
【0302】
(付記33)
入力されたカラー画像データを補正するカラー画像処理装置において、
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記法線方向より所定の法線方向を得るための法線平滑化部と、
前記得られた所定の法線方向を変調する法線方向変調部と、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成部と、
得られた明るさ変調画像を所定の画像データで出力する出力部より
構成されることを特徴とする、
画像処理装置。
【0303】
(付記34)
入力されたカラー画像データを補正するカラー画像処理装置において、
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記法線方向より所定の法線方向を得るための法線平滑化部と、
前記得られた所定の法線方向を変調する法線方向変調部と、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成部と、
前記得られた所定の法線方向情報を用いて、入力画像の明るさ情報を補正して陰影部分を強調する陰影強調画像生成部と、
前記対象画素における明るさ変調画像と陰影強調画像の合成を行う合成部と、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力部より
構成されることを特徴とする、
画像処理装置。
【0304】
(付記35)
入力されたカラー画像データを補正するカラー画像処理装置において、
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記法線方向より所定の法線方向を得るための法線平滑化部と、
前記得られた所定の法線方向を変調する法線方向変調部と、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成部と、
前記得られた所定の法線方向情報を用いて、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成部と、
前記対象画素における明るさ変調画像と光強調画像の合成を行う合成部と、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力部より
構成されることを特徴とする、
画像処理装置。
【0305】
(付記36)
入力されたカラー画像データを補正するカラー画像処理装置において、
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記法線方向より所定の法線方向を得るための法線平滑化部と、
前記得られた所定の法線方向を変調する法線方向変調部と、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成部と、
前記得られた所定の法線方向情報を用いて、入力画像の明るさ情報を補正して陰影部分を強調する陰影強調画像生成部と、
前記得られた所定の法線方向情報を用いて、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成部と、
前記対象画素における明るさ変調画像と陰影強調画像、光強調画像の合成を行う合成部と、
前記合成部で得られた処理済画像を所定の画像データで出力する出力部より
構成されることを特徴とする、
画像処理方法。
【0306】
(付記37)
コンピュータによりカラー画像の補正を行うための画像処理プログラムであって、
前記画像処理プログラムは、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記対象画素における法線方向情報とエッジ情報を用いて、
入力画像の陰影部分を強調する陰影強調画像生成ステップと、
得られた陰影強調画像を所定の画像データで出力する出力ステップを
備える、
画像処理方法である画像処理プログラム。
(付記38)
コンピュータによりカラー画像の補正を行うための画像処理プログラムであって、
前記画像処理プログラムは、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記対象画素における法線方向情報より、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成ステップと、
得られた光強調画像を所定の画像データで出力する出力ステップを
備える、
画像処理方法である画像処理プログラム。
【0307】
(付記39)
コンピュータによりカラー画像の補正を行うための画像処理プログラムであって、
前記画像処理プログラムは、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
前記明るさ情報より明るさ対比量を求める明るさ対比算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記対象画素における法線方向情報を用いて、
入力画像の陰影部分を強調する陰影強調画像生成ステップと、
前記対象画素における法線方向情報より、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成ステップと、
前記対象画素における明るさ対比量より、前記陰影強調画像と前記光強調画像の合成を行う合成ステップと、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力ステップを備える、
画像処理方法である画像処理プログラム。
【0308】
(付記40)
コンピュータによりカラー画像の補正を行うための画像処理プログラムであって、
前記画像処理プログラムは、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記法線方向より所定の法線方向を得るための法線平滑化ステップと、
前記得られた所定の法線方向を変調する法線方向変調ステップと、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成ステップと、
得られた明るさ変調画像を所定の画像データで出力する出力ステップを備える、
画像処理方法である画像処理プログラム。
(付記41)
コンピュータによりカラー画像の補正を行うための画像処理プログラムであって、
前記画像処理プログラムは、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記法線方向より所定の法線方向を得るための法線平滑化ステップと、
前記得られた所定の法線方向を変調する法線方向変調ステップと、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成ステップと、
前記得られた所定の法線方向情報を用いて、入力画像の明るさ情報を補正して陰影部分を強調する陰影強調画像生成ステップと、
前記対象画素における明るさ変調画像と陰影強調画像の合成を行う合成ステップと、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力ステップを備える、
画像処理方法である画像処理プログラム。
【0309】
(付記42)
コンピュータによりカラー画像の補正を行うための画像処理プログラムであって、
前記画像処理プログラムは、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記法線方向より所定の法線方向を得るための法線平滑化ステップと、
前記得られた所定の法線方向を変調する法線方向変調ステップと、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成ステップと、
前記得られた所定の法線方向情報を用いて、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成ステップと、
前記対象画素における明るさ変調画像と光強調画像の合成を行う合成ステップと、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力ステップを備える、
画像処理方法である画像処理プログラム。
【0310】
(付記43)
コンピュータによりカラー画像の補正を行うための画像処理プログラムであって、
前記画像処理プログラムは、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記法線方向より所定の法線方向を得るための法線平滑化ステップと、
前記得られた所定の法線方向を変調する法線方向変調ステップと、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成ステップと、
前記得られた所定の法線方向情報を用いて、入力画像の明るさ情報を補正して陰影部分を強調する陰影強調画像生成ステップと、
前記得られた所定の法線方向情報を用いて、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成ステップと、
前記対象画素における明るさ変調画像と陰影強調画像、光強調画像の合成を行う合成ステップと、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力ステップを備える、
画像処理方法である画像処理プログラム。
【0311】
(付記44)
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記対象画素における法線方向情報を用いて、
入力画像の陰影部分を強調する陰影強調画像生成部と、
得られた陰影強調画像を所定の画像データで出力する出力部を
備える集積回路。
(付記45)
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記対象画素における法線方向情報より、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成部と、
得られた光強調画像を所定の画像データで出力する出力部を
備える集積回路。
【0312】
(付記46)
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
前記明るさ情報より明るさ対比量を求める明るさ対比算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記対象画素における法線方向情報を用いて、
入力画像の陰影部分を強調する陰影強調画像生成部と、
前記対象画素における法線方向情報より、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成部と、
前記対象画素における明るさ対比量より、前記陰影強調画像と前記光強調画像の合成を行う合成部と、
前記合成部で得られた処理済画像を所定の画像データで出力する出力部を
備える集積回路。
(付記47)
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記法線方向より所定の法線方向を得るための法線平滑化部と、
前記得られた所定の法線方向を変調する法線方向変調部と、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成部と、
得られた明るさ変調画像を所定の画像データで出力する出力部を備える集積回路。
【0313】
(付記48)
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記法線方向より所定の法線方向を得るための法線平滑化部と、
前記得られた所定の法線方向を変調する法線方向変調部と、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成部と、
前記得られた所定の法線方向情報を用いて、入力画像の明るさ情報を補正して陰影部分を強調する陰影強調画像生成部と、
前記対象画素における明るさ変調画像と陰影強調画像の合成を行う合成部と、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力部を
備える集積回路。
【0314】
(付記49)
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記法線方向より所定の法線方向を得るための法線平滑化部と、
前記得られた所定の法線方向を変調する法線方向変調部と、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成部と、
前記得られた所定の法線方向情報を用いて、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成部と、
前記対象画素における明るさ変調画像と光強調画像の合成を行う合成部と、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力部を
備える集積回路。
【0315】
(付記50)
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記法線方向より所定の法線方向を得るための法線平滑化部と、
前記得られた所定の法線方向を変調する法線方向変調部と、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成部と、
前記得られた所定の法線方向情報を用いて、入力画像の明るさ情報を補正して陰影部分を強調する陰影強調画像生成部と、
前記得られた所定の法線方向情報を用いて、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成部と、
前記対象画素における明るさ変調画像と陰影強調画像、光強調画像の合成を行う合成部と、
前記合成部で得られた処理済画像を所定の画像データで出力する出力部を
備える集積回路。
【産業上の利用可能性】
【0316】
本発明に係る画像処理装置、画像処理方法、プログラム、記録媒体および集積回路は、陰影付加・光付加または明るさ変調を行うことで2D画像の奥行き感向上を簡易、かつ、3D画像表示のように特殊デバイスを必要としないで実現することができるので、映像機器関連産業分野において、有用であり、本発明に係る画像処理装置、画像処理方法、プログラム、記録媒体および集積回路は、当該分野において実施することができる。
【図面の簡単な説明】
【0317】
【図1】本発明の第1実施形態に係る画像処理装置の構成を示すブロック図。
【図2】本発明の第1実施形態に係る画像処理装置における画像処理方法のフローチャート。
【図3】本発明の第1実施形態に係る画像処理装置の動作を説明するための説明図。
【図4】本発明における第1実施形態に係る画像処理装置の構成を示すブロック図。
【図5】本発明における第1実施形態に係る画像処理装置内の法線方向推定部の構成を示すブロック図。
【図6】本発明における第1実施形態に係る画像処理装置内の陰影強調画像生成部の構成を示すブロック図。
【図7】本発明における第1実施形態に係る画像処理方法の処理フローチャート図。
【図8】本発明における第1実施形態に係る画像処理方法内の法線方向推定処理のフローチャート図。
【図9】本発明における第1実施形態に係る画像処理方法内の陰影強調画像生成処理のフローチャート図。
【図10】本発明における第1実施形態に係る画像処理方法内の法線推定処理の概要を模式的に示す図。
【図11】本発明における第1実施形態に係る画像処理方法内の照明方向設定の概要を模式的に示す図。
【図12】本発明における第1実施形態に係る画像処理方法で使用される照明近似モデル全体の概要を示す図。
【図13】照明近似モデルにおける拡散反射成分を模式的に示す図。
【図14】照明近似モデルにおける鏡面反射成分を模式的に示す図。
【図15】照明近似モデルにおける環境光成分を模式的に示す図。
【図16】本発明における第2実施形態に係る画像処理方法の陰影強調効果の概要を示す図。
【図17】本発明における第2実施形態に係る画像処理方法の別の陰影強調効果の概要を示す図。
【図18】本発明における第2実施形態に係る画像処理装置内の色差成分算出部の制御例に関する模式図。
【図19】本発明における第3実施形態に係る画像処理装置の構成を示すブロック図。
【図20】本発明における第3実施形態に係る画像処理装置内の光強調画像生成部の構成を示すブロック図。
【図21】本発明における第3実施形態に係る画像処理方法の処理フローチャート図。
【図22】本発明における第3実施形態に係る画像処理方法内の光強調画像生成処理のフローチャート図。
【図23】本発明における第3実施形態に係る画像処理方法の光強調効果を模式的に示す図。
【図24】本発明における第3実施形態に係る画像処理方法の光強調効果を模式的に示す図。
【図25】本発明における第4実施形態に係る画像処理装置の構成を示すブロック図。
【図26】本発明における第4実施形態に係る画像処理装置内の合成部の構成を示すブロック図。
【図27】本発明における第4実施形態に係る画像処理装置内の明るさ対比算出部の構成を示すブロック図。
【図28】本発明における第4実施形態に係る画像処理方法の処理フローチャート図。
【図29】本発明における第4実施形態に係る画像処理方法内の明るさ対比量算出処理の処理フローチャート図。
【図30】本発明における第4実施形態に係る画像処理方法内の合成処理を示すフローチャート図。
【図31】本発明における第4実施形態に係る画像処理方法内の明るさ対比を模式的に示す図。
【図32】本発明における第4実施形態に係る画像処理方法内の明るさ対比を模式的に示す図。
【図33】本発明における第4実施形態に係る画像処理方法の効果を模式的に示す図。
【図34】本発明における第4実施形態に係る画像処理方法の効果を模式的に示す図。
【図35】本発明における第5実施形態に係る画像処理装置の構成を示すブロック図。
【図36】本発明における第6実施形態に係る画像処理装置の構成を示すブロック図。
【図37】本発明における第7実施形態に係る画像処理装置内の法線方向推定部の構成を示すブロック図。
【図38】本発明における第7実施形態に係る画像処理方法内の法線方向推定のフローチャート図。
【図39】本発明における第7実施形態に係る画像処理方法内の法線方向推定を模式的に示す概念図。
【図40】本発明における第8実施形態に係る画像処理装置内の法線方向推定部の構成を示すブロック図。
【図41】本発明における第8実施形態に係る画像処理方法内の法線方向推定のフローチャート図。
【図42】本発明における第8実施形態に係る画像処理方法内の法線方向推定を模式的に示す概念図。
【図43】本発明における第9実施形態に係る画像処理装置内の法線方向推定部の構成を示すブロック図。
【図44】本発明における第9実施形態に係る画像処理方法内の法線方向推定のフローチャート図。
【図45】本発明における第9実施形態に係る画像処理方法内の法線方向推定を模式的に示す図。
【図46】本発明における第10実施形態に係る画像処理装置内の法線方向推定部の構成を示すブロック図。
【図47】本発明における第10実施形態に係る画像処理方法内の法線方向推定のフローチャート図。
【図48】本発明における第10実施形態に係る画像処理方法内の色対比の1例である彩度対比を模式的に示す図。
【図49】本発明における第10実施形態に係る画像処理方法の色対比の1つである色相対比を模式的に示す図。
【図50】本発明における第10実施形態に係る画像処理方法内の法線方向推定を模式的に示す図。
【図51】本発明における第11実施形態に係る画像処理装置内の法線方向推定部の構成を示すブロック図。
【図52】本発明における第11実施形態に係る画像処理方法内の法線方向推定のフローチャート図。
【図53】本発明における第11実施形態に係る画像処理方法内の法線方向推定を模式的に示す概念図。
【図54】本発明における第12実施形態に係る画像処理装置の構成を示すブロック図。
【図55】本発明における第12実施形態に係る画像処理方法のフローチャート図。
【図56】本発明における第12実施形態に係る画像処理方法内の明るさ変調処理のフローチャート図。
【図57】本発明における第12実施形態に係る画像処理方法内の方法1による角度変調分算出を表す模式図。
【図58】本発明における第12実施形態に係る画像処理方法内の方法1による角度変調分算出を表す模式図。
【図59】本発明における第12実施形態に係る画像処理方法内の方法1による角度変調分算出を表す模式図。
【図60】本発明における第12実施形態に係る画像処理方法内の方法2による角度変調分算出を表す模式図。
【図61】本発明における第12実施形態に係る画像処理装置における制御係数wd1とwd2の意味を示す図。
【図62】本発明における第12実施形態に係る画像処理装置における制御係数例を示す図。
【図63】本発明における第12実施形態に係る画像処理装置における角度変調分から明るさ変調分への変換を示す図。
【図64】本発明における第12実施形態に係る画像処理方法の効果を模式的に示す図。
【図65】本発明における第12実施形態に係る画像処理方法の効果を模式的に示す図。
【図66】本発明における第12実施形態に係る画像処理装置における最適光源推定の評価関数例を示す図。
【図67】本発明における第12実施形態に係る画像処理装置における光源方向を示す図。
【図68】本発明における第13実施形態に係る画像処理装置の構成を示すブロック図。
【図69】本発明における第13実施形態に係る画像処理方法のフローチャート図。
【図70】本発明における第13実施形態に係る画像処理方法の効果を模式的に示す図。
【図71】本発明における第13実施形態に係る画像処理方法の効果を模式的に示す図。
【図72】本発明における第14実施形態に係る画像処理装置の構成を示すブロック図。
【図73】本発明における第14実施形態に係る画像処理方法のフローチャート図。
【図74】本発明における第14実施形態に係る画像処理方法の効果を模式的に示す図。
【図75】本発明における第14実施形態に係る画像処理方法の効果を模式的に示す図。
【図76】本発明における第15実施形態に係る画像処理装置の構成を示すブロック図。
【図77】本発明における第15実施形態に係る画像処理方法のフローチャート図。
【図78】本発明における第15実施形態に係る画像処理方法の効果を模式的に示す図。
【図79】本発明における第15実施形態に係る画像処理方法の効果を模式的に示す図。
【図80】本発明における第16実施形態に係る画像処理装置の構成を示すブロック図。
【図81】本発明における第16実施形態に係る画像処理方法の動画に対する法線方向推定の変動を模式的に示す図。
【図82】本発明における第17実施形態に係る画像処理装置の構成を示すブロック図。
【図83】本発明における第17実施形態に係る画像処理方法で1つのバーにより異なる2つの処理を制御する概念図。
【図84】本発明における第1から第17実施形態に係る発明による陰影付加方向の模式図。
【図85】従来の画像処理装置の構成を示すブロック図。
【符号の説明】
【0318】
100、200、300、400、500、600、1200、1300、1400、1500 画像処理装置
201 補正階調導出部
1700 画像処理装置(表示装置)
11 明るさ算出部
13 法線方向推定部
14 陰影強調画像生成部
15 出力部
30 水平方向微分算出部
31 垂直方向微分算出部
32 法線方向ベクトル算出部
41 仮想光源設定部
42 拡散反射成分算出部
43 鏡面反射成分算出部
44 環境成分算出部
45 合成係数算出部
46 陰影成分画像生成部
47 陰影強調画像算出部
48 色差成分算出部
49 陰影強調画像
50 光強調画像生成部
60 仮想付加光源設定部
61 付加拡散反射成分算出部
62 付加鏡面反射成分算出部
63 付加環境成分算出部
64 第2合成係数算出部
65 光付加画像生成部
66 光強調画像算出部
70 合成部
71 明るさ対比算出部
72 フィルタ処理部
73 差分明るさ算出部
74 補正分算出部
75 陰影による減少生成部
76 光による加算生成部
77 変化分合成部
80 第3合成係数算出部
81 明るさ合成部
91 周辺明るさ情報算出部
92 明るさ対比量算出部
100 XY成分強調量算出部
101 法線ベクトル調整部
110 Z成分算出部
120 視覚的奥行き量算出部
130 色対比算出部
131 色情報
132 第2視覚的奥行き量算出部
140 第3視覚的奥行き量算出部
12200 法線平滑化部
12201 法線方向変調部
202 輝度変調分算出部
203 合成部
210 第2合成部
220 第3合成部
15300 第4合成部
80400 時間方向法線平滑化部
3000 表示部
3001 ユーザモード選択部
3002 仮想光源方法パラメータ、強度パラメータ制御信号

【出願人】 【識別番号】000005821
【氏名又は名称】松下電器産業株式会社
【出願日】 平成19年5月22日(2007.5.22)
【代理人】 【識別番号】110000202
【氏名又は名称】新樹グローバル・アイピー特許業務法人


【公開番号】 特開2008−4085(P2008−4085A)
【公開日】 平成20年1月10日(2008.1.10)
【出願番号】 特願2007−135182(P2007−135182)