| 【発明の名称】 |
補間演算装置 |
| 【発明者】 |
【氏名】吉野 恭司
【氏名】外村 元伸
【氏名】清野 創
|
| 【要約】 |
【課題】撮像装置からのRawデータに対して、スケーリングのための補間処理を直接行う。
【構成】画素値入力部１１０が入力したBayer Pattern配列画素からなるRawデータを、正方格子上の各格子点に配置された画素の集合として画素値記憶部１２０に格納する。補間点指定部１７０は、任意の補間点Ｑの位置を、左上近傍の格子点を示す上位アドレスと格子枠内の位置を示す下位アドレスによって指定し、演算対象色指定部１６０は、画素値を求めるべき特定色を指定する。補間基準枠決定部１５０は、指定色の格子点によって４頂点が構成され、補間点Ｑを内包する最小の正方形からなる補間基準枠とその左上の格子点からなる補間原点を決定し、補間割合決定部１４０は、補間原点と補間点との隔たりに基づいて補間割合ｄ＊，ｅ＊を決定する。補間演算部１３０は、補間基準枠周辺の画素値と補間割合ｄ＊，ｅ＊を用いた補間演算を行う。 |
【特許請求の範囲】
【請求項１】
受けた光についてそれぞれ特定の色の光量を検出して画素値として出力する機能をもった合計ｍ通りの受光素子を、ＸＹ座標系上に定義された正方格子上の特定の格子点の位置に、それぞれ所定の規則的パターンに応じて周期的に配置してなる撮像装置によって得られる個々の画像値に基づいて、前記ＸＹ座標系上の任意の位置にある補間点Ｑの前記ｍ通りの色の画素値を補間演算によって求める補間演算装置であって、
前記撮像装置を構成する個々の受光素子から出力される画素値を入力する画素値入力部と、
入力した画素値を、前記各格子点の位置に対応づけた画素値配列として記憶する画素値記憶部と、
補間演算によって画素値を求める対象となる補間点Ｑについて、当該補間点Ｑを内包し前記格子点によって４頂点が構成される最小の正方形を位置基準枠と定め、当該位置基準枠を構成する４頂点のうち、予め定められた相対位置を占める頂点を位置原点αと定め、前記補間点Ｑの位置を、前記正方格子における前記位置原点αの位置を示す上位アドレス（Ｘ，Ｙ）と、前記位置基準枠内のローカル座標系として定義されたｘｙ座標系における前記補間点Ｑの位置を示す下位アドレス（ｘ，ｙ）と、によって指定する補間点指定部と、
前記ｍ通りの色を順次、画素値を演算すべき演算対象色として指定する演算対象色指定部と、
前記演算対象色を検出する機能をもった受光素子が配置された格子点によって４頂点が構成され、前記補間点Ｑを内包する最小の正方形からなる補間基準枠を、前記上位アドレス（Ｘ，Ｙ）および下位アドレス（ｘ，ｙ）と、前記演算対象色指定部によって指定された演算対象色に関する前記規則的パターンと、を用いて決定し、当該補間基準枠を構成する４頂点のうち、予め定められた相対位置を占める頂点を補間原点βと決定する補間基準枠決定部と、
前記補間基準枠を構成する第１の「一対の対辺」に平行な方向を第１の方向、第２の「一対の対辺」に平行な方向を第２の方向としたときの、前記補間原点βと前記補間点Ｑとの間の前記第１の方向に関する隔たりｄと前記第２の方向に関する隔たりｅとを、前記上位アドレス（Ｘ，Ｙ）および下位アドレス（ｘ，ｙ）に基づいて求め、求めた隔たりｄ，ｅを前記補間基準枠の一辺の長さで規格化した値ｄ＊およびｅ＊を、それぞれ前記第１の方向に関する補間割合および前記第２の方向に関する補間割合と決定する補間割合決定部と、
少なくとも前記補間基準枠の４頂点に位置する受光素子の画素値を、補間参照値として前記画素値記憶部から読み出し、これら補間参照値と前記補間割合ｄ＊，ｅ＊とに基づいて補間演算を行い、前記補間点Ｑの各演算対象色についての画素値を求める補間演算部と、
を備えることを特徴とする補間演算装置。
【請求項２】
請求項１に記載の補間演算装置において、
補間点指定部が、ＸＹ座標系上に定義された正方格子の縦横の格子間隔を１としたときの補間点Ｑの当該ＸＹ座標系上での座標値の整数部を上位アドレス（Ｘ，Ｙ）とし、小数部を下位アドレス（ｘ，ｙ）として用いることを特徴とする補間演算装置。
【請求項３】
請求項２に記載の補間演算装置において、
補間点指定部が、外部から与えられた縦方向および横方向の拡大倍率に基づいて、当該拡大倍率の逆数のピッチで、補間演算が必要な複数の補間点Ｑを自動的に指定することを特徴とする補間演算装置。
【請求項４】
請求項２または３に記載の補間演算装置において、
補間基準枠決定部が、指定された上位アドレス（Ｘ，Ｙ）のうちのＸが偶数か奇数か、Ｙが偶数か奇数か、によって、それぞれ異なる４通りの補間原点決定アルゴリズムを用い、補間原点βの決定を行うことを特徴とする補間演算装置。
【請求項５】
請求項１〜４のいずれかに記載の補間演算装置において、
補間基準枠決定部が、
正方格子の格子線に対して各辺が平行な補間基準枠が形成される画素配列をもった色が演算対象色として指定された場合には、上位アドレス（Ｘ，Ｙ）を用いて補間基準枠の決定を行い、
正方格子の格子線に対して各辺が平行にならない補間基準枠が形成される画素配列をもった色が演算対象色として指定された場合には、上位アドレス（Ｘ，Ｙ）および下位アドレス（ｘ，ｙ）の双方を用いて補間基準枠の決定を行うことを特徴とする補間演算装置。
【請求項６】
請求項１〜５のいずれかに記載の補間演算装置において、
補間基準枠決定部が、補間基準枠を構成する４頂点のうち、Ｙ座標値が最も小さい頂点の中からＸ座標値が最も小さい頂点を選択し、選択された頂点を補間原点βと決定することを特徴とする補間演算装置。
【請求項７】
請求項１〜６のいずれかに記載の補間演算装置において、
補間基準枠決定部が、Bayer Pattern 配列に基づく所定の規則的パターンを用いて補間基準枠の決定を行い、
補間演算部が、前記Bayer Pattern 配列に基づく所定の規則的パターンを考慮して、読出対象となる補間参照値を決定することを特徴とする補間演算装置。
【請求項８】
請求項７に記載の補間演算装置において、
３原色Ｒ，Ｇ，Ｂについて、奇数行はＲＧＲＧＲＧＲＧＲ......、偶数行はＧＢＧＢＧＢＧＢＧＢ......とするBayer Pattern 配列を用いることを特徴とする補間演算装置。
【請求項９】
請求項８に記載の補間演算装置において、
補間点指定部が、ＸＹ座標系上に定義された正方格子の縦横の格子間隔を１としたときの補間点Ｑの当該ＸＹ座標系上での座標値の整数部を上位アドレス（Ｘ，Ｙ）とし、小数部を下位アドレス（ｘ，ｙ）として用いることを特徴とする補間演算装置。
【請求項１０】
請求項９に記載の補間演算装置において、
補間基準枠決定部が、ｉ，ｊを整数として、
指定された演算対象色がＲ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ）の形式で表現される場合には、アドレス（２ｉ，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＲ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ）の形式で表現される場合には、アドレス（２ｉ，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＲ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ＋１）の形式で表現される場合には、アドレス（２ｉ，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＲ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ＋１）の形式で表現される場合には、アドレス（２ｉ，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＢ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ）の形式で表現される場合には、アドレス（２ｉ−１，２ｊ−１）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＢ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ）の形式で表現される場合には、アドレス（２ｉ＋１，２ｊ−１）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＢ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ＋１）の形式で表現される場合には、アドレス（２ｉ−１，２ｊ＋１）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＢ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ＋１）の形式で表現される場合には、アドレス（２ｉ＋１，２ｊ＋１）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ≦−ｘ＋１なる条件を満たす場合には、アドレス（２ｉ，２ｊ−１）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ＞−ｘ＋１なる条件を満たす場合には、アドレス（２ｉ＋１，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ≦ｘなる条件を満たす場合には、アドレス（２ｉ＋２，２ｊ−１）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ＞ｘなる条件を満たす場合には、アドレス（２ｉ＋１，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ＋１）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ≦ｘなる条件を満たす場合には、アドレス（２ｉ＋１，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ＋１）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ＞ｘなる条件を満たす場合には、アドレス（２ｉ，２ｊ＋１）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ＋１）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ≦−ｘ＋１なる条件を満たす場合には、アドレス（２ｉ＋１，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ＋１）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ＞−ｘ＋１なる条件を満たす場合には、アドレス（２ｉ＋２，２ｊ＋１）で示される格子点の位置を補間原点βと決定することを特徴とする補間演算装置。
【請求項１１】
請求項９または１０に記載の補間演算装置において、
補間割合決定部が、ｉ，ｊを整数として、
指定された演算対象色がＲ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ）の形式で表現される場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝ｘ／２、ｅ＊＝ｙ／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＲ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ）の形式で表現される場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｘ＋１）／２、ｅ＊＝ｙ／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＲ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ＋１）の形式で表現される場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝ｘ／２、ｅ＊＝（ｙ＋１）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＲ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ＋１）の形式で表現される場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｘ＋１）／２、ｅ＊＝（ｙ＋１）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＢ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ）の形式で表現される場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｘ＋１）／２、ｅ＊＝（ｙ＋１）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＢ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ）の形式で表現される場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝ｘ／２、ｅ＊＝（ｙ＋１）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＢ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ＋１）の形式で表現される場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｘ＋１）／２、ｅ＊＝ｙ／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＢ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ＋１）の形式で表現される場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝ｘ／２、ｅ＊＝ｙ／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ≦−ｘ＋１なる条件を満たす場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｙ＋ｘ＋１）／２、ｅ＊＝（ｙ−ｘ＋１）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ＞−ｘ＋１なる条件を満たす場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｙ＋ｘ−１）／２、ｅ＊＝（ｙ−ｘ＋１）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ≦ｘなる条件を満たす場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｙ＋ｘ）／２、ｅ＊＝（ｙ−ｘ＋２）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ＞ｘなる条件を満たす場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｙ＋ｘ）／２、ｅ＊＝（ｙ−ｘ）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ＋１）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ≦ｘなる条件を満たす場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｙ＋ｘ）／２、ｅ＊＝（ｙ−ｘ＋２）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ＋１）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ＞ｘなる条件を満たす場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｙ＋ｘ）／２、ｅ＊＝（ｙ−ｘ）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ＋１）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ≦−ｘ＋１なる条件を満たす場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｙ＋ｘ＋１）／２、ｅ＊＝（ｙ−ｘ＋１）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ＋１）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ＞−ｘ＋１なる条件を満たす場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｙ＋ｘ−１）／２、ｅ＊＝（ｙ−ｘ＋１）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定することを特徴とする補間演算装置。
【請求項１２】
請求項１０または１１に記載の補間演算装置において、
下位アドレス（ｘ，ｙ）に関する条件判断を行う一部もしくは全部の場合において、判定式の「≦」に代えて「＜」を用い、判定式の「＞」に代えて「≧」を用いることを特徴とする補間演算装置。
【請求項１３】
請求項１〜１２のいずれかに記載の補間演算装置において、
補間演算部が、補間基準枠の４頂点に位置する受光素子の画素値を、補間参照値として画素値記憶部から読み出し、この４個の画素値と補間割合ｄ＊，ｅ＊とに基づいて線形補間演算を行うことを特徴とする補間演算装置。
【請求項１４】
請求項１〜１２のいずれかに記載の補間演算装置において、
補間演算部が、補間基準枠の４頂点にその周囲の１２頂点を加えた合計１６頂点に位置する受光素子の画素値を、補間参照値として画素値記憶部から読み出し、この１６個の画素値と補間割合ｄ＊，ｅ＊とに基づいて高次の補間演算を行うことを特徴とする補間演算装置。
【請求項１５】
請求項１に記載の補間演算装置において、
画像入力部が、個々の画素値を入力する際に、特定の色の画素値のみを抽出して新たな正方格子上の各格子点の位置に配置しなおす処理を実行し、
画素値記憶部が、個々の色ごとの画素値を、それぞれ個々の色ごとの画素値配列として記憶し、
補間基準枠決定部が、補間点指定部から指定された上位アドレス（Ｘ，Ｙ）および下位アドレス（ｘ，ｙ）に対して、前記個々の色ごとの画素配列に適合させるための変換処理を実行し、変換処理後の各アドレスを用いて補間基準枠の決定を行い、
補間割合決定部が、補間点指定部から指定された上位アドレス（Ｘ，Ｙ）および下位アドレス（ｘ，ｙ）に対して、前記個々の色ごとの画素配列に適合させるための変換処理を実行し、変換処理後の各アドレスを用いて補間割合の決定を行うことを特徴とする補間演算装置。
|
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、カラー撮像装置によって得られた画像に対して、拡大や縮小処理などのスケーリングを行うために、画素値の補間演算を行う装置に関し、特に、受光素子の配列としてBayer Pattern配列が用いられている単版のカラー撮像装置の撮影画像に対して補間演算を行うのに適した補間技術に関する。
【背景技術】
【０００２】
一般的な受光素子は、検出感度が波長依存性を有しているため、それぞれ最も感度の高い波長域の光を検出する素子としての役割が与えられる。したがって、カラー撮像装置では、たとえば、３原色Ｒ（赤），Ｇ（緑），Ｂ（青）のそれぞれを受け持つ合計３種類の受光素子が撮像面に多数配置されることになる。単版のカラー撮像装置では、同一の撮像面上に各色用の受光素子を、それぞれ所定の規則的パターンに応じて周期的に配置する必要がある。たとえば、最も一般的に利用されているBayer Pattern配列の場合、３原色Ｒ（赤），Ｇ（緑），Ｂ（青）について、正方格子上の奇数行にはＲＧＲＧＲＧＲＧＲ......、偶数行にはＧＢＧＢＧＢＧＢＧＢ......という各色用の受光素子が配置されることになる。また、このBayer Pattern配列を４５°回転させたハニカム状の配列も利用されている。
【０００３】
このように、単版のカラー撮像装置の場合、撮像面上にｍ行ｎ列の受光素子が配列されていたとしても、個々の受光素子は特定の色に関する画素値しか出力できないので、このカラー撮像装置の各受光素子から出力された画素値のみでは、ｍ行ｎ列の画素からなるカラー画像を得ることはできない。たとえば、Ｒ色を受け持つ受光素子は、Ｒ色の画素値のみを出力するので、当該受光素子の位置に対応する画素については、Ｇ色，Ｂ色の画素値が欠損していることになる。そこで、この欠損色の画素値を、周囲の欠損色と同じ色の画素値を用いて補間する処理が行われる。このような補間処理は、一般に、「デモザイキング」と呼ばれている。
【０００４】
上述した「デモザイキング」処理は、通常、補間対象となる画素の周囲の２画素もしくは４画素の画素値の平均をとるなどの線形補間によって行われている。ただ、単純な線形補間処理では、画像のエッジ強調に問題が生じるため、たとえば、下記の特許文献１には、補正項を計算して更に補間を行うことにより、エッジ強調に問題が生じない「デモザイキング」処理の手法が開示されている。
【特許文献１】特開２００５−２６９６４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した「デモザイキング」処理は、あくまでも個々の画素についての欠損色の画素値を補う補間処理であるため、処理後も、画素配列の構成（画像の解像度）に変わりはない。このため、画像に対して拡大や縮小処理などのスケーリングを行う場合には、改めてスケーリングのための補間処理を行う必要がある。こちらの補間処理は、撮像面上に受光素子が全く存在していなかった位置に、新たな画素を定義し、既存の周辺画素の画素値を利用して、当該新たな画素の画素値を決定する処理である。このようなスケーリングを行うための補間処理としては、単純な線形補間演算を行う場合もあれば、キュービック補間演算などの高次の補間演算を行う場合もある。
【０００６】
このように、従来は、カラー撮像装置の各受光素子から出力される生のデータ（いわゆるRawデータ）に対して、デモザイキングのための補間処理を実施し、欠損部のない各色プレーンデータを作成し、その後、必要に応じて、各色プレーンデータに対してスケーリングのための補間処理を実行する、というプロセスをとっていた。しかしながら、この従来の手法では、デモザイキングのための補間処理として、単純な線形補間演算を実施しているため、その後に行うスケーリングのための補間処理として、キュービック補間演算などの高次の補間演算を実施したとしても、高次の補間演算の本質的な効果は得られないことになる。すなわち、デモザイキングの段階で粗い補間を実施してしまっているため、スケーリングの段階で精度の高い補間を行ったとしても、本来の効果が得られないことになる。このため、高品位な拡大画像を得ることができない。
【０００７】
そこで本発明は、デモザイキング処理を行う前のデータに対して、スケーリングのための補間処理を直接行うことが可能な補間演算装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
(1) 本発明の第１の態様は、受けた光についてそれぞれ特定の色の光量を検出して画素値として出力する機能をもった合計ｍ通りの受光素子を、ＸＹ座標系上に定義された正方格子上の特定の格子点の位置に、それぞれ所定の規則的パターンに応じて周期的に配置してなる撮像装置によって得られる個々の画像値に基づいて、ＸＹ座標系上の任意の位置にある補間点Ｑのｍ通りの色の画素値を補間演算によって求める補間演算装置において、
撮像装置を構成する個々の受光素子から出力される画素値を入力する画素値入力部と、
入力した画素値を、各格子点の位置に対応づけた画素値配列として記憶する画素値記憶部と、
補間演算によって画素値を求める対象となる補間点Ｑについて、当該補間点Ｑを内包し格子点によって４頂点が構成される最小の正方形を位置基準枠と定め、当該位置基準枠を構成する４頂点のうち、予め定められた相対位置を占める頂点を位置原点αと定め、補間点Ｑの位置を、正方格子における位置原点αの位置を示す上位アドレス（Ｘ，Ｙ）と、位置基準枠内のローカル座標系として定義されたｘｙ座標系における補間点Ｑの位置を示す下位アドレス（ｘ，ｙ）と、によって指定する補間点指定部と、
ｍ通りの色を順次、画素値を演算すべき演算対象色として指定する演算対象色指定部と、
演算対象色を検出する機能をもった受光素子が配置された格子点によって４頂点が構成され、補間点Ｑを内包する最小の正方形からなる補間基準枠を、上位アドレス（Ｘ，Ｙ）および下位アドレス（ｘ，ｙ）と、演算対象色指定部によって指定された演算対象色に関する規則的パターンと、を用いて決定し、当該補間基準枠を構成する４頂点のうち、予め定められた相対位置を占める頂点を補間原点βと決定する補間基準枠決定部と、
補間基準枠を構成する第１の「一対の対辺」に平行な方向を第１の方向、第２の「一対の対辺」に平行な方向を第２の方向としたときの、補間原点βと補間点Ｑとの間の第１の方向に関する隔たりｄと第２の方向に関する隔たりｅとを、上位アドレス（Ｘ，Ｙ）および下位アドレス（ｘ，ｙ）に基づいて求め、求めた隔たりｄ，ｅを補間基準枠の一辺の長さで規格化した値ｄ＊およびｅ＊を、それぞれ第１の方向に関する補間割合および第２の方向に関する補間割合と決定する補間割合決定部と、
少なくとも補間基準枠の４頂点に位置する受光素子の画素値を、補間参照値として画素値記憶部から読み出し、これら補間参照値と補間割合ｄ＊，ｅ＊とに基づいて補間演算を行い、補間点Ｑの各演算対象色についての画素値を求める補間演算部と、
を設けるようにしたものである。
【０００９】
(2) 本発明の第２の態様は、上述の第１の態様に係る補間演算装置において、
補間点指定部が、ＸＹ座標系上に定義された正方格子の縦横の格子間隔を１としたときの補間点Ｑの当該ＸＹ座標系上での座標値の整数部を上位アドレス（Ｘ，Ｙ）とし、小数部を下位アドレス（ｘ，ｙ）として用いるようにしたものである。
【００１０】
(3) 本発明の第３の態様は、上述の第２の態様に係る補間演算装置において、
補間点指定部が、外部から与えられた縦方向および横方向の拡大倍率に基づいて、当該拡大倍率の逆数のピッチで、補間演算が必要な複数の補間点Ｑを自動的に指定するようにしたものである。
【００１１】
(4) 本発明の第４の態様は、上述の第２または第３の態様に係る補間演算装置において、
補間基準枠決定部が、指定された上位アドレス（Ｘ，Ｙ）のうちのＸが偶数か奇数か、Ｙが偶数か奇数か、によって、それぞれ異なる４通りの補間原点決定アルゴリズムを用い、補間原点βの決定を行うようにしたものである。
【００１２】
(5) 本発明の第５の態様は、上述の第１〜第４の態様に係る補間演算装置において、
補間基準枠決定部が、
正方格子の格子線に対して各辺が平行な補間基準枠が形成される画素配列をもった色が演算対象色として指定された場合には、上位アドレス（Ｘ，Ｙ）を用いて補間基準枠の決定を行い、
正方格子の格子線に対して各辺が平行にならない補間基準枠が形成される画素配列をもった色が演算対象色として指定された場合には、上位アドレス（Ｘ，Ｙ）および下位アドレス（ｘ，ｙ）の双方を用いて補間基準枠の決定を行うようにしたものである。
【００１３】
(6) 本発明の第６の態様は、上述の第１〜第５の態様に係る補間演算装置において、
補間基準枠決定部が、補間基準枠を構成する４頂点のうち、Ｙ座標値が最も小さい頂点の中からＸ座標値が最も小さい頂点を選択し、選択された頂点を補間原点βと決定するようにしたものである。
【００１４】
(7) 本発明の第７の態様は、上述の第１〜第６の態様に係る補間演算装置において、
補間基準枠決定部が、Bayer Pattern 配列に基づく所定の規則的パターンを用いて補間基準枠の決定を行い、
補間演算部が、Bayer Pattern 配列に基づく所定の規則的パターンを考慮して、読出対象となる補間参照値を決定するようにしたものである。
【００１５】
(8) 本発明の第８の態様は、上述の第７の態様に係る補間演算装置において、
３原色Ｒ，Ｇ，Ｂについて、奇数行はＲＧＲＧＲＧＲＧＲ......、偶数行はＧＢＧＢＧＢＧＢＧＢ......とするBayer Pattern 配列を用いるようにしたものである。
【００１６】
(9) 本発明の第９の態様は、上述の第８の態様に係る補間演算装置において、
補間点指定部が、ＸＹ座標系上に定義された正方格子の縦横の格子間隔を１としたときの補間点Ｑの当該ＸＹ座標系上での座標値の整数部を上位アドレス（Ｘ，Ｙ）とし、小数部を下位アドレス（ｘ，ｙ）として用いるようにしたものである。
【００１７】
(10) 本発明の第１０の態様は、上述の第９の態様に係る補間演算装置において、
補間基準枠決定部が、ｉ，ｊを整数として、
指定された演算対象色がＲ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ）の形式で表現される場合には、アドレス（２ｉ，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＲ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ）の形式で表現される場合には、アドレス（２ｉ，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＲ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ＋１）の形式で表現される場合には、アドレス（２ｉ，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＲ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ＋１）の形式で表現される場合には、アドレス（２ｉ，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＢ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ）の形式で表現される場合には、アドレス（２ｉ−１，２ｊ−１）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＢ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ）の形式で表現される場合には、アドレス（２ｉ＋１，２ｊ−１）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＢ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ＋１）の形式で表現される場合には、アドレス（２ｉ−１，２ｊ＋１）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＢ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ＋１）の形式で表現される場合には、アドレス（２ｉ＋１，２ｊ＋１）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ≦−ｘ＋１なる条件を満たす場合には、アドレス（２ｉ，２ｊ−１）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ＞−ｘ＋１なる条件を満たす場合には、アドレス（２ｉ＋１，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ≦ｘなる条件を満たす場合には、アドレス（２ｉ＋２，２ｊ−１）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ＞ｘなる条件を満たす場合には、アドレス（２ｉ＋１，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ＋１）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ≦ｘなる条件を満たす場合には、アドレス（２ｉ＋１，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ＋１）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ＞ｘなる条件を満たす場合には、アドレス（２ｉ，２ｊ＋１）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ＋１）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ≦−ｘ＋１なる条件を満たす場合には、アドレス（２ｉ＋１，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ＋１）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ＞−ｘ＋１なる条件を満たす場合には、アドレス（２ｉ＋２，２ｊ＋１）で示される格子点の位置を補間原点βと決定するようにしたものである。
(11) 本発明の第１１の態様は、上述の第９または第１０の態様に係る補間演算装置において、
補間割合決定部が、ｉ，ｊを整数として、
指定された演算対象色がＲ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ）の形式で表現される場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝ｘ／２、ｅ＊＝ｙ／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＲ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ）の形式で表現される場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｘ＋１）／２、ｅ＊＝ｙ／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＲ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ＋１）の形式で表現される場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝ｘ／２、ｅ＊＝（ｙ＋１）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＲ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ＋１）の形式で表現される場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｘ＋１）／２、ｅ＊＝（ｙ＋１）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＢ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ）の形式で表現される場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｘ＋１）／２、ｅ＊＝（ｙ＋１）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＢ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ）の形式で表現される場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝ｘ／２、ｅ＊＝（ｙ＋１）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＢ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ＋１）の形式で表現される場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｘ＋１）／２、ｅ＊＝ｙ／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＢ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ＋１）の形式で表現される場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝ｘ／２、ｅ＊＝ｙ／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ≦−ｘ＋１なる条件を満たす場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｙ＋ｘ＋１）／２、ｅ＊＝（ｙ−ｘ＋１）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ＞−ｘ＋１なる条件を満たす場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｙ＋ｘ−１）／２、ｅ＊＝（ｙ−ｘ＋１）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ≦ｘなる条件を満たす場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｙ＋ｘ）／２、ｅ＊＝（ｙ−ｘ＋２）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ＞ｘなる条件を満たす場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｙ＋ｘ）／２、ｅ＊＝（ｙ−ｘ）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ＋１）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ≦ｘなる条件を満たす場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｙ＋ｘ）／２、ｅ＊＝（ｙ−ｘ＋２）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ＋１）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ＞ｘなる条件を満たす場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｙ＋ｘ）／２、ｅ＊＝（ｙ−ｘ）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ＋１）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ≦−ｘ＋１なる条件を満たす場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｙ＋ｘ＋１）／２、ｅ＊＝（ｙ−ｘ＋１）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ＋１）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ＞−ｘ＋１なる条件を満たす場合には、指定された下位アドレス（ｘ，ｙ）を用いて、ｄ＊＝（ｙ＋ｘ−１）／２、ｅ＊＝（ｙ−ｘ＋１）／２なる演算を行うことにより各補間割合ｄ＊，ｅ＊を決定するようにしたものである。
【００１８】
(12) 本発明の第１２の態様は、上述の第１０または第１１の態様に係る補間演算装置において、
下位アドレス（ｘ，ｙ）に関する条件判断を行う一部もしくは全部の場合において、判定式の「≦」に代えて「＜」を用い、判定式の「＞」に代えて「≧」を用いるようにしたものである。
【００１９】
(13) 本発明の第１３の態様は、上述の第１〜第１２の態様に係る補間演算装置において、
補間演算部が、補間基準枠の４頂点に位置する受光素子の画素値を、補間参照値として画素値記憶部から読み出し、この４個の画素値と補間割合ｄ＊，ｅ＊とに基づいて線形補間演算を行うようにしたものである。
【００２０】
(14) 本発明の第１４の態様は、上述の第１〜第１２の態様に係る補間演算装置において、
補間演算部が、補間基準枠の４頂点にその周囲の１２頂点を加えた合計１６頂点に位置する受光素子の画素値を、補間参照値として画素値記憶部から読み出し、この１６個の画素値と補間割合ｄ＊，ｅ＊とに基づいて高次の補間演算を行うようにしたものである。
【００２１】
(15) 本発明の第１５の態様は、上述の第１の態様に係る補間演算装置において、
画像入力部が、個々の画素値を入力する際に、特定の色の画素値のみを抽出して新たな正方格子上の各格子点の位置に配置しなおす処理を実行し、
画素値記憶部が、個々の色ごとの画素値を、それぞれ個々の色ごとの画素値配列として記憶し、
補間基準枠決定部が、補間点指定部から指定された上位アドレス（Ｘ，Ｙ）および下位アドレス（ｘ，ｙ）に対して、個々の色ごとの画素配列に適合させるための変換処理を実行し、変換処理後の各アドレスを用いて補間基準枠の決定を行い、
補間割合決定部が、補間点指定部から指定された上位アドレス（Ｘ，Ｙ）および下位アドレス（ｘ，ｙ）に対して、個々の色ごとの画素配列に適合させるための変換処理を実行し、変換処理後の各アドレスを用いて補間割合の決定を行うようにしたものである。
【発明の効果】
【００２２】
本発明に係る補間演算装置によれば、デモザイキング処理を行う前のいわゆるRawデータに基づいて、すなわち、正方格子上の各格子点位置に配置された欠損色をもつ画素配列に基づいて、任意の座標位置に定義した補間点Ｑの各色ごとの画素値を求めることができる。したがって、デモザイキング処理を行う前のいわゆるRawデータに対して、スケーリングのための補間処理を直接行うことが可能になる。これにより、最終的に高品位の拡大画像を得ることができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明を図示する実施形態に基づいて説明する。
【００２４】
＜＜＜ §１．従来の一般的な補間演算処理 ＞＞＞
はじめに、説明の便宜上、現在最も一般的に利用されているBayer Pattern配列を採用した撮像装置から出力される画像データに対する従来の補間演算処理を簡単に説明しておく。図１は、一般的なBayer Patternに基づく画素配列の一例を示す平面図である。ここでは、図示の便宜上、６×６の小さな画素配列として示してあるが、もちろん、実際の撮像装置の撮像面にはより大きな画素配列が用意されることになる。図示のとおり、この画素配列では、正方格子の各格子点位置に所定色の画素が配置されている。図において「Ｒ」は赤色、「Ｇ」は緑色、「Ｂ」は青色の画素を示している。一般的なBayer Patternに基づく画素配列の場合、図示のとおり、３原色Ｒ，Ｇ，Ｂについて、奇数行はＲＧＲＧＲＧＲＧＲ......、偶数行はＧＢＧＢＧＢＧＢＧＢ......という順序で各色の画素が配置されている。
【００２５】
実際の撮像装置では、これら各画素の位置に、各色の波長域に対して良好な検出感度をもった受光素子が配置されることになる。すなわち、この撮像装置は、受けた光についてそれぞれ特定の色（Ｒ，Ｇ，Ｂ）の光量を検出して画素値として出力する機能をもった３通りの受光素子を、正方格子上の特定の格子点の位置に、それぞれ所定の規則的パターンに応じて周期的に配置することにより構成され、これら受光素子からは、それぞれ検出した特定色の光量を画素値とする信号が出力される。したがって、この撮像装置からの出力信号を処理する補間演算装置には、図１に示す配列をもった画素のそれぞれについて、所定の画素値が与えられることになる。
【００２６】
以下、この図１に示すBayer Pattern画素配列をもった撮像装置によって得られた画像データに対する補間処理を説明する。なお、この図１に示すBayer Pattern画素配列を４５°回転させると、図２に示すようなハニカム状画素配列が得られる。このハニカム状画素配列は、図１に示すBayer Pattern画素配列を単に回転させただけの構造であり、以下に説明する補間処理は、このハニカム状画素配列に対しても同様に適用可能である。
【００２７】
さて、撮像装置から得られた生の画像データ（いわゆるRawデータ）は、完全なカラー画像データにはなっておらず、個々の画素には欠損色が存在する。すなわち、図１に示す例の場合、６行６列に配置された個々の画素は、いずれも３原色のうちの１色についての画素値しか有していないため、残りの２色が欠損色となる。たとえば、左上の画素はＲ色の画素値のみしか有していないため、本来のカラー画像データを得るためには、当該画素について、Ｂ色およびＧ色の画素値を補ってやる必要がある。このような補間処理は、前述したとおり、一般に、「デモザイキング処理」と呼ばれている。
【００２８】
図３(a) は、図１に示す画素配列から、赤色（Ｒ）の画素のみを取り出して得られるＲ色Rawデータの構成を示す平面図であり、図３(b) は、これに対するデモザイキング処理により得られるＲ色プレーンデータの構成を示す平面図である。図３(b) に示すとおり、Ｒ色プレーンデータは、６行６列に配置された個々の画素のＲ色についての画素値によって構成されるデータであるが、図３(a) に示すとおり、Ｒ色Rawデータの段階では、いくつかの画素（図にＲと記された画素）にしか画素値が与えられておらず、それ以外の画素（図に白丸で示された画素）には、新たにＲ色についての画素値を与えてやる必要がある。
【００２９】
通常、このようなデモザイキング処理は、補間対象となる画素の周囲の２画素もしくは４画素の画素値の平均をとるなどの線形補間によって行われている。たとえば、図３(a) に二重丸で示す画素１についての画素値は、上下に隣接した一対の画素の画素値の平均値として求めることができ、画素２についての画素値は、左右に隣接した一対の画素の画素値の平均値として求めることができ、画素３についての画素値は、斜めに隣接した４個の画素の画素値の平均値として求めることができる。このような線形補間を行うことにより、図３(a) に示すＲ色Rawデータにモザイキング処理を施せば、図３(b) に示すようなＲ色プレーンデータが得られる。
【００３０】
同様に、図４(a) は、図１に示す画素配列から、青色（Ｂ）の画素のみを取り出して得られるＢ色Rawデータの構成を示す平面図であり、図４(b) は、これに対するデモザイキング処理により得られるＢ色プレーンデータの構成を示す平面図である。この場合も、たとえば、図４(a) に二重丸で示す画素１についての画素値は、上下に隣接した一対の画素の画素値の平均値として求めることができ、画素２についての画素値は、左右に隣接した一対の画素の画素値の平均値として求めることができ、画素３についての画素値は、斜めに隣接した４個の画素の画素値の平均値として求めることができる。
【００３１】
更に、図５(a) は、図１に示す画素配列から、緑色（Ｇ）の画素のみを取り出して得られるＧ色Rawデータの構成を示す平面図であり、図５(b) は、これに対するデモザイキング処理により得られるＧ色プレーンデータの構成を示す平面図である。Bayer Pattern配列では、Ｇ色は、Ｒ色やＢ色に比べて２倍の密度で配置されているため、いずれの画素も、周囲４個の画素を参照して補間が行われる。たとえば、図５(a) に二重丸で示す画素１についての画素値は、上下および左右に隣接した４個の画素の画素値の平均値として求めることができる。
【００３２】
かくして、図１に示すようなRawデータに基づくデモザイキング処理により、図３(b) ，図４(b) ，図５(b) に示すような各色プレーンデータが得られる。これら３枚のプレーンデータは、６行６列の配列を構成する個々の画素について、３原色Ｒ，Ｇ，Ｂのすべての画素値を与えるデータであり、本来のカラー画像データである。
【００３３】
こうして、得られた画像データに対して、拡大や縮小などのスケーリングを行う場合には、スケーリングのための補間処理が必要になる。最近は、このスケーリングのための補間処理として、単純な線形補間演算の代わりに、キュービック補間演算などの高次の補間演算を行う場合が少なくない。
【００３４】
図６は、従来の一般的な手法によるスケーリングを含めた補間演算処理の手順を示す流れ図である。まず、ステップＳ１において、Bayer Pattern配列画素のRawデータの取り込みが行われる。具体的には、たとえば、図１に示すような配列をもった個々の画素の画素値のデータが取り込まれる。続くステップＳ２では、各色ごとに線形補間を行い、各色プレーンデータの作成が行われる。この処理は、上述したように、「デモザイキング」と呼ばれている。次に、ステップＳ３において、各色プレーンごとに高次補間処理を行う。この補間処理は、「スケーリング」のための処理である。
【００３５】
単純な線形補間処理に比べて、高次補間処理は、補間演算が複雑になるものの、品質の高い補間画像が得られるメリットがある。この高次補間処理の基本概念を、図７に示す一次元画像のモデルで簡単に説明する。いま、一次元座標軸上に、図示のとおり、所定ピッチで４つの画素Ｐ（−１），Ｐ（０），Ｐ（１），Ｐ（２）が配置されており、個々の画素には、それぞれ所定の画素値が定義されているものとする。このような一次元画像を３倍に拡大するスケーリング処理を行う場合、図示のとおり、各画素間を３等分した位置に補間点（図では星印で示す）を定義し、各補間点についての画素値を補間演算によって求める必要がある。
【００３６】
ここでは、画素Ｐ（０）とＰ（１）との間の補間点Ｑについての画素値を求める場合を考えてみよう。一般的な線形補間では、補間点Ｑの画素値は、両側に隣接する一対の画素Ｐ（０）とＰ（１）の画素値に基づいて決定される。具体的には、画素のピッチを１とし、画素Ｐ（０）の位置座標を０、その画素値をｆ（０）、画素Ｐ（１）の位置座標を１、その画素値をｆ（１）、補間点Ｑの位置座標をｘ（この例では、ｘ＝１／３）、その画素値をｆ（ｘ）とすれば、ｆ（ｘ）＝（１−ｘ）・ｆ（０）＋ｘ・ｆ（１）なる演算式により、補間点Ｑの画素値ｆ（ｘ）を求めることができる。ここで、ｘは、０＜ｘ＜１の範囲をとる値であり、一般に「補間割合」と呼ばれている。
【００３７】
一方、高次補間では、より多数の画素に基づく補間が行われる。たとえば、図７において、補間点Ｑの画素値ｆ（ｘ）を求めるために、「４点参照バイキュービック・スプライン補間」と呼ばれている高次補間方法を採る場合、４つの画素Ｐ（−１），Ｐ（０），Ｐ（１），Ｐ（２）を参照画素として用い、これら参照画素の各画素値ｆ（−１），ｆ（０），ｆ（１），ｆ（２）を用いて、ｆ（ｘ）＝１／５・（（−３ｆ（−１）＋７ｆ（０）−７ｆ（１）＋３ｆ（２））・ｘ３＋（７ｆ（−１）−１３ｆ（０）＋８ｆ（１）−２ｆ（２））・ｘ２＋（−４ｆ（−１）＋ｆ（０）＋４ｆ（１）−ｆ（２）・ｘ）＋ｆ（０）なる演算式により、補間点Ｑの画素値ｆ（ｘ）が得られることが知られている。
【００３８】
この高次補間の手法は、次のようなプロセスで、二次元画像に拡張して適用することが可能になる。ここでは、図８に示すようなＲ色プレーンデータが得られている場合に、この画素配列平面上の任意の補間点ＱのＲ色に関する画素値を「４点参照バイキュービック・スプライン補間」で求める手順を説明する。
【００３９】
まず、図９に示すように、補間点Ｑの位置に、正方格子の縦方向の格子線に平行な補間ラインＬを引き、正方格子の横方向の格子線Ｌ（−１），Ｌ（０），Ｌ（１），Ｌ（２）との交点位置に、それぞれ中間補間点Ｑ（−１），Ｑ（０），Ｑ（１），Ｑ（２）を定義する。そして、図７で説明した一次元画像に関する高次補間の手法を用いて、各中間補間点Ｑ（−１），Ｑ（０），Ｑ（１），Ｑ（２）の画素値を補間により求める。たとえば、中間補間点Ｑ（−１）の画素値は、格子線Ｌ（−１）上に並んだ４個の画素１，２，３，４の各画素値を用いて図７で説明した手法を用いれば、前掲の演算式によって求めることができる。同様に、中間補間点Ｑ（０）の画素値は、格子線Ｌ（０）上に並んだ４個の画素５，６，７，８の各画素値を用いて求めることができ、中間補間点Ｑ（１）の画素値は、格子線Ｌ（１）上に並んだ４個の画素９，１０，１１，１２の各画素値を用いて求めることができ、中間補間点Ｑ（２）の画素値は、格子線Ｌ（２）上に並んだ４個の画素１３，１４，１５，１６の各画素値を用いて求めることができる。
【００４０】
こうして、４個の中間補間点Ｑ（−１），Ｑ（０），Ｑ（１），Ｑ（２）について、所定の画素値を補間によって得ることができたら、図１０に示すように、これら中間補間点Ｑ（−１），Ｑ（０），Ｑ（１），Ｑ（２）の位置に、それぞれ所定の画素値（Ｒ色の画素値）をもつ新たな画素１７，１８，１９，２０を定義することができる。こうして補間ラインＬ上に新たに定義された画素１７，１８，１９，２０と補間点Ｑの関係は、図７に示す画素Ｐ（−１），Ｐ（０），Ｐ（１），Ｐ（２）と補間点Ｑの関係と全く同じである。したがって、補間点Ｑの画素値は、この４個の画素１７，１８，１９，２０の各画素値を用いて図７で説明した手法を用いれば、前掲の演算式によって求めることができる。
【００４１】
このように、各色プレーンデータの画素配列面上の任意の補間点Ｑについて、高次補間処理を施して所定の画素値を決定することができれば、任意の倍率で拡大や縮小を行うスケーリング処理が可能である。図７では、一次元画像を３倍に拡大するスケーリング処理の例を示したが、二次元画像に対するスケーリング処理も、必要な箇所にそれぞれ補間点を定義し、各補間点についての画素値を補間によって求めるようにすれば、同様の手法で実施可能である。たとえば、元の二次元画像を縦横３倍に拡大するのであれば、１つの格子枠を構成する正方形を縦横に３等分して９分割し、分割した各正方形の各頂点位置（分割前の正方形の４頂点を除く）に補間点を定義し、各補間点の画素値を上述した補間処理によって求め、当該画素値をもつ新たな画素を定義すればよい。
【００４２】
このように、従来は、Bayer Pattern配列をなす受光素子を有する撮像装置から得られたカラー画像データに対して、拡大や縮小などのスケーリング処理を施す場合、図６のステップＳ２において、まず、各色ごとに線形補間を施し、各色プレーンデータを作成するデモザイキング処理を実施し、続いて、ステップＳ３において、各色プレーンごとに高次補間を行うことによりスケーリングを実施していた。しかしながら、この従来の手法では、既に述べたとおり、ステップＳ２のデモザイキング時に、単純な線形補間演算を実施しているため、ステップＳ３のスケーリング時に、キュービック補間演算などの高次の補間演算を実施したとしても、高次の補間演算の本質的な効果が得られず、高品位なスケーリング画像を得ることができない。
【００４３】
＜＜＜ §２．本発明に係る補間演算処理の基本手法 ＞＞＞
本発明は、§１で述べた従来の手法の問題点を解決するためになされたものであり、その目的は、デモザイキング処理を行う前のデータに対して、スケーリングのための補間処理を直接行うことを可能にすることである。本発明に係る補間演算装置を用いれば、図６に示す従来の手順に代えて、図１１の流れ図に示す手順による補間演算が可能になる。この手順では、まず、ステップＳ１において、Bayer Pattern配列画素のRawデータの取り込みが行われ、続いて、ステップＳ２において、このRawデータに対して直接高次補間を行い、拡大もしくは縮小した各色プレーンデータを作成することができる。本発明に係る補間演算装置を用いれば、いわば、従来のデモザイキング処理とスケーリング処理とを兼ねた補間処理が実施できる。
【００４４】
続いて、本発明に係る補間演算装置で実施される補間演算処理の基本手法を説明する。図１２は、図１に示すBayer Patternに基づく画素配列平面上の任意の位置に補間点Ｑを定義した状態を示す平面図である。本発明では、図示のとおり、デモザイキングを行う前の状態のRawデータに基づいて、任意の補間点ＱについてのＲ色，Ｇ色，Ｂ色の各画素値を直接求めることが可能になる。
【００４５】
ここでは、まず、Ｒ色の画素値を求める方法を説明する。図１３は、図１２に示すBayer Patternに基づく画素配列の中から、Ｒ色の画素のみを抽出して示した平面図である。ただ、説明の便宜上、図１３では、図１２に示す画素配列の右側に１列、下側に１行を付け足し、７行７列の場合を示してある。図１３において、Ｒと記されている画素は、元のBayer Pattern配列上におけるＲ色の画素であり、白丸の画素は、元のBayer Pattern配列上におけるＲ色以外の画素である。また、図１３に示す補間点Ｑは、図１２に示す補間点Ｑと全く同じ位置にある点である。
【００４６】
さて、この図１３の画素配列では、敢えて縦横の格子線を１本おきに引いて示してある。すなわち、図１２に示す元の画像の格子線ピッチを１とすれば、図１３に明示されている格子線のピッチは２ということになる。そこで、この図１３において、ピッチが２の正方格子（以下、倍ピッチ正方格子という）に着目すると、Ｒ色の画素は、いずれも倍ピッチ正方格子の格子点に配置されていることがわかる。Bayer Pattern配列上におけるＲ色の画素は、このように倍ピッチ正方格子の各格子点に位置する。そこで、図示のとおり、この倍ピッチ正方格子の横方向の各格子線をそれぞれＬ（−１），Ｌ（０），Ｌ（１），Ｌ（２）と呼ぶことにすると、図１３に示されている補間点ＱについてのＲ色の画素値は、図９に示されている補間点ＱについてのＲ色の画素値を求める場合と同様に、各格子線Ｌ（−１），Ｌ（０），Ｌ（１），Ｌ（２）上に配置されている合計１６個の画素の画素値に基づいて、「４点参照バイキュービック・スプライン補間」を実施することにより求めることができる。
【００４７】
もっとも、このような補間演算を行うためには、補間点Ｑの正確な位置が必要である。本発明では、図１３に示すように、水平方向にＸ軸、垂直方向にＹ軸をとってＸＹ座標系を定義し、個々の画素の位置を（Ｘ，Ｙ）なる座標で表わすことにする。ここで、Ｘ，Ｙは整数値（０，１，２，...）をとる。たとえば、図１３の左上隅の画素１は（０，０）、その右隣の画素２は（１，０）、右下隅の画素３は（６，６）なる座標で示される。また、ここでは、倍ピッチ正方格子を構成する個々の格子枠（４辺が各格子線から構成される正方形の枠）の中で、補間点Ｑを含む格子枠を補間基準枠と呼び、この補間基準枠の左上隅点を補間原点と呼ぶ。補間点Ｑの正確な位置は、特定の格子点からのＸ軸方向への隔たりｘと、Ｙ軸方向への隔たりｙとを用いて、（ｘ，ｙ）で示すことができる。図１３の場合、画素４，５，６，７の位置を４頂点とする正方形の枠が、補間基準枠となり、ここでは太線で示してある。また、補間原点は、画素４の位置になる。本願図面では、補間原点に位置する画素を小さな四角で囲って示すことにする。
【００４８】
結局、図１３に示す例の場合、補間点Ｑに対する高次補間処理を行い、Ｒ色についての画素値を求めるためには、補間点Ｑの位置を、上位アドレス（Ｘ，Ｙ）と下位アドレス（ｘ，ｙ）で指定すればよい。この図１３に示す例の場合、上位アドレス（Ｘ，Ｙ）は、画素４の位置を示す役割を果たし、具体的には、（２，２）なる値をとる（後述するように、補間点Ｑの上位アドレス（Ｘ，Ｙ）は、必ずしも補間原点に一致しない）。一方、下位アドレス（ｘ，ｙ）は、この画素４を基準としたときの補間点Ｑの正確な位置を示す座標値であり、実際の補間演算は、この座標値ｘ，ｙに基づいて定まる補間割合を用いて実施される。
【００４９】
続いて、補間点ＱについてのＢ色の画素値を求める方法を説明する。実は、Ｂ色の画素値を求める手法は、上述したＲ色の画素値を求める手法と全く同様である。図３(a) に示すＲ色Rawデータと、図４(a) に示すＢ色Rawデータとを比較してみればわかるとおり、両者は１ピッチ分だけ左右および上下にずれているものの、その基本構成は全く同じであり、図１３で説明した手法と同様の手法により、補間点ＱについてのＢ色の画素値を求めることができる。
【００５０】
これに対して、補間点ＱについてのＧ色の画素値を求めるには、若干の工夫が必要になる。図１４は、図１２に示すBayer Patternに基づく画素配列の中から、Ｇ色の画素のみを抽出して示した平面図である。すなわち、図１４において、Ｇと記されている画素は、元のBayer Pattern配列上におけるＧ色の画素であり、白丸の画素は、元のBayer Pattern配列上におけるＧ色以外の画素である。
【００５１】
さて、この図１４の画素配列では、敢えてＧ色の画素位置を結ぶ斜め方向の格子線を引いて示してある。ここで、図１２に示す元の画像の格子線ピッチを１とすれば、図１４に明示されている格子線のピッチは√２ということになり、個々の格子線は斜め４５°の方向を向いている。そこで、この図１４において、ピッチが√２で斜め４５°方向を向いた正方格子（以下、√２ピッチ正方格子という）に着目すると、Ｇ色の画素は、いずれも√２ピッチ正方格子の格子点に配置されていることがわかる。Bayer Pattern配列上におけるＧ色の画素は、このように√２ピッチ正方格子の各格子点に位置する。そこで、図示のとおり、この√２ピッチ正方格子の各格子線をそれぞれＬ（−１），Ｌ（０），Ｌ（１），Ｌ（２）と呼ぶことにすると、図１４に示されている補間点ＱについてのＧ色の画素値は、図９に示されている補間点ＱについてのＲ色の画素値を求める場合と同様に、各格子線Ｌ（−１），Ｌ（０），Ｌ（１），Ｌ（２）上に配置されている合計１６個の画素（図１４では、そのすべては示されていない）の画素値に基づいて、「４点参照バイキュービック・スプライン補間」を実施することにより求めることができる。
【００５２】
ここでも、√２ピッチ正方格子を構成する個々の格子枠の中で、補間点Ｑを含む格子枠を補間基準枠と呼ぶことにする。図１４の場合、画素１，２，３，４の位置を４頂点とする正方形の枠が補間基準枠となり、ここでは太線で示してある。また、このように補間基準枠が斜め４５°に傾斜した正方形によって構成される場合には、この補間基準枠の上隅点を補間原点と呼ぶことにする。図示の例の場合、画素１の位置が補間原点となるので、画素１を小さな四角で囲って示してある。補間演算に用いられる補間割合は、この補間原点に対する補間点Ｑの隔たりに基づいて定められる。
【００５３】
もっとも、このような補間割合を決定するためには、座標系を４５°回転させるための補正が必要になる。これを図１５を参照しながら説明しよう。図１５は、図１４に太線で示した補間基準枠の周辺部分の拡大図である。前述したとおり、本発明では、補間点Ｑの位置は、上位アドレス（Ｘ，Ｙ）と下位アドレス（ｘ，ｙ）で指定される。ここで留意すべき点は、これらのアドレスがＸＹ座標系におけるアドレス（すなわち、４５°回転していない正則な座標系上のアドレス）であるという点である。すなわち、上位アドレス（Ｘ，Ｙ）と下位アドレス（ｘ，ｙ）で補間点Ｑの位置が指定された場合、上位アドレス（Ｘ，Ｙ）で示される画素の位置は、図１５の左上隅の画素５ということになり、下位アドレスｘは、画素５を基準としたときのＸ軸方向（図の右方向）への隔たりを示し、下位アドレスｙは、画素５を基準としたときのＹ軸方向（図の下方向）への隔たりを示すことになる。別言すれば、補間点Ｑ（ｘ，ｙ）は、図の左上隅の画素５の位置をｘｙ座標系の原点として（ｘ軸は右方向が正方向、ｙ軸は下方向が正方向）、座標値（ｘ，ｙ）で示される点ということになる。
【００５４】
ところが、補間演算を行う格子は、４５°回転しているため、補間演算に用いる補間割合（図７の一次元画像の例におけるｘに相当する値）は、４５°回転させた座標系上の値を用いる必要がある。具体的には、図１５に示すように第１の方向Ｄおよび第２の方向Ｅを定義すると、第１の方向Ｄに関する補間割合は、補間点Ｑ（ｘ，ｙ）と格子線Ｌ１との距離ｄ（もしくは、補間点Ｑ（ｘ，ｙ）と格子線Ｌ３との距離でもよい）に応じた値になり、第２の方向Ｅに関する補間割合は、補間点Ｑ（ｘ，ｙ）と格子線Ｌ４との距離ｅ（もしくは、補間点Ｑ（ｘ，ｙ）と格子線Ｌ２との距離でもよい）に応じた値になる。
【００５５】
そこで、図１５における値ｄ，ｅと値ｘ，ｙとの関係を検討してみる。ここでは、元のBayer Pattern画素配列のピッチを単位長１として考え、０＜ｘ＜１、０＜ｙ＜１という前提で以下の話を進めることにする。まず、図１５において、
ｐ＝ｙ−（１−ｘ） であるから
ｄ＝ｐ／√２＝（ｙ−（１−ｘ））／√２
＝（ｙ＋ｘ−１）／√２ となる。また、
ｑ＝（１−ｘ）・√２ であるから
ｅ＝ｑ＋ｄ＝（１−ｘ）・√２＋（ｙ＋ｘ−１）／√２
＝（ｙ−ｘ＋１）／√２ となる。
【００５６】
結局、ｘｙ座標系上におけるアドレス（ｘ，ｙ）で補間点Ｑ（ｘ，ｙ）の位置が指定されたとしても、上式を用いて、４５°回転させた座標系上における補間原点（図１５の画素１）に対する補間点Ｑ（ｘ，ｙ）の隔たり、すなわち、第１の方向Ｄに関する隔たりｄと、第２の方向Ｅに関する隔たりｅとを求めることができるので、Ｒ色やＢ色で行った手法と同様の補間方法を用いて、補間点Ｑ（ｘ，ｙ）のＧ色の画素値を求めることが可能になる。
【００５７】
＜＜＜ §３．本発明に係る補間演算処理の具体的な手法 ＞＞＞
前述した§２では、本発明に係る補間演算処理の基本概念を説明したが、ここでは、より具体的な手法を詳述する。いま、撮像装置から、図１６に示すようなBayer Pattern配列された個々の画素の画素値を示すカラー画像データが与えられた場合に、本発明に係る手法によって、この画素配列平面上の任意の位置にある補間点Ｑに対する補間を行う場合を考える。Bayer Pattern配列では、既に述べたとおり、個々の画素は正方格子上の特定の格子点位置に配置される。そこで、ここでは、正方格子の左上隅を原点として、水平方向にＸ軸（右方向がＸ軸の正方向）、垂直方向にＹ軸（下方向がＹ軸の正方向）をとり、二次元ＸＹ座標系を定義する。このＸＹ座標系の座標軸の単位を、正方格子の格子間隔（すなわち、画素の配列ピッチ）が１になるように定義すれば、個々の画素の位置は、整数値Ｘ，Ｙを用いて、（Ｘ，Ｙ）なる座標値で示すことができる。たとえば、左上隅の原点位置にある画素は（０，０）、その右隣の画素は（１，０）なる座標値で示すことができる。
【００５８】
図１６は、撮像装置から得られたカラー画像データを構成する全画素配列から、任意の一部分の領域の画素配列を切り出して示したものである。すなわち、ｉ，ｊを任意の整数とした場合に、横方向には、第（２ｉ−２）列目〜第（２ｉ＋５）列目までの区間を抜き出し、縦方向には、第（２ｊ−２）行目〜第（２ｉ＋５）行目までの区間を抜き出したものである（「２ｉ」，「２ｊ」のように、ｉ，ｊに係数２を乗じる表示形式にした理由は後述する）。したがって、たとえば、二重丸で示した画素１は座標値（２ｉ，２ｉ）で示され、画素２は座標値（２ｉ＋１，２ｊ）で示され、画素３は座標値（２ｉ，２ｊ＋１）で示され、画素４は座標値（２ｉ＋１，２ｊ＋１）で示される。
【００５９】
さて、図示の補間点Ｑに対する補間演算処理とは、この補間点Ｑの位置について、Ｒ色，Ｇ色，Ｂ色の各画素値を決定する処理であり、当該処理を行うためには、まず、補間点Ｑの正確な位置を把握する必要がある。本発明では、この補間点Ｑの位置を、上位アドレス（Ｘ，Ｙ）と下位アドレス（ｘ，ｙ）とに分けて取り扱うことにする。上位アドレス（Ｘ，Ｙ）は、補間点Ｑの所属する格子枠の位置を特定する情報である。図１６に示すように、この画素配列には、４頂点位置に画素が配置された多数の正方形状格子枠が存在するが、まず、補間点Ｑがどの格子枠内の点であるかを把握する。図示の例の場合、補間点Ｑは、ハッチングを施した格子枠、すなわち、画素１，２，３，４を４頂点とする正方形内の点であることがわかる。
【００６０】
本願では、この格子枠を補間点Ｑについての「位置基準枠」と呼ぶことにする。別言すれば、「特定の補間点Ｑについての位置基準枠」とは、「当該補間点Ｑを内包し各格子点（各画素位置）によって４頂点が構成される最小の正方形」ということになる。図にハッチングを施した領域は、補間点Ｑについての位置基準枠の内部領域である。なお、補間点Ｑが境界線上（すなわち、正方形の辺上）に位置する場合には、予め定めた規則により、いずれか一方の領域に含まれるものとして処理すればよい。ここでは、垂直方向の境界線（格子線）上に位置する補間点Ｑは、当該境界線の右側に位置する格子枠内の点として取り扱い、水平方向の境界線（格子線）上に位置する補間点Ｑは、当該境界線の下側に位置する格子枠内の点として取り扱うようにしている。
【００６１】
位置基準枠は、その４頂点を構成する格子点（画素）を指定することによって特定することができる。たとえば、図示の例の場合、補間点Ｑについての位置基準枠は、画素１，２，３，４を指定することによって特定できる。ただ、実用上は、たとえば、「４頂点のうちの左上の点を代表頂点として用いる」というような規則を定めておけば、左上の頂点のみを指定するだけで、位置基準枠の特定が可能になる。たとえば、図示の例の場合、画素１のみを指定するだけで、補間点Ｑについての位置基準枠の特定が可能である（画素１を左上の頂点とする正方形は、１つに特定される）。本願では、位置基準枠を特定するために用いられる代表頂点のことを「位置原点α」と呼ぶことにする。図示の例の場合、補間点Ｑの位置原点αは、画素１の位置ということになる。このように、位置原点αは、いずれかの画素の位置に一致するので、整数値Ｘ，Ｙを用いて、（Ｘ，Ｙ）なる座標値で示すことができる。図示の例の場合、補間点Ｑの位置原点αは、座標値２ｉ，２ｊを用いて、α（２ｉ，２ｊ）で示すことができる。以下、図面上では、この位置原点αに位置する画素を二重丸で示すことにする。
【００６２】
さて、図示の例における位置原点α（２ｉ，２ｊ）は、補間点Ｑがどの位置基準枠内に存在するかという大まかな位置情報しか示していない。すなわち、整数値Ｘ，Ｙを用いて表現される上位アドレス（Ｘ，Ｙ）だけでは、補間点Ｑの大まかな位置しか示すことができない。補間点Ｑの正確な位置を示すためには、当該位置基準枠内での位置情報が必要になる。下位アドレス（ｘ，ｙ）は、この位置基準枠内での位置情報を示すためのものである。
【００６３】
図１７は、図１６にハッチングを施して示す位置基準枠内の拡大平面図である。図示のとおり、この位置基準枠の４頂点には、画素１，２，３，４が配置されており、これらの各画素は、ｉ，ｊをパラメータとして用いれば、Ｐ（２ｉ，２ｉ），Ｐ（２ｉ＋１，２ｊ），Ｐ（２ｉ，２ｊ＋１），Ｐ（２ｉ＋１，２ｊ＋１）で示される。二重丸で示す左上の画素Ｐ（２ｉ，２ｉ）は、位置原点α（２ｉ，２ｉ）に配置された画素である。下位アドレス（ｘ，ｙ）は、この位置基準枠内のローカル座標系として定義されたｘｙ座標系における補間点Ｑ（ｘ，ｙ）の位置を示す座標値である。このｘｙ座標系の原点は、位置基準枠の左上隅（図示の例では、位置原点α（２ｉ，２ｉ））であり、水平方向にｘ軸（右方向がｘ軸の正方向）、垂直方向にｙ軸（下方向がｙ軸の正方向）がとられている。このｘｙ座標系の座標軸の単位も、ＸＹ座標系と同様に、画素の配列ピッチが１になるように定義する。ｘｙ座標系は、個々の位置基準枠ごとに定義されるローカルな座標系であるから、座標値ｘ，ｙは、０≦ｘ＜１、０≦ｙ＜１の範囲内の値をとる（等号の位置は、境界線上に位置する補間点Ｑ（ｘ，ｙ）をいずれの位置基準枠内の点として取り扱うかによって異なる）。
【００６４】
結局、補間点Ｑは、上位アドレス（Ｘ，Ｙ）と下位アドレス（ｘ，ｙ）との組合わせによって表現することができる。ここで、上位アドレス（Ｘ，Ｙ）は、補間点Ｑについての位置原点αを特定する整数値からなるアドレスである。図１７に示す例の場合、上位アドレス（２ｉ，２ｊ）によって、位置原点α（２ｉ，２ｊ）が特定されることになる（画素配列上の第２ｉ列目第２ｊ行目の画素の位置として特定できる）。また、下位アドレス（ｘ，ｙ）は、この位置原点α（２ｉ，２ｊ）を座標の原点とするローカル座標系における座標値である。
【００６５】
続いて、補間点Ｑを示す上位アドレス（Ｘ，Ｙ）および下位アドレス（ｘ，ｙ）に基づいて、具体的にどのような補間演算処理が実行されるかについて、各色ごとに説明する。ここでは、図１８に示すようなBayer Pattern画素配列の平面上において、任意の補間点Ｑが指定された場合を考える（なお、図１８では、図示の便宜上、６行６列分の画素配列しか示されていないが、実際には、上下左右にも同じBayer Patternの画素配列が更に広がっているものとする）。上述したとおり、補間点Ｑは、上位アドレス（Ｘ，Ｙ）と下位アドレス（ｘ，ｙ）との組合わせによって表現される。ここで、上位アドレス（Ｘ，Ｙ）は、図に二重丸で示す画素１の位置に定義される位置原点αを特定するものである。すなわち、上位アドレス（Ｘ，Ｙ）は、画素１が、全画素配列における第Ｘ列目、第Ｙ行目の画素であることを示している。また、下位アドレス（ｘ，ｙ）は、位置原点α（画素１の位置）を座標の原点として定義されたｘｙローカル座標系における補間点Ｑの座標値である。
【００６６】
§１では、図７に示す一次元画像について、補間点Ｑの画素値を、「４点参照バイキュービック・スプライン補間」の手法で求める例を説明した。この補間演算処理で必要となる値は、４つの参照画素Ｐ（−１），Ｐ（０），Ｐ（１），Ｐ（２）の各画素値ｆ（−１），ｆ（０），ｆ（１），ｆ（２）と、補間割合ｘである。これらの値が得られれば、補間点Ｑの画素値ｆ（ｘ）は、ｆ（ｘ）＝１／５・（（−３ｆ（−１）＋７ｆ（０）−７ｆ（１）＋３ｆ（２））・ｘ３＋（７ｆ（−１）−１３ｆ（０）＋８ｆ（１）−２ｆ（２））・ｘ２＋（−４ｆ（−１）＋ｆ（０）＋４ｆ（１）−ｆ（２）・ｘ）＋ｆ（０）なる演算式により求まる。このように、補間演算処理に必要な情報は、「どの画素を参照画素とするか」という情報と「補間割合はいくつか」という情報である。
【００６７】
一方、§２では、図１３を参照しながら、本発明に係る手法で二次元画像のＲ色についての補間演算処理を行う基本概念を説明した。この図１３に示す例では、補間点ＱについてのＲ色の画素値を得るために、Ｒ色の画素のみを格子点とする倍ピッチ正方格子において、補間点Ｑを含む格子枠を補間基準枠（図１３に太線で示されている）と定め、この補間基準枠の左上隅点を補間原点（小さな正方形で囲った画素４の位置）と定め、「どの画素を参照画素とするか」という情報と「補間割合はいくつか」という情報を、補間基準枠および補間原点を用いて特定している。具体的には、「どの画素を参照画素とするか」という情報は、補間基準枠を利用して特定できる。すなわち、「４点参照バイキュービック・スプライン補間」の場合、倍ピッチ正方格子において補間基準枠よりもひとまわり大きな正方形（図１３において、画素１と画素３を対角とする正方形）内に含まれる全１６個のＲ色画素が参照画素ということになる。また、「補間割合はいくつか」という情報は、図１３に示す例の場合、補間原点（画素４）に対する補間点Ｑの隔たりを示すローカル座標系上での座標値（ｘ，ｙ）を利用して特定できる。
【００６８】
結局、本発明に係る手法で、任意の補間点Ｑに対する補間演算を行う上では、まず、当該補間点Ｑの位置を把握するために、位置基準枠およびその左上頂点にある位置原点α（Ｘ，Ｙ）、すなわち上位アドレスを決定し、この位置原点α（Ｘ，Ｙ）を基準とした補間点Ｑのローカル座標系上での座標値（ｘ，ｙ）、すなわち下位アドレスを決定する。次に、これらのアドレスに基づいて、個々の色ごとに、補間基準枠およびその左上頂点にある補間原点βを決定し、補間基準枠を利用して参照画素を特定し、補間原点βを利用して補間割合を特定することになる。
【００６９】
以上の基本方針に従って、個々の色ごとに実施すべき補間演算処理を述べよう。まず、Ｒ色についての処理を説明する。図１８に示す補間点Ｑについての補間を行う場合、まず、この補間点Ｑについての位置基準枠が決定され、その左上頂点として位置原点が決定される。「位置基準枠」は、「補間点Ｑを内包し格子点によって４頂点が構成される最小の正方形」として定義されるので、図１８の例の場合、画素１，２，３，４を４頂点とする正方形が位置基準枠となり、その左上に位置する画素１が位置原点αとなる（位置原点は二重丸で示す）。そして、補間点Ｑの正確な位置は、この位置原点αを座標原点とするローカル座標系の座標値（ｘ，ｙ）として与えられる。
【００７０】
一方、補間演算処理を行うために、図１９に示すような画素配列を考える。この画素配列は、図１８に示す各色画素のうちのＲ色画素についてのみ「Ｒ」と記載し、残りの２色の画素を白丸で表わしたものである。補間点Ｑについての「補間基準枠」は、「演算対象色を検出する機能をもった受光素子が配置された格子点によって４頂点が構成され、補間点Ｑを内包する最小の正方形」として定義されるので、図１９に示す例の場合、Ｒ色の画素５，６，７，４を４頂点とする正方形が補間基準枠（図では太線で示す）となり、その左上に位置する画素５が補間原点βとなる（補間原点は小さな正方形で囲って示す）。
【００７１】
こうして、補間点ＱについてのＲ色補間を行う場合、図１９に示すように、画素５の位置に補間原点βが定義され、この補間原点βを左上頂点とし、Ｒ色の画素５，６，７，４を４頂点とする正方形として、図に太線で示す補間基準枠が定義される。こうして、補間基準枠が定義されれば、補間演算処理で用いる参照画素が決定できる。すなわち、「４点参照バイキュービック・スプライン補間」を行う場合であれば、図示の例の場合、太線で示した補間基準枠よりもひとまわり大きく、Ｒ色の画素を４頂点とする正方形に含まれる合計１６個のＲ色の画素が参照画素として選ばれ、これら各参照画素の画素値を用いた補間演算が実行される。
【００７２】
具体的には、図１９に示す格子線Ｌ（０），Ｌ（１），Ｌ（２）は、図１３に示す同じ符号で示す格子線に対応することになる（図１９では格子線Ｌ（−１）は示されていないが、図の上方の２行上に位置する）。したがって、補間点Ｑを通り縦方向の格子線に平行な補間ラインＬを描き、この補間ラインＬと各格子線Ｌ（−１），Ｌ（０），Ｌ（１），Ｌ（２）との交点に、それぞれ中間補間点Ｑ（−１），Ｑ（０），Ｑ（１），Ｑ（２）をとれば（図１９には、Ｑ（−１）は示されていない）、各格子線Ｌ（−１），Ｌ（０），Ｌ（１），Ｌ（２）上の４個の参照画素の画素値を用いた横方向の補間演算により、各中間補間点Ｑ（−１），Ｑ（０），Ｑ（１），Ｑ（２）の画素値を求めることができる。たとえば、中間補間点Ｑ（０）の画素値は、画素８，５，６，９の画素値を用いた演算によって求まる。こうして、４個の中間補間点Ｑ（−１），Ｑ（０），Ｑ（１），Ｑ（２）の画素値が得られたら、これらの画素値を用いた縦方向の補間演算処理により、補間点Ｑの画素値を得ることができる。
【００７３】
続いて、Ｂ色についての処理を説明するために、図２０に示すような画素配列を考える。この画素配列は、図１８に示す各色画素のうちのＢ色画素についてのみ「Ｂ」と記載し、残りの２色の画素を白丸で表わしたものである。この場合、補間点Ｑについての「補間基準枠」は、Ｂ色の画素１，５，６，７を４頂点とする正方形（図では太線で示す）となり、その左上に位置する画素１が補間原点βとなる（補間原点は小さな正方形で囲って示す）。
【００７４】
こうして、補間点ＱについてのＢ色補間を行う場合、図２０に示すように、画素１の位置に補間原点βが定義され、この補間原点βを左上頂点とし、Ｂ色の画素１，５，６，７を４頂点とする正方形として、図に太線で示す補間基準枠が定義される。こうして、補間基準枠が定義されれば、補間演算処理で用いる参照画素が決定できる。すなわち、「４点参照バイキュービック・スプライン補間」を行う場合であれば、図示の例の場合、太線で示した補間基準枠よりもひとまわり大きく、Ｂ色の画素を４頂点とする正方形に含まれる合計１６個のＢ色の画素が参照画素として選ばれ、これら各参照画素の画素値を用いた補間演算が実行される。
【００７５】
具体的には、図２０に示す格子線Ｌ（０），Ｌ（１），Ｌ（２）は、図１３に示す同じ符号で示す格子線に対応することになる（図２０では格子線Ｌ（−１）は示されていないが、図の上方の１行上に位置する）。したがって、前述したＲ色の場合と同様に、各中間補間点Ｑ（−１），Ｑ（０），Ｑ（１），Ｑ（２）の画素値を求めることができ（たとえば、中間補間点Ｑ（０）の画素値は、画素８，１，５，９の画素値を用いた演算によって求まる）、これらの４個の画素値を用いた縦方向の補間演算処理により、補間点Ｑの画素値を得ることができる。
【００７６】
ここで、注意を払うべき第１の留意点は、図に二重丸で示す「位置原点α」と、図に小さな四角で囲って示す「補間原点β」とが、必ずしも一致しない点である。たとえば、図１９に示すＲ色に関する処理においては、位置原点α（画素１）の斜め左上に補間原点β（画素５）が設定されており、両者は一致しない。これに対して、図２０に示すＢ色に関する処理においては、位置原点α（画素１）と補間原点β（画素１）とは同一の位置に設定されており、両者は一致する。もっとも、この一致／不一致の問題は、Ｒ色に関する処理においては両者は一致せず、Ｂ色に関する処理においては両者が一致する、というように色ごとに一義的に決まる問題ではなく、補間点Ｑの位置と、各色の画素位置との相対的な関係に基づくものであり、後の§４で述べるように、ある規則性に基づいて決まる問題である。
【００７７】
第２の留意点は、上記第１の留意点に関連して生じる事項であるが、下位アドレス（ｘ，ｙ）で示される補間点Ｑの位置が、必ずしもそのまま補間割合を示す値として利用できるわけではないという点である。補間点Ｑの位置を示す下位アドレス（ｘ，ｙ）は、位置原点αを座標原点とするｘｙローカル座標系上の座標であり、あくまでも位置原点αを基準とした値となっている。これに対して、補間演算処理は、補間原点βを基準とした処理になるため、補間割合の値も、補間原点βを基準としたものにする必要がある。たとえば、図２０に示す例の場合は、位置原点αと補間原点βとが一致するため、補間点Ｑの下位アドレス（ｘ，ｙ）は、補間原点βを原点とした座標系上の数値ということになるが、図１９に示す例の場合は、位置原点α（画素１）と補間原点β（画素５）とが一致しないため、補間点Ｑの下位アドレス（ｘ，ｙ）は、補間原点β（画素５）を原点とした座標系上の数値にはなっていない。したがって、補間原点βを基準とした補間演算を行う上では、下位アドレス（ｘ，ｙ）に所定のオフセット量を加える補正が必要になる。このような補正の具体的内容については、後の§４で詳述する。
【００７８】
そして、第３の留意点は、補間割合の値の規格化の問題である。図７に示す一次元画像に対する補間演算処理を参照すればわかるとおり、通常の補間演算処理では、補間に利用する参照画素の間隔を１とした場合の演算式が用いられる。したがって、二次元画像の場合、ピッチ１で配列されている格子点上の画素を参照画素として用いた補間演算を行う場合は問題は生じないが、参照画素のピッチが任意の数値ｎになった場合、正しい補間割合の値を算出するために座標値に１／ｎを乗じる規格化が必要になる。すなわち、下位アドレス（ｘ，ｙ）は、図１７に示すように、ピッチ１で配列されている４つの格子点を４頂点とする位置基準枠内の補間点Ｑ（ｘ，ｙ）の座標値を示しているので、たとえば、図２０に示す例のように、位置原点αと補間原点βとが一致し、オフセット量を加える補正が必要ない場合であっても、規格化による補正が必要になる。具体的には、図２０に示す例の場合、参照画素のピッチは２であるのに対し、用いる補間に用いる演算式は、参照画素のピッチが１である場合を前提としているので、座標値（ｘ，ｙ）に対して１／２を乗じた値を補間割合として用いるような補正が必要になる。このような補正の具体的内容についても、後の§４で詳述する。
【００７９】
最後に、Ｇ色についての処理を説明するために、図２１に示すような画素配列を考える。この画素配列は、図１８に示す各色画素のうちのＧ色画素についてのみ「Ｇ」と記載し、残りの２色の画素を白丸で表わしたものである。このＧ色画素は、§２でも述べたとおり、図に破線で示すような斜め４５°に回転させた√２ピッチ正方格子上の各格子点位置に配置されている。そして、§２で述べたとおり、Ｇ色についての補間演算を行うためには、図２１に示すＧ色の画素２，３，５，６を４頂点とする正方形を補間基準枠（図では太線で示す）とし、一番上に位置する画素２を補間原点βとすればよい（補間原点は小さな正方形で囲って示す）。
【００８０】
こうして、補間基準枠が定義されれば、補間演算処理で用いる参照画素が決定できる。すなわち、「４点参照バイキュービック・スプライン補間」を行う場合であれば、図示の例の場合、√２ピッチ正方格子上において太線で示した補間基準枠よりもひとまわり大きく、Ｇ色の画素を４頂点とする正方形（破線で示す斜めに配置された正方形）に含まれる合計１６個のＧ色の画素が参照画素として選ばれ、これら各参照画素の画素値を用いた補間演算が実行される。
【００８１】
具体的には、図２１に示す格子線Ｌ（−１），Ｌ（０），Ｌ（１），Ｌ（２）が、図１３に示す同じ符号で示す格子線に対応することになる。したがって、前述したＲ色やＢ色の場合と同様に、各中間補間点Ｑ（−１），Ｑ（０），Ｑ（１），Ｑ（２）の画素値を求めることができ（たとえば、中間補間点Ｑ（０）の画素値は、画素７，２，５，８の画素値を用いた演算によって求まる）、これらの４個の中間補間点の画素値を用いた補間演算処理により、補間点Ｑの画素値を得ることができる。
【００８２】
もちろん、このＧ色に関する補間処理を行う上でも、前述した３つの留意点に配慮する必要がある。すなわち、位置原点αと補間原点βとの関係が、補間点Ｑの位置と、各色の画素位置との相対的な関係に基づく所定の規則に基づいて決定されるという第１の留意点、補間割合を決定する際に、補間点Ｑの下位アドレス（ｘ，ｙ）に所定のオフセット量を加える補正が必要になるという第２の留意点、そして補間割合を決定する際に、√２ピッチ正方格子のピッチが√２であることを考慮して、座標値（ｘ，ｙ）に対して１／√２を乗じる規格化が必要になるという第３の留意点に配慮する必要がある。
【００８３】
しかも、このＧ色に関する補間処理の場合、上記第１の留意点に更に付加的に配慮すべき事項がある。それは、位置原点αが同じであっても、補間点Ｑの位置に応じて、異なる補間原点βを定める必要があるという点である。これは、画素配列が４５°回転した状態になるＧ色にのみ生じる固有の問題であり、Ｒ色やＢ色では、このような問題は生じない。別言すれば、Ｒ色やＢ色の場合、１つの位置原点αに対して、必ず１つの補間原点βが一義的に対応づけられるが、Ｇ色の場合、１つの位置原点αに対して、補間原点βとなるべき格子点の候補が２つ存在し、補間点Ｑの位置に応じて、いずれか一方を選択する必要が生じるのである。
【００８４】
この問題を具体例で示そう。既に述べたとおり、図２１に示す例の場合、補間点Ｑに対して、二重丸で示す画素１が位置原点αとして定められるので、この位置原点αに対応する補間原点βとして、図に小さな正方形で囲って示す画素２を定めるようにすれば、画素２，３，５，６を４頂点とする正方形を補間基準枠とした補間演算を行うことができる。ところが、補間点Ｑが図２２に示す位置にあった場合はどうであろうか。この場合も、補間点Ｑに対しては、二重丸で示す画素１が位置原点αとして定められる。しかしながら、この図２２に示す例の場合、画素７を補間原点βとし、画素７，９，２，３を４頂点とする正方形を補間基準枠とする必要がある。このように、Ｇ色に関する処理では、位置原点αのみに基づいて補間原点βを一義的に決定することはできない。
【００８５】
別の例として、図２２に示す補間点Ｑ１，Ｑ２に着目すると、いずれも位置原点αは画素２になる。ところが、補間点Ｑ１についての補間原点βは位置原点αと同一の画素２とし、補間点Ｑ２についての補間原点βは画素１０にする必要がある。これは、補間基準枠が、色Ｇが配置された格子点によって４頂点が構成され、補間点Ｑを内包する最小の正方形として定義される必要があるためである。
【００８６】
結局、色Ｇに関しては、位置原点αのみに基づいて補間原点βを一義的に決定することはできず、補間点Ｑの所属領域に応じて、二者択一の判定を行う必要がある。図２３は、この判定プロセスを示す平面図である。図示のとおり、９個の画素１〜９からなる配列を考える。ここで、画素１，３，５，７，９はＧ色の画素であり、残りの画素は他の色の画素である。そして、補間点ＱとＧ色の画素５との相対的な位置関係として、次の４通りのバリエーションを考える。すなわち、補間点Ｑが図示の二等辺三角形の領域Ａ１，Ａ２，Ａ３，Ａ４に所属する４通りのバリエーションである。補間点Ｑが、領域の境界線上に位置する場合には、予め定められたいずれかの領域に所属するものとして取り扱えばよい。補間点ＱとＧ色の画素との相対的な位置関係は、この４通りのバリエーションのいずれかに集約される。たとえば、図示する補間点ＱＱ１は、画素Ｇ１を画素Ｇ５の位置へもってくれば、領域Ａ４に所属することになり、図示する補間点ＱＱ２は、画素Ｇ３を画素Ｇ５の位置へもってくれば、領域Ａ２に所属することになる。
【００８７】
このような４通りのバリエーションに分けて考えれば、個々のバリエーションごとに、それぞれ特定の補間原点βを一義的に決定することができる。すなわち、補間点Ｑが領域Ａ１に所属する場合には画素１を補間原点βとし、補間点Ｑが領域Ａ２に所属する場合には画素５を補間原点βとし、補間点Ｑが領域Ａ３に所属する場合には画素５を補間原点βとし、補間点Ｑが領域Ａ４に所属する場合には画素３を補間原点βとすればよい。
【００８８】
任意の補間点Ｑが、４通りの領域Ａ１〜Ａ４のうちのいずれに所属するかは、その上位アドレス（Ｘ，Ｙ）および下位アドレス（ｘ，ｙ）に基づいて、次のようにして判定することができる。まず、上位アドレス（Ｘ，Ｙ）に基づいて、領域Ａ１，Ａ２のグループか、領域Ａ３，Ａ４のグループかの判定が可能である。図１に示すように、一般的なBayer Pattern配列では、奇数行はＲＧＲＧＲＧＲＧＲ......、偶数行はＧＢＧＢＧＢＧＢＧＢ......という配列が採られているため、補間点Ｑが領域Ａ１またはＡ２に所属する場合には、当該補間点Ｑの位置原点をα（Ｘ，Ｙ）とすると、「Ｘ＋Ｙ」は必ず偶数になり、補間点Ｑが領域Ａ３またはＡ４に所属する場合には、当該補間点Ｑの位置原点をα（Ｘ，Ｙ）とすると、「Ｘ＋Ｙ」は必ず奇数になる関係にある。
【００８９】
一方、図２３に示すように、画素４，５，７，８の位置を４頂点とする正方形内に、画素４の位置を座標原点とするｘｙ座標系（右方向がｘ軸の正方向、下方向がｙ軸の正方向）を定義すると、領域Ａ１，Ａ２の境界線は、ｙ＝−ｘ＋１なる方程式で示すことができる。したがって、補間点Ｑの上位アドレス（Ｘ，Ｙ）における「Ｘ＋Ｙ」が偶数であった場合には、下位アドレス（ｘ，ｙ）におけるｘ，ｙについて、ｙ≦−ｘ＋１なる条件が満たされる場合には、当該補間点Ｑは領域Ａ１に所属すると判定することができ、ｙ＞−ｘ＋１なる条件が満たされる場合には、当該補間点Ｑは領域Ａ２に所属すると判定することができる（等号の位置は、領域の境界線上をどちらの領域に含ませるかによって変わる）。
【００９０】
また、図２３に示すように、画素５，６，８，９の位置を４頂点とする正方形内に、画素５の位置を座標原点とするｘｙ座標系（右方向がｘ軸の正方向、下方向がｙ軸の正方向）を定義すると、領域Ａ３，Ａ４の境界線は、ｙ＝ｘなる方程式で示すことができる。したがって、補間点Ｑの上位アドレス（Ｘ，Ｙ）における「Ｘ＋Ｙ」が奇数であった場合には、下位アドレス（ｘ，ｙ）におけるｘ，ｙについて、ｙ＞ｘなる条件が満たされる場合には、当該補間点Ｑは領域Ａ３に所属すると判定することができ、ｙ≦ｘなる条件が満たされる場合には、当該補間点Ｑは領域Ａ４に所属すると判定することができる（等号の位置は、領域の境界線上をどちらの領域に含ませるかによって変わる）。
【００９１】
結局、一般的なBayer Pattern配列の場合、Ｒ色，Ｂ色に関しては、補間点Ｑの上位アドレス（Ｘ，Ｙ）に基づいて補間原点βを決定することができるが、Ｇ色に関しての補間原点βを決定するためには、補間点Ｑの上位アドレス（Ｘ，Ｙ）だけではなく、下位アドレス（ｘ，ｙ）をも考慮する必要がある。
【００９２】
＜＜＜ §４．補間原点および補間割合の具体的な決定方法 ＞＞＞
さて、§３では、補間点Ｑの位置を示すために、位置原点α（Ｘ，Ｙ）を特定する上位アドレス（Ｘ，Ｙ）と、この位置原点α（Ｘ，Ｙ）に対する補間点Ｑの隔たりを特定する下位アドレス（ｘ，ｙ）とを定義し、これらアドレスに基づいて、各色ごとに、それぞれ補間原点βと補間割合とを決定し、補間演算処理を実行する基本的な手順を述べた。ここでは、奇数行がＲＧＲＧＲＧＲＧＲ......、偶数行がＧＢＧＢＧＢＧＢＧＢ......という配列をとる一般的なBayer Pattern配列の場合について、補間原点βと補間割合とを決定する具体的な方法を説明する。
【００９３】
ここでは、図１６に示すようなBayer Patternからなる一部の画素配列を考える。この画素配列は、既に述べたとおり、ｉ，ｊを任意の整数とした場合に、横方向に、第（２ｉ−２）列目〜第（２ｉ＋５）列目までの区間を抜き出し、縦方向には、第（２ｊ−２）行目〜第（２ｉ＋５）行目までの区間を抜き出したものである。ここで、「２ｉ」，「２ｊ」のように、ｉ，ｊに係数２を乗じる表示形式にした理由は、Bayer Pattern配列の場合、個々の画素の位置が、奇数列目か偶数列目か、奇数行目か偶数行目か、によって、それぞれ異なる取り扱いを行う必要があるためである。すなわち、ここでパラメータｉ，ｊは、いずれも０，１，２，...といった整数であるので、２ｉや２ｊは偶数を示し、２ｉ＋１や２ｊ＋１は奇数を示すことになる。以下、個々の場合の取り扱いを、各色ごとに説明する。
【００９４】
なお、ここでは、ｉ，ｊの初期値を０に設定したため、Ｘの値の偶数・奇数と、画素配列の列の順番の偶数・奇数とは逆転した関係になり、Ｙの値の偶数・奇数と、画素配列の行の順番の偶数・奇数とは逆転した関係になる。たとえば、図１６に示す画素配列において、Ｘ＝２ｉとした「第２ｉ列目」は、Ｘの値は偶数であるが、実際には奇数番目の列になり、Ｙ＝２ｊとした「第２ｊ列目」は、Ｙの値は偶数であるが、実際には奇数番目の行になる。したがって、以下の説明における偶数・奇数とは、あくまでもＸの値およびＹの値についての偶数・奇数を言及するものであり、実際の画素配列の行や列の順番（１から始まる序数）の偶数・奇数を意味するものではない。
【００９５】
まず、図２４を参照しながら、Ｒ色についての補間演算処理を実行する際の取り扱いを説明しよう。Ｒ色に関しては、位置原点α（Ｘ，Ｙ）の座標値に応じて、次の４通りの取り扱いがなされる。なお、以下の図において、二重丸は位置原点を示し、小さな四角で囲った画素は補間原点を示している。
【００９６】
まず、位置原点がα（２ｉ，２ｊ）で示される場合、すなわち、Ｘが偶数、Ｙが偶数の場合は、図２４(a) に示すように、補間原点をβ（２ｉ，２ｊ）とすればよい。位置原点がα（２ｉ，２ｊ）の場合、補間点Ｑは、図にハッチングを施した領域内（位置基準枠内）に位置することになるので、Ｒ色の補間を行うためには、図に太線で示すような補間基準枠を設定すればよい。その結果、補間原点はβ（２ｉ，２ｊ）となり、位置原点α（２ｉ，２ｊ）と一致する。
【００９７】
次に、位置原点がα（２ｉ＋１，２ｊ）で示される場合、すなわち、Ｘが奇数、Ｙが偶数の場合は、図２４(b) に示すように、補間原点をβ（２ｉ，２ｊ）とすればよい。位置原点がα（２ｉ＋１，２ｊ）の場合、補間点Ｑは、図にハッチングを施した領域内（位置基準枠内）に位置することになるので、Ｒ色の補間を行うためには、図に太線で示すような補間基準枠を設定すればよい。その結果、補間原点はβ（２ｉ，２ｊ）となり、位置原点α（２ｉ＋１，２ｊ）の左側に隣接する格子点になる。
【００９８】
また、位置原点がα（２ｉ，２ｊ＋１）で示される場合、すなわち、Ｘが偶数、Ｙが奇数の場合は、図２４(c) に示すように、補間原点をβ（２ｉ，２ｊ）とすればよい。位置原点がα（２ｉ，２ｊ＋１）の場合、補間点Ｑは、図にハッチングを施した領域内（位置基準枠内）に位置することになるので、Ｒ色の補間を行うためには、図に太線で示すような補間基準枠を設定すればよい。その結果、補間原点はβ（２ｉ，２ｊ）となり、位置原点α（２ｉ，２ｊ＋１）の上方に隣接する格子点になる。
【００９９】
更に、位置原点がα（２ｉ＋１，２ｊ＋１）で示される場合、すなわち、Ｘが奇数、Ｙが奇数の場合は、図２４(d) に示すように、補間原点をβ（２ｉ，２ｊ）とすればよい。位置原点がα（２ｉ＋１，２ｊ＋１）の場合、補間点Ｑは、図にハッチングを施した領域内（位置基準枠内）に位置することになるので、Ｒ色の補間を行うためには、図に太線で示すような補間基準枠を設定すればよい。その結果、補間原点はβ（２ｉ，２ｊ）となり、位置原点α（２ｉ＋１，２ｊ＋１）の斜め左上に隣接する格子点になる。
【０１００】
続いて、図２５を参照しながら、Ｂ色についての補間演算処理を実行する際の取り扱いを説明しよう。Ｂ色に関しても、位置原点α（Ｘ，Ｙ）の座標値に応じて、次の４通りの取り扱いがなされる。やはり以下の図において、二重丸は位置原点を示し、小さな四角で囲った画素は補間原点を示している。
【０１０１】
まず、位置原点がα（２ｉ，２ｊ）で示される場合、すなわち、Ｘが偶数、Ｙが偶数の場合は、図２５(a) に示すように、補間原点をβ（２ｉ−１，２ｊ−１）とすればよい。位置原点がα（２ｉ，２ｊ）の場合、補間点Ｑは、図にハッチングを施した領域内（位置基準枠内）に位置することになるので、Ｂ色の補間を行うためには、図に太線で示すような補間基準枠を設定すればよい。その結果、補間原点はβ（２ｉ−１，２ｊ−１）となり、位置原点α（２ｉ，２ｊ）の斜め左上に隣接する格子点になる。
【０１０２】
次に、位置原点がα（２ｉ＋１，２ｊ）で示される場合、すなわち、Ｘが奇数、Ｙが偶数の場合は、図２５(b) に示すように、補間原点をβ（２ｉ＋１，２ｊ−１）とすればよい。位置原点がα（２ｉ＋１，２ｊ）の場合、補間点Ｑは、図にハッチングを施した領域内（位置基準枠内）に位置することになるので、Ｂ色の補間を行うためには、図に太線で示すような補間基準枠を設定すればよい。その結果、補間原点はβ（２ｉ＋１，２ｊ−１）となり、位置原点α（２ｉ＋１，２ｊ）の上方に隣接する格子点になる。
【０１０３】
また、位置原点がα（２ｉ，２ｊ＋１）で示される場合、すなわち、Ｘが偶数、Ｙが奇数の場合は、図２５(c) に示すように、補間原点をβ（２ｉ−１，２ｊ＋１）とすればよい。位置原点がα（２ｉ，２ｊ＋１）の場合、補間点Ｑは、図にハッチングを施した領域内（位置基準枠内）に位置することになるので、Ｂ色の補間を行うためには、図に太線で示すような補間基準枠を設定すればよい。その結果、補間原点はβ（２ｉ−１，２ｊ＋１）となり、位置原点α（２ｉ，２ｊ＋１）の左側に隣接する格子点になる。
【０１０４】
更に、位置原点がα（２ｉ＋１，２ｊ＋１）で示される場合、すなわち、Ｘが奇数、Ｙが奇数の場合は、図２５(d) に示すように、補間原点をβ（２ｉ＋１，２ｊ＋１）とすればよい。位置原点がα（２ｉ＋１，２ｊ＋１）の場合、補間点Ｑは、図にハッチングを施した領域内（位置基準枠内）に位置することになるので、Ｂ色の補間を行うためには、図に太線で示すような補間基準枠を設定すればよい。その結果、補間原点はβ（２ｉ＋１，２ｊ＋１）となり、位置原点α（２ｉ＋１，２ｊ＋１）と一致する。
【０１０５】
続いて、図２６および図２７を参照しながら、Ｇ色についての補間演算処理を実行する際の取り扱いを説明しよう。Ｇ色の場合、位置原点α（Ｘ，Ｙ）の座標値に応じて、４通りの取り扱いがなされるが、更に、この４通りの場合のそれぞれについて、補間点Ｑの下位アドレス（ｘ，ｙ）に基づいて、２通りのいずれかの取り扱いがなされる。これは、図２３で述べたとおりである。なお、これまでの図と同様に、以下の図においても、二重丸は位置原点を示し、小さな四角で囲った画素は補間原点を示している。
【０１０６】
まず、位置原点がα（２ｉ，２ｊ）で示される場合、すなわち、Ｘが偶数、Ｙが偶数の場合は、補間点Ｑの下位アドレス（ｘ，ｙ）に基づいて、ｙ≦−ｘ＋１なる条件を満たすか（補間点Ｑが図２３の領域Ａ１に位置する場合）、ｙ＞−ｘ＋１なる条件を満たすか（補間点Ｑが図２３の領域Ａ２に位置する場合）が判定される。そして、前者の場合は、図２６(a) に示すように、補間原点をβ（２ｉ，２ｊ−１）とすればよい。位置原点がα（２ｉ，２ｊ）で前者の場合、補間点Ｑは、図にハッチングを施した領域内に位置することになるので、Ｇ色の補間を行うためには、図に太線で示すような補間基準枠を設定すればよい。その結果、補間原点はβ（２ｉ，２ｊ−１）となり、位置原点α（２ｉ，２ｊ）の上方に隣接する格子点になる。一方、後者の場合は、図２６(b) に示すように、補間原点をβ（２ｉ＋１，２ｊ）とすればよい。位置原点がα（２ｉ，２ｊ）で後者の場合、補間点Ｑは、図にハッチングを施した領域内に位置することになるので、Ｇ色の補間を行うためには、図に太線で示すような補間基準枠を設定すればよい。その結果、補間原点はβ（２ｉ＋１，２ｊ）となり、位置原点α（２ｉ，２ｊ）の右側に隣接する格子点になる。
【０１０７】
次に、位置原点がα（２ｉ＋１，２ｊ）で示される場合、すなわち、Ｘが奇数、Ｙが偶数の場合は、補間点Ｑの下位アドレス（ｘ，ｙ）に基づいて、ｙ≦ｘなる条件を満たすか（補間点Ｑが図２３の領域Ａ４に位置する場合）、ｙ＞ｘなる条件を満たすか（補間点Ｑが図２３の領域Ａ３に位置する場合）が判定される。そして、前者の場合は、図２６(c) に示すように、補間原点をβ（２ｉ＋２，２ｊ−１）とすればよい。位置原点がα（２ｉ＋１，２ｊ）で前者の場合、補間点Ｑは、図にハッチングを施した領域内に位置することになるので、Ｇ色の補間を行うためには、図に太線で示すような補間基準枠を設定すればよい。その結果、補間原点はβ（２ｉ＋２，２ｊ−１）となり、位置原点α（２ｉ＋１，２ｊ）の斜め右上に隣接する格子点になる。一方、後者の場合は、図２６(d) に示すように、補間原点をβ（２ｉ＋１，２ｊ）とすればよい。位置原点がα（２ｉ＋１，２ｊ）で後者の場合、補間点Ｑは、図にハッチングを施した領域内に位置することになるので、Ｇ色の補間を行うためには、図に太線で示すような補間基準枠を設定すればよい。その結果、補間原点はβ（２ｉ＋１，２ｊ）となり、位置原点α（２ｉ＋１，２ｊ）と一致する。
【０１０８】
また、位置原点がα（２ｉ，２ｊ＋１）で示される場合、すなわち、Ｘが偶数、Ｙが奇数の場合は、補間点Ｑの下位アドレス（ｘ，ｙ）に基づいて、ｙ≦ｘなる条件を満たすか（補間点Ｑが図２３の領域Ａ４に位置する場合）、ｙ＞ｘなる条件を満たすか（補間点Ｑが図２３の領域Ａ３に位置する場合）が判定される。そして、前者の場合は、図２７(a) に示すように、補間原点をβ（２ｉ＋１，２ｊ）とすればよい。位置原点がα（２ｉ，２ｊ＋１）で前者の場合、補間点Ｑは、図にハッチングを施した領域内に位置することになるので、Ｇ色の補間を行うためには、図に太線で示すような補間基準枠を設定すればよい。その結果、補間原点はβ（２ｉ＋１，２ｊ）となり、位置原点α（２ｉ，２ｊ＋１）の斜め右上に隣接する格子点になる。一方、後者の場合は、図２７(b) に示すように、補間原点をβ（２ｉ，２ｊ＋１）とすればよい。位置原点がα（２ｉ，２ｊ＋１）で後者の場合、補間点Ｑは、図にハッチングを施した領域内に位置することになるので、Ｇ色の補間を行うためには、図に太線で示すような補間基準枠を設定すればよい。その結果、補間原点はβ（２ｉ，２ｊ＋１）となり、位置原点α（２ｉ，２ｊ＋１）と一致する。
【０１０９】
更に、位置原点がα（２ｉ＋１，２ｊ＋１）で示される場合、すなわち、Ｘが奇数、Ｙが奇数の場合は、補間点Ｑの下位アドレス（ｘ，ｙ）に基づいて、ｙ≦−ｘ＋１なる条件を満たすか（補間点Ｑが図２３の領域Ａ１に位置する場合）、ｙ＞−ｘ＋１なる条件を満たすか（補間点Ｑが図２３の領域Ａ２に位置する場合）が判定される。そして、前者の場合は、図２７(c) に示すように、補間原点をβ（２ｉ＋１，２ｊ）とすればよい。位置原点がα（２ｉ＋１，２ｊ＋１）で前者の場合、補間点Ｑは、図にハッチングを施した領域内に位置することになるので、Ｇ色の補間を行うためには、図に太線で示すような補間基準枠を設定すればよい。その結果、補間原点はβ（２ｉ＋１，２ｊ）となり、位置原点α（２ｉ＋１，２ｊ＋１）の上方に隣接する格子点になる。一方、後者の場合は、図２７(d) に示すように、補間原点をβ（２ｉ＋２，２ｊ＋１）とすればよい。位置原点がα（２ｉ＋１，２ｊ＋１）で後者の場合、補間点Ｑは、図にハッチングを施した領域内に位置することになるので、Ｇ色の補間を行うためには、図に太線で示すような補間基準枠を設定すればよい。その結果、補間原点はβ（２ｉ＋２，２ｊ＋１）となり、位置原点α（２ｉ＋１，２ｊ＋１）の右側に隣接する格子点になる。
【０１１０】
以上、各色ごとに、個々のバリエーションごとに、補間点Ｑについての位置原点α（Ｘ，Ｙ）を示す上位アドレス（Ｘ，Ｙ）と、この位置原点α（Ｘ，Ｙ）に対する補間点Ｑの隔たりを示す下位アドレス（ｘ，ｙ）とに基づいて、特定の補間原点βが対応づけられることを示した。続いて、それぞれのバリエーションごとに、補間割合を決定する方法を述べる。補間割合を決定する上で留意すべき事項は、§３で述べたとおり、オフセット量の補正と、規格化のための補正である。以下、これらの補正を各色ごとに説明する。なお、ここでは説明の便宜上、補間点Ｑの補間原点βに対する２方向への隔たり（すなわち、オフセット量の補正を行った後の隔たり）を値ｄ，ｅで示し、これら値ｄ，ｅに対して、更に規格化のための補正を行った後の値をｄ＊，ｅ＊で示すことにする。補間演算では、値ｄ＊，ｅ＊を補間割合として用いることになる。
【０１１１】
はじめに、図２８を参照しながら、Ｒ色に関する補間割合の決定方法を述べる。まず、図２８に示す補間点Ｑ１（ｘ，ｙ）について考える。この補間点Ｑ１（ｘ，ｙ）については、画素１が位置原点αとなるが、画素１はＲ色の画素であるから、α（２ｉ，２ｊ）のケースに相当する。ここで、補間点Ｑ１の位置を示す下位アドレス（ｘ，ｙ）は、画素１に対する隔たりを示す値になる。このケースでは、図示のとおり、補間原点βも画素１になるので、オフセット量は０となり、補間原点βからの横方向の隔たりを示す値ｄはｄ＝ｘとなり、縦方向の隔たりを示す値ｅはｅ＝ｙとなる。ただ、下位アドレス（ｘ，ｙ）は、画素配列のピッチが１である前提での隔たりを示す値であるのに対し、Ｒ色の補間演算を行う際の参照画素のピッチは図示のとおり２となっているので、補間演算に用いる補間割合ｄ＊，ｅ＊は、規格化のための補正を行い、ｄ＊＝ｄ／２、ｅ＊＝ｅ／２とする必要がある。結局、このケースでは、補間割合は、ｄ＊＝ｘ／２、ｅ＊＝ｙ／２となる。
【０１１２】
次に、図２８に示す補間点Ｑ２（ｘ，ｙ）について考える。この補間点Ｑ２（ｘ，ｙ）については、画素２が位置原点αとなるが、画素２はＲ色の画素１の右側に隣接する画素であるから、α（２ｉ＋１，２ｊ）のケースに相当する。ここで、補間点Ｑ２の位置を示す下位アドレス（ｘ，ｙ）は、画素２に対する隔たりを示す値になる。このケースでは、図示のとおり、補間原点βは画素１になるので、横方向の隔たりに関してはオフセット量１を加える必要がある。すなわち、補間原点βからの横方向の隔たりを示す値ｄはｄ＝ｘ＋１となり、縦方向の隔たりを示す値ｅはｅ＝ｙとなる。結局、規格化のための補正を加えると、このケースでは、補間割合は、ｄ＊＝（ｘ＋１）／２、ｅ＊＝ｙ／２となる。
【０１１３】
続いて、図２８に示す補間点Ｑ３（ｘ，ｙ）について考える。この補間点Ｑ３（ｘ，ｙ）については、画素３が位置原点αとなるが、画素３はＲ色の画素１の下方に隣接する画素であるから、α（２ｉ，２ｊ＋１）のケースに相当する。ここで、補間点Ｑ３の位置を示す下位アドレス（ｘ，ｙ）は、画素３に対する隔たりを示す値になる。このケースでは、図示のとおり、補間原点βは画素１になるので、縦方向の隔たりに関してはオフセット量１を加える必要がある。すなわち、補間原点βからの横方向の隔たりを示す値ｄはｄ＝ｘでよいが、縦方向の隔たりを示す値ｅはｅ＝ｙ＋１となる。結局、規格化のための補正を加えると、このケースでは、補間割合は、ｄ＊＝ｘ／２、ｅ＊＝（ｙ＋１）／２となる。
【０１１４】
更に、図２８に示す補間点Ｑ４（ｘ，ｙ）について考える。この補間点Ｑ４（ｘ，ｙ）については、画素４が位置原点αとなるが、画素４はＲ色の画素１の斜め右下に隣接する画素であるから、α（２ｉ＋１，２ｊ＋１）のケースに相当する。ここで、補間点Ｑ４の位置を示す下位アドレス（ｘ，ｙ）は、画素４に対する隔たりを示す値になる。このケースでは、図示のとおり、補間原点βは画素１になるので、横方向の隔たりに関してオフセット量１を加えるとともに、縦方向の隔たりに関してもオフセット量１を加える必要がある。すなわち、補間原点βからの横方向の隔たりを示す値ｄはｄ＝ｘ＋１となり、縦方向の隔たりを示す値ｅはｅ＝ｙ＋１となる。結局、規格化のための補正を加えると、このケースでは、補間割合は、ｄ＊＝（ｘ＋１）／２、ｅ＊＝（ｙ＋１）／２となる。
【０１１５】
以上、Ｒ色に関する補間割合の決定方法を述べたが、Ｂ色に関する補間割合もほぼ同様の方法で決定することができる。すなわち、図１に示すBayer Pattern配列を見ればわかるとおり、Ｒ色とＢ色とは、行列の偶数と奇数との関係が異なっているだけなので、Ｒ色における（２ｉ，２ｊ），（２ｉ＋１，２ｊ），（２ｉ，２ｊ＋１），（２ｉ＋１，２ｊ＋１）の各ケースを、それぞれＢ色における（２ｉ＋１，２ｊ＋１），（２ｉ，２ｊ＋１），（２ｉ＋１，２ｊ），（２ｉ，２ｊ）の各ケースに当てはめればよい。
【０１１６】
続いて、図２９を参照しながら、Ｇ色に関する補間割合の決定方法を述べる。図２９には、４つの補間点Ｑ１（ｘ，ｙ），Ｑ２（ｘ，ｙ），Ｑ３（ｘ，ｙ），Ｑ４（ｘ，ｙ）が示されている。これら４つの補間点には、いずれも共通の補間基準枠（図に太線で示す正方形）が決定されることになるので、補正原点はいずれも画素１の位置になる。しかし、これら４つの補間点はいずれも位置原点が異なっており、下位アドレス（ｘ，ｙ）は、それぞれの位置原点からの隔たりを示す値になっているため、オフセット量を考慮した取り扱いが必要になる。
【０１１７】
まず、補間点Ｑ１（ｘ，ｙ）は、画素５の位置を位置原点としており、Ｇ色に関する補間演算を行う際には、図１５に示したように、補間点Ｑ（ｘ，ｙ）の下位アドレス（ｘ，ｙ）を、第１の方向Ｄに関する隔たりｄと、第２の方向Ｅに関する隔たりｅに変換する必要がある。変換式は、§２で述べたとおり、
ｄ＝（ｙ＋ｘ−１）／√２
ｅ＝（ｙ−ｘ＋１）／√２ である。
この変換式を用いて、値ｘ，ｙを値ｄ，ｅに変換する限りは、オフセット量を考慮する必要はない。
【０１１８】
次に、補間点Ｑ２（ｘ，ｙ）について考えてみる。図２９において、
ｐ＝ｙ−ｘ であるから
ｅ＝ｐ／√２＝（ｙ−ｘ）／√２ となる。また、
ｑ＝ｘ・√２ であるから
ｄ＝ｑ＋ｅ＝ｘ・√２＋（ｙ−ｘ）／√２
＝（ｙ＋ｘ）／√２ となる。結局、
ｄ＝（ｙ＋ｘ）／√２
ｅ＝（ｙ−ｘ）／√２ となる。
この変換式を導くには、図２９に示されているとおり、ｘの値として、画素１（補間点Ｑ２（ｘ，ｙ）の位置原点）からの横方向距離を用いているので、上記変換式を用いて、値ｘ，ｙを値ｄ，ｅに変換する限りは、オフセット量を考慮する必要はない。
【０１１９】
一方、補間点Ｑ３（ｘ，ｙ）は、画素２の位置を位置原点としているので、補間点Ｑ１（ｘ，ｙ）と同様の変換式を流用して、値ｘ，ｙを値ｄ，ｅに変換することが可能であるが、ｙ方向に関してはオフセット量１を加える必要があるので、補間点Ｑ１（ｘ，ｙ）についての変換式において、ｙをｙ＋１に置き換えることにより、
ｄ＝（ｙ＋ｘ）／√２
ｅ＝（ｙ−ｘ＋２）／√２ なる変換式が得られる。
【０１２０】
また、補間点Ｑ４（ｘ，ｙ）は、画素６の位置を位置原点としているので、補間点Ｑ２（ｘ，ｙ）と同様の変換式を流用して、値ｘ，ｙを値ｄ，ｅに変換することが可能であるが、ｙ方向に関してはオフセット量１を加える必要があるので、補間点Ｑ２（ｘ，ｙ）についての変換式において、ｙをｙ＋１に置き換えることにより、
ｄ＝（ｙ＋ｘ＋１）／√２
ｅ＝（ｙ−ｘ＋１）／√２ なる変換式が得られる。
【０１２１】
この点を考慮して、それぞれの場合の補間割合ｄ＊，ｅ＊がどうなるかを見てみよう。まず、図２９に示す補間点Ｑ１（ｘ，ｙ）について考える。この補間点Ｑ１（ｘ，ｙ）については、画素５が位置原点αとなるが、画素５はＧ色の画素ではないから、α（２ｉ，２ｊ）かつｙ＞−ｘ＋１のケースに相当する。ここで、補間点Ｑ１の位置を示す下位アドレス（ｘ，ｙ）は、画素５に対する隔たりを示す値になり、前掲の補間点Ｑ１（ｘ，ｙ）に関する変換式により、第１の方向Ｄについての隔たりｄと、第２の方向Ｅについての隔たりｅを、
ｄ＝（ｙ＋ｘ−１）／√２
ｅ＝（ｙ−ｘ＋１）／√２
として求めることができる。ただし、Ｇ色の補間演算を行う際の参照画素のピッチは図示のとおり√２となっているので、補間演算に用いる補間割合ｄ＊，ｅ＊は、規格化のために１／√２を乗じる補正を行い、
ｄ＊＝（ｙ＋ｘ−１）／２
ｅ＊＝（ｙ−ｘ＋１）／２
なる演算で求められる。なお、α（２ｉ，２ｊ）かつｙ≦−ｘ＋１のケース（図２９において、補間点Ｑ１（ｘ，ｙ）を格子線Ｌ１の上方まで移動させたケース）は、後述する補間点Ｑ４（ｘ，ｙ）のケースと等価になる。
【０１２２】
次に、図２９に示す補間点Ｑ２（ｘ，ｙ）について考える。この補間点Ｑ２（ｘ，ｙ）については、画素１が位置原点αとなるが、画素１はＧ色の画素であるから、α（２ｉ＋１，２ｊ）かつｙ＞ｘのケースに相当する。ここで、補間点Ｑ２の位置を示す下位アドレス（ｘ，ｙ）は、画素１に対する隔たりを示す値になり、前掲の補間点Ｑ２（ｘ，ｙ）に関する変換式により、第１の方向Ｄについての隔たりｄと、第２の方向Ｅについての隔たりｅを、
ｄ＝（ｙ＋ｘ）／√２
ｅ＝（ｙ−ｘ）／√２
として求めることができる。ただし、Ｇ色の補間演算を行う際の参照画素のピッチは図示のとおり√２となっているので、補間演算に用いる補間割合ｄ＊，ｅ＊は、規格化のために１／√２を乗じる補正を行い、
ｄ＊＝（ｙ＋ｘ）／２
ｅ＊＝（ｙ−ｘ）／２
なる演算で求められる。なお、α（２ｉ＋１，２ｊ）かつｙ≦ｘのケース（図２９において、補間点Ｑ２（ｘ，ｙ）を格子線Ｌ４の上方まで移動させたケース）は、後述する補間点Ｑ３（ｘ，ｙ）のケースと等価になる。
【０１２３】
続いて、図２９に示す補間点Ｑ３（ｘ，ｙ）について考える。この補間点Ｑ３（ｘ，ｙ）については、画素２が位置原点αとなるが、画素２はＧ色の画素であるから、α（２ｉ，２ｊ＋１）かつｙ≦ｘのケースに相当する。ここで、補間点Ｑ３の位置を示す下位アドレス（ｘ，ｙ）は、画素２に対する隔たりを示す値になり、前掲の補間点Ｑ３（ｘ，ｙ）に関する変換式により、第１の方向Ｄについての隔たりｄと、第２の方向Ｅについての隔たりｅを、
ｄ＝（ｙ＋ｘ）／√２
ｅ＝（ｙ−ｘ＋２）／√２
として求めることができる。ただし、Ｇ色の補間演算を行う際の参照画素のピッチは図示のとおり√２となっているので、補間演算に用いる補間割合ｄ＊，ｅ＊は、規格化のために１／√２を乗じる補正を行い、
ｄ＊＝（ｙ＋ｘ）／２
ｅ＊＝（ｙ−ｘ＋２）／２
なる演算で求められる。なお、α（２ｉ，２ｊ＋１）かつｙ＞ｘのケース（図２９において、補間点Ｑ３（ｘ，ｙ）を格子線Ｌ２の下方まで移動させたケース）は、前述した補間点Ｑ２（ｘ，ｙ）のケースと等価になる。
【０１２４】
次に、図２９に示す補間点Ｑ４（ｘ，ｙ）について考える。この補間点Ｑ４（ｘ，ｙ）については、画素６が位置原点αとなるが、画素６はＧ色の画素ではないから、α（２ｉ＋１，２ｊ＋１）かつｙ≦−ｘ＋１のケースに相当する。ここで、補間点Ｑ４の位置を示す下位アドレス（ｘ，ｙ）は、画素６に対する隔たりを示す値になり、前掲の補間点Ｑ４（ｘ，ｙ）に関する変換式により、第１の方向Ｄについての隔たりｄと、第２の方向Ｅについての隔たりｅを、
ｄ＝（ｙ＋ｘ＋１）／√２
ｅ＝（ｙ−ｘ＋１）／√２
として求めることができる。ただし、Ｇ色の補間演算を行う際の参照画素のピッチは図示のとおり√２となっているので、補間演算に用いる補間割合ｄ＊，ｅ＊は、規格化のために１／√２を乗じる補正を行い、
ｄ＊＝（ｙ＋ｘ＋１）／２
ｅ＊＝（ｙ−ｘ＋１）／２
なる演算で求められる。なお、α（２ｉ＋１，２ｊ＋１）かつｙ＞−ｘ＋１のケース（図２９において、補間点Ｑ４（ｘ，ｙ）を格子線Ｌ３の下方まで移動させたケース）は、前述した補間点Ｑ１（ｘ，ｙ）のケースと等価になる。
【０１２５】
以上のとおり、各色ごとに、個々のバリエーションごとに、補間点Ｑについての位置原点α（Ｘ，Ｙ）を示す上位アドレス（Ｘ，Ｙ）と、この位置原点α（Ｘ，Ｙ）に対する補間点Ｑの隔たりを示す下位アドレス（ｘ，ｙ）とに基づいて、それぞれ補間割合ｄ＊，ｅ＊を決定することができる。
【０１２６】
図３０は、この§４で述べた内容をまとめた表であり、この表を参照することにより、補間点Ｑについての位置原点α（Ｘ，Ｙ）を示す上位アドレス（Ｘ，Ｙ）と、この位置原点α（Ｘ，Ｙ）に対する補間点Ｑの隔たり（詳細位置）を示す下位アドレス（ｘ，ｙ）とに基づいて、各色ごとに、個々のバリエーションごとに、それぞれ対応する補間原点βおよび補間割合ｄ＊，ｅ＊を決定することができる。一番左側の欄は、Ｒ色，Ｂ色，Ｇ色の別を示しており、その右の欄（位置原点）は、位置原点α（Ｘ，Ｙ）を示す整数値Ｘ，Ｙの偶数・奇数の組合わせの別を示しており、その右の欄（詳細位置）は、下位アドレスを示す値ｘ，ｙに関する条件判定結果の別を示している。そして、これらの組合わせによる合計１６通りのバリエーションについて、それぞれ対応する補間原点βと補間割合ｄ＊，ｅ＊がその右側の各欄に示されている。
【０１２７】
結局、Bayer Patternに基づく画素配列の場合、この図３０に示すような表を用意しておけば、任意の補間点Ｑが与えられたときに、当該補間点Ｑの上位アドレス（Ｘ，Ｙ）および下位アドレス（ｘ，ｙ）に基づいて、補間原点βおよび補間割合ｄ＊，ｅ＊を一義的に決定することができ、当該補間原点βに基づいて、補間基準枠を定め、補間演算に用いる参照画素を定め、これら参照画素の各画素値と補間割合ｄ＊，ｅ＊とに基づいて所定の補間演算処理を実行し、当該補間点Ｑに与えるべきＲ色，Ｇ色，Ｂ色の各画素値を求めることができる。
【０１２８】
たとえば、図１６に示すような補間点Ｑが与えられた場合、画素１が位置原点αとなり、所定の上位アドレス（Ｘ，Ｙ）および下位アドレス（ｘ，ｙ）が決定される。この例の場合、上位アドレス（Ｘ，Ｙ）＝（２ｉ，２ｊ）であり、下位アドレス（ｘ，ｙ）については、ｙ≦−ｘ＋１なる条件が満たされるので、図３０に示す表を参照することにより、各色についての補間演算処理を実行することができる。
【０１２９】
すなわち、Ｒ色については、図３０の表のα（２ｉ，２ｊ）の行を参照することにより、補間原点β（２ｉ，２ｊ）、補間割合ｄ＊＝ｘ／２，ｅ＊＝ｙ／２が得られるので、図１６に示す画素配列において、（２ｉ，２ｊ），（２ｉ＋２，２ｊ），（２ｉ，２ｊ＋２），（２ｉ＋２，２ｊ＋２）で示される位置を４頂点とする正方形（Ｒ色の画素のみを構成要素とする倍ピッチ正方格子の格子枠）が補間基準枠と定まる。「４点参照バイキュービック・スプライン補間」を行う場合であれば、この補間基準枠よりもひとまわり大きなＲ色の倍ピッチ正方格子の格子枠（図１６において、（２ｉ−２，２ｊ−２）で示される位置と（２ｉ＋４，２ｊ＋４）で示される位置とを対角とする正方形）に含まれる全１６個のＲ色画素を参照画素として用い、補間割合をｄ＊＝ｘ／２，ｅ＊＝ｙ／２とした補間演算が行われ、補間点Ｑに与えるべきＲ色の画素値が得られることになる。
【０１３０】
一方、Ｂ色については、図３０の表のα（２ｉ，２ｊ）の行を参照することにより、補間原点β（２ｉ−１，２ｊ−１）、補間割合ｄ＊＝（ｘ＋１）／２，ｅ＊＝（ｙ＋１）／２が得られるので、図１６に示す画素配列において、（２ｉ−１，２ｊ−１），（２ｉ＋１，２ｊ−１），（２ｉ−１，２ｊ＋１），（２ｉ＋１，２ｊ＋１）で示される位置を４頂点とする正方形（Ｂ色の画素のみを構成要素とする倍ピッチ正方格子の格子枠）が補間基準枠と定まる。「４点参照バイキュービック・スプライン補間」を行う場合であれば、この補間基準枠よりもひとまわり大きなＢ色の倍ピッチ正方格子の格子枠（図１６に示す画素配列からは若干左上に食み出すが、（２ｉ−３，２ｊ−３）で示される位置と（２ｉ＋３，２ｊ＋３）で示される位置とを対角とする正方形）に含まれる全１６個のＢ色画素を参照画素として用い、補間割合をｄ＊＝（ｘ＋１）／２，ｅ＊＝（ｙ＋１）／２とした補間演算が行われ、補間点Ｑに与えるべきＢ色の画素値が得られることになる。
【０１３１】
更に、Ｇ色については、図３０の表のα（２ｉ，２ｊ）かつｙ≦−ｘ＋１の行を参照することにより、補間原点β（２ｉ，２ｊ−１）、補間割合ｄ＊＝（ｙ＋ｘ＋１）／２，ｅ＊＝（ｙ−ｘ＋１）／２が得られるので、図１６に示す画素配列において、（２ｉ，２ｊ−１），（２ｉ−１，２ｊ），（２ｉ＋１，２ｊ），（２ｉ，２ｊ＋１）で示される位置を４頂点とする斜め４５°に傾斜した正方形（Ｇ色の画素のみを構成要素とする√２ピッチ正方格子の格子枠）が補間基準枠と定まる。「４点参照バイキュービック・スプライン補間」を行う場合であれば、この補間基準枠よりもひとまわり大きなＧ色の√２ピッチ正方格子の格子枠（図１６に示す画素配列からは若干食み出すが、（２ｉ，２ｊ−３），（２ｉ−３，２ｊ），（２ｉ＋３，２ｊ），（２ｉ，２ｊ＋３）で示される位置を４頂点とする斜め４５°に傾斜した正方形）に含まれる全１６個のＧ色画素を参照画素として用い、補間割合をｄ＊＝（ｙ＋ｘ＋１）／２，ｅ＊＝（ｙ−ｘ＋１）／２とした補間演算が行われ、補間点Ｑに与えるべきＧ色の画素値が得られることになる。
【０１３２】
＜＜＜ §５．本発明に係る補間演算装置の構成 ＞＞＞
続いて、図３１に示すブロック図を参照しながら、本発明に係る補間演算装置の基本構成を説明する。この補間演算装置は、受けた光についてそれぞれ特定の色の光量を検出して画素値として出力する機能をもった合計ｍ通りの受光素子を、ＸＹ座標系上に定義された正方格子上の特定の格子点の位置に、それぞれ所定の規則的パターンに応じて周期的に配置してなる撮像装置によって得られる個々の画像値に基づいて、ＸＹ座標系上の任意の位置にある補間点Ｑのｍ通りの色の画素値を補間演算によって求める機能をもった装置である。§２〜§４で述べた実施形態は、ｍ＝３の場合、すなわち、３原色Ｒ，Ｇ，Ｂの各画素からなるカラー画像を取り扱う実施形態であるため、ここでも、ｍ＝３として、３原色Ｒ，Ｇ，Ｂについての実施形態を述べることにする。特に、画素配列が、３原色Ｒ，Ｇ，Ｂについて、奇数行はＲＧＲＧＲＧＲＧＲ......、偶数行はＧＢＧＢＧＢＧＢＧＢ......とするBayer Pattern 配列をとる場合の例を述べる。
【０１３３】
図示のとおり、この補間演算装置は、画素値入力部１１０、画素値記憶部１２０、補間演算部１３０、補間割合決定部１４０、補間基準枠決定部１５０、演算対象色指定部１６０、補間点指定部１７０の各構成要素からなる。もっとも、実用上は、これら各構成要素は、いずれもコンピュータもしくはその周辺機器に、所定のプログラムを組み込むことによって実現されることになる。特に、補間演算部１３０、補間割合決定部１４０、補間基準枠決定部１５０、演算対象色指定部１６０、補間点指定部１７０の主たる機能は、コンピュータソフトウエアによって実現される機能である。以下、これら各構成要素の機能を順次説明する。
【０１３４】
（１） 画素値入力部１１０および画素値記憶部１２０
画素値入力部１１０は、撮像装置を構成する個々の受光素子から出力される画素値を入力するための構成要素であり、画素値記憶部１２０は、この入力した画素値を、ＸＹ座標系上に定義された正方格子上の各格子点の位置に対応づけた画素値配列として記憶する構成要素である。この画素値記憶部１２０は、たとえば、メモリ素子などの記憶装置によって構成され、個々の画素値は、たとえば、８ビットのデジタルデータとして画素値記憶部１２０内に格納される。画素値入力部１１０は、撮像装置と画素値記憶部１２０とを仲介する役割を果たすが、撮像装置から出力される信号がアナログ信号である場合には、これをデジタル信号に変換する機能を画素値入力部１１０にもたせておく必要がある。
【０１３５】
（２） 補間点指定部１７０
補間点指定部１７０は、補間演算によって画素値を求める対象となる補間点Ｑを指定する機能をもった構成要素である。既に述べたとおり、本発明では、補間点Ｑの位置は、上位アドレス（Ｘ，Ｙ）と下位アドレス（ｘ，ｙ）とによって指定される。上位アドレス（Ｘ，Ｙ）は、対象となる補間点Ｑを内包し、上記正方格子上の格子点によって４頂点が構成される最小の正方形を位置基準枠と定め、当該位置基準枠を構成する４頂点のうち、予め定められた相対位置を占める頂点を位置原点αと定め、この位置原点αを示すアドレスとして定義される。§２〜§４で述べた実施形態では、位置基準枠の左上頂点を位置原点αとして定めているが、位置原点αは、位置基準枠を構成する４頂点のうち、予め定められた相対位置を占める頂点であれば、必ずしも左上頂点にする必要はない。たとえば、位置基準枠の右上頂点、左下頂点、右下頂点などを位置原点αと定めるようなことも可能である。要するに、１つの位置原点αに対して、唯一の位置基準枠が定まり、逆に、１つの位置基準枠に対して、唯一の位置原点αが定まる関係になっていればよい。別言すれば、位置基準枠の決定と位置原点αの決定とは、本質的には同義である。ここでは、§２〜§４で述べた実施形態と同様に、位置基準枠の左上頂点を位置原点αとして定めた場合の実施形態を以下に述べることにする。
【０１３６】
補間点Ｑの位置を示す上位アドレス（Ｘ，Ｙ）は、この位置原点αの位置を示すアドレスである。ここでは、ＸＹ座標系上に定義された正方格子の格子点ピッチを１に設定することにより、整数値からなるＸ，Ｙを用いて、任意の格子点の位置を示すようにしている。具体的には、Ｘ，Ｙは、それぞれ０，１，２，...といった値をとり、上位アドレス（Ｘ，Ｙ）は、第Ｘ列目、第Ｙ行目の格子点（画素）を示すことになる。
【０１３７】
一方、補間点Ｑの位置を示す下位アドレス（ｘ，ｙ）は、位置基準枠内のローカル座標系として定義されたｘｙ座標系における補間点Ｑの位置を示すアドレスである。ここで述べる実施形態の場合、図１７に示すとおり、位置基準枠の左上頂点として定義された位置原点αを、ｘｙ座標系の原点と定め、右方向をｘ軸の正方向、下方向をｙ軸の正方向にとったｘｙローカル座標系が、個々の位置基準枠ごとに定義されている。位置基準枠の一辺は、格子点ピッチと同じ１であるから、変数ｘ，ｙは、０≦ｘ＜１、０≦ｙ＜１の範囲内の値をとる。
【０１３８】
結局、ここで述べる実施形態の場合、補間点指定部１７０は、ＸＹ座標系上に定義された正方格子の縦横の格子間隔を１としたときの補間点Ｑの当該ＸＹ座標系上での座標値の整数部を上位アドレス（Ｘ，Ｙ）とし、小数部を下位アドレス（ｘ，ｙ）として指定する機能を有していることになる。たとえば、正方格子の縦横の格子間隔を１としたときに、座標系の原点からＸ軸方向に１２．７、Ｙ軸方向に２８．４だけ隔たった位置にある補間点Ｑの位置は、各座標値の整数部からなる上位アドレス（１２，２８）と各座標値の小数部からなる下位アドレス（０．７，０．４）によって指定することができる。
【０１３９】
なお、本発明に係る補間演算装置は、主として、画像に対する拡大や縮小などのスケーリングを行うための補間演算を行うために利用される。このような用途に利用する場合には、補間点指定部が１７０に、外部から与えられた縦方向および横方向の拡大倍率に基づいて、当該拡大倍率の逆数のピッチで、補間演算が必要な複数の補間点Ｑを自動的に指定する機能をもたせておくとよい。たとえば、元の画像を縦横それぞれ３倍に拡大するには、元の画素配列の縦横ピッチのそれぞれ１／３のピッチで新たな画素を生成する必要があるので、補間点指定部が１７０に、この新たに画素を生成する必要がある点を補間点Ｑとして順次自動的に指定する機能をもたせておけば、画像の拡大処理が自動的に行われることになる。
【０１４０】
（３） 演算対象色指定部１６０
一方、演算対象色指定部１６０は、補間点指定部１７０が１つの補間点Ｑを指定するごとに、補間演算部１３０，補間割合決定部１４０，補間基準枠決定部１５０に対して、ｍ通りの色を順次、画素値を演算すべき演算対象色として指定する機能を有する。ここに述べる実施形態は、ｍ＝３として、３原色Ｒ，Ｇ，Ｂの各画素からなるカラー画像を取り扱う実施形態であるため、演算対象色指定部１６０は、補間点指定部１７０が１つの補間点Ｑを指定すると、当該補間点Ｑについての演算対象色として、まずＲ色を指定し、Ｒ色の画素値が求まったら、続いてＧ色を指定し、Ｇ色の画素値が求まったら、続いてＢ色を指定する処理を行う。
【０１４１】
（４） 補間基準枠決定部１５０
補間基準枠決定部１５０は、補間点指定部１７０によって指定された補間点Ｑについて、演算対象色指定部１６０によって指定された色に関する補間基準枠を決定する機能を有する。ここで、補間基準枠とは、演算対象色指定部１６０によって指定された演算対象色を検出する機能をもった受光素子に対応する画素が配置された格子点によって４頂点が構成され、補間点指定部１７０によって指定された補間点Ｑを内包する最小の正方形として定義される。前述したとおり、この補間基準枠は、本願では、図面上に太線の正方形として示されている。
【０１４２】
また、補間基準枠決定部１５０は、この補間基準枠を構成する４頂点のうち、予め定められた相対位置を占める頂点を補間原点βと決定する機能も有している。この補間原点βも、位置原点αと同様に、正方格子上の格子点であるから、整数値Ｘ＊，Ｙ＊を用いてアドレス（Ｘ＊，Ｙ＊）で定義することができる。§２〜§４で述べた実施形態では、Ｒ色，Ｂ色については、補間基準枠を構成する正方形の左上頂点を補間原点βとして定め、Ｇ色については、補間基準枠が４５°回転した正方形になるため、一番上の頂点を補間原点βとして定めている。
【０１４３】
もっとも、補間原点βは、補間基準枠を構成する４頂点のうち、予め定められた相対位置を占める頂点であれば、必ずしも左上頂点や一番上の頂点と定める必要はない。たとえば、Ｒ色，Ｂ色については、補間基準枠の右上頂点、左下頂点、右下頂点などを補間原点βと定めるようなことも可能であり、Ｇ色については、補間基準枠の一番下の頂点、一番左の頂点、一番右の頂点などを補間原点βと定めるようなことも可能である。要するに、個々の色ごとに、１つの補間原点βに対して、唯一の補間基準枠が定まり、逆に、１つの補間基準枠に対して、唯一の補間原点βが定まる関係になっていればよい。別言すれば、補間基準枠の決定と補間原点βの決定とは、本質的には同義である。
【０１４４】
ここでは、補間基準枠決定部１５０が、補間基準枠を構成する４頂点のうち、Ｙ座標値が最も小さい頂点の中からＸ座標値が最も小さい頂点を選択し、選択された頂点を補間原点βと決定する、というアルゴリズムに基づいて、補間原点βを決定する場合を例とした実施形態を述べることにする。当該アルゴリズムに従えば、Ｒ色，Ｂ色については、補間基準枠の左上頂点が補間原点βとなり、Ｇ色については、補間基準枠の一番上の頂点が補間原点βとなる。これは§２〜§４で述べた実施形態における取り扱いと同じである。
【０１４５】
結局、補間基準枠決定部１５０は、補間点指定部１７０から与えられた補間点Ｑについての上位アドレス（Ｘ，Ｙ）および下位アドレス（ｘ，ｙ）に基づいて、演算対象色指定部１６０によって指定された個々の色ごとに、それぞれ補間基準枠を決定し、補間基準点βを決定する処理を行うことになる。補間基準枠は、上述したように、「指定された色の画素が配置された格子点によって４頂点が構成され、補間点Ｑを内包する最小の正方形」として定義されるものであるから、補間基準枠を決定するにあたっては、入力されたカラー画像データの各色の画素の配置に関する規則的パターン（周期的配置パターン）を参照する必要がある。
【０１４６】
ここで述べる実施形態の場合は、上述したとおり、入力されたカラー画像データの各色の画素配列が、Bayer Pattern 配列に基づく所定の規則的パターンに従っているので、補間基準枠決定部１５０は、このBayer Pattern 配列に基づく規則的パターンを前提として、各色ごとに、補間基準枠を決定する処理を行うことになる。各色の画素配列が、周期性をもった規則的パターンであれば、所定のアルゴリズムに基づいて、任意の補間点Ｑに対する補間基準枠を決定するためのプログラムを作成することが可能なので、補間基準枠決定部１５０は、このようなプログラムを組み込んだコンピュータの機能によって構成することができる。ただ、実用上は、所定の規則性パターンを考慮して作成したテーブルを用意しておき、このテーブルを参照することにより、補間基準枠の決定（補間原点βの決定）を行うようにすれば十分である。
【０１４７】
具体的には、図３０に示す表の一部が、上記テーブルとしての役割を果たすことになる。すなわち、図３０に示す表における「位置原点」、「詳細位置」、「補間原点」の欄の各データを、補間基準枠決定部１５０内にテーブルとして用意しておけば、このテーブルを参照することにより、各色ごとに補間基準枠（補間原点β（Ｘ＊，Ｙ＊））を決定することができる。この図３０の表における「位置原点」の欄のデータは、補間点指定部１７０から与えられる補間点Ｑの上位アドレス（Ｘ，Ｙ）、すなわち、位置原点α（Ｘ，Ｙ）に対応したものであり、整数値Ｘ，Ｙの偶数・奇数のバリエーションを示すデータになっている。したがって、補間基準枠決定部１５０は、補間点指定部１７０から与えられた上位アドレス（Ｘ，Ｙ）のうちのＸが偶数か奇数か、Ｙが偶数か奇数か、によって、それぞれ異なる４通りの補間原点決定アルゴリズムを用い、補間原点βの決定を行えばよい。
【０１４８】
たとえば、上位アドレス（１２，２８）が与えられた場合であれば、Ｘ，Ｙともに偶数であるから、α（２ｉ，２ｊ）のケースに相当する（この場合、ｉ＝６，ｊ＝１４ということになる）。したがって、色Ｒについては、表より補間原点β（２ｉ，２ｊ）が参照されるので、ｉ＝６，ｊ＝１４を代入して、補間原点β（１２，２８）が得られる。また、色Ｂについては、表より補間原点β（２ｉ−１，２ｊ−１）が参照されるので、ｉ＝６，ｊ＝１４を代入して、補間原点β（１１，２７）が得られる。このように、Bayer Pattern 配列におけるＲ色やＢ色のように、正方格子の格子線に対して各辺が平行な補間基準枠が形成される画素配列をもった色が演算対象色として指定された場合には、上位アドレス（Ｘ，Ｙ）のみを用いて補間基準枠の決定を行うことができる。
【０１４９】
これに対して、Bayer Pattern 配列におけるＧ色のように、正方格子の格子線に対して各辺が平行にならない補間基準枠が形成される画素配列をもった色が演算対象色として指定された場合には、上位アドレス（Ｘ，Ｙ）および下位アドレス（ｘ，ｙ）の双方を用いて補間基準枠の決定を行う必要がある。上の例の場合、Ｇ色についての補間基準枠を決定するには、上位アドレス（１２，２８）とともに、下位アドレス（ｘ，ｙ）が必要になる。たとえば、下位アドレスが（０．７，０．４）であったとすると、ｘ＝０．７、ｙ＝０．４であるので、図３０の表のＧ色において、α（２ｉ，２ｊ）かつ「ｙ＞−ｘ＋１」のケースに相当する（この場合、ｉ＝６，ｊ＝１４ということになる）。したがって、色Ｇについては、表より補間原点β（２ｉ＋１，２ｊ）が参照されるので、ｉ＝６，ｊ＝１４を代入して、補間原点β（１３，２８）が得られる。
【０１５０】
結局、補間基準枠決定部１５０が図３０の表を参照して行う補間原点βの決定プロセスをまとめると、ｉ，ｊを整数として、
指定された演算対象色がＲ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ）の形式で表現される場合には、アドレス（２ｉ，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＲ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ）の形式で表現される場合には、アドレス（２ｉ，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＲ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ＋１）の形式で表現される場合には、アドレス（２ｉ，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＲ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ＋１）の形式で表現される場合には、アドレス（２ｉ，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＢ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ）の形式で表現される場合には、アドレス（２ｉ−１，２ｊ−１）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＢ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ）の形式で表現される場合には、アドレス（２ｉ＋１，２ｊ−１）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＢ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ＋１）の形式で表現される場合には、アドレス（２ｉ−１，２ｊ＋１）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＢ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ＋１）の形式で表現される場合には、アドレス（２ｉ＋１，２ｊ＋１）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ≦−ｘ＋１なる条件を満たす場合には、アドレス（２ｉ，２ｊ−１）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ＞−ｘ＋１なる条件を満たす場合には、アドレス（２ｉ＋１，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ≦ｘなる条件を満たす場合には、アドレス（２ｉ＋２，２ｊ−１）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ＞ｘなる条件を満たす場合には、アドレス（２ｉ＋１，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ＋１）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ≦ｘなる条件を満たす場合には、アドレス（２ｉ＋１，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ，２ｊ＋１）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ＞ｘなる条件を満たす場合には、アドレス（２ｉ，２ｊ＋１）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ＋１）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ≦−ｘ＋１なる条件を満たす場合には、アドレス（２ｉ＋１，２ｊ）で示される格子点の位置を補間原点βと決定し、
指定された演算対象色がＧ色であり、指定された上位アドレス（Ｘ，Ｙ）が（２ｉ＋１，２ｊ＋１）の形式で表現され、指定された下位アドレス（ｘ，ｙ）がｙ＞−ｘ＋１なる条件を満たす場合には、アドレス（２ｉ＋２，２ｊ＋１）で示される格子点の位置を補間原点βと決定する処理ということになる。
【０１５１】
こうして補間基準枠決定部１５０で決定された補間基準枠は、補間演算部１３０へと伝えられる。実際には、補間基準枠は、補間原点β（Ｘ＊，Ｙ＊）によって特定することができるので、補間演算部１３０へは、補間原点β（Ｘ＊，Ｙ＊）を示すアドレス（Ｘ＊，Ｙ＊）のみを伝達すれば足りる。なお、位置原点α（Ｘ，Ｙ）のアドレス値Ｘ，Ｙと、補間原点β（Ｘ＊，Ｙ＊）のアドレス値Ｘ＊，Ｙ＊とは、図３０に示すように、個々のバリエーションに応じて、一致する場合もあれば、相違する場合もある。
【０１５２】
（５） 補間割合決定部１４０
補間割合決定部１４０は、補間点指定部１７０によって指定された補間点Ｑについて、
演算対象色指定部１６０で指定された色についての補間演算処理を行う上で必要になる補間割合を決定する機能を有する。ここで、補間割合とは、既に述べたとおり、一次元画像の場合、図７に示すｘに相当する値である。すなわち、補間点Ｑを挟む一対の参照画素Ｐ（０），Ｐ（１）の距離を１としたときの、一方の参照画素Ｐ（０）と補間点Ｑとの距離に相当する。したがって、補間割合は、基本的に０〜１の間の数値をとる。二次元画像の場合は、直交する２方向のそれぞれについての補間割合が必要になる。たとえば、図９には、補間点Ｑについて、合計１６個の画素１〜１６を用いた高次補間処理の例が示されているが、画素６（補間原点β）に対する補間点Ｑの水平方向の隔たりが補間割合ｄ＊となり、垂直方向の隔たりが補間割合ｅ＊となる。
【０１５３】
補間割合決定部１４０は、補間割合ｄ＊，ｅ＊を求めるために、まず、補間原点βに対する補間点Ｑの２つの方向に関する隔たりｄ，ｅを求める。すなわち、補間基準枠決定部１５０によって決定された補間基準枠を構成する第１の「一対の対辺」に平行な方向を第１の方向、第２の「一対の対辺」に平行な方向を第２の方向としたときの、補間原点βと補間点Ｑとの間の第１の方向に関する隔たりｄと第２の方向に関する隔たりｅとが、補間点Ｑについての上位アドレス（Ｘ，Ｙ）および下位アドレス（ｘ，ｙ）に基づいて求められる。
【０１５４】
ここに示すBayer Pattern 配列の実施形態の場合、Ｒ色およびＢ色の場合は、補間基準枠の四辺のうちの一対の対辺はＸ軸に平行になり、残りの一対の対辺はＹ軸に平行になるので、第１の方向はＸ軸方向、第２の方向はＹ軸方向になる。また、この補間基準枠の左上頂点を補間原点βとしており、下位アドレス（ｘ，ｙ）は、この補間原点βを座標原点とするローカルなｘｙ座標系上のアドレスであるため、Ｒ色およびＢ色の場合は、図２８に示すように、必要に応じて値ｘ，ｙにオフセット量１を加える補正を行うことにより、隔たりｄ，ｅを求めることができる。オフセット量を加える補正をどのようにして行うかは、図２８を参照して説明したとおり、上位アドレス（Ｘ，Ｙ）の値Ｘ，Ｙの偶数・奇数を判定することによって決めることができる。
【０１５５】
一方Ｇ色の場合は、図２９に示すように、第１の方向Ｄと第２の方向Ｅは、ＸＹ座標系に対して斜め４５°傾いているので、補間原点βに対する補間点Ｑの第１の方向Ｄに関する隔たりｄと、第２の方向Ｅに関する隔たりｅとを求めるためには、図１５や図２９を参照しながら説明した変換式による変換とともに、上位アドレス（Ｘ，Ｙ）の値Ｘ，Ｙの偶数・奇数を判定することによって必要に応じてオフセット量を加える補正を行う必要がある。
【０１５６】
かくして、補間原点βに対する補間点Ｑの２方向に関する隔たりｄ，ｅが得られたら、続いて、各色ごとに、補間基準枠の一辺の長さ（補間に用いる参照画素のピッチ）に基づく規格化が必要になる。すなわち、既に述べたとおり、Ｒ色およびＢ色の場合は、図２８に示すように、参照画素のピッチが２になるため、１／２を乗じる規格化を行い、ｄ＊＝ｄ／２、ｅ＊＝ｅ／２として補間割合ｄ＊，ｅ＊を求めることになり、Ｇ色の場合は、図２９に示すように、参照画素のピッチが√２になるため、１／√２を乗じる規格化を行い、ｄ＊＝ｄ／√２、ｅ＊＝ｅ／√２として補間割合ｄ＊，ｅ＊を求めることになる。求まった補間割合ｄ＊，ｅ＊は、補間演算部１３０へと与えられる。
【０１５７】
なお、実用上は、補間割合決定部１４０内に、補間割合を決定するために用いる専用のテーブルを用意しておき、このテーブルを参照することにより、個々の場合の補間割合を計算するようにするのが好ましい。
【０１５８】
具体的には、やはり図３０に示す表の一部が、このテーブルとしての役割を果たすことになる。すなわち、図３０に示す表における「位置原点」、「詳細位置」、「補間割合」の欄の各データを、補間割合決定部１４０内にテーブルとして用意しておけば、このテーブルを参照することにより、各色ごとに補間割合（ｄ＊，ｅ＊）を決定することができる。前述したとおり、この図３０の表における「位置原点」の欄のデータは、補間点指定部１７０から与えられる補間点Ｑの上位アドレス（Ｘ，Ｙ）、すなわち、位置原点α（Ｘ，Ｙ）に対応したものであり、整数値Ｘ，Ｙの偶数・奇数のバリエーションを示すデータになっている。したがって、補間割合決定部１４０は、補間点指定部１７０から与えられた上位アドレス（Ｘ，Ｙ）のうちのＸが偶数か奇数か、Ｙが偶数か奇数か、によって、それぞれ異なる４通りの補間割合決定式を用い、補間割合ｄ＊，ｅ＊の決定を行えばよい。
【０１５� | |