トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 スミア推測方法およびスミア除去回路
【発明者】 【氏名】大野 俊和
【要約】 【課題】固体撮像素子から読み出された画像信号に発生するスミア成分を推測する際、飽和している受光素子が含まれている場合、スミア成分を精度よく推測することが難しかった。

【構成】スミア推測部３０は、受光素子列に蓄積されたそれぞれの電荷量が同一転送路内を順次転送される過程で混入されるスミア成分を除去するため、スミア成分の元になる電荷を発生させる一つ以上の受光素子に蓄積された電荷および所定の係数を用いて、スミア成分を推測する。飽和判定部１０は、スミア成分の元になる電荷を発生させる一つ以上の受光素子が飽和しているか否かを判定する。スミア推測部３０は、飽和判定部１０による判定の結果、一つ以上の飽和している受光素子がある場合、少なくともその一つについて、飽和している受光素子に蓄積された電荷量を一つ以上の非飽和の受光素子に蓄積された電荷量に基づいて推測する。
【特許請求の範囲】
【請求項１】
受光素子列に蓄積されたそれぞれの電荷量が同一転送路内を順次転送される過程で混入されるスミア成分を推測するとき、前記受光素子列に含まれ、前記スミア成分の元になる電荷を発生させる一つ以上の受光素子に飽和している受光素子がある場合、その飽和している受光素子に蓄積された電荷量を、非飽和の受光素子に蓄積された電荷量に基づいて推測することを特徴とするスミア推測方法。
【請求項２】
短時間露光の受光素子と長時間露光の受光素子を混在させて並べた受光素子列に蓄積されたそれぞれの電荷量が同一転送路内を順次転送される過程で混入されるスミア成分を推測するとき、前記受光素子列に含まれ、前記スミア成分の元になる電荷を発生させる一つ以上の受光素子の内、少なくとも一つの長時間露光の受光素子において、蓄積された電荷量を、短時間露光の受光素子に蓄積された電荷量に基づいて推測することを特徴とするスミア推測方法。
【請求項３】
前記受光素子列に含まれ、前記スミア成分の元になる電荷を発生させる一つ以上の受光素子に蓄積された電荷量および所定の係数を用いて、前記スミア成分を推測することを特徴とする請求項１または２に記載のスミア推測方法。
【請求項４】
受光素子列に蓄積されたそれぞれの電荷量が同一転送路内を順次転送される過程で混入されるスミア成分を除去するスミア除去回路であって、
前記受光素子列に含まれ、前記スミア成分の元になる電荷を発生させる一つ以上の受光素子に蓄積された電荷量および所定の係数を用いて、前記スミア成分を推測するスミア推測部と、
前記スミア推測部により推測されたスミア成分を、各受光素子から前記転送路を経て出力された電荷量から取り除くスミア除去部と、
前記受光素子列に含まれ、前記スミア成分の元になる電荷を発生させる一つ以上の受光素子が飽和しているか否かを判定する飽和判定部と、を備え、
前記スミア推測部は、前記飽和判定部による判定の結果、一つ以上の飽和している受光素子がある場合、その飽和している受光素子に蓄積された電荷量を、非飽和の受光素子に蓄積された電荷量に基づいて推測することを特徴とするスミア除去回路。
【請求項５】
短時間露光の受光素子と長時間露光の受光素子を混在させて並べた受光素子列に蓄積されたそれぞれの電荷量が同一転送路内を順次転送される過程で混入されるスミア成分を除去するスミア除去回路であって、
前記受光素子列に含まれ、前記スミア成分の元になる電荷を発生させる一つ以上の受光素子に蓄積された電荷量および所定の係数を用いて、前記スミア成分を推測するスミア推測部と、
前記スミア推測部により推測されたスミア成分を、各受光素子から前記転送路を経て出力された電荷量から取り除くスミア除去部と、を備え、
前記スミア推測部は、前記受光素子列に含まれ、前記スミア成分の元になる電荷を発生させる一つ以上の受光素子の内、少なくとも一つの長時間露光の受光素子において、蓄積された電荷量を、短時間露光の受光素子に蓄積された電荷量に基づいて推測することを特徴とするスミア除去回路。
【請求項６】
前記スミア推測部は、前記受光素子列に含まれ、前記スミア成分の元になる電荷を発生させる一つ以上の受光素子に蓄積された電荷量を累積した電荷量に、所定の係数を掛けて前記スミア成分を推測することを特徴とする請求項４または５に記載のスミア除去回路。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、固体撮像素子から読み出される画像信号に発生するスミア成分を推測するスミア推測方法およびスミア除去回路に関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルムービーカメラが広く普及してきている。それらのカメラには、ＣＣＤ(Charge Coupled Device Image Sensor)イメージセンサなどの固体撮像素子が搭載される。ＣＣＤイメージセンサなどの固体撮像素子のダイナミックレンジは一般的に狭く、白とびや黒つぶれした画像が生成される場合がある。これに対し、露光量の異なる画像を合成して、ダイナミックレンジの広い画像を生成する手法が実用化されている。
【０００３】
また、ＣＣＤイメージセンサなどの固体撮像素子にはスミア成分が発生する。スミアとは、太陽などの強い光源を画面中に入れて撮像した場合に発生する光の筋を指し、垂直転送路に電荷が流れ込んで発生する。
【０００４】
特許文献１は、撮像手段より出力される露光量の異なる複数の画像信号からスミア抽出手段によりスミア成分を抽出した後、スミア除去手段において抽出されたスミア成分を上記露光量の異なる画像信号より除去して、合成処理する技術を開示する。
【特許文献１】特開平１０−２９４８９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されたスミア成分ＳＭを除去する手法は、長時間露光信号（Ｓｌｏｎｇ＋ＳＭ）が飽和点に達した場合、スミア成分ＳＭを推測できなくなる。また、短時間露光信号（Ｓｓｈｏｒｔ＋ＳＭ）から、長時間露光信号（Ｓｌｏｎｇ＋ＳＭ）を露光比Ｎで割った信号を減算して、疑似スミア成分ＳＭ’を求めている。この疑似スミア成分ＳＭ’は、本来のスミア成分ＳＭとの関係式｛ＳＭ’＝ＳＭ×（Ｎ−１）／Ｎ｝を前提に求められるため、露光比Ｎが小さい場合、精度が低下する。
【０００６】
本発明はこうした状況に鑑みなされたものであり、固体撮像素子から読み出された画像信号に発生するスミア成分を精度よく推測することができるスミア推測方法およびスミア除去回路を目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様のスミア推測方法は、受光素子列に蓄積されたそれぞれの電荷量が同一転送路内を順次転送される過程で混入されるスミア成分を推測するとき、受光素子列に含まれ、スミア成分の元になる電荷を発生させる一つ以上の受光素子に飽和している受光素子がある場合、その飽和している受光素子に蓄積された電荷量を非飽和の受光素子に蓄積された電荷量に基づいて推測する。「転送路」は、「受光素子列」により構成されてもよいし、「受光素子列」と別に構成されてもよい。「飽和している受光素子に蓄積された電荷量」をその受光素子に隣接する非飽和の受光素子に蓄積された電荷量で代替してもよい。
【０００８】
この態様によると、飽和している受光素子に蓄積された電荷量を一つ以上の非飽和の受光素子に蓄積された電荷量に基づいて推測することにより、飽和している受光素子が含まれていても精度よくスミア成分を推測することができる。
【０００９】
本発明の別の態様もまた、スミア推測方法である。この方法は、短時間露光の受光素子と長時間露光の受光素子を混在させて並べた受光素子列に蓄積されたそれぞれの電荷量が同一転送路内を順次転送される過程で混入されるスミア成分を推測するとき、受光素子列に含まれ、スミア成分の元になる電荷を発生させる一つ以上の受光素子の内、少なくとも一つの長時間露光の受光素子において、蓄積された電荷量を、短時間露光の受光素子に蓄積された電荷量に基づいて推測する。「長時間露光の受光素子に蓄積された電荷量」を、その受光素子に隣接する短時間露光の受光素子に蓄積された電荷量で代替してもよい。
【００１０】
この態様によると、長時間露光の受光素子に蓄積された電荷量を、短時間露光の受光素子に蓄積された電荷量に基づいて推測することにより、飽和している可能性の高い長時間露光の受光素子に蓄積された電荷量をスミア成分推測の基礎から外すことができ、飽和している受光素子が含まれていても精度よくスミア成分を推測することができる。
【００１１】
受光素子列に含まれ、スミア成分の元になる電荷を発生させる一つ以上の受光素子に蓄積された電荷量および所定の係数を用いて、スミア成分を推測してもよい。「所定の係数」は、電荷量が蓄積された受光素子の露光時間およびフレーム転送周波数を基に算出された係数であってもよい。さらに、電荷量が蓄積された受光素子の露光時間、フレーム転送周波数および転送路への漏れ込み係数を基に算出された係数であってもよい。長時間露光の受光素子の内、飽和している受光素子に蓄積された電荷量を、一つ以上の短時間露光の受光素子に蓄積された電荷量に基づいて推測してもよい。非飽和の長時間露光の受光素子に蓄積された電荷量をスミア成分推測の基礎に含めてもよい。
【００１２】
本発明のさらに別の態様は、スミア除去回路である。このスミア除去回路は、受光素子列に蓄積されたそれぞれの電荷量が同一転送路内を順次転送される過程で混入されるスミア成分を除去するスミア除去回路であって、受光素子列に含まれ、スミア成分の元になる電荷を発生させる一つ以上の受光素子に蓄積された電荷量および所定の係数を用いて、スミア成分を推測するスミア推測部と、スミア推測部により推測されたスミア成分を、各受光素子から転送路を経て出力された電荷量から取り除くスミア除去部と、受光素子列に含まれ、スミア成分の元になる電荷を発生させる一つ以上の受光素子が飽和しているか否かを判定する飽和判定部と、を備える。スミア推測部は、飽和判定部による判定の結果、一つ以上の飽和している受光素子がある場合、その飽和している受光素子に蓄積された電荷量を非飽和の受光素子に蓄積された電荷量に基づいて推測する。
【００１３】
この態様によると、飽和している受光素子に蓄積された電荷量を一つ以上の非飽和の受光素子に蓄積された電荷量に基づいて推測することにより、飽和している受光素子が含まれていてもスミア成分を精度よく推測することができ、スミア成分を精度よく除去することができる。
【００１４】
本発明のさらに別の態様もまた、スミア除去回路である。このスミア除去回路は、短時間露光の受光素子と長時間露光の受光素子を混在させて並べた受光素子列に蓄積されたそれぞれの電荷量が同一転送路内を順次転送される過程で混入されるスミア成分を除去するスミア除去回路であって、受光素子列に含まれ、スミア成分の元になる電荷を発生させる一つ以上の受光素子に蓄積された電荷量および所定の係数を用いて、スミア成分を推測するスミア推測部と、スミア推測部により推測されたスミア成分を、各受光素子から転送路を経て出力された電荷量から取り除くスミア除去部と、を備える。スミア推測部は、受光素子列に含まれ、スミア成分の元になる電荷を発生させる一つ以上の受光素子の内、少なくとも一つの長時間露光の受光素子において、蓄積された電荷量を、短時間露光の受光素子に蓄積された電荷量に基づいて推測する。
【００１５】
この態様によると、長時間露光の受光素子に蓄積された電荷量を、短時間露光の受光素子に蓄積された電荷量に基づいて推測することにより、飽和している可能性の高い長時間露光の受光素子に蓄積された電荷量をスミア成分推測の基礎から外すことができ、飽和している受光素子が含まれていてもスミア成分を精度よく推測することができ、スミア成分を精度よく除去することができる。
【００１６】
スミア推測部は、受光素子列に含まれ、スミア成分の元になる電荷を発生させる一つ以上の受光素子に蓄積された電荷量を累積した電荷量に、所定の係数を掛けてスミア成分を推測してもよい。累積した電荷量に所定の係数を掛けると、演算を簡素化でき、回路構成も簡素化することができる。スミア推測部は、長時間露光の受光素子の内、飽和している受光素子に蓄積された電荷量を、一つ以上の短時間露光の受光素子に蓄積された電荷量に基づいて推測してもよい。非飽和の長時間露光の受光素子に蓄積された電荷量をスミア成分推測の基礎に含めてもよい。
【００１７】
なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１８】
本発明によれば、固体撮像素子から読み出された画像信号に発生するスミア成分を精度よく推測することができる。
【発明を実施するための最良の形態】
【００１９】
図１は、本発明の実施形態が適用される固体撮像素子２００の構成を示す図である。当該固体撮像素子２００は、フレーム転送型のＣＣＤで構成される。フレーム転送型のＣＣＤは、受光部と電荷転送路とを共用しているため、開口率が高く、微弱な光を効率よく検出することができる。
【００２０】
固体撮像素子２００は、撮像領域４５、蓄積領域６０、水平転送路５０および出力アンプ５２を備える。撮像領域４５は、複数の垂直転送路４０を備える。蓄積領域６０は遮光されている。垂直転送路４０は、受光と転送を兼ねる複数の受光素子が一列に並べられて構成される。垂直転送路４０には、露光時間の異なる複数種類の受光素子が含まれる。本実施形態では、長時間露光用受光素子４２および短時間露光用受光素子４４を交互に配置される。垂直転送路４０は並列に複数配置され、それぞれの出口は蓄積領域６０を介して水平転送路５０に接続される。長時間露光用受光素子４２は、暗い領域の画像を精度よく撮像するために長時間露光を行う。このため、明るい領域を撮像した場合、飽和しやすい。一方、短時間露光用受光素子４４は、露光時間が短いため明るい領域を撮像した場合でも飽和しにくい。
【００２１】
垂直転送路４０は、所定の垂直転送クロックに応じて、各受光素子に蓄積された電荷を蓄積領域６０の方向にバケツリレーの要領で順次シフトしていき、蓄積領域６０に順次送り出す。この過程で垂直転送路４０にスミア成分が混入する。
【００２２】
水平転送路５０は、少なくとも垂直転送路４０の数に対応した数の、アナログ量を扱えるレジスタまたはＣＣＤが一列に並べられて構成される。水平転送路５０は、所定の水平転送クロックに応じて、蓄積領域６０から順次入力された電荷を順次シフトして出力アンプ５２に送り出す。蓄積領域６０の水平一行目分の電荷を出力した後、次の水平二行目分の電荷を出力し、蓄積領域６０のすべての行の電荷を出力する。出力アンプ５２は、水平転送路５０から入力される電荷を電圧に変換して、後段に出力する。
【００２３】
図２は、長時間露光信号および短時間露光信号の入射光量と出力信号レベルの関係を示す図である。この図は、横軸に受光素子に対する入射光量を、縦軸に受光素子の出力信号量を表す。
【００２４】
受光素子から出力される長時間露光信号および短時間露光信号は、信号レベルの大小に関わることなく一定のスミア成分を含んで構成される。長時間露光信号は露光量が大きいため入射光量がａ点で飽和するが、短時間露光信号はａ点で飽和しない。長時間露光信号はａ点に達するまで、傾きが大きくＳ／Ｎ比が高い。一方、短時間露光信号は傾きが小さく、Ｓ／Ｎ比が長時間露光信号より低い。短時間露光信号は、長時間露光信号の飽和点ａ以上の入射光量における信号の再現性が高い。このような特徴を持つ長時間露光信号および短時間露光信号を合成することにより、Ｓ／Ｎ比が高くダイナミックレンジの広い信号を得ることができる。
【００２５】
次に、固体撮像素子２００を構成する各受光素子のスミア成分を算出する手法について説明する。各受光素子の出力電荷量Ｌａｂは、下記式１で表される。
Ｌａｂ＝Ｓａｂ＋（ＳＭａ１＋ＳＭａ２＋ＳＭａ３＋・・・＋ＳＭａ（ｂ−１）） ・・・（式１）
ＳＭａｂは、転送時に各受光素子で混入されるスミア成分を表し、Ｓａｂは、出力電荷量Ｌａｂからスミア成分を除いた、各受光素子に実際に蓄積された電荷量を表す。
【００２６】
Ｓａｂは、下記式２で表される。
Ｓａｂ＝Ｙ×Ｚ×Ｔ ・・・（式２）
Ｙは各受光素子の感度を表し、Ｔは露光時間を表し、Ｚは光強度を表す。
【００２７】
各受光素子のスミア成分ＳＭａｂは、下記式３で表される。
ＳＭａｂ＝Ｙ×Ｚ×（１／Ｆ） ・・・（式３）
Ｆは転送周波数を表す。
【００２８】
上記式３に上記式２を代入すると、下記式４が導出される。
ＳＭａｂ＝Ｓａｂ／Ｔ×（１／Ｆ） ・・・（式４）
【００２９】
短時間露光信号Ｓｓｈｏｒｔと長時間露光信号Ｓｌｏｎｇとの関係は、下記式５で表される。
Ｓｓｈｏｒｔ＝Ｓｌｏｎｇ／Ｎ ・・・（式５）
Ｎは露光比を表す。
非飽和の長時間露光信号Ｓｌｏｎｇを使用してスミア成分を推測する場合、長時間露光信号Ｓｌｏｎｇを露光比で除算する必要がある。
【００３０】
このようにして、スミア成分を算出する際、飽和している受光素子が存在する場合、その受光素子に蓄積された電荷量をスミア成分算出の基礎に含めず、隣接した非飽和状態のの受光素子に蓄積された電荷量で近似する。また、短時間露光の受光素子に蓄積された電荷量のみでスミア成分を算出する。
【００３１】
図３は、本発明の実施形態におけるスミア除去回路１００の構成を示す図である。スミア除去回路１００は、固体撮像素子２００を構成する各受光素子の出力電荷量に含まれるスミア成分を推測し、当該出力電荷量から除去する。スミア除去回路１００は、飽和判定部１０、減算部２０およびスミア推測部３０を備える。
【００３２】
飽和判定部１０には、長時間露光信号が入力される。飽和判定部１０は、入力された長時間露光信号が飽和しているか否かを判定する。上述した入射光量の飽和点ａに対応する信号レベルと比較することにより、判定することができる。飽和している場合、飽和レベルを維持したまま後段に出力する。すなわち、飽和した信号は、スミア成分を推測するための演算処理に使用されないことになる。
【００３３】
飽和判定部１０は、飽和していない場合、入力された長時間露光信号を減算部２０に出力する。減算部２０には、短時間露光信号および非飽和の長時間露光信号が入力される。減算部２０は、短時間露光信号からスミア推測部３０で算出されたスミア成分を減算することにより、スミア補正後の短時間露光信号を後段に出力する。同様に、非飽和の長時間露光信号からスミア推測部３０で算出されたスミア成分を減算することにより、スミア補正後の長時間露光信号を後段に出力する。このように、減算部２０は、各受光素子から出力された画像信号からスミア成分を除去する回路として機能する。
【００３４】
スミア推測部３０は、除算部３２、加算部３４、ラインメモリ３６および乗算部３８を含む。除算部３２は、スミア補正後の長時間露光信号を露光比Ｎで除算し、加算部３４に出力する。加算部３４は、減算部２０から取得したスミア補正後の短時間露光信号と、ラインメモリ３６に保持されている信号とを加算し、ラインメモリ３６に設定する。また、加算部３４は、除算部３２から取得したスミア補正後の長時間露光信号と、ラインメモリ３６に保持されている信号とを加算し、ラインメモリ３６に設定する。さらに、加算部３４は、長時間露光信号が飽和している場合、その前のステップで加算した非飽和露光信号と、ラインメモリ３６に保持されている信号とを加算し、ラインメモリ３６に設定する。
【００３５】
ラインメモリ３６は、各受光素子のスミア補正後の信号が累積加算された信号を保持する。各垂直転送路４０を構成する最後の受光素子の一つ前の受光素子の信号まで累積加算され、スミア除去に利用されると、保持している信号をリセットする。なお、受光素子の出力信号が長時間露光信号であり、かつ飽和している場合、その信号は加算されず、その前の受光素子のスミア補正後の信号で代替される。
【００３６】
乗算部３８は、ラインメモリ３６が保持している信号、すなわち転送過程中に存在する受光素子のスミア補正後の信号を累積加算した信号に、上記式２および式３で規定した露光時間Ｔや転送周波数Ｆなどの係数を乗算して、転送過程中に存在する受光素子によるスミア成分を推測する。推測したスミア成分を減算部２０に供給する。
【００３７】
以下、本発明の実施形態におけるスミア除去回路１００の第１動作例について説明する。第１動作例は、短時間露光信号および非飽和の長時間露光信号を基に、スミア成分を推測する例である。
図４は、各受光素子の出力電荷量を説明する図である。図４における出力電荷量Ｌ１１などに付されている添字は、２次元配列された受光素子の位置に対応し、図１の符号と対応する。係数ｋは、上記式２および式３で規定した露光時間Ｔや転送周波数Ｆなどの係数を一つにまとめて表記したものである。なお、以下の説明では出力電荷量Ｌ１２が飽和していることを前提とする。
【００３８】
図４にて、１行目の出力電荷量Ｌ１１は、垂直転送路４０を構成する受光素子列の中で水平転送路５０に最も近い受光素子の出力電荷量を示す。転送過程中に受光素子が存在しないため、スミア成分を含まず、減算部２０によるスミア除去が行われない。よって、そのままスミア補正後の短時間露光信号として出力される。ラインメモリ３６には、水平転送路５０に最も近い受光素子のスミア成分を含まない電荷量Ｓ１１の値が初期値として保持される。
【００３９】
２行目の出力電荷量Ｌ１２は、垂直転送路４０を構成する受光素子列の中で水平転送路５０に２番目に近い受光素子の出力電荷量を示す。この受光素子の出力電荷量Ｌ１２は、水平転送路５０に到達するまでに一つの受光素子を通過し、その際にスミア成分ｋ×Ｓ１１が加算される。当該スミア成分ｋ×Ｓ１１は、ラインメモリ３６に保持されている値に係数ｋが乗算された値により算出される。上記出力電荷量Ｌ１２は飽和しているので、スミア成分が減算部２０により除去されず、そのままスミア補正後の長時間露光信号として出力される。ラインメモリ３６には、前回設定された電荷量Ｓ１１の値を２倍にした値が設定される。本来、水平転送路５０に２番目に近い受光素子におけるスミア補正後の電荷量Ｓ１２が加算されるべきであるが、飽和しているためスミア成分算出の基礎データとすることができない。よって、その前の水平転送路５０に一番近い受光素子のスミア補正後の電荷量Ｓ１１を加算することにより、２番目に近い受光素子におけるスミア補正後の電荷量Ｓ１２を加算する処理の代替としている。
【００４０】
３行目の出力電荷量Ｌ１３は、垂直転送路４０を構成する受光素子列の中で水平転送路５０に３番目に近い受光素子の出力電荷量を示す。この受光素子の出力電荷量Ｌ１３は、水平転送路５０に到達するまでに二つの受光素子を通過し、その際にスミア成分ｋ×（Ｓ１１＋Ｓ１２）が加算される。上記出力電荷量Ｌ１３は、スミア推測部３０で算出されたスミア成分ｋ×（Ｓ１１＋Ｓ１１）が減算部２０で減算される。減算された信号がスミア補正後の短時間露光信号として出力される。ラインメモリ３６には、前回設定された電荷量（Ｓ１１＋Ｓ１１）に３番目に近い受光素子におけるスミア補正後の電荷量Ｓ１３が加算された値が設定される。
【００４１】
４行目の出力電荷量Ｌ１４は、垂直転送路４０を構成する受光素子列の中で水平転送路５０に４番目に近い受光素子の出力電荷量を示す。この受光素子の出力電荷量Ｌ１４は、水平転送路５０に到達するまでに三つの受光素子を通過し、その際にスミア成分ｋ×（Ｓ１１＋Ｓ１２＋Ｓ１３）が加算される。上記出力電荷量Ｌ１４は、長時間露光信号であるが、非飽和信号であるため、スミア推測部３０で算出されたスミア成分ｋ×（Ｓ１１＋Ｓ１１＋Ｓ１３）が減算部２０で減算される。減算された信号がスミア補正後の長時間露光信号として出力される。ラインメモリ３６には、前回設定された電荷量（Ｓ１１＋Ｓ１１＋Ｓ１３）に４番目に近い受光素子におけるスミア補正後の電荷量（Ｓ１４÷Ｎ）が加算された値が設定される。なお、当該受光素子は長時間露光信号を出力するため、露光比Ｎで除算する必要がある。以下、５行目以降についても、同様の処理が繰り返される。
【００４２】
以上説明したように本実施形態における第１動作例によれば、転送過程の受光素子に起因するスミア成分を推測する際、飽和している受光素子の出力信号をスミア成分推測の基礎に含めないことにより、除去すべきスミア成分を精度よく推測することができる。この点、飽和している受光素子の出力信号をスミア成分推測の基礎に含めると、推測したスミア成分の精度は低いものとなる。また、露光量の異なる画像信号を合成する際、スミア成分を精度よく除去した後に合成できるため、ダイナミックレンジが広く、高画質な画像を生成することができる。
【００４３】
以下、本発明の実施形態におけるスミア除去回路１００の第２動作例について説明する。第２動作例は、短時間露光信号と長時間露光信号が混在する場合、長時間露光信号をスミア成分推測の基礎に含めず、短時間露光信号を使用して、スミア成分を推測する例である。
【００４４】
図１に示したように、長時間露光用受光素子４２および短時間露光用受光素子４４が交互に配置される構成の場合、長時間露光用受光素子４２に蓄積された電荷量Ｓｘｂは、その前の短時間露光用受光素子４４に蓄積された電荷量Ｓ（ｘ−１）ｂまたはその後の短時間露光用受光素子４４に蓄積された電荷量Ｓ（ｘ＋１）ｂに近似する。また、図２に示したように、長時間露光用受光素子４２は飽和する可能性が高い。
【００４５】
これを前提に、長時間露光用受光素子４２に蓄積された電荷量を隣接する短時間露光用受光素子４４に蓄積された電荷量で代替した場合、ある受光素子の出力電荷量Ｌｎｂから除去すべきスミア成分ＳＭｎｂは、下記式６で表される。下記式６は、奇数行に長時間露光用受光素子４２が配置される例である。
ＳＭｎｂ＝ｋ×Σ（Ｓａｂ×２） ・・・（式６）
ａは２から（ｎ−１）までの偶数をとる。なお、ｎが偶数の場合、求めたスミア成分ＳＭｎｂに、一つ前の長時間露光用受光素子４２のスミア成分ＳＭ（ｎ−１）ｂを代替した、さらにその一つ前の短時間露光用受光素子４４のスミア成分ＳＭ（ｎ−２）ｂを加える必要がある。また、偶数行に長時間露光用受光素子４２が配置される場合、上記式６のａは１から（ｎ−１）までの奇数をとる。ｎが奇数の場合、上記と同様にスミア成分ＳＭ（ｎ−２）ｂを加える必要がある。
【００４６】
なお、第２動作例では、長時間露光信号をスミア成分推測の基礎としないため、スミア推測部３０に、長時間露光信号を露光比で除算するための除算部３２を設ける必要はない。また、長時間露光信号が飽和しているか否かを判定する必要もないため、飽和判定部１０を設ける必要もない。
【００４７】
以上説明したように本実施形態における第２動作例によれば、転送過程の受光素子に起因するスミア成分を推測する際、長時間露光信号をスミア成分推測の基礎に含めず、短時間露光信号を用いることにより、除去すべきスミア成分を精度よく推測することができる。また、長時間露光信号をスミア成分推測の基礎に含めないことにより、スミア除去回路１００にて飽和判定などをする必要がなく、回路構成を簡素化することができる。
【００４８】
図５は、本発明の実施形態が適用される別の固体撮像素子３００の構成を示す図である。当該固体撮像素子３００は、インターライン転送型のＣＣＤで構成される。インターライン転送型のＣＣＤは、転送路が遮光されるため混入するスミア成分が小さくなる。
【００４９】
固体撮像素子３００は、フォトダイオードなどの受光素子を一列に並べた受光素子列と、その受光素子列に蓄積された電荷を転送する垂直転送路８０を備える。本実施形態では、長時間露光用受光素子６２および短時間露光用受光素子６４を交互に配置された受光素子列を備える。当該受光素子列と垂直転送路８０との間には、トランスファーゲート７０が設けられる。垂直転送路８０は、電荷を転送する受光素子の数の、アナログ量を扱えるレジスタまたはＣＣＤが一列に並べられて構成される。
【００５０】
トランスファーゲート７０はアナログスイッチとして機能し、トランスファーゲート７０が開くと、受光素子列に蓄積された電荷が一斉に垂直転送路８０に転送される。受光素子列、トランスファーゲート７０および垂直転送路８０を一組として、並列に複数組配置されることにより、固体撮像素子３００が構成される。
【００５１】
並列に複数配置された垂直転送路８０は、それぞれの出口が水平転送路９０に接続される。垂直転送路８０は、所定の垂直転送クロックに応じて、各レジスタまたはＣＣＤに保持している電荷を水平転送路９０の方向にバケツリレーの要領で順次シフトしていき、水平転送路９０に順次送り出す。垂直転送路８０は遮光膜に覆われているため、直接受光によりスミア成分が発生することはないが、トランスファーゲート７０を介して受光素子列から電荷が漏れ込んでくる。
【００５２】
水平転送路９０は、少なくとも垂直転送路８０の数に対応した数の、アナログ量を扱えるレジスタまたはＣＣＤが一列に並べられて構成される。水平転送路９０は、所定の水平転送クロックに応じて、各垂直転送路８０から順次入力された電荷を順次シフトして出力アンプ９２に送り出す。水平一列の垂直転送路８０の全受光素子の電荷を出力した後、次の水平一列の垂直転送路８０の処理を開始する。出力アンプ９２は、水平転送路９０から入力される電荷を電圧に変換して、後段に出力する。
【００５３】
以上に説明したインターライン転送型の固体撮像素子３００にも、上述したフレーム転送型の固体撮像素子２００のスミア成分を除去する本実施形態におけるスミア除去回路１００を基本的にそのまま適用することができる。インターライン転送型の場合、転送過程中に混入されるスミア成分は、漏れ込まれた電荷を累積したものとなる。よって、上記式４に漏れ込み係数Ｗ（Ｗ＜１）を掛けてやればよい。漏れ込み係数は、各受光素子が蓄積した電荷量の内、垂直転送路８０に漏れ込む電荷量の割合を示す。
【００５４】
インターライン転送型の固体撮像素子３００のスミア成分を除去する場合でも、フレーム転送型の固体撮像素子２００のスミア成分を除去する場合と、同様の効果を奏する。
【００５５】
以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形例が可能である。また、そうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、変形例を挙げる。
【００５６】
上述した実施形態では、露光時間の異なる複数種類の受光素子として、２種類設けたが、３種類以上設けてもよい。上述した実施形態と同様に、飽和していない受光素子に蓄積された電荷量を用いて、スミア成分を推測することができる。また、飽和する可能性が小さい露光時間を持つ受光素子に蓄積された電荷量を用いて、スミア成分を推測することができる。
【００５７】
上述した実施形態では、スミア成分を算出する際、飽和している受光素子が存在する場合、その受光素子に蓄積された電荷量をスミア成分算出の基礎に含めず、隣接した非飽和状態の受光素子に蓄積された電荷量で代替する例を説明した。この点、隣接した非飽和状態の受光素子に蓄積された電荷量に限らず、２個以上離れた非飽和状態の受光素子に蓄積された電荷量で代替してもよい。さらに、複数の非飽和状態の受光素子に蓄積された電荷量の平均値や中央値などで代替してもよい。これによっても、精度よくスミア成分を推測することができる。
【００５８】
上述した実施形態では、短時間露光信号と長時間露光信号が混在する場合、長時間露光信号をスミア成分推測の基礎に含めず、短時間露光信号を使用して、スミア成分を推測する例を説明した。この点、一つ以上の長時間露光の受光素子に蓄積された電荷量、例えば一つ以上の非飽和状態の長時間露光の受光素子に蓄積された電荷量をスミア成分推測の基礎に含めてもよい。スミア成分推測の基礎に含めなかった長時間露光の受光素子に蓄積された電荷量は、上述したように、隣接した非飽和状態の受光素子に蓄積された電荷量、２個以上離れた非飽和状態の受光素子に蓄積された電荷量、または複数の非飽和状態の受光素子に蓄積された電荷量の平均値や中央値などで代替してもよい。これによっても、精度よくスミア成分を推測することができる。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施形態が適用される固体撮像素子の構成を示す図である。
【図２】長時間露光信号および短時間露光信号の入射光量と出力信号レベルの関係を示す図である。
【図３】本発明の実施形態におけるスミア除去回路の構成を示す図である。
【図４】各受光素子の出力電荷量を説明する図である。
【図５】本発明の実施形態が適用される別の固体撮像素子の構成を示す図である。
【符号の説明】
【００６０】
１０ 飽和判定部、 ２０ 減算部、 ３０ スミア推測部、 ３２ 除算部、 ３４ 加算部、 ３６ ラインメモリ、 ３８ 乗算部、 ４０ 垂直転送路、 ４２ 長時間露光用受光素子、 ４４ 短時間露光用受光素子、 ４５ 撮像領域、 ５０ 水平転送路、 ５２ 出力アンプ、 ６０ 蓄積領域、 ６２ 長時間露光用受光素子、 ６４ 短時間露光用受光素子、 ７０ トランスファーゲート、 ８０ 垂直転送路、 ９０ 水平転送路、 ９２ 出力アンプ、 １００ スミア除去回路、 ２００ 固体撮像素子、 ３００ 固体撮像素子。
【出願人】 【識別番号】０００００１８８９
【氏名又は名称】三洋電機株式会社
【出願日】 平成１８年８月３１日（２００６．８．３１）
【代理人】 【識別番号】１００１０５９２４
【弁理士】
【氏名又は名称】森下 賢樹
【公開番号】 特開２００８−６１０３３（Ｐ２００８−６１０３３Ａ）
【公開日】 平成２０年３月１３日（２００８．３．１３）
【出願番号】 特願２００６−２３６９５２（Ｐ２００６−２３６９５２）