トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 画像処理装置および方法、並びにプログラム
【発明者】 【氏名】山口 卓也
【要約】 【課題】高輝度部分と低輝度部分を含む被写体を適切に撮像することができるようにする。

【構成】被写体に高輝度の部分があると、その高輝度の部分に対応する撮像素子の画素に、シャッタ時間で蓄積される電荷量は、画素が蓄積できる限界の電荷量（以下、限界電荷量と称する）に達することがあり、その場合、画素の電荷が飽和し、その画素には、それ以上の電荷が蓄積されない。飽和に到るまでの電荷の蓄積は、図２の直線Ｌ１に示すように直線的になされる。そこで限界電荷量Ｑ0、電荷量が閾値電荷量Ｑtに到した時間Ｔqt、およびシャッタ時間Ｔsに基づいて、シャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを推定する。この電荷量Ｑtsを用いて撮像信号が生成される。本発明は、ビデオカメラに適用される。
【特許請求の範囲】
【請求項１】
入射光を電荷に変換する撮像素子と、
前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定手段と、
前記電荷量が前記閾値電荷量に達するまでの閾値到達時間を計測する計測手段と、
前記判定手段により電荷量が前記閾値電荷量に達したと判定された前記画素について、少なくとも前記閾値到達時間を記憶する記憶手段と、
前記記憶手段に記憶された前記閾値到達時間と、前記閾値電荷量に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算手段と、
前記演算手段により演算された前記電荷量に対応する画素値を、前記判定手段により電荷量が前記閾値電荷量に達したと判定された画素の画素値として、撮像信号を生成する生成手段と
を備える画像処理装置。
【請求項２】
前記記憶手段は、前記判定手段により電荷量が前記閾値電荷量に達しなかったと判定された前記画素について、その画素にシャッタ期間終了時に蓄積された電荷がデジタル変換された結果得られた値を記憶し、
前記生成手段は、前記記憶手段に記憶された前記値に対応する画素値を、前記判定手段により電荷量が前記閾値電荷量に達しなかったと判定された前記画素の画素値として、撮像信号を生成する
請求項１に記載の画像処理装置。
【請求項３】
前記閾値電荷量は前記撮像素子の画素の電荷容量である
請求項１に記載の画像処理装置。
【請求項４】
前記閾値電荷量は、前記シャッタ時間内に、前記撮像素子の画素の電荷量が前記閾値電荷量に達するように推移する
請求項１に記載の画像処理装置。
【請求項５】
前記記憶手段は、前記判定手段により電荷量が前記閾値電荷量に達したと判定されたときの画素に蓄積された電荷がデジタル変換された結果得られた電荷量を、前記閾値到達時間と対応付けて記憶し、
前記演算手段は、前記記憶手段に対応付けて記憶された前記電荷量と前記閾値到達時間に基づいて、前記シャッタ時間に入射する光によって蓄積され得る電荷量を演算する
請求項１に記載の画像処理装置。
【請求項６】
前記閾値電荷量が、前記シャッタ時間の間に画素の電荷容量から０に段階的に減少する場合、前記記憶手段に記憶された前記閾値到達時間、前記推移における前記閾値到達時間に対応する前記閾値電荷量に基づいて、シャッタ時間に入射する光によって蓄積され得た電荷量を演算する
請求項４に記載の画像処理装置。
【請求項７】
前記判定手段、前記計測手段、前記記憶手段は、前記撮像素子の画素毎に設けられている
請求項１に記載の画像処理装置。
【請求項８】
撮像素子に蓄積された電荷から撮像信号を生成する画像処理方法において、
前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定ステップと、
前記電荷量が前記閾値電荷量に達するまでの閾値到達時間を計測する計測ステップと、
前記判定ステップの処理で電荷量が前記閾値電荷量に達したと判定された前記画素について、少なくとも前記閾値到達時間を記憶する記憶ステップと、
前記記憶ステップの処理で記憶された前記閾値到達時間と、前記閾値電荷量に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算ステップと、
前記演算ステップの処理で演算された前記電荷量に対応する画素値を、前記判定ステップの処理で電荷量が前記閾値電荷量に達したと判定された画素の画素値として、撮像信号を生成する生成ステップと
を含む画像処理方法。
【請求項９】
撮像素子に蓄積された電荷から撮像信号を生成する画像処理をコンピュータに実行させるプログラムにおいて、
前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定ステップと、
前記電荷量が前記閾値電荷量に達するまでの閾値到達時間を計測する計測ステップと、
前記判定ステップの処理で電荷量が前記閾値電荷量に達したと判定された前記画素について、少なくとも前記閾値到達時間を記憶する記憶ステップと、
前記記憶ステップの処理で記憶された前記閾値到達時間と、前記閾値電荷量に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算ステップと、
前記演算ステップの処理で演算された前記電荷量に対応する画素値を、前記判定ステップの処理で電荷量が前記閾値電荷量に達したと判定された画素の画素値として、撮像信号を生成する生成ステップと
を含むプログラム。
【請求項１０】
入射光を電荷に変換する撮像素子と、
前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定手段と、
前記電荷蓄積量の閾値に達したとき、その画素に蓄積された電荷を消失させる画素制御手段と、
画素毎に、前記シャッタ時間内に、前記画素制御手段により電荷が消失された回数を計測する計測手段と、
画素毎に、前記シャッタ期間終了時に蓄積された電荷がデジタル変換された結果得られた電荷量と、前記計数手段により計測された前記回数を記憶する記憶手段と、
前記記憶手段に記憶された画素毎の前記電荷量を示す値と前記回数に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算手段と、
前記演算手段により演算された前記電荷量に対応する画素値を用いて、撮像信号を生成する生成手段と
を備える画像処理装置。
【請求項１１】
撮像素子に蓄積された電荷から撮像信号を生成する画像処理方法において、
前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定ステップと、
前記電荷蓄積量の閾値に達したとき、その画素に蓄積された電荷を消失させる画素制御ステップと、
画素毎に、前記シャッタ時間内に、前記画素制御ステップにより電荷が消失された回数を計測する計測ステップと、
画素毎に、前記シャッタ期間終了時に蓄積された電荷がデジタル変換された結果得られた電荷量と、前記計数ステップの処理で計測された前記回数を記憶する記憶ステップと、
前記記憶ステップの処理で記憶された画素毎の前記電荷量を示す値と前記回数に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算ステップと、
前記演算ステップの処理で演算された前記電荷量に対応する画素値を用いて、撮像信号を生成する生成ステップと
を含む画像処理方法。
【請求項１２】
撮像素子に蓄積された電荷から撮像信号を生成する画像処理をコンピュータに実行させるプログラムにおいて、
前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定ステップと、
前記電荷蓄積量の閾値に達したとき、その画素に蓄積された電荷を消失させる画素制御ステップと、
画素毎に、前記シャッタ時間内に、前記画素制御ステップにより電荷が消失された回数を計測する計測ステップと、
画素毎に、前記シャッタ期間終了時に蓄積された電荷がデジタル変換された結果得られた電荷量と、前記計数ステップの処理で計測された前記回数を記憶する記憶ステップと、
前記記憶ステップの処理で記憶された画素毎の前記電荷量を示す値と前記回数に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算ステップと、
前記演算ステップの処理で演算された前記電荷量に対応する画素値を用いて、撮像信号を生成する生成ステップと
を含むプログラム。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、高輝度部分と低輝度部分がある被写体を適切に撮像することができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
ビデオカメラやデジタルカメラでは、撮像素子に入力される光量が多ければ多いほど、撮像素子の各画素に蓄積される電荷が多くなり、その分多くの情報量を取り込むことができるが、被写体に高輝度の部分があると、その高輝度の部分に相当する画素の電荷が飽和してしまう。
【０００３】
そのため一般的には、絞りを小さくしたり、シャッタスピードを速くしたりして、画素の電荷が飽和しない範囲で露光量が決められている。
【０００４】
しかしながら、このように入射される光量を制限すると、被写体に低輝度部分もある場合、その低輝度の部分に相当する画素の露光量も相対的に小さくなるため、画像の高輝度の部分では情報は失われないが、低輝度の部分の情報量が乏しくなってしまう。
【０００５】
低輝度の部分の情報量を補うために、光電変換後の画像処理で、ゲインアップすることは可能だが、もともとの情報量が乏しい場合は、信号と同時にノイズ成分もゲインアップされＳ／Ｎが悪化してしまう。またゲインアップの量を少なくとどめてＳ／Ｎを維持すると、結局この場合は低輝度部分に階調がなく、情報量の乏しい、黒つぶれした、ダイナミックレンジの狭い画像が得られることになる。
【０００６】
また被写体の低輝度部分の階調を維持するために、絞りを大きくしたり、シャッタスピードを遅くして、露光量を確保すると、画像の低輝度の部分では情報量が確保できるが、当然画像の高輝度部分の露光量が相対的に大きくなるため、高輝度部の電荷が飽和してしまう。
【０００７】
ところで電荷が飽和した場合は高輝度部分に階調がなく、情報量の乏しい、白とびしたダイナミックレンジの狭い画像となる。
【０００８】
ダイナミックレンジを確保するためには、さまざまな手法が考案されている。
【０００９】
短時間の露光で得られる被写体の高輝度の部分の画像信号と、長時間の露光で得られる被写体の低輝度の部分の画像信号とを合成することにより、高輝度の部分の白飛びや低輝度の部分の黒つぶれを軽減する手法（以下、第１の手法と称する）がある（特許文献１参照）。
【００１０】
また可変感度イメージセンサとして寄生容量と追加容量の２種類の容量を備えた可変感度画素構造を持ち、被写体が低輝度の場合は１種類の容量を用い、被写体が高輝度の場合は２種類の容量を用いて、高感度時に電荷の飽和を防ぐ手法（以下、第２の手法と称する）がある（非特許文献１参照）。この手法の感度選択は画素ごとに可能とされている。
【００１１】
【特許文献１】特開平６−１４１２２９に示される手法は
【非特許文献１】「容量選択型可変感度イメージセンサによる広ダイナミックレンジ撮像の基礎検討（映像情報メディア学会誌Vol.59,No.1(2005)）」
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、第１の手法では、複数の時系列でシャッタ期間を設けて短時間露光と長時間露光を行うので、画像の低輝度部分と高輝度部分の時間的なずれが大きくなる可能性がある。また、短時間露光と長時間露光を排他的に行うので、短時間露光を行う期間は長時間露光を使用することができず、低輝度部分の情報量が不足する可能性がある。さらに、長時間露光を行う時間に蓄積される電荷の量が、画素の電荷容量いっぱいを使用できずに、高輝度部分の情報量が不足する可能性もある。
【００１３】
また第２の手法では、蓄積電荷が２種類の容量を加算した容量より大きくなった場合は、電荷が飽和してしまうことには変わりなく、飽和を防ぐために入射光が撮像素子に入る前段の光学系で光量を調整しても、被写体の低感度部分の階調情報を保つことは困難である。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、高輝度部分と低輝度部分がある被写体を適切に撮像することができるようにするものである。
【課題を解決するための手段】
【００１５】
本発明の第１の側面の画像処理装置は、入射光を電荷に変換する撮像素子と、前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定手段と、前記電荷量が前記閾値電荷量に達するまでの閾値到達時間を計測する計測手段と、前記判定手段により電荷量が前記閾値電荷量に達したと判定された前記画素について、少なくとも前記閾値到達時間を記憶する記憶手段と、前記記憶手段に記憶された前記閾値到達時間と、前記閾値電荷量に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算手段と、前記演算手段により演算された前記電荷量に対応する画素値を、前記判定手段により電荷量が前記閾値電荷量に達したと判定された画素の画素値として、撮像信号を生成する生成手段とを備える。
【００１６】
前記記憶手段は、前記判定手段により電荷量が前記閾値電荷量に達しなかったと判定された前記画素について、その画素にシャッタ期間終了時に蓄積された電荷がデジタル変換された結果得られた値を記憶し、前記生成手段は、前記記憶手段に記憶された前記値に対応する画素値を、前記判定手段により電荷量が前記閾値電荷量に達しなかったと判定された前記画素の画素値として、撮像信号を生成することができる。
【００１７】
前記閾値電荷量は前記撮像素子の画素の電荷容量であるようにすることができる。
【００１８】
前記閾値電荷量は、前記シャッタ時間内に、前記撮像素子の画素の電荷量が前記閾値電荷量に達するように推移するようにすることができる。
【００１９】
前記記憶手段は、前記判定手段により電荷量が前記閾値電荷量に達したと判定されたときの画素に蓄積された電荷がデジタル変換された結果得られた電荷量を、前記閾値到達時間と対応付けて記憶し、前記演算手段は、前記記憶手段に対応付けて記憶された前記電荷量と前記閾値到達時間に基づいて、前記シャッタ時間に入射する光によって蓄積され得る電荷量を演算することができる。
【００２０】
前記閾値電荷量が、前記シャッタ時間の間に画素の電荷容量から０に段階的に減少する場合、前記記憶手段に記憶された前記閾値到達時間、前記推移における前記閾値到達時間に対応する前記閾値電荷量に基づいて、シャッタ時間に入射する光によって蓄積され得た電荷量を演算することができる。
【００２１】
前記判定手段、前記計測手段、前記記憶手段は、前記撮像素子の画素毎に設けられているようにすることができる。
【００２２】
本発明の第１の側面の画像処理方法、またはプログラムは、撮像素子に蓄積された電荷から撮像信号を生成する画像処理方法において、または撮像素子に蓄積された電荷から撮像信号を生成する画像処理をコンピュータに実行させるプログラムにおいて、前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定ステップと、前記電荷量が前記閾値電荷量に達するまでの閾値到達時間を計測する計測ステップと、前記判定ステップの処理で電荷量が前記閾値電荷量に達したと判定された前記画素について、少なくとも前記閾値到達時間を記憶する記憶ステップと、前記記憶ステップの処理で記憶された前記閾値到達時間と、前記閾値電荷量に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算ステップと、前記演算ステップの処理で演算された前記電荷量に対応する画素値を、前記判定ステップの処理で電荷量が前記閾値電荷量に達したと判定された画素の画素値として、撮像信号を生成する生成ステップとを含む。
【００２３】
本発明の第１の側面の画像処理装置、画像処理方法、またはプログラムにおいては、前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かが判定され、前記電荷量が前記閾値電荷量に達するまでの閾値到達時間が計測され、電荷量が前記閾値電荷量に達したと判定された前記画素について、少なくとも前記閾値到達時間が記憶され、記憶された前記閾値到達時間と、前記閾値電荷量に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量が演算され、演算された前記電荷量に対応する画素値を、前記判定ステップの処理で電荷量が前記閾値電荷量に達したと判定された画素の画素値として、撮像信号が生成される。
【００２４】
本発明の第２の側面の画像処理装置は、入射光を電荷に変換する撮像素子と、前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定手段と、前記電荷蓄積量の閾値に達したとき、その画素に蓄積された電荷を消失させる画素制御手段と、画素毎に、前記シャッタ時間内に、前記画素制御手段により電荷が消失された回数を計測する計測手段と、画素毎に、前記シャッタ期間終了時に蓄積された電荷がデジタル変換された結果得られた電荷量と、前記計数手段により計測された前記回数を記憶する記憶手段と、前記記憶手段に記憶された画素毎の前記電荷量を示す値と前記回数に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算手段と、前記演算手段により演算された前記電荷量に対応する画素値を用いて、撮像信号を生成する生成手段とを備える。
【００２５】
本発明の第２の側面の画像処理方法、またはプログラムは、撮像素子に蓄積された電荷から撮像信号を生成する画像処理方法において、または撮像素子に蓄積された電荷から撮像信号を生成する画像処理をコンピュータに実行させるプログラムにおいて、前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定ステップと、前記電荷蓄積量の閾値に達したとき、その画素に蓄積された電荷を消失させる画素制御ステップと、画素毎に、前記シャッタ時間内に、前記画素制御ステップにより電荷が消失された回数を計測する計測ステップと、画素毎に、前記シャッタ期間終了時に蓄積された電荷がデジタル変換された結果得られた電荷量と、前記計数ステップの処理で計測された前記回数を記憶する記憶ステップと、前記記憶ステップの処理で記憶された画素毎の前記電荷量を示す値と前記回数に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算ステップと、前記演算ステップの処理で演算された前記電荷量に対応する画素値を用いて、撮像信号を生成する生成ステップとを含む。
【００２６】
本発明の第２の側面の画像処理装置、画像処理方法、またはプログラムにおいては、前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かが判定され、前記電荷蓄積量の閾値に達したとき、その画素に蓄積された電荷が消失され、画素毎に、前記シャッタ時間内に、電荷が消失された回数が計測され、画素毎に、前記シャッタ期間終了時に蓄積された電荷がデジタル変換された結果得られた電荷量と、前記計数ステップの処理で計測された前記回数が記憶され、記憶された画素毎の前記電荷量を示す値と前記回数に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量が演算され、演算された前記電荷量に対応する画素値を用いて、撮像信号が生成される。
【発明の効果】
【００２７】
本発明の第１または第２の側面によれば、高輝度部分と低輝度部分を含む被写体を適切に撮像することができる。
【発明を実施するための最良の形態】
【００２８】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２９】
本発明の第１の側面の画像処理装置は、
入射光を電荷に変換する撮像素子（例えば、図１の撮像素子１１）と、
前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量（例えば、図２の電荷量Ｑt）に達したか否かを判定する判定手段（例えば、図１の比較部２３）と、
前記電荷量が前記閾値電荷量に達するまでの閾値到達時間（例えば、図２の時間Ｔqt）を計測する計測手段（例えば、図１のカメラコントローラ１５）と、
前記判定手段により電荷量が前記閾値電荷量に達したと判定された前記画素について、少なくとも前記閾値到達時間を記憶する記憶手段（例えば、図１の記憶部２５）と、
前記記憶手段に記憶された前記閾値到達時間と、前記閾値電荷量に基づいて、前記シャッタ時間（例えば、図２の時間Ｔs）に入射する光によって蓄積され得た電荷量（例えば、図２の電荷量Ｑts）を演算する演算手段（例えば、図１の演算部２６）（例えば、式（１））と、
前記演算手段により演算された前記電荷量に対応する画素値を、前記判定手段により電荷量が前記閾値電荷量に達したと判定された画素の画素値として、撮像信号を生成する生成手段（例えば、図１の演算部２６）と
を備える。
【００３０】
前記記憶手段は、前記判定手段により電荷量が前記閾値電荷量に達しなかったと判定された前記画素について、その画素にシャッタ期間終了時に蓄積された電荷がデジタル変換された結果得られた値（例えば、図２の電荷量Ｑe）を記憶し、
前記生成手段は、前記記憶手段に記憶された前記値に対応する画素値を、前記判定手段により電荷量が前記閾値電荷量に達しなかったと判定された前記画素の画素値として、撮像信号を生成することができる。
【００３１】
前記閾値電荷量は前記撮像素子の画素の電荷容量（例えば、図２の電荷量Ｑ0）であるようにすることができる。
【００３２】
前記閾値電荷量は、前記シャッタ時間内に、前記撮像素子の画素の電荷量が前記閾値電荷量に達するように推移する（例えば、図４の閾値電荷量Ｑt）ようにすることができる。
【００３３】
前記記憶手段は、前記判定手段により電荷量が前記閾値電荷量に達したと判定されたときの画素に蓄積された電荷がデジタル変換された結果得られた電荷量（例えば、図２の閾値電荷量Ｑt）を、前記閾値到達時間と対応付けて記憶し、
前記演算手段は、前記記憶手段に対応付けて記憶された前記電荷量と前記閾値到達時間に基づいて、前記シャッタ時間に入射する光によって蓄積され得る電荷量を演算することができる。
【００３４】
前記閾値電荷量が、前記シャッタ時間の間に画素の電荷容量から０に段階的に減少する場合、前記記憶手段に記憶された前記閾値到達時間と前記シャッタ時間に基づいて、シャッタ時間に入射する光によって蓄積され得た電荷量を演算することができる（例えば、式（３））。
【００３５】
前記判定手段（例えば、図６の比較部５３）、前記計測手段（例えば、図６の制御部５５）、前記記憶手段（例えば、図６の記憶部５４）は、前記撮像素子の画素毎に設けられているようにすることができる。
【００３６】
本発明の第１の側面の画像処理方法、または第１の側面のプログラムは、
撮像素子に蓄積された電荷から撮像信号を生成する画像処理方法、またはプログラムにおいて、または撮像素子に蓄積された電荷から撮像信号を生成する画像処理をコンピュータに実行させるプログラムにおいて、
前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定ステップ（例えば、図３のステップＳ３）と、
前記電荷量が前記閾値電荷量に達するまでの閾値到達時間を計測する計測ステップ（例えば、図３のステップＳ４）と、
前記判定ステップの処理で電荷量が前記閾値電荷量に達したと判定された前記画素について、少なくとも前記閾値到達時間を記憶する記憶ステップ（例えば、図３のステップＳ４）と、
前記記憶ステップの処理で記憶された前記閾値到達時間と、前記閾値電荷量に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算ステップ（例えば、図３のステップＳ８）と、
前記演算ステップの処理で演算された前記電荷量に対応する画素値を、前記判定ステップの処理で電荷量が前記閾値電荷量に達したと判定された画素の画素値として、撮像信号を生成する生成ステップ（例えば、図３のステップＳ８）と
を含む。
【００３７】
本発明の第２の画像処理装置は、
入射光を電荷に変換する撮像素子（例えば、図１４の撮像素子１１）と、
前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定手段（例えば、図１４の比較部７３）と、
前記電荷蓄積量の閾値に達したとき、その画素に蓄積された電荷を消失させる画素制御手段（例えば、図１４のカメラコントローラ６２とＡ／Ｄ変換部７２）と、
画素毎に、前記シャッタ時間内に、前記画素制御手段により電荷が消失された回数を計測する計測手段（例えば、図１４のカメラコントローラ６２）と、
画素毎に、前記シャッタ期間終了時に蓄積された電荷がデジタル変換された結果得られた電荷量と、前記計数手段により計測された前記回数を記憶する記憶手段（例えば、図１４の記憶部７５）と、
前記記憶手段に記憶された画素毎の前記電荷量を示す値と前記回数に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算手段（例えば、図１４の演算部７６）と、
前記演算手段により演算された前記電荷量に対応する画素値を用いて、撮像信号を生成する生成手段（例えば、図１４の演算部７６）と
を備える。
【００３８】
本発明の第２の画像処理方法、またはプログラムは、
撮像素子に蓄積された電荷から撮像信号を生成する画像処理方法、または撮像素子に蓄積された電荷から撮像信号を生成する画像処理をコンピュータに実行させるプログラムにおいて、
前記撮像素子の各画素について、シャッタ期間が開始されて前記撮像素子に光が入射し始めてから前記シャッタ期間が終了し光が入射しなくなるまでのシャッタ時間内に、画素に蓄積される電荷の電荷量が所定の閾値電荷量に達したか否かを判定する判定ステップ（例えば、図１６のステップＳ１５３）と、
前記電荷蓄積量の閾値に達したとき、その画素に蓄積された電荷を消失させる画素制御ステップ（例えば、図１６のステップＳ１５４）と、
画素毎に、前記シャッタ時間内に、前記画素制御ステップにより電荷が消失された回数を計測する計測ステップ（例えば、図１６のステップＳ１５４）と、
画素毎に、前記シャッタ期間終了時に蓄積された電荷がデジタル変換された結果得られた電荷量と、前記計数ステップの処理で計測された前記回数を記憶する記憶ステップ（例えば、図１６のステップＳ１５６）と、
前記記憶ステップの処理で記憶された画素毎の前記電荷量を示す値と前記回数に基づいて、前記シャッタ時間に入射する光によって蓄積され得た電荷量を演算する演算ステップ（例えば、図１６のステップＳ１５７）と、
前記演算ステップの処理で演算された前記電荷量に対応する画素値を用いて、撮像信号を生成する生成ステップ（例えば、図１６のステップＳ１５７）と
を含む。
【００３９】
図１は、本発明を適用したビデオカメラ１の構成例を示している。
【００４０】
撮像素子１１は、被写体像の画素に相当する単位セル毎に電子信号の読み出しが可能な例えばCMOS（Complementary Metal Oxide Semiconductor）イメージセンサより構成されており、図示せぬレンズブロックから入射された光像（被写体の映像）を、画素毎に光電変換し、その結果得られた信号（電荷）を、撮像信号生成部１２に出力する。
【００４１】
撮像信号生成部１２は、後述するように、カメラコントローラ１５の制御に従って、撮像素子１１から入力された信号から、撮像信号を生成し、生成した撮像信号をカメラ信号処理部１３に出力する。
【００４２】
カメラ信号処理部１３は、撮像信号生成部１２から入力された撮像信号に対して、サンプリング処理やＹＣ分離処理などを行い、その結果得られた輝度信号や色信号などを出力する。カメラ信号処理部１３から出力された信号は、ディスプレイ（図示せず）に出力されて映像として表示されたり、リムーバブルメディア（図示せず）に出力されて、そこに記録される。
【００４３】
入力部１４は、ビデオカメラ１を操作するための各種ボタンに対するユーザによる操作結果に応じた指令信号をカメラコントローラ１５に出力する。
【００４４】
カメラコントローラ１５は、入力部１４からの指令信号に応じて、各部を制御する。
【００４５】
次に、撮像信号生成部１２の詳細について説明するが、はじめにこの撮像信号生成部１２で行われる撮像信号生成処理の原理について説明する。
【００４６】
被写体に高輝度の部分があると、その高輝度の部分に対応する撮像素子１１の画素の、シャッタ期間が開始されて撮像素子１１に光が入射し始めてからシャッタ期間が終了し光が入射されなくなるまでの時間（以下、シャッタ時間と称する）に蓄積される電荷の量（電荷量）は、画素の電荷容量、すなわち電荷が蓄積できる限界の電荷量（以下、限界電荷量と称する）に達することがあり、その場合、画素の電荷が飽和し、その画素には、それ以上の電荷が蓄積されない。
【００４７】
しかしながら飽和に到るまでの電荷の蓄積は、図２の直線Ｌ１に示すように直線的になされる。そこで撮像信号生成部１２は、限界電荷量Ｑ0と同じ値を閾値電荷量Ｑtとし、シャッタ時間（例えば、１／６０秒）Ｔs内に撮像素子１１の画素の電荷量が閾値電荷量Ｑtに達したか否かを判定し、達した場合、限界電荷量Ｑ0を超える電荷容量を有していたとしたときのシャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを、式（１）を用いて演算する。
【００４８】
【数１】


【００４９】
式（１）中、Ｑtは、閾値電荷量であり、この場合限界電荷量Ｑ0と同じ値であり、Ｔqtは、電荷量が閾値電荷量Ｑtに到した時間（以下、閾値到達時間と称する）であり、およびＴsは、シャッタ時間である。
【００５０】
図２の直線Ｌ２に示すように、シャッタ時間Ｔs内に電荷量が閾値電荷量Ｑt（＝限界電荷量Ｑ0）に達しなかった画素については、実際のシャッタ期間終了時の電荷量Ｑeが、シャッタ時間Ｔsに蓄積された電荷量Ｑtsとされる。
【００５１】
このように決定された電荷量Ｑtsに対応する画素値で１フレームが構成され、１フレーム分の撮像信号が生成される。
【００５２】
すなわち本発明によれば、画像（動画または静止画）の撮影において、シャッタ時間内に限界電荷量を超える電荷が蓄積される場合であっても、シャッタ時間に蓄積され得た電荷量を推定するようにしたので、画素の限界電荷量Ｑ0に係らず、撮像素子１１の感度、あるいはダイナミックレンジを維持することができ、被写体の低輝度部分から高輝度部分までの広い輝度帯域で画像の階調情報を失わないようにすることができる。
【００５３】
図１に戻り撮像信号生成部１２の構成例について説明する。
【００５４】
選択部２１は、撮像素子１１の各画素を１個ずつ順番に選択し、選択した画素に蓄積された電荷の大きさに応じた信号（例えば、電圧信号）を比較器２３に供給する。
【００５５】
選択部２１はまた、カメラコントローラ１５から指令があったとき、いま選択している画素に蓄積されている電荷を、Ａ／Ｄ変換部２２に出力する。電荷を出力した画素の蓄積電荷は０となる。
【００５６】
Ａ／Ｄ変換部２２は、選択部２１から取得された電荷を、Ａ／Ｄ変換するとともに、Ａ／Ｄ変換の結果得られた電荷量を示す値（以下、適宜、単に、電荷量と称する）を記憶部２５に供給する。
【００５７】
比較部２３は、選択部２１から供給された信号に基づいて、選択されている画素の電荷が飽和したか否かを判定し、例えば飽和したと判定したときその旨を示す信号をカメラコントローラ１５に供給する。
【００５８】
具体的には、比較部２３は、限界電荷量Ｑ0と同じ値の閾値電荷量Ｑtを保持しており、その閾値電荷量Ｑtと、選択部２１からの信号から検知した電荷量を比較して、例えば電荷量が閾値電荷量Ｑt以上になったとき、その旨を示す信号をカメラコントローラ１５に供給する。
【００５９】
なお選択部２１への閾値電荷量Ｑtの設定は、この例の場合カメラコントローラ１５により行われるものとする。
【００６０】
カウンタ２４は、画像の諧調を表現するために必要な量子化段数を十分に満たす精度のカウント数で時間を計測する。カウンタ２４は、カメラコントローラ１５の制御に従ってカウントを開始し、カウント値を、例えばカメラコントローラ１５に供給する。
【００６１】
記憶部２５は、それぞれ対応する、Ａ／Ｄ変換部２２からの電荷量と、カメラコントローラ１５からのカウント値を対応付けて記憶する。なお記憶部２５に対応付けられて記憶される電荷量とカウント値を、以下において、適宜、それらが得られたときに選択されている画素の撮像情報と称する。
【００６２】
演算部２６は、カメラコントローラ１５の制御に従って、記憶部２５に記憶されている各画素の撮像情報を参照し、シャッタ時間Ｔs内に電荷量が閾値電荷量Ｑtに達した画素については、式（１）に基づいて、シャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを演算し、またシャッタ時間Ｔs内に電荷量が閾値電荷量Ｑtに達しなかった画素については、シャッタ期間終了時の電荷量Ｑeを、シャッタ時間Ｔsに蓄積された電荷量Ｑtsとし、それらの電荷量Ｑtsに対応する画素値で１フレームを構成し、１フレーム分の撮像信号を生成する。演算部２６は、生成した撮像信号をカメラ信号処理部１３に供給する。
【００６３】
次に、撮像信号生成処理を、図３のフローチャートを参照して説明する。
【００６４】
ステップＳ１において、シャッタ時間Ｔsの計測が開始される。具体的にはカメラコントローラ１５は、カウント開始の指令を撮像信号生成部１２のカウンタ２４に出力する。カウンタ２４は、カウントを開始し、カウント値のカメラコントローラ１５への出力を開始する。
【００６５】
ステップＳ２において、カメラコントローラ１５は、撮像信号生成部１２の選択部２１を制御して、後述するステップＳ４で撮像情報が記憶されていない画素を１つ選択させる。選択部２１は、カメラコントローラ１５により指定された画素（撮像情報が記憶されていない画素）を１つ選択して、その画素に蓄積されている電荷の大きさを示す信号（電圧信号）の比較器２３への供給を開始する。
【００６６】
比較部２３は、選択部２１から供給された信号からいま選択されている画素の電荷量を検知し、電荷量が閾値電荷量Ｑtに達したか否かを判定し、閾値電荷量Ｑtに達したと判定したとき、その旨を示す信号を、カメラコントローラ１５に供給する処理を開始する。
【００６７】
ステップＳ３において、カメラコントローラ１５は、いま選択されている画素の電荷量が閾値電荷量Ｑtに達したか否かを判定する。この例の場合カメラコントローラ１５は、比較部２３から、画素の電荷量が閾値電荷量Ｑtに達した旨を示す信号が入力されたか否かを判定する。
【００６８】
ステップＳ３で、いま選択されている画素の電荷量が閾値電荷量Ｑtに達したと判定された場合、ステップＳ４に進み、このときの電荷量（すなわち閾値電荷量Ｑt（＝限界電荷量Ｑ0））と、シャッタ期間が開始されてから電荷量が閾値電荷量Ｑtに達するまでの閾値到達時間Ｔqtが、いま選択されている画素の撮像情報として記憶される。
【００６９】
具体的には、カメラコントローラ１５はこのとき、電荷出力を指令する信号を選択部２１に出力する。これにより選択部２１は、いま選択している画素の電荷をＡ／Ｄ変換部２２に出力し、Ａ／Ｄ変換部２２は、そのＡ／Ｄ変換の結果得られた値、すなわち閾値電荷量Ｑt（＝限界電荷量Ｑ0）に相当する値を、記憶部２５に出力する。カメラコントローラ１５はこのときまた、カウンタ２４のカウント値、すなわち閾値到達時間Ｔqtに対応するカウント値を記憶部２５に供給する。
【００７０】
記憶部２５は、Ａ／Ｄ変換部２２から供給された閾値電荷量Ｑt（＝限界電荷量Ｑ0）と、カメラコントローラ１５から供給された閾値到達時間Ｔqtを対応付けて記憶する。
【００７１】
ステップＳ３で、電荷量が閾値電荷量Ｑtに達していないと判定された場合、ステップＳ５に進み、シャッタ期間が終了したか否かが判定される。具体的にはカメラコントローラ１５は、カウンタ２４からのカウント値が、シャッタ時間Ｔsをカウントした場合のカウント値と同じ値になったか否かを判定する。
【００７２】
ステップＳ４で、撮像情報が記憶部２５に記憶されたとき、またはステップＳ５で、シャッタ期間が終了していないと判定されたとき、ステップＳ６に進む。
【００７３】
ステップＳ６において、カメラコントローラ１５は、ステップＳ４で撮像情報が記憶されていない画素が存在するか否かを判定し、まだ存在すると判定した場合、ステップＳ２に戻る。すなわちステップＳ２で、ステップＳ４で撮像情報が記憶されていない画素が新たに選択され、選択されたその画素についてステップＳ３乃至ステップＳ６の処理が同様に行われる。
【００７４】
ステップＳ５で、シャッタ期間が終了したと判定された場合、ステップＳ７に進み、ステップＳ４で撮像情報が記憶されていないすべての画素のそれぞれの、いまの時点（すなわち、シャッタ期間終了時）の電荷量Ｑeとシャッタ時間Ｔsがその画素の撮像情報として記憶部２５に記憶される。
【００７５】
具体的には、カメラコントローラ１５の制御に従って、選択部２１によりステップＳ４で撮像情報が記憶されていない画素が順次選択され、選択された画素にいま蓄積されている電荷がＡ／Ｄ変換部２２でＡ／Ｄ変換されるとともに、そのＡ／Ｄ変換の結果が記憶部２５に供給される。そしてシャッタ時間Ｔsをカウントしたときのカウント値がカメラコントローラ１５から記憶部２５に供給される。記憶部２５は、Ａ／Ｄ変換部２２から供給された各画素の電荷量Ｑeと、カメラコントローラ１５から供給されたシャッタ時間Ｔsを対応付けて記憶する。
【００７６】
ステップＳ６で、ステップＳ４で撮像情報が記憶されていない画素が存在しないと判定された場合、またはステップＳ７で撮像情報が記憶部２５に記憶されたとき、すなわち撮像素子１１のすべての画素の撮像情報が記憶部２５に記憶されたとき、ステップＳ８に進み、カメラコントローラ１５は、撮像信号生成部１２の演算部２６を制御して、記憶部２５に記憶された各画素の撮像情報に基づいて、１フレーム分の撮像信号を生成させる。
【００７７】
具体的には、演算部２６は、記憶部２５に、撮像情報として、シャッタ時間Ｔsを示すカウント値に対応付けられて電荷量（すなわち電荷量Ｑe）が記憶されている場合、その電荷量Ｑeを、その画素の、シャッタ時間Ｔsに蓄積された電荷量Ｑtsとする。
【００７８】
また撮像情報として、閾値到達時間Ｔqtを示すカウント値（すなわちシャッタ時間Ｔsを示すカウント値より小さいカウント値）に対応付けられて電荷量（すなわち閾値電荷量Ｑt（＝限界電荷量Ｑ0））が記憶されている場合、演算部２６は、その閾値電荷量Ｑt（＝限界電荷量Ｑ0）と閾値到達時間Ｔqtを用いて式（１）を演算し、その画素の、シャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを算出する。なお演算部２６は、シャッタ時間Ｔsを予め記憶しているものとする。
【００７９】
演算部２６は、このようにして決定した電荷量Ｑtsに対応する画素値で１フレームを構成し、１フレーム分の撮像信号を生成する。演算部２６は、生成した撮像信号をカメラ信号処理部１３に供給する。
【００８０】
以上のように、シャッタ時間Ｔs内に電荷が飽和する画素については、その時間Ｔsに蓄積され得た電荷量を推定するようにしたので、画素の限界電荷量Ｑ0に係らず、撮像素子１１の感度、あるいはダイナミックレンジを維持することができ、被写体の低輝度部分から高輝度部分までの広い輝度帯域で画像の階調情報を失わないようにすることができる。
【００８１】
なお以上においては、閾値電荷量Ｑtが、撮像情報として、記憶部２５に記憶されたが、閾値電荷量Ｑtは、この例の場合、既知の限界電荷量Ｑ0であるので、撮像情報として記憶せずに、演算部２６が保持して式（１）を演算するようにすることもできる。またシャッタ時間Ｔsについても、撮像情報として記憶せずに、式（１）を演算するために演算部２６が記憶している時間Ｔsを利用することもできる。
【００８２】
また以上においては、閾値電荷量Ｑtを限界電荷量Ｑ0に固定したが（図２）、閾値電荷量Ｑtを、図４に示すように段階的に変化させることができる。
【００８３】
図４の例では、閾値電荷量Ｑtは、シャッタ時間Ｔsの間に限界電荷量Ｑ0から０に段階的に減少するようになされている。この場合、すべての画素の電荷量は、シャッタ時間Ｔs内に必ず閾値電荷量Ｑtに到達するので、すべての画素について、そのときの閾値電荷量Ｑtと閾値到達時間Ｔqtを用いて式（１）を演算することで、シャッタ時間Ｔsで蓄積され得た電荷量Ｑtsを推定することができる。
【００８４】
閾値電荷量Ｑtが図４に示すように段階的に変化する場合の撮像信号生成処理を、図５のフローチャートを参照して説明する。
【００８５】
ステップＳ１１において、図３のステップＳ１の場合と同様に、シャッタ時間の計測が開始される。
【００８６】
ステップＳ１２において、ステップＳ２の場合と同様に、後述するステップＳ１４で撮像情報が記憶されていない画素が１つ選択される。
【００８７】
ステップＳ１３において、ステップＳ３の場合と同様に、いま選択されている画素の電荷量が現時点の閾値電荷量Ｑtに達したか否かが判定される。
【００８８】
ステップＳ１３で、いま選択された画素の電荷量が現時点の閾値電荷量Ｑtに達したと判定された場合、ステップＳ１４に進み、ステップＳ４の場合と同様にそのときの電荷量（すなわち閾値電荷量Ｑt）と閾値到達時間Ｔqtが、いま選択されている画素の撮像情報として記憶部２５に記憶される。
【００８９】
ステップＳ１３で、電荷量が現時点での閾値電荷量Ｑtに達していないと判定された場合、またはステップＳ１４で、いま選択されている画素の撮像情報が記憶された場合、ステップＳ１５に進み、カメラコントローラ１５は、比較部２３にいま設定されている閾値電荷量Ｑtを、１段階小さい値に設定する。なおここでの閾値電荷量Ｑtの変更の大きさおよびタイミングは、図４に示したように、シャッタ時間Ｔs内に限界電荷量Ｑ0から０に直線的に減少するように制御される。
【００９０】
次にステップＳ１６において、カメラコントローラ１５は、ステップＳ１４で撮像情報が記憶されていない画素が存在するか否かを判定し、存在すると判定した場合、ステップＳ１２に戻る。すなわちステップＳ１２で撮像情報が記憶されていない画素が新たに選択され、選択された画素についてステップＳ１３乃至ステップＳ１６の処理が同様に行われる。
【００９１】
ステップＳ１６で、撮像情報が記憶されていない画素が存在しないと判定された場合、すなわちすべての画素の撮像情報が記憶された場合、ステップＳ１７に進み、カメラコントローラ１５は、撮像信号生成部１２の演算部２６を制御して記憶部２５に記憶された各画素の撮像情報に基づいて撮像信号を生成させる。
【００９２】
演算部２６は、記憶部２５に記憶されている各画素の撮像情報を用いて式（１）を演算し、各画素のシャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを算出する。
【００９３】
演算部２６は、このように算出した電荷量Ｑtsに対応する画素値で１フレームを構成し、１フレーム分の撮像信号を生成する。演算部２６は、生成した撮像信号をカメラ信号処理部１３に供給する。
【００９４】
以上のようにして図１の例において閾値電荷量Ｑtが、図４に示すように段階的に変化する場合の撮像信号生成処理が行われる。
【００９５】
図６は、本発明を適用した他のビデオカメラ１の構成例を示している。このビデオカメラ１には、図１のビデオカメラ１の撮像信号生成部１２に代えて撮像信号生成部３１が設けられている。
【００９６】
撮像信号生成部３１の構成について説明する。
【００９７】
記憶制御部４１−１，４１−２，・・・は、撮像素子１１の画素毎に設けられている。各記憶制御部４１は、閾値電荷量Ｑtを限界電荷量Ｑ0とし、対応する画素の電荷量が、シャッタ時間Ｔs内に閾値電荷量Ｑtに達したか否かを判定し、達した場合、その画素の撮像情報として、閾値電荷量Ｑt（＝限界電荷量Ｑ0）と閾値到達時間Ｔqtを記憶し、またシャッタ時間Ｔs内に閾値電荷量Ｑtに達しなかった場合、その画素の撮像情報として、シャッタ期間終了時の電荷量Ｑeとシャッタ時間Ｔsを記憶する。
【００９８】
カウンタ４２は、図１のカウンタ２４と同様に、画像の諧調を表現するために必要な量子化段数を十分に満たす精度のカウント数で時間を計測することができる。カウンタ４２は、カメラコントローラ１５の制御に従ってカウントを開始し、カウント値を、各記憶制御部４１（の制御部５５）に供給する。
【００９９】
演算部４３は、カメラコントローラ１５の制御に従って、各記憶制御部４１（の記憶部５４）に記憶された各画素の撮像情報を参照し、シャッタ時間Ｔs内に電荷量が閾値電荷量Ｑtに達した画素については式（１）を演算して、シャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを算出し、シャッタ時間Ｔs内に電荷量が閾値電荷量Ｑtに達しなかった画素については、シャッタ期間終了時の電荷量Ｑeを、シャッタ時間Ｔsに蓄積された電荷量Ｑtsとする。演算部２６は、このようにして決定した電荷量Ｑtsに対応する画素値で１フレームを構成して１フレーム分の撮像信号を生成し、カメラ信号処理部１３に供給する。
【０１００】
次に、撮像信号生成部３１の記憶制御部４１の構成について説明する。
【０１０１】
入力部５１は、記憶制御部４１が対応する画素の電荷量の大きさに応じた信号（電圧信号）を比較部５３に供給する。入力部５１はまた、制御部５５から指令があったとき、対応する画素の電荷をＡ／Ｄ変換部５２に供給する。なおこのように電荷を出力すると、画素の蓄積電荷は０となる。
【０１０２】
Ａ／Ｄ変換部５２は、入力部５１から供給された電荷をＡ／Ｄ変換するとともに、そのＡ／Ｄ変換の結果得られた電荷量を示す値を記憶部５４に供給する。
【０１０３】
比較部５３は、入力部５１から供給された信号に基づいて、記憶制御部４１に対応する画素の電荷が飽和したか否かを判定し、例えば飽和したと判定したときその旨を示す信号を制御部５５に供給する。
【０１０４】
具体的には、比較部５３は、限界電荷量Ｑ0と同じ値の閾値電荷量Ｑtを保持しており、その閾値電荷量Ｑtと、入力部５１からの信号から検知した電荷量を比較して、例えば電荷量が閾値電荷量Ｑt以上になったとき、その旨を示す信号を制御部５５に供給する。
【０１０５】
記憶部５４は、それぞれ対応する、Ａ／Ｄ変換部５２からの電荷量と制御部５５からのカウント値を、記憶制御部４１に対応する画素の撮像情報として記憶する。
【０１０６】
制御部５５は、記憶制御部４１の各部を制御する。
【０１０７】
次に撮像信号生成部４１の撮像信号生成処理を、図７のフローチャートを参照して説明する。
【０１０８】
ステップＳ５１において、図３のステップＳ１の場合と同様に、シャッタ時間の計測が開始される。
【０１０９】
ステップＳ５２において、各記憶制御部４１において記憶制御処理が行われる。各記憶制御部４１で行われるこの記憶制御処理について、図８のフローチャートを参照して説明する。
【０１１０】
ステップＳ６１において、対応する画素の電荷量が閾値電荷量Ｑtに達したか否かが判定される。いまの場合制御部５５は、比較部５３から、画素の電荷量が閾値電荷量Ｑtに達した旨を示す信号が入力されたか否かを判定する。
【０１１１】
ステップＳ６１で、対応する画素の電荷量が閾値電荷量Ｑtに達したと判定された場合、ステップＳ６２に進み、このときの電荷量（すなわち閾値電荷量Ｑt（＝限界電荷量Ｑ0））と閾値到達時間Ｔqtが、撮像情報として記憶される。
【０１１２】
具体的には、制御部５５はこのとき、電荷出力を指令する信号を入力部５１に出力する。これにより入力部５１は、記憶制御部４１に対応する画素の電荷をＡ／Ｄ変換部５２に供給し、Ａ／Ｄ変換部５２は、Ａ／Ｄ変換の結果得られた値、すなわち閾値電荷量Ｑt（＝限界電荷量Ｑ0）を、記憶部５４に出力する。制御部５５はこのときまた、カウンタ４２のカウント値、すなわち、閾値到達時間Ｔqtに対応するカウント値を記憶部５４に供給する。
【０１１３】
記憶部５４は、Ａ／Ｄ変換部５２から供給された閾値電荷量Ｑt（＝限界電荷量Ｑ0）と、制御部５５から供給された閾値到達時間Ｔqtを対応させて記憶する。
【０１１４】
ステップＳ６１で、電荷量が閾値電荷量Ｑtに達していないと判定された場合、ステップＳ６３に進み、シャッタ期間が終了したか否かが判定される。具体的には制御部５５は、カウンタ４２からのカウント値が、シャッタ時間Ｔsをカウントした場合のカウント値と同じ値になったか否かを判定する。
【０１１５】
ステップＳ６３で、シャッタ期間が終了していないと判定された場合、処理はステップＳ６１に戻り、それ以降の処理が同様に行われる。
【０１１６】
ステップＳ６３で、シャッタ期間が終了したと判定された場合、ステップＳ６４に進み、対応する画素の現時点、すなわちシャッタ期間終了時の電荷量Ｑeとシャッタ時間Ｔsが、撮像情報として記憶部５４に記憶される。
【０１１７】
具体的には、制御部５５の制御に従って、対応する画素のいま蓄積されている電荷が入力部５１からＡ／Ｄ変換部５２に供給されて、Ａ／Ｄ変換されるとともに、その結果得られた電荷量Ｑeが記憶部５４に供給される。そしてシャッタ期間Ｔsをカウントしたときのカウント値が制御部５５から記憶部５４に供給される。記憶部５４は、Ａ／Ｄ変換部５２から供給された電荷量Ｑeと、制御部５５から供給されたシャッタ時間Ｔsを対応付けて記憶する。
【０１１８】
各記憶制御部４１において、ステップＳ６２またはステップＳ６４の処理が行われ、各画素の撮像情報が記憶されたとき、図７のステップＳ５３に進み、カメラコントローラ１５は、撮像信号生成部３１の演算部４３を制御して各記憶制御部４１（の記憶部５４）に記憶された撮像情報に基づいて撮像信号を生成させる。
【０１１９】
演算部４３は、各記憶制御部４１（の記憶部５４）に、撮像情報として、シャッタ時間Ｔsを示すカウント値に対応付けられて電荷量（すなわち電荷量Ｑe）が記憶されている場合、その電荷量Ｑeを、その画素の、シャッタ時間Ｔsに蓄積された電荷量Ｑtsとする。
【０１２０】
また撮像情報として、閾値到達時間Ｔqtを示すカウント値（すなわちシャッタ時間Ｔsを示すカウント値より小さいカウント値）に対応付けられて電荷量（すなわち閾値電荷量Ｑt（＝限界電荷量Ｑ0））が記憶されている場合、演算部４３は、その閾値電荷量Ｑt（＝限界電荷量Ｑ0）と閾値到達時間Ｔqtを用いて式（１）を演算し、その画素の、シャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを算出する。
【０１２１】
演算部４３は、このようにして決定した電荷量Ｑtsに対応する画素値で１フレームを構成して１フレーム分の撮像信号を生成し、生成した撮像信号をカメラ信号処理部１３に供給する。
【０１２２】
以上のように撮像素子１１の各画素に対応する記憶制御部４１を設けた場合の撮像信号生成処理が行われる。
【０１２３】
なお上述した図６の例では、閾値電荷量Ｑtを限界電荷量Ｑ0に固定したが（図２）、図４に示したように、閾値電荷量Ｑtを段階的に変化させることもできる。
【０１２４】
図４に示すように閾値電荷量Ｑtが段階的に変化する場合の撮像信号生成部３１の撮像信号生成処理を、図９のフローチャートを参照して説明する。
【０１２５】
ステップＳ７１において、図７のステップＳ５１の場合と同様に、シャッタ時間の計測が開始される。
【０１２６】
ステップＳ７２において、各記憶制御部４１において記憶制御処理が行われる。各記憶制御部４１で行われるこの記憶制御処理について、図１０のフローチャートを参照して説明する。
【０１２７】
ステップＳ８１において、図８のステップＳ６１の場合と同様に、対応する画素の電荷量が閾値電荷量Ｑtに達したか否かが判定される。
【０１２８】
ステップＳ８１で、対応する画素の電荷量が閾値電荷量Ｑtに達していないと判定された場合、ステップＳ８２に進み、記憶制御部４１の制御部５５は、比較部５３にいま設定されている閾値電荷量Ｑtを、１段階小さい値に設定する。なおここでの閾値電荷量Ｑtの変更は、図４に示したように段階的に変化するように制御される。
【０１２９】
その後、ステップＳ８１に戻りそれ以降の処理が同様に行われる。
【０１３０】
ステップＳ８１で、対応する画素の電荷量が閾値電荷量Ｑtに達したと判定された場合、ステップＳ８３に進み、図８のステップＳ６２の場合と同様に、対応する画素のそのときの電荷量（すなわち閾値電荷量Ｑt）と閾値到達時間Ｔqtが、対応する画素の撮像情報として記憶部５４に記憶される。
【０１３１】
なお閾値電荷量Ｑtは、図４に示すように、シャッタ時間Ｔs内に限界電荷量Ｑ0から０に段階的に変化するので、記憶制御部４１に対応する電荷の電荷量は、シャッタ時間Ｔs内に必ず閾値電荷量Ｑtに到達する。
【０１３２】
各記憶制御部４１においてステップＳ８３の処理が行われ、各画素の撮像情報が記憶されたとき、図９のステップＳ７３に進み、カメラコントローラ１５は、撮像信号生成部３１の演算部４３を制御して、各記憶制御部４１（の記憶部５４）に記憶された各画素の撮像情報に基づいて、１フレーム分の撮像信号を生成させる。
【０１３３】
この場合、演算部４３は、撮像情報として記憶されている閾値電荷量Ｑtと閾値到達時間Ｔqtを用いて式（１）を演算し、各画素の、シャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを算出する。
【０１３４】
演算部４３は、このようにして算出した電荷量Ｑtsに対応する画素値で１フレームを構成して１フレーム分の撮像信号を生成し、生成した撮像信号をカメラ信号処理部１３に供給する。
【０１３５】
以上のようにして図６の例において閾値電荷量Ｑtが図４に示すように段階的に変化する場合の撮像信号生成処理が行われる。
【０１３６】
なお図４に示すように閾値電荷量Ｑtが段階的に変化する場合、上述したように式（１）を演算して、シャッタ時間Ｔsに蓄積され得る電荷量Ｑtsを算出するようにしたが、閾値電荷量Ｑtの推移は、図４の例の場合、式（２）で表すことができることから、シャッタ時間Ｔsに蓄積され得る電荷量を、式（３）で演算することができる。
【０１３７】
【数２】


【０１３８】
【数３】


【０１３９】
すなわちこの場合、限界電荷量Ｑ0とシャッタ時間Ｔsが既知であるので、閾値到達時間Ｔqtを記憶しておくだけで、電荷量Ｑtsを推定することができ、式（１）を用いる場合と異なり、閾値電荷量Ｑtを撮像情報として記憶する必要がないので、図１１に示すように、例えば図６に示す撮像信号生成部３１の各記憶制御部４１からＡ／Ｄ変換部５２を省くことができる。なおその図示は省略するが、図１に示す撮像信号生成部１２からＡ／Ｄ変換部２２を省くこともできる。
【０１４０】
この場合各記憶制御部４１の記憶部５４は、制御部５５から供給されたカウント値を、記憶制御部４１に対応する画素の撮像情報として記憶する。そして演算部４３は、式（３）を演算して、各画素のシャッタ時間Ｔsで蓄積され得た電荷量Ｑtsを算出する。
【０１４１】
図１１の撮像信号生成部３１における撮像信号生成処理を、図１２のフローチャートを参照して説明する。
【０１４２】
ステップＳ１０１において、図９のステップＳ７１の場合と同様に、シャッタ時間の計測が開始される。
【０１４３】
ステップＳ１０２において、各記憶制御部４１において記憶制御処理が行われる。各記憶制御部４１で行われるこの記憶制御処理について、図１３のフローチャートを参照して説明する。
【０１４４】
ステップＳ１１１およびステップＳ１１２においては、図１０のステップＳ８１およびステップＳ８２における場合と同様の処理が行われるので、その説明は省略する。
【０１４５】
ステップＳ１１１で、対応する画素の電荷量が閾値電荷量Ｑtに達したと判定された場合、ステップＳ１１３に進み、閾値到達時間Ｔqtのみが、対応する画素の撮像情報として記憶部５４に記憶される。
【０１４６】
各記憶制御部４１においてステップＳ１１３の処理が行われ、各画素の撮像情報が記憶されたとき、図１２のステップＳ１０３に進み、カメラコントローラ１５は、撮像信号生成部３１の演算部４３を制御して、各記憶制御部４１（の記憶部５４）に記憶された撮像情報に基づいて各画素の電荷量を演算させる。
【０１４７】
演算部４３は、撮像情報として記憶されている閾値到達時間Ｔqtを用いて式（３）を演算し、各画素の、シャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを算出する。なお演算部４３は、限界電荷量Ｑ0とシャッタ時間Ｔsを予め記憶しているものとする。
【０１４８】
演算部４３は、このようにして算出した電荷量Ｑtsに対応する画素値で１フレームを構成して１フレーム分の撮像信号を生成し、生成した撮像信号をカメラ信号処理部１３に供給する。
【０１４９】
図１４は、本発明を適用したビデオカメラ１の他の構成例を示している。このビデオカメラ１には、図１の撮像信号生成部１２に代えて撮像信号生成部６１が設けられ、カメラコントローラ１５に代えてカメラコントローラ６２が設けられている。他の部分は、図１における場合と同じ符号を付し、適宜説明を省略する。
【０１５０】
撮像信号生成部６１は、図１５に示すように、限界電荷量Ｑ0を閾値電荷量Ｑtとし、シャッタ時間Ｔs内に電荷量が閾値電荷量Ｑtに達したとき、その電荷を消失させて再び電荷の蓄積を開始させるとともに、その回数をカウントし、その回数（図１５の例の場合、３回）と、シャッタ期間終了時の電荷量Ｑeを用いて式（４）を演算して、シャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを算出する。
【０１５１】
【数４】


【０１５２】
式（４）中、Ｑtは、閾値電荷量、ｎは、電荷が消失された回数、Ｑeは、シャッタ期間終了時の電荷量である。またＴsは、シャッタ時間であり、Ｔrは、電荷が消失されてから、電荷の蓄積が再開されるまでのタイムラグに相当する時間である。
【０１５３】
なおシャッタ時間Ｔs内に電荷量が閾値電荷量Ｑtに達しない場合は、ｎ＝０とされて、式（４）が演算されるので、シャッタ期間終了時の電荷量Ｑeが、電荷量Ｑtsとなる。
【０１５４】
図１４に戻りカメラコントローラ６２は、撮像信号生成部６１を制御して、撮像素子１１の各画素について、電荷を消失した回数ｎ、シャッタ期間終了時の電荷量Ｑeを、各画素の撮像情報として記憶させ、その撮像情報に基づいて式（４）を演算させ、そして各電荷のシャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを算出させる。
【０１５５】
撮像信号生成部６１の構成例について説明する。
【０１５６】
選択部７１は、撮像素子１１の各画素を１個ずつ順番に選択し、選択した画素の電荷の大きさに応じた信号（例えば、電圧信号）を比較器７３に供給する。
【０１５７】
選択部７１はまた、カメラコントローラ６２から指令があったとき（この例の場合、画素の電荷量が閾値電荷量Ｑtに達したときまたはシャッタ期間が終了したとき）、いま選択している画素に蓄積されている電荷を、Ａ／Ｄ変換部７２に出力する。電荷が出力されると、画素の蓄積電荷は０となるが（消失するが）、シャッタ期間中ではその後電荷の蓄積が開始される。
【０１５８】
Ａ／Ｄ変換部７２は、選択部７１から供給された電荷を、Ａ／Ｄ変換するとともに、カメラコントローラ６２から指令があったとき（この例の場合、シャッタ期間が終了したとき）、そのときのＡ／Ｄ変換の結果得られた電荷量を示す値（すなわち、電荷量Ｑe）を記憶部７５に供給する。
【０１５９】
比較部７３は、選択部７１から供給された信号に基づいて、選択されている画素の電荷が飽和したか否かを判定し、例えば飽和したと判定した場合、その旨を示す信号をカメラコントローラ６２に供給する。
【０１６０】
具体的には、比較部７３は、限界電荷量Ｑ0と同じ値の閾値電荷量Ｑtを保持しており、その閾値電荷量Ｑtと、選択部７１からの信号から検知した電荷量を比較して、例えば電荷量が閾値電荷量Ｑt以上になったとき、その旨を示す信号をカメラコントローラ６２に供給する。
【０１６１】
なお比較部７３への閾値電荷量Ｑtの設定は、この例の場合カメラコントローラ６２により行われるものとする。
【０１６２】
カウンタ７４は、画像の諧調を表現するために必要な量子化段数を十分に満たす精度のカウント数で時間を計測する。カウンタ７４は、カメラコントローラ６２の制御に従ってカウントを開始し、カウント値を、例えばカメラコントローラ６２に供給する。
【０１６３】
記憶部７５は、それぞれ対応する、Ａ／Ｄ変換部７２からの電荷量（この例の場合、シャッタ期間終了時の電荷量Ｑe）と、カメラコントローラ６２からの消失回数ｎを対応付けて、それらが得られた画素の撮像情報として記憶する。
【０１６４】
演算部７６は、カメラコントローラ６２の制御に応じて、記憶部７５に記憶されている各画素の撮像情報を用いて式（４）を演算し、シャッタ時間Ｔsに蓄積される電荷量Ｑtsを算出する。なお演算部７６は、式（４）を演算する上で必要な撮像情報以外の時間Ｔs、Ｔrを、予め保持しているものとする。演算部４３は、決定した電荷量Ｑtsに対応する画素値で１フレームを構成して１フレーム分の撮像信号を生成し、生成した撮像信号をカメラ信号処理部１３に供給する。
【０１６５】
次に、撮像信号生成部６１の撮像信号生成処理を、図１６のフローチャートを参照して説明する。
【０１６６】
ステップＳ１５１において、図３のステップＳ１における場合と同様に、シャッタ時間の計測が開始される。
【０１６７】
ステップＳ１５２において、撮像素子１１の画素が所定の順番で１つ選択される。
【０１６８】
ステップＳ１５３において、図３のステップＳ３における場合と同様に、いま選択されている画素の電荷量が閾値電荷量Ｑtに達したか否かが判定され、いま選択されている画素の電荷量が閾値電荷量Ｑtに達したと判定された場合、ステップＳ１５４に進む。
【０１６９】
ステップＳ１５４において、いま選択されている電荷が消失され、その回数がカウントされる。
【０１７０】
具体的にはカメラコントローラ６２は、選択部７１およびＡ／Ｄ変換部７２に対して、出力指令を出力する。これにより選択部７１は、いま選択している電荷をＡ／Ｄ変換部７２に出力し、Ａ／Ｄ変換部７２は、そのＡ／Ｄ変換の結果得られた値（すなわち、電荷量Ｑe）を記憶部７５に出力する。このときいま選択されている画素の電荷が消失する。カメラコントローラ６２はまた、内蔵するカウンタの値を１だけインクリメントし、いま選択されている画素について、電荷が消失した回数ｎをカウントする。なおこのカウンタの値は、処理開始時に０に初期化されている。
【０１７１】
次にステップＳ１５５において、図３のステップＳ５における場合と同様にシャッタ期間が終了したか否かが判定され、終了していないと判定された場合、ステップＳ１５１に戻る。すなわち次の画素が選択され、その画素についてステップＳ１５３乃至ステップＳ１５５の処理が同様に行われる。なおシャッタ期間が終了するまではステップＳ１５２乃至ステップＳ１５５の処理が繰り返し行われるので、１度選択された画素も、シャッタ期間が終了するまでは繰り返し選択され得る。
【０１７２】
ステップＳ１５５で、シャッタ期間が終了したと判定された場合、ステップＳ１５６に進み、すべての画素のそれぞれの、いまの時点（すなわち、シャッタ期間終了時）の電荷量Ｑeと消失回数ｎが各画素の撮像情報として記憶部７５に記憶される。
【０１７３】
具体的には、カメラコントローラ６２の制御に従って、選択部７１により画素が順次選択され、選択された画素のいま蓄積されている電荷がＡ／Ｄ変換部７２でＡ／Ｄ変換されるとともに、記憶部７５に供給される。そして順次選択された画素の消失回数ｎがカメラコントローラ６２から記憶部７５に供給される。記憶部７５は、それぞれ対応する、Ａ／Ｄ変換部７２から供給された各画素の電荷量Ｑeと、カメラコントローラ６２から供給された消失回数ｎを対応付けて各画素の撮像情報として記憶する。
【０１７４】
次にステップＳ１５７に進み、カメラコントローラ６２は、撮像信号生成部６１の演算部７６を制御して、記憶部７５に記憶された各画素の撮像情報に基づいて１フレーム分の撮像信号を生成させる。
【０１７５】
具体的には、演算部７６は、記憶部７５に記憶されている各画素の撮像情報を用いて式（４）を演算し、各画素のシャッタ時間Ｔsに蓄積され得た電荷量Ｑtsを演算する。
【０１７６】
演算部７６は、このように算出した電荷量Ｑtsに対応する画素値で１フレームを構成し、１フレーム分の撮像信号を生成する。演算部７６は、生成した撮像信号をカメラ信号処理部１３に供給する。
【０１７７】
なお式（４）においては、電荷が消失されてから電荷の蓄積が再開されるまでのタイムラグ時間Ｔrを考慮したが、その時間Ｔrは、シャッタ時間Ｔsと比較して、無視できるほど小さい場合は、式（４）においてＴr＝０とした式（５）を演算して電荷量Ｑtsを算出するようにすることもできる。
【０１７８】
【数５】


【０１７９】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１８０】
そこで、図１７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１８１】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。
【０１８２】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１８３】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０１８４】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０１８５】
ここで、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１８６】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１８７】
【図１】本発明を適用したビデオカメラ１の構成例を示すブロック図である。
【図２】撮像信号生成処理の原理を説明する図である。
【図３】撮像信号生成処理を説明するフローチャートである。
【図４】他の撮像信号生成処理の原理を説明する図である。
【図５】他の撮像信号生成処理を説明するフローチャートである。
【図６】本発明を適用したビデオカメラ１の他の構成例を示すブロック図である。
【図７】他の撮像信号生成処理を説明するフローチャートである。
【図８】記憶制御処理を説明するフローチャートである。
【図９】他の撮像信号生成処理を説明するフローチャートである。
【図１０】他の記憶制御処理を説明するフローチャートである。
【図１１】本発明を適用したビデオカメラ１の他の構成例を示すブロック図である。
【図１２】他の撮像信号生成処理を説明するフローチャートである。
【図１３】他の記憶制御処理を説明するフローチャートである。
【図１４】本発明を適用したビデオカメラ１の他の構成例を示すブロック図である。
【図１５】他の撮像信号生成処理の原理を説明する図である。
【図１６】他の撮像信号生成処理を説明するフローチャートである。
【図１７】パーソナルコンピュータの構成例を示す図である。
【符号の説明】
【０１８８】
１ ビデオカメラ， １１ 撮像素子， １２ 撮像信号生成部， １３ カメラ信号処理部， １４ 入力部， １５ カメラコントローラ， ２１ 選択部， ２２ Ａ／Ｄ変換部， ２３ 比較部， ２４ カウンタ， ２５ 記憶部， ２６ 演算部， ３１ 撮像信号生成部， ４１ 記憶制御部， ４２ カウンタ， ４３ 演算部， ５１ 入力部， ５２ Ａ／Ｄ変換部， ５３ 比較部， ５４ 記憶部， ５５ 制御部， ６１ 撮像信号生成部， ６２ カメラコントローラ， ７１ 選択部， ７２ Ａ／Ｄ変換部， ７３ 比較部， ７４ カウンタ， ７５ 記憶部， ７６ 演算部
【出願人】 【識別番号】０００００２１８５
【氏名又は名称】ソニー株式会社
【出願日】 平成１８年７月６日（２００６．７．６）
【代理人】 【識別番号】１０００８２１３１
【弁理士】
【氏名又は名称】稲本 義雄
【公開番号】 特開２００８−１７１７６（Ｐ２００８−１７１７６Ａ）
【公開日】 平成２０年１月２４日（２００８．１．２４）
【出願番号】 特願２００６−１８６５３９（Ｐ２００６−１８６５３９）