トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 撮像装置、及び電子ズーム方法
【発明者】 【氏名】中山 仁

【氏名】喜多 一記
【要約】 【課題】電子ズームを行う場合における信号処理負担を大幅に削減することが可能となる撮像装置、及び電子ズーム方法を提供する。

【構成】電子ズーム処理に際して、撮像素子を、撮像領域のうちの所定の選択領域における垂直方向及び／又は水平方向の所定の画素数分の信号電荷を加算した撮像信号を出力する選択領域加算モードで駆動する。そのときの選択領域の画像サイズを、（撮像領域の横サイズ／電子ズーム倍率ＤＺ）×（撮像領域の縦サイズ／電子ズーム倍率ＤＺ）に設定する。同時に、垂直・水平方向の信号電荷の画素加算数を、加算後の画像サイズが、スルー画像のサイズ等の必要な画像サイズ以上となる画素加算数（ｍ×ｎ）に制御するとともに、画素加算数（ｍ×ｎ）を、電子ズーム倍率ＤＺが低倍率になるほど大きくし、かつ高倍率になるほど小さくするよう段階的に切り替える。
【特許請求の範囲】
【請求項１】
電子ズーム機能を備えた撮像装置において、
被写体の光学像を光電変換し撮像信号として出力するとともに、駆動モードとして、撮像領域のうちの所定の選択領域における垂直方向及び／又は水平方向の所定の画素数分の信号電荷を加算した撮像信号を出力する選択領域加算モードを有する撮像素子と、
この撮像素子の駆動を制御し、前記撮像素子を前記選択領域加算モードで駆動させる駆動制御手段と、
この駆動制御手段の制御により前記撮像素子が選択領域加算モードで駆動されるときの前記選択領域の画像サイズを電子ズーム機能による電子ズーム倍率に基づき制御する領域制御手段と、
前記駆動制御手段の制御により前記撮像素子が選択領域加算モードで駆動されるときの垂直方向及び／又は水平方向の信号電荷の画素加算数を前記電子ズーム倍率に基づき制御する加算数制御手段と
を備えたことを特徴とする撮像装置。
【請求項２】
前記加算数制御手段は、前記画素加算数を、前記撮像素子における撮像領域の全領域の画像サイズと前記必要な画像サイズとにより決まる限度倍率に基づき、電子ズーム機能による電子ズーム倍率が低倍率になるほど大きくし、かつ高倍率になるほど小さくするよう段階的に切り替えることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記加算数制御手段は、前記限度倍率を、前記撮像素子における撮像領域の全領域の縦横方向の画像サイズをＸＦ，ＹＦとし、かつ必要な画像の画素サイズをＸＮ，ＹＮとして次式、
（ＸＦ／ＸＮ）、若しくは（ＹＦ／ＹＮ）
により計算することを特徴とする請求項２記載の撮像装置。
【請求項４】
前記電子ズーム倍率を使用者の要求に応じて設定するズーム倍率設定手段と、
このズーム倍率設定手段により設定可能な電子ズーム倍率を前記限度倍率以下に制限する倍率制限手段と
を備えたことを特徴とする請求項２又は３記載の撮像装置。
【請求項５】
前記撮像素子から出力された撮像信号に基づく画像のサイズを、前記必要な画像サイズに変換するサイズ変換手段を備えたことを特徴とする請求項２乃至４いずれか記載の撮像装置。
【請求項６】
前記撮像素子から読み出された撮像信号に基づく画像をスルー画像として表示する画像表示手段を備え、
前記必要な画素サイズは、前記画像表示手段に表示されるスルー画像の画像サイズである
ことを特徴とする請求項２乃至５いずれか記載の撮像装置。
【請求項７】
前記撮像素子から読み出された撮像信号を動画像を構成する画像データとして記録する画像記録手段を備え、
前記必要な画素サイズは、前記画像記録手段に記録される動画像の画像サイズである
ことを特徴とする請求項２乃至６いずれか記載の撮像装置。
【請求項８】
前記撮像素子は、各画素の信号電荷をデジタル変換する変換回路を撮像領域の列毎に有し、前記選択領域加算モードにおいて、撮像領域の前記選択領域の画素の信号電荷を前記変換回路により列毎にデジタル変換し、デジタル信号同士を加算して出力することを特徴とする請求項１乃至７いずれか記載の撮像装置。
【請求項９】
前記変換回路は比較器とカウンタとを含み、前記撮像素子は、前記選択領域加算モードにおいて、前記変換回路により複数行の画素の信号電荷を列毎にデジタル信号に変換する間に、カウンタをリセットせずに、継続してカウントアップすることにより垂直方向の画素加算を行うことを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記撮像素子は、前記選択領域加算モードにおいて、撮像領域の前記選択領域の画素の信号電荷を、アナログ撮像信号として加算した後に、デジタル信号に変換して出力することを特徴とする請求項１乃至７いずれか記載の撮像装置。
【請求項１１】
前記撮像素子は、各画素の信号電荷を転送する垂直方向及び／又は水平方向の転送路をそれぞれ有し、前記選択領域加算モードにおいて、前記転送路内で信号電荷を垂直方向及び／又は水平方向に加算することを特徴とする請求項１乃至７いずれか記載の撮像装置。
【請求項１２】
電子ズーム機能を備えた撮像装置における電子ズーム方法であって、
被写体の光学像を光電変換し撮像信号として出力する撮像素子を、撮像領域のうちの所定の選択領域における垂直方向及び／又は水平方向の所定の画素数分の信号電荷を加算した撮像信号を出力する選択領域加算モードで駆動するとともに、
この選択領域加算モードによる駆動時における前記選択領域の画像サイズを電子ズーム機能による電子ズーム倍率に基づき制御し、かつ垂直方向及び／又は水平方向の信号電荷の画素加算数を前記電子ズーム倍率に基づき制御する
ことを特徴とする電子ズーム方法。
【請求項１３】
電子ズーム機能を備えるとともに、駆動モードとして、撮像領域のうちの所定の選択領域における垂直方向及び／又は水平方向の所定の画素数分の信号電荷を加算した撮像信号を出力する選択領域加算モードを有する撮像素子を備えた撮像装置が有するコンピュータを、
前記撮像素子の駆動を制御し、前記撮像素子を前記選択領域加算モードで駆動させる駆動制御手段と、
この駆動制御手段の制御により前記撮像素子が選択領域加算モードで駆動されるときの前記選択領域の画像サイズを電子ズーム機能による電子ズーム倍率に基づき制御する領域制御手段と、
前記駆動制御手段の制御により前記撮像素子が選択領域加算モードで駆動されるときの垂直方向及び／又は水平方向の信号電荷の画素加算数を前記電子ズーム倍率に基づき制御する加算数制御手段と
して機能させるためのプログラム。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、電子ズーム機能を備えた撮像装置、及びその電子ズーム方法に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置における電子ズームでは、ＣＣＤ等の撮像素子により撮像した画像の一部を切り出し、切り出した画像を拡大又は縮小することによってズーム倍率に応じた大きさの被写体画像を得ることが行われていた。しかし、その場合には、いったん撮像した画像に対する切り出し処理や拡大又は縮小処理が不可欠であり、撮像時における信号の処理負担が大きくなる。これを解決する技術としては、例えば撮像素子から撮像信号を読み出すとき、同一のフィルタ色の複数画素の信号電荷を加算して読み出す「画素加算読出し」や、撮像素子から画素間引きをして信号電荷を読み出す「間引き読み出し」を行うことにより、つまり撮像信号として読み出す画像の画素数を削減することにより、撮像時における前述した切り出し処理等に要する信号の処理負担を低減するものが知られている（例えば下記特許文献１〜４参照）。
【特許文献１】特開２００４−１７２８４５号公報
【特許文献２】特開２００５−１９１８６７号公報
【特許文献３】特開２００４−７２２７８号公報
【特許文献４】特開２００４−９６６１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記のように画素加算読出しや間引き読み出しを行う方法によれば、撮像素子から撮像信号として読み出す画像の画素数を削減することはできるものの、撮像した画像から電子ズーム倍率に応じた所定領域の切り出し処理が依然として不可欠であり、また撮像素子から読み出す撮像信号には、切り出し処理に際して切り出される所定領域以外の画素の信号が含まれることとなる。係ることから、電子ズームに際して画素加算読出しや間引き読み出しを行ったとしても、撮像装置における信号処理負担の低減効果が未だ不十分であるという問題があった。
【０００４】
本発明は、かかる従来の課題に鑑みてなされたものであり、電子ズームを行う場合における信号処理負担を大幅に削減することが可能となる撮像装置、及び電子ズーム方法、それらの実現に使用されるプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するため、請求項１の発明にあっては、電子ズーム機能を備えた撮像装置において、被写体の光学像を光電変換し撮像信号として出力するとともに、駆動モードとして、撮像領域のうちの所定の選択領域における垂直方向及び／又は水平方向の所定の画素数分の信号電荷を加算した撮像信号を出力する選択領域加算モードを有する撮像素子と、この撮像素子の駆動を制御し、前記撮像素子を前記選択領域加算モードで駆動させる駆動制御手段と、この駆動制御手段の制御により前記撮像素子が選択領域加算モードで駆動されるときの前記選択領域の画像サイズを電子ズーム機能による電子ズーム倍率に基づき制御する領域制御手段と、前記駆動制御手段の制御により前記撮像素子が選択領域加算モードで駆動されるときの垂直方向及び／又は水平方向の信号電荷の画素加算数を前記電子ズーム倍率に基づき制御する加算数制御手段とを備えたものとした。
【０００６】
また、請求項２の発明にあっては、前記加算数制御手段は、前記画素加算数を、前記撮像素子における撮像領域の全領域の画像サイズと前記必要な画像サイズとにより決まる限度倍率に基づき、電子ズーム機能による電子ズーム倍率が低倍率になるほど大きくし、かつ高倍率になるほど小さくするよう段階的に切り替えるものとした。
【０００７】
また、請求項３の発明にあっては、前記加算数制御手段は、前記限度倍率を、前記撮像素子における撮像領域の全領域の縦横方向の画像サイズをＸＦ，ＹＦとし、かつ必要な画像の画素サイズをＸＮ，ＹＮとして次式、（ＸＦ／ＸＮ）、若しくは（ＹＦ／ＹＮ）により計算するものとした。
【０００８】
また、請求項４の発明にあっては、前記電子ズーム倍率を使用者の要求に応じて設定するズーム倍率設定手段と、このズーム倍率設定手段により設定可能な電子ズーム倍率を前記限度倍率以下に制限する倍率制限手段とを備えたものとした。
【０００９】
また、請求項５の発明にあっては、前記撮像素子から出力された撮像信号に基づく画像のサイズを、前記必要な画像サイズに変換するサイズ変換手段を備えたものとした。
【００１０】
また、請求項６の発明にあっては、前記撮像素子から読み出された撮像信号に基づく画像をスルー画像として表示する画像表示手段を備え、前記必要な画素サイズは、前記画像表示手段に表示されるスルー画像の画像サイズであるものとした。
【００１１】
また、請求項７の発明にあっては、前記撮像素子から読み出された撮像信号を動画像を構成する画像データとして記録する画像記録手段を備え、前記必要な画素サイズは、前記画像記録手段に記録される動画像の画像サイズであるものとした。
【００１２】
また、請求項８の発明にあっては、前記撮像素子は、各画素の信号電荷をデジタル変換する変換回路を撮像領域の列毎に有し、前記選択領域加算モードにおいて、撮像領域の前記選択領域の画素の信号電荷を前記変換回路により列毎にデジタル変換し、デジタル信号同士を加算して出力するものとした。
【００１３】
また、請求項９の発明にあっては、前記変換回路は比較器とカウンタとを含み、前記撮像素子は、前記選択領域加算モードにおいて、前記変換回路により複数行の画素の信号電荷を列毎にデジタル信号に変換する間に、カウンタをリセットせずに、継続してカウントアップすることにより垂直方向の画素加算を行うものとした。
【００１４】
また、請求項１０の発明にあっては、前記撮像素子は、前記選択領域加算モードにおいて、撮像領域の前記選択領域の画素の信号電荷を、アナログ撮像信号として加算した後に、デジタル信号に変換して出力するものとした。
【００１５】
また、請求項１１の発明にあっては、前記撮像素子は、各画素の信号電荷を転送する垂直方向及び／又は水平方向の転送路をそれぞれ有し、前記選択領域加算モードにおいて、前記転送路内で信号電荷を垂直方向及び／又は水平方向に加算するものとした。
【００１６】
また、請求項１２の発明にあっては、電子ズーム機能を備えた撮像装置における電子ズーム方法であって、被写体の光学像を光電変換し撮像信号として出力する撮像素子を、撮像領域のうちの所定の選択領域における垂直方向及び／又は水平方向の所定の画素数分の信号電荷を加算した撮像信号を出力する選択領域加算モードで駆動するとともに、この選択領域加算モードによる駆動時における前記選択領域の画像サイズを電子ズーム機能による電子ズーム倍率に基づき制御し、かつ垂直方向及び／又は水平方向の信号電荷の画素加算数を前記電子ズーム倍率に基づき制御する方法とした。
【００１７】
また、請求項１３の発明にあっては、電子ズーム機能を備えるとともに、駆動モードとして、撮像領域のうちの所定の選択領域における垂直方向及び／又は水平方向の所定の画素数分の信号電荷を加算した撮像信号を出力する選択領域加算モードを有する撮像素子を備えた撮像装置が有するコンピュータを、前記撮像素子の駆動を制御し、前記撮像素子を前記選択領域加算モードで駆動させる駆動制御手段と、この駆動制御手段の制御により前記撮像素子が選択領域加算モードで駆動されるときの前記選択領域の画像サイズを電子ズーム機能による電子ズーム倍率に基づき制御する領域制御手段と、前記駆動制御手段の制御により前記撮像素子が選択領域加算モードで駆動されるときの垂直方向及び／又は水平方向の信号電荷の画素加算数を前記電子ズーム倍率に基づき制御する加算数制御手段として機能させるためのプログラムとした。
【発明の効果】
【００１８】
本発明によれば、電子ズームを行う場合における信号処理負担を大幅に削減することが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態を図にしたがって説明する。
（実施形態１）
【００２０】
図１は、本発明の各実施形態に共通するデジタルカメラの全体構成を示すブロック図である。図に示すように、デジタルカメラは、撮影光学系１と、撮影光学系１により結像された被写体の光学像を電気信号に変換するイメージセンサ２、イメージセンサ２から出力された撮像信号を処理するＤＳＰ（Digital Signal Processor、デジタル信号処理回路）３を有している。
【００２１】
前記撮影光学系１は、光軸上に配置された焦点レンズ５、ズームレンズ６、絞り７、メカニカルシャッタ８から構成され、各々が、制御回路１０から送られる制御信号に従いドライバブロック９における各駆動回路（図で焦点レンズ駆動やズームレンズ駆動等）が生成する駆動信号によって適宜駆動される。
【００２２】
制御回路１０は、主としてＣＰＵ１１と、ＣＰＵ１１にデータバス１２を介してそれぞれ接続されたインタフェース１３、音声入出力回路１４、入力回路１５、メモリカード・インタフェース１６、ＵＳＢコントローラ１７、ハードディスク・インタフェース１８といった周辺回路から構成されている。
【００２３】
前記ＤＳＰ３は制御回路１０に接続され、また画像データバス１９を介して前記インタフェース１３にも接続されており、ＣＰＵ１１によって制御される。前記インタフェース１３には、画像データバス１９を介してバッファメモリ２０と、画像ＣＯＤＥＣ（Coder & Decoder、符号器／復号器）２１、動画像ＣＯＤＥＣ２２、表示駆動回路２３が接続され、表示駆動回路２３にＬＣＤ（液晶表示器）２４が接続されている。また、前記制御回路１０内のデータバス１２には、音声ＣＯＤＥＣ（Coder & Decoder、符号器／復号器）２７、プログラム・メモリ２８、不揮発性の内蔵メモリであるデータ・メモリ２９が接続されている。
【００２４】
前記ＤＳＰ３によって処理された画像データはバッファメモリ２０に順次記憶されるとともに、表示駆動回路２３によってＬＣＤ２４にスルー画像として表示される。
【００２５】
そして、静止画撮影時に前記ＤＳＰ３によって処理された画像データは、画像ＣＯＤＥＣ２１によってＪＰＥＧ規格等に準じた圧縮符号化画像データ、もしくはＲＡＷデータなど非圧縮の符号化画像データなどに符号化される。符号化された画像データは、ＥＸＩＦ、ＪＰＥＧなどのファイル形式で前記データ・メモリ２９に記録されたり、前記メモリカード・インタフェース１６を介してフラッシュメモリカードなどの着脱自在な画像メモリ媒体２５に記録されるか、前記ハードディスク・インタフェース１８を介して小型のＨＤＤ（Hard Disk Drive：ハードディスク記録装置）２６に記録される。
【００２６】
また、動画撮影時に前記ＤＳＰ３によって処理された画像データは、動画像ＣＯＤＥＣ２２によってＭＰＥＧ４やＨ．２６４／ＡＶＣなどの圧縮符号化方式で圧縮符号化され、ＡＶＩやＭＰ４などのファイル形式で前記データ・メモリ２９や画像メモリ媒体２５又はＨＤＤ２６に記録され、画像メモリ媒体２５等に記録された静止画像や動画像は、画像ＣＯＤＥＣ２１や動画像ＣＯＤＥＣ２２によって復号された後、ＬＣＤ２４に画面表示される。
【００２７】
前記音声ＣＯＤＥＣ２７は、ＭＩＣ３０から入力し、アンプ３１、Ａ／Ｄ変換器３２を経て前記音声入出力回路１４に入力した音声データを符号化する。音声ＣＯＤＥＣ２７により符号化された音声データは、例えば音声付きの動画撮影時においては、動画像ＣＯＤＥＣ２２により圧縮符号化された動画データと重畳されて動画ファイルとして記録される。また、前記音声ＣＯＤＥＣ２７は、音声付きの動画像の再生時には、動画データに重畳されている音声データを復号する。復号された音声データは、音声入出力回路１４、Ｄ／Ａ変換器３３、アンプ３４、スピーカ３５を介して出力される。
【００２８】
前記ＵＳＢコントローラ１７にはＵＳＢ端子３６が接続されており、記録された静止画像や動画像の画像データファイルは、画像メモリ媒体２５とは別にＵＳＢなど外部入出力インタフェースを介して、必要に応じてＰＣ（パーソナル・コンピュータ）やプリンタに転送可能となっている。なお、転送した画像データファイルは、ＰＣ内の大容量ＨＤＤ装置に蓄積記録されたり、さらにはＣＤ−ＲやＤＶＤなどディスク媒体等に保存記録されたり、あるいは、ＰＣ内の画像編集ソフトなどを用いて撮影画像や録画済みの映像を編集されたり、モニターに再生表示されたり、プリンタで印刷されたりする。
【００２９】
前記入力回路１５には操作入力部３７が接続されている。操作入力部３６は電源キーと、静止画撮影モード、動画撮影モード、再生モードの各モードの切り替えを行うモード切替キー、ＭＥＮＵキー、レリーズ（シャッター）ボタン、ズームキー等の複数の操作キーを含み、ユーザによるキー操作に応じたキー入力信号を生成する。生成されたキー入力信号は、入力回路１５を介してＣＰＵ１１に出力される。なお、レリーズボタンは、半押しと全押しの２段階操作が可能な所謂ハーフシャッター機能を有するとともに、動画撮影時には録画開始／終了ボタンとしても機能する。
【００３０】
また、前記制御回路１０には、ＣＰＵ１１の指令に基づきストロボ（キセノン管等の発光管）３８を駆動するためのストロボ駆動回路３９と、被写体の明るさを検出するための測光センサや被写体までの距離を計測するための測距センサを含むセンサ回路４０から出力される各センサの検出信号を処理しＣＰＵ１１へ出力する検出回路４１が接続されている。さらに、制御回路１０には、ニッケル水素電池等の充電可能な電池４２の電力を各部に供給するための電源制御回路４３が接続されている。
【００３１】
前記プログラム・メモリ２８には、ＣＰＵ１１に前述した各部を制御させるための各種プログラム（ＡＥ、ＡＦ、ＡＷＢ等の制御用プログラムを含む）、及びＣＰＵ１１が使用する各種データが格納されている。特に、ＣＰＵ１１を本発明の駆動制御手段、領域制御手段、加算数制御手段、ズーム倍率設定手段、倍率制限手段として機能させ、ＣＰＵ１１に後述するデジタルズーム処理を行わせるためのプログラムが格納されている。
【００３２】
また、前記データ・メモリ２９には、前述した静止画像や動画像の画像データファイル以外にも、デジタルカメラの動作を規定するとともに、必要に応じてユーザにより変更または設定された各種の設定データが保持されている。さらにデータ・メモリ２９は、ＣＰＵ１１の作業用メモリとしても使用される。
【００３３】
・イメージセンサ
図２は、前述した撮像部２、ＤＳＰ３の詳細を示したシステム構成図、図３は、前記イメージセンサ２の詳細を示した回路図である。
イメージセンサ２は、主として感光部２０１と、垂直走査回路２０２、タイミング発生回路２０３、ＣＤＳ／ＡＤＣ回路（図でＣＤＳ／ＡＤ変換）２０４、デジタル画素加算回路２０６、デジタル信号読出し回路２０７、水平走査回路２０８、並列／直列変換回路（Ｐ／Ｓ）２０９から構成される。
【００３４】
本実施の形態のイメージセンサ２は、ＣＭＯＳ（Complementary Meta1 0xide Semiconductor：相補型金属酸化膜半導体）イメージセンサであり、より詳しくは一般的なＡＰＳ（Active Pixel Sensor：増幅型画素センサ）型である。なお、ＣＭＯＳイメージセンサは、ＣＣＤに比べると、撮像信号を画素毎にランダムアクセスで読み出せ、各画素回路は電気的に分離しているので伝送ノイズに強く、またＣＭＯＳ ＬＳＩ等と同様に、同じ製造プロセスにてイメージセンサ部の周辺に各種のＣＭＯＳ回路や加算演算回路などデジタル論理回路などを高集積化して比較的容易に一緒に作りこめる利点がある。
【００３５】
前記感光部２０１は、図４（ａ）に示したように、フォトダイオード２５１を含む単位画素回路２５２からなり、単位画素回路２５２毎にＦＤ（Floating Dihsion）アンプ２５３を内蔵することにより、暗電流とｋＴＣ雑音を低減できるようにした構成である。
【００３６】
図４（ｂ）は上記の単位画素回路２５２の構造図、同図（ｃ）は単位画素回路２５２の動作を示した図である。前記フォトダイオード２５１で光電変換された信号電荷はＦＤ（Floating Dihsion）アンプ２５３で一旦増幅され、垂直走査回路２０２からの行アドレス選択信号と水平走査回路２０８からの列選択信号によりＸＹアドレス方式で選択された画素毎の撮像信号が、出力から順次電圧または電流として取り出される。つまり、ＣＣＤ（Charge Coupled Device：電荷結合素子）のように順番に取り出さなくとも、任意の画素や領域の撮像信号だけを、任意の順序で取り出すことができ、これにより後述するようにデジタルズーム処理で所定領域のみを切り出して読み出す場合には、撮像信号を高速で読み出せるようになっている。
【００３７】
前記デジタル画素加算回路２０６は、各画素に隣接する同色（フィルタ）の複数の画素の撮像信号同士をデジタル信号で加算する回路であり、デジタルズーム時に、選択領域内の画素データを任意の行列毎に所定の複数画素分加算された撮像信号の読出しが可能であるとともに、スルー画像や動画撮影において、高速レートでも、画像データ量の小さい撮像信号に変換して出力できるようになっている。
【００３８】
前述したように選択読出しされた選択領域の撮像信号、さらに画素加算された撮像信号は、列回路（図３に破線で示した部分）のＣＤＳ／ＡＤＣ回路２０４、すなわちＣＤＳ回路（Correlated Double Sampling：相関二重サンプル回路）２０４ａ、及びＡ／Ｄ変換回路２０４ｂから水平走査回路２０８の列選択信号により選択され列信号として順次出力され、並列／直列変換回路２０９によって直列のデジタル撮像信号に変換された後、ＤＳＰ３に高速フレームレートで転送出力される。
【００３９】
なお、ＣＤＳ／ＡＤＣ回路２０４、デジタル画素加算回路２０６は列信号線毎に並列に並んだ前記列回路にそれぞれ設けられており、これによりフォトダイオード２５１をリセットする前と後の信号を減算して固定パターンノイズを除去できるとともに、デジタル信号での撮像信号の出力が容易となっている。なお、Ａ／Ｄ変換回路２０４ｂには積分型や巡回型、逐次型などが使用できる。
【００４０】
図５は、ＣＤＳ／ＡＤＣ回路２０４及びデジタル画素加算回路２０６の具体的構成を示した回路図である。並列に並んだ列回路に設けるＣＤＳ／ＡＤＣ回路２０４には、各種の方式が開発されているが、本実施の形態では、いわゆる、「Ｃｏｌｕｍｎ ＡＤＣ方式」のＣＤＳ／ＡＤＣ回路を用いて、列毎に並列処理するＡ／Ｄ変換器２０４ｂにより、画素の固定パターンノイズ（ＦＰＮ）を抑圧しながらデジタル信号に変換する。Ｃｏｌｕｍｎ ＡＤＣ方式のＣＤＳ回路２０４ａでは、固定パターンノイズを抑圧するために、粗精度と高精度の２段階のクランプ（Ｃｌａｍｐ）回路を用いる。クランプは、信号のあるレベルを基準電圧に置き換える動作で、クランプ回路は例えば、キャパシタとスイッチで構成され、キャパシタの出力側がスイッチにより基準電圧にセットされる。
【００４１】
図６に示した信号読み出し時の動作タイミングチャートにあるように、まず、列回路のＡ１とＡ２のクランプスイッチＳ１、Ｓ２を同時に閉じてから、Ｓ１を先に開くと、点Ｖｉｎの電圧が、Ａ１の閾値電圧にＳ１スイッチングのバラツキが加算された電圧に粗い精度でクランプされるが、Ｓ２は閉じたままなので、その電圧がＡ２入力の閾値電圧になる。
【００４２】
その後、Ｓ２を開くと、Ａ２にもスイッチングのバラツキを含む電圧がクランプされ、クランプ動作が完了する。Ｓ２スイッチングのバラツキ成分はＡ２の利得で割った分かＶｉｎ側のバラツキに還元されるので、Ｖｉｎ側から見るとクランプ精度が向上して、クランプ回路で発生する縦筋状の固定パターンノイズ（ＦＰＮ）の発生が抑えられる。
【００４３】
次に、行読出し線（転送ゲート線ＴＧ）にパルスが立ち上がると、画素信号が列信号線に現れるので、スイッチＳ４を閉じてサンプリングする。サンプリング完了後、スイッチＳＳを開いて、ランプ波形（順次電圧が上昇する階段状波形）をしたＡ／Ｄ変換用の基準信号をスイッチＳ４から加えると、ランプ波形に応じてＶｉｎの電圧がやがてクランプ回路の閾値を越えてＡ２の出力が反転し、反転する電圧までの１０ビットカウンタの値がデジタルの画素信号値としてラッチに記憶され、Ａ／Ｄ変換処理が終了する。
【００４４】
また、画素加算については、図５に示したように、前記ＣＤＳ／ＡＤＣ回路２０４を含む列回路の後に、列加算回路（垂直加算回路）などのデジタル演算回路２０６ａを設け、行アドレス選択された画素の信号を列信号線から読出し、ＣＤＳ／ＡＤＣ回路２０４でノイズ除去されデジタル変換されたデジタル並列信号を、タイミング信号でラッチ回路にラッチし、同じく選択された同じ列で異なる行の画素のデジタル並列信号を、同様に別のタイミング信号で別のラッチ回路にラッチして、ラッチ回路の出力同士をデジタル演算回路２０６ａ（列加算回路）でデジタル加算する。
【００４５】
また、水平信号線からの信号出力部に、行加算回路（水平加算回路）などのデジタル演算回路２０６ｂを設け、列加算された信号同士をタイミング信号で選択して水平信号線に読出し、ラッチ回路にラッチして、ラッチ回路の出力同士をデジタル演算回路２０６ｂ（行加算回路）でデジタル加算する。
【００４６】
カラー撮像の場合には、例えば、Ｂａｙｅｒ配列等の千鳥状に２画素周期で交互に並んだＲＧＢ各色カラーフィルタに対応する各画素から、列方向に（一つ飛ばしで）隣接する同色フィルタの画素同士を、Ｒ画素はＲ画素同士で、Ｇ画素はＧ画素同士で、Ｂ画素はＢ画素同士で、列方向に複数加算し、また、行方向に（一つ飛ばしで）隣接する同色フィルタの値数の画素を行方向に加算して読み出すことで同色の画素の信号同士が複数画素分加算できる。
【００４７】
また、加算された撮像信号のデジタル信号は所定の符号化を行うとともに、並列／直列変換回路で順次シリアル（直列）のデジタル信号に変換されて出力され、ＤＳＰ３に転送される。
【００４８】
・ＤＳＰ（デジタル信号処理回路）
前記ＤＳＰ３は、イメージセンサ２から出力されたシリアル（直列）の撮像信号が入力する直列／並列変換回路（Ｓ／Ｐ）３０１と、バッファメモリ３０２、ＷＢ／カラー補正回路３０３、リサイズ／補間処理回路３０４、カラー補間回路３０５、輪郭補正回路３０６、ガンマ補正回路３０７、カラーマトリクス回路３０８から構成されている。
【００４９】
イメージセンサ２からＤＳＰ３に入力した撮像信号は直列／並列変換回路（Ｓ／Ｐ）３０１によりパラレル（並列）のデジタル信号に変換され、バッファメモリ３０２にフレーム毎に画像データとして蓄積され、蓄積された画像データは、ＷＢ／カラー補正回路３０３によってホワイトバランス調整やカラーバランス調整を行われる。係る段階の画像データは、撮像素子の前面に設けられ、モザイク状の「ベイヤー（Ｂａｙｅｒ）配列」や、水平／垂直に２画素単位の繰り返し周期で千鳥配列されたＧｒｅｅｎ市松Ｒ／Ｂ色差線順次方式など、ＲＧＢ原色フィルタなどカラーフィルタ配列にしたがって、画素毎には一つの色成分しか持たないが、カラー補間回路３０５により、他の色差成分の画素値が、近隣周辺の画素値から画素補間（Pixel Signal lnterpolation）して求められ（カラー補間処理）、各画素毎にＲＧＢ各色差成分毎の階調値を持つデジタル画像データに変換される。
【００５０】
また、上記カラー補間を行う前には、必要に応じて、リサイズ／補間処理回路３０４（本発明のサイズ変換手段）が、撮像画像サイズを異なる画像サイズに変換する解像度変換処理（Resolution Conversion）を行う。例えば、スルー画像や再生画像をファインダやモニタに表示する為に表示駆動回路２３内の表示メモリ（Ｖｉｄｅｏ ＲＡＭでもよい）２３ａに書き込む為に、所定の画像サイズ（ＶＧＡサイズなど）に変換するリサイズ（Resize）、もしくは、補間処理（lnterpolation）を行う。
【００５１】
あるいは、撮影記録時に、所望の記録画像サイズで記録する為に、設定記録画像サイズの画像に縮小／拡大処理や、リサイズ／補間処理もしくは解像度変換処理を行う。リサイズや補間処理を行った場合に、画像がぼけたり解像感が落ちたりしやすいので、合わせて、各種のアンシャープネス・フィルタ（Unsharpness Filtering）など輪郭強調フィルタ演算や画像鮮鋭化フィルタ処理なども行う。
【００５２】
さらに、ＤＳＰ３では、ガンマ補正回路３０７により階調補正されたＲＧＢ系のデジタル画像信号は前述したバッファメモリ２０に一時記憶された後、ＬＣＤ２４など電子ファインダに再生表示されるか、カラーマトリクス回路３０８でＲＧＢ系からＹＵＶ系／ＹＣｂＣｒ系など所定の色空間の画像信号に変換され、前述した画像ＣＯＤＥＣ２１や動画像ＣＯＤＥＣ２２により、ＪＰＥＧ静止画像データやＭＰＥＧ４やＨ．２６４動画像データなどに圧縮／符号化処理される。
【００５３】
そして、スルー画像や再生画像を前記ＬＣＤ２４に表示する場合には、前記表示駆動回路２３は、その表示メモリ２３ａに所定サイズで更新書き込みされた画像データを定期的に繰り返し読み出してＬＣＤ２４に繰り返し更新表示される。
【００５４】
一方、前記リサイズ／補間処理回路３０４では、単に間引き（Decimation）や平均化を行うとギザギザやデジタルノイズ、偽信号が発生したり画質が劣化しやすいので、「最近傍法」（各画素値をその最も近い近傍の画素の画素値から求める）や「線形補間法」（周りの４〜８画素の周囲画像や６４画素など近傍の画素値から求める）などを用いて、各画素をその周辺近傍の画素から補間演算したり、幾何学変換処理したりする二次元フィルタ演算処理を行う。
【００５５】
ここで、従来のデジタルズーム処理では、特に、画像サイズの拡大や伸張を必要とする圧縮／伸張処理やリサイズ／補間処理を行う場合には、解像度や画質が大幅に劣化することが避けられなかった。
【００５６】
本実施の形態では、まず、このような画像サイズの拡大や伸張を伴う、画質が劣化しやすい圧縮／伸張処理やリサイズ／補間処理は行わないように済む範囲内で、前記ＣＰＵ１１が後述するようなデジタルズーム処理を行う。
【００５７】
さらに、これだけでは、解像度や画質は確保できても、高解像度で高速フレームレートのスルー表示や動画撮影には対応できないので、前記ＣＰＵ１１が、イメージセンサ２の駆動を後述するように制御することにより、解像度や画質を劣化させずに、イメージセンサ２から読み出す撮像データや信号処理のデータ量を削減して、所要メモリ容量やＤＳＰ３の信号処理量を削減して、撮影時のスルー表示や動画像撮影時における信号処理負担を大幅に削減し、デジタルズーム処理を行う場合にも、高解像度、かつ、高フレームレートでの撮像が実現できるように制御する。
【００５８】
以下に、上述した構成からなるデジタルカメラの本発明に係る動作を説明する。図７及び図８は、静止画撮影モードが設定されているときＣＰＵ１１が実行する、主としてデジタルズームに関する処理内容を示すフローチャートである。
【００５９】
撮影時においてＣＰＵ１１は、まず、操作入力に応じて、撮影モードおよび撮影条件、記録画像サイズを設定した後（ステップＳＡ１）、撮影モードでなければ（ステップＳＡ２でＮＯ）、そのまま他のモードの処理へ移行する（ステップＳＡ３）。
【００６０】
撮影モードであれば（ステップＳＡ２でＹＥＳ）、撮像フル画像サイズ（ＸＦ、ＹＦ）と表示メモリ２３ａの書込み画像サイズ（Ｘｄ、Ｙｄ）に応じて、(画質劣化しない)デジタルズーム倍率（ＤＺ）の限度（ＤＺmax）を設定する（ステップＳＡ４）。
【００６１】
次に、測光処理及びホワイトバランス調整処理を行い（ステップＳＡ５）、ユーザーによるＡＦ枠の選択があれば、操作に応じてＡＦ枠を選択し、選択されたＡＦ枠（の中心）をデジタルズ−ムの中央位置（ＸＣ，ＹＣ）に設定し（ステップＳＡ６でＹＥＳ、ステップＳＡ７）、ユーザーによるＡＦ枠の選択がなければ、視野の中央をデジタルズームの中央位置（ＸＣ，ＹＣ）に設定する（ステップＳＡ６でＮＯ、ステップＳＡ８）。なお、設定した中央位置（ＸＣ，ＹＣ）はデータ・メモリ２９に記憶する。
【００６２】
また、ユーザーによる光学ズーム操作があれば（ステップＳＡ９でＹＥＳ）、操作入力に応じて光学ズーム倍率を増減し（ステップＳＡ１０）、増減後の光学ズーム倍率に応じてズームレンズ６を駆動する光学ズーム処理を行った後（ステップＳＡ１１）、また、光学ズーム操作がなければ（ステップＳＡ９でＮＯ）、直ちに、ステップＳＡ１２へ進み、選択されたＡＦ枠又は視野中央をフォーカス検出領域として焦点レンズ５を駆動するＡＦ処理を行う。
【００６３】
また、ユーザーによるデジタルズーム操作があれば（ステップＳＡ１３でＹＥＳ）、操作入力に応じてデジタルズーム倍率（ＤＺ）を増減した後（ステップＳＡ１４）、また、デジタルズーム操作がなければ（ステップＳＡ１３でＮＯ）、直ちに、増減後のデジタルズーム倍率（ＤＺ）、又は既に設定されているデジタルズーム倍率（ＤＺ）が、１倍以上、(画質劣化しない)デジタルズーム倍率（ＤＺ）の限度（ＤＺmax）以下の範囲内であるか否かを判別する（ステップＳＡ１５）。
【００６４】
そして、デジタルズーム倍率（ＤＺ）が上記範囲内でない場合には（ステップＳＡ１５でＮＯ）、それが１倍未満であれば（ステップＳＡ１６がＹＥＳ）、デジタルズーム倍率（ＤＺ）を１倍に修正し（ステップＳＡ１７）、デジタルズーム倍率（ＤＺ）が上記限度（ＤＺmax）を超えていれば（ステップＳＡ１６でＮＯ、ステップＳＡ１８がＹＥＳ）、デジタルズーム倍率（ＤＺ）を上記限度（ＤＺmax）に修正する（ステップＳＡ１９）。しかる後、図９の（画質劣化の少ない）デジタルズーム処理（１）のサブルーチンに移行する（ステップＳＡ２０）。
【００６５】
図９は、（画質劣化の少ない）デジタルズーム処理（１）の内容を示したフローチャートである。係る処理では、画素加算数の切替ステップ段数（ｉ）、及び初期の画素加算数、すなわち水平および垂直方向の加算数（ｍ，ｎ）の初期値（ｍ（ｉ），ｎ（ｉ））を、例えば、ｉ＝３、ｍ（ｉ）＝ｍ（３）、ｎ（ｉ）＝ｎ（３）に設定した後（ステップＳＡ１０１）、前述したステップＳＡ７又はステップＳＡ８で設定したデジタルズ−ムの中央位置（ＸＣ，ＹＣ）をデータ・メモリ２９から読み込む（ステップＳＡ１０２）。
【００６６】
引き続き、前述した感光部２０１から撮像信号を読み出すときの画素加算数（ｍ，ｎ）を予め設定する。つまり画素加算における水平および／または垂直方向の加算数（ｍ，ｎ）を、デジタルズーム倍率（ＤＺ）に応じて、ＤＺが低倍率になるほど加算数が大きく、高倍率になるほど加算数が小さくなるように、段階的に切り替えて加算数の自動調整を行う（ステップＳＡ１０３〜ＳＡ１０９）。
【００６７】
これにより、低倍率で表示画角が広い時には、加算処理によって撮像信号のデータ量を、１／（ｍ×ｎ）に小さくするとともに、画素加算効果によって、撮像感度を上げ画質の劣化を補う。また、高倍率で画角が狭い時には、加算数を減らすことにより、高精細の解像度を優先させるとともに、画角（＝選択領域）を狭くすることでデータ量を所定以下に抑える。
なお、上記の加算読出しにおける各段階の加算数（ｍ（ｉ），ｎ（ｉ））は、撮影モードのスルー表示中には、スルー表示の画質が劣化しないように、選択領域の加算読出し画像サイズ（Ｘ’，Ｙ’）が、少なくとも、表示メモリ２３ａヘ書込みする（ＶＧＡサイズ＝６４０×４８０など）所定の画像サイズ（Ｘｄ，Ｙｄ）以上となる加算数の切替条件、すなわち、
Ｘ’＝Ｘ／ｍ＝ＩＮＴ（ＸＦ／ＤＺ）／ｍ ≧Ｘｄ、
かつ、
Ｙ’＝Ｙ／ｎ＝ＩＮＴ（ＹＦ／ＤＺ）／ｎ ≧Ｙｄ、
が満足される範囲とする。
【００６８】
すなわち、デジタルズーム時の加算数（ｍ（ｉ），ｎ（ｉ））に応じて、デジタルズーム倍率（ＤＺ）が次式で表されるデジタルズーム倍率限度ＤＺＬ（ｉ）以内となるように、
ＤＺ≦ＤＺＬ（ｉ）、
但し、
ＤＺＬ（ｉ）＝ＩＮＴ｛ＸＦ／ｍ（ｉ）｝／Ｘｄ、またはＩＮＴ｛ＹＦ／ｎ（ｉ）｝／Ｙｄ
となる範囲内で、デジタルズーム倍率を可変するように制御すれば、スルー表示での画質劣化が抑えられるので、それを超える高倍率が選択された場合には、選択領域の加算読出し画像サイズ（Ｘ’，Ｙ’）が、表示書込み用画像サイズ（Ｘｄ，Ｙｄ）未満になる場合には、各デジタルズーム倍率限度に達する度に、加算数（ｍ（ｉ），ｎ（ｉ））を、順次小さい加算数（ｍ（ｉ−１），ｎ（ｉ−１））、（ｍ（ｉ−２），ｎ（ｉ−２））、・・・等に段階的に切り替える。
【００６９】
例えば、ＸＦ＝２,８８０、ＹＦ＝２,１６０、Ｘｄ＝６４０、Ｙｄ＝４８０のとき、初期の加算数をｍ＝ｎ＝３からはじめる場合には、
ＤＺＬ（３）＝１．５、ＤＺＬ（２）＝２．２５、ＤＺＬ（１）＝４．５となるので、
ＤＺ＝１〜１．５倍のとき、ｍ＝ｎ＝３として、（３×３）の加算読出しを行い、
ＤＺ＝１．５〜２．２５倍のとき、ｍ＝ｎ＝２として、（２×２）の加算読出しを行い、
ＤＺ＝２．２５〜４．５倍のとき、ｍ＝ｎ＝１として、（１×１）の加算なし読出しを行うようにする。
【００７０】
引き続き、そのときのデジタルズーム倍率（ＤＺ）と前記中央位置（ＸＣ，ＹＣ）に応じて、感光部２０１における選択読出し領域の画像サイズ（ヨコＸ×タテＹ）と、読出し範囲（Ｘ１〜Ｘ２，Ｙ１〜Ｙ２）、つまり（ヨコ）×１／（ＤＺ）、（タテ）×１／（ＤＺ）の大きさの部分領域（選択領域）を設定する（ステップＳＡ１１０）。
【００７１】
すなわち、感光部２０１の有効領域の大きさ（画素数）を（ＸＦ，ＹＦ）とすると、選択する部分領域の大きさ（画素数）（Ｘ，Ｙ）は、
Ｘ＝ＩＮＴ（ＸＦ／ＤＺ）、Ｙ＝ＩＮＴ（ＹＦ／ＤＺ）、
また、視野中央もしくは選択ＡＦ枠など、中央の画素位置を（ＸＣ，ＹＣ）とすると、選択する部分領域の範囲（例：左上からの画素座標）（Ｘ１〜Ｘ２）、（Ｙ１〜Ｙ２）は、 Ｘ１＝ＸＣ−Ｘ／２、Ｘ２＝ＸＣ＋Ｘ／２、Ｙ１＝ＹＣ−Ｙ／２、Ｙ２＝ＹＣ＋Ｙ／２、
ただし、Ｘ１＜０のとき、Ｘ１＝０、Ｘ２＝Ｘ、または、
Ｘ２＞ＸＦのとき、Ｘ１＝ＸＦ−Ｘ、Ｘ２＝ＸＦ、
および、Ｙ１＜０のときＹ１＝０、Ｙ２＝Ｙ、または、
Ｙ２＞ＹＦのときＹ１＝ＹＦ−Ｙ、Ｙ２＝ＹＦ、
として、上下左右の端から超えるときには、各端からはみ出さないようにずらせて、設定された部分領域の大きさ（Ｘ，Ｙ）を確保する（なお、この点はデジタルズームをＤＳＰ３ではなく、感光部２０１内で行う以外は、従来のデジタルズームと略同様である）。
【００７２】
そして、前述した撮像素子（ＣＭＯＳイメージセンサ）２０１の領域選択読出し機能を利用して、上記のように設定した読出し範囲（Ｘ１〜Ｘ２，Ｙ１〜Ｙ２）の画像信号を、加算数（ｍ，ｎ）に従って加算して（又は加算なしで）読出し、画像サイズ（Ｘ’，Ｙ’）＝（Ｘ／ｍ，Ｙ／ｎ）の画像信号をＤＳＰ３（バッファメモリ３０２）に読み込む（ステップＳＡ１１１）。
【００７３】
すなわちＸＦ＝２,８８０、ＹＦ＝２,１６０、Ｘｄ＝６４０、Ｙｄ＝４８０であれば、
（例１）例えば、デジタルズーム倍率ＤＺ＝１．２倍のときには、
Ｘ＝ＩＮＴ（ＸＦ／ＤＺ）＝（２，８８０／１．２）＝２，４００、Ｙ＝ＩＮＴ（ＹＦ／ＤＺ）＝（２，１６０／１．２）＝１，８００、の大きさの撮像領域を選択読出しし、かつ、ＤＺ≦ＤＺＬ（３）＝１．５なので、加算数ｍ＝３、ｎ＝３で加算読出しすることにより、
Ｘ’＝Ｘ／ｍ＝（２，４００／３）＝８００、Ｙ’＝Ｙ／ｎ＝（１，８００／３）＝６００、すなわち、（８００×６００）画素の（３×３）加算読出し画像を得る。
【００７４】
（例２）また、デジタルズーム倍率ＤＺ＝２倍のときには、
Ｘ＝ＩＮＴ（ＸＦ／ＤＺ）＝（２，８８０／２）＝１，４４０、Ｙ＝ＩＮＴ（ＹＦ／ＤＺ）＝（２，１６０／２）＝１，０８０、の大きさの撮像領域を選択読出しし、かつ、ＤＺ＞ＤＺＬ（３）＝１．５、ＤＺ≦ＤＺＬ（２）＝２．２５なので、加算数ｍ＝２、ｎ＝２で加算読出しすることにより、
Ｘ’＝Ｘ／ｍ＝（１，４４０／２）＝７２０、Ｙ’＝Ｙ／ｎ＝（１，０８０／２）＝５４０、すなわち、（７２０×５４０）画素の（２×２）加算読出し画像を得る。
【００７５】
（例３）また、デジタルズーム倍率ＤＺ＝３倍のときには、
Ｘ＝ＩＮＴ（ＸＦ／ＤＺ）＝（２，８８０／３）＝９６０、Ｙ＝ＩＮＴ（ＹＦ／ＤＺ）＝（２，１６０／３）＝７２０、の大きさの撮像領域を選択読出し、かつ、ＤＺ＞ＤＺＬ（２）＝２．２５、ＤＺ≦ＤＺＬ（１）＝４．５なので、加算数ｍ＝１、ｎ＝１で加算読出しすることにより、
Ｘ’＝Ｘ／ｍ＝（９６０／１）＝９６０、Ｙ’＝Ｙ／ｎ＝（７２０／１）＝７２０、すなわち、（９６０×７２０）画素の（１×１）加算読出し画像を得る。
【００７６】
しかる後、メインルーチン（図８）へ戻り、撮像画像サイズ（Ｘ’，Ｙ’）と、表示メモリ２３ａの書込みサイズ（Ｘｄ，Ｙｄ）に応じて、リサイズ率（ＩＰｘ＝Ｘｄ／Ｘ’、ＩＰｙ＝Ｙｄ／Ｙ’）を設定して、リサイズ／補間処理を行った後（ステップＳＡ２１）、処理後の画像データを表示メモリ２３ａに書き込むスルー画像の表示処理を行う（ステップＳＡ２２）。
【００７７】
例えば前述したステップＳＡ１０７で、前記（例１）のように、（８００×６００）画素の（３×３）加算読出し画像を得ていたときには、それを元に、表示用書込みサイズの（６４０×４８０）画素に合わせて、ＩＰｘ＝Ｘｄ／Ｘ’＝６４０／８００＝１／１．２５、および、ＩＰｙ＝Ｙｄ／Ｙ’＝４８０／６００＝１／１．２５、に相当するリサイズ／補間処理（１／１．２５×１／１．２５）を行って、（６４０×４８０）画素の画像を表示メモリ２３ａに書き込む。
【００７８】
また、前記（例２）のように、（７２０×５４０）画素の（２×２）加算読出し画像を得ていたときには、それを元に、表示用書込みサイズの（６４０×４８０）画素に合わせて、ＩＰｘ＝Ｘｄ／Ｘ’＝６４０／７２０＝１／１．１２５、および、ＩＰｙ＝Ｙｄ／Ｙ’＝４８０／５４０＝１／１．１２５、に相当するリサイズ／補間処理（１／１．１２５×１／１．１２５）を行って、（６４０×４８０）画素の画像を表示メモリ２３ａに書き込む。
【００７９】
また、前記（例３）のように、（９６０×７２０）画素の（１×１）加算読出し画像を得ていたときには、それを元に、表示用書込みサイズの（６４０×４８０）画素に合わせて、ＩＰｘ＝Ｘｄ／Ｘ’＝６４０／９６０＝１／１．５、および、ＩＰｙ＝Ｙｄ／Ｙ’＝４８０／７２０＝１／１．５、に相当するリサイズ／補間処理（１／１．５×１／１．５）を行って、（６４０×４８０）画素の画像を表示メモリ２３ａに書き込む。
【００８０】
このように、最低限でも、表示用書込みサイズ（６４０×４８０）画素以上の画像サイズから表示用のリサイズ／補間処理を行うことができ、画像を拡大や伸張を含むようなリサイズ処理や補間処理は行わないので、解像度や画質の劣化がなくデジタルズーム処理が可能となる。
【００８１】
図１０〜図１４に、上述した（画質劣化の少ない）デジタルズーム処理の例を示す。図１０及び図１１は画素加算しない場合の例、図１２及び図１３は画素加算を行う場合の例、図１４は選択されたＡＦ枠を中心にデジタルズーム処理を行う場合の例である。
【００８２】
そして、これ以降は、レリーズボタンが半押しされなければ（ステップＳＡ２３でＮＯ）、その他のキー処理を行ってから（ステップＳＡ２４）、前述した図７のステップＳＡ５へ戻る。レリーズボタンが半押しされたら（ステップＳＡ２３でＹＥＳ）、測光処理を行うとともに、測光値と撮影条件とに応じて露出条件を設定する（ステップＳＡ２５）。
【００８３】
引き続き、レリーズボタンが全押しされなければ（ステップＳＡ２６でＮＯ）、ステップＳＡ２３へ戻り、レリーズボタンが全押しされたら（ステップＳＡ２６でＹＥＳ）、設定撮影条件と露出条件に従って、露出＆撮影処理（デジタルズーム倍率ＤＺに応じて、領域選択した画像を、加算なしで読み出して撮影）を行う（ステップＳＡ２７）。
【００８４】
そして、設定記録画像サイズに応じて、（必要な場合のみ）撮影画像データのリサイズ／補間処理を行った後（ステップＳＡ２８）、撮影した画像データの符号化／圧縮符号化、撮影画像データのメモリへの記録、撮影画像のレビュー表示を行い（ステップＳＡ２９〜ＳＡ３１）、撮影処理を終了する。
【００８５】
また、図１５及び図１６は、静止画撮影モードでの撮影時に前述した「画質劣化の少ないデジタルズーム」を光学ズームと組み合わせ、双方を連動制御する場合における処理内容を示したフローチャートである。すなわち両フローチャートは、前述した図７のステップＳＡ９以降の処理に対応する要部を示したものであり、図１５は、光学ズームの限度を越えると、デジタルズームを行う場合の例（光学＆デジタルズーム処理１）、図１６は、画質劣化の少ないデジタルズームを行い、その限度を越えると光学ズームを行う場合の例（光学＆デジタルズーム処理２）である。なお、図１５のステップＳＢ１８、及び図１６のステップＳＣ１５の処理は、図７に示した（画質劣化の少ない）デジタルズーム処理（１）である。
【００８６】
以上のように本実施の形態では、領域選択読出しと水平／垂直の画素加算読出しができる高速ＣＭＯＳイメージセンサを用いて、デジタルズーム倍率（ＤＺ）に応じて、低倍率の時には、加算数を上げてデータ量を削減するとともに加算効果により画質の向上を計り、高倍率のときには、解像度や画質を優先させて段階的に加算数を下げるように制御されるが画角が狭くデータ量も削減されるので、解像度を劣化させずに、かつ、読み出す撮像信号のデータ量を全体に大幅に削減できる。つまり信号処理負担を大幅に削減することができる。
【００８７】
このため、所要メモリ容量を大幅に増やすことなく、ＤＳＰなどの処理性能を大幅に上げることなく、結果的に低コストで、画質の優れたデジタルズーム機能が提供できる。
【００８８】
また、画素加算を行い信号データ量が削減される場合でも、最低限でも、表示用書込みサイズ以上の画像サイズが確保できるようにズーム倍率限度を設定し、それを超えると新たな加算条件を設定し、同様に、表示用書込みサイズが最低限確保できるズーム倍率限度を設定してズーム処理を行うので、イメージセンサ２から読み出した撮像信号に基づく画像、すなわち撮像した画像に対する切り出し処理が不要であり、撮像時における画像処理を簡略化して、それを高速に行うことができる。
【００８９】
しかも、拡大や伸張を含むリサイズ／補間処理は行わず、縮小方向のリサイズ／補間処理のみ行うので、解像度の劣化が少ない高画質デジタルズームが実現できる。
【００９０】
したがって、高解像度で高速フレームレートの場合でも、荒い間引きやフレームレートの低減などを行わなくでも、画質を劣化させたり解像感が段階的に落ちたりすることなく、スムーズで滑らかなデジタルズーム撮影や動画撮影が実現できる。
【００９１】
なお、本実施の形態では、ユーザーによるデジタルズーム操作に応じてデジタルズーム倍率（ＤＺ）を増減するとき、それを前述した(画質劣化しない)デジタルズーム倍率（ＤＺ）の限度（ＤＺmax）以下に予め制限するため、常に解像度の劣化が少ない高画質デジタルズームを行うことができる。
【００９２】
また、イメージセンサ２内にデジタル論理回路による演算回路（図５のデジタル演算回路２０６ａ，２０６ｂ）を設けたので、加算以外の演算や(輪郭強調処理など)各種フィルタ処理やパターンマッチングなど画像処理にも利用でき、また小型高集積に実装できる。特に、イメージセンサ２はＣＭＯＳイメージセンサであるため、同じＣＭＯＳ−ＬＳＩの製造プロセスにて、イメージセンサ部周辺に高密度で一緒に集積して一体化したイメージセンサが容易に実現できる。
【００９３】
・実施形態１の変形例について、
【００９４】
（１）第１実施例では、デジタルズーム倍率に応じて設定する加算数、および、加算数毎のズーム倍率限度の設定制御は、拡大や伸張処理なしに表示書込み用の所定の画像サイズが確保できるように制御するようにしたが、例えば、動画撮影中においては、表示書込み画像サイズの代わりに、ユーザーが設定した動画記録用の所望の画像サイズを基準にして、拡大や伸張なしに記録画像サイズが確保できるように、ズーム処理を制御しでも良い（実施形態２を参照）。
【００９５】
（２）解像度や画質の劣化しない条件を基準に、デジタルズーム倍率や加算数を制御するようにしたが、例えば、動画撮影において、バッファメモリ容量やＣＯＤＥＣ側のバッファ容量など、メモリ所要量や、撮像信号のデータ量を基準にして、ズーム倍率および加算数を制御しても良い。
【００９６】
（３）あるいは、動画撮影のフレームレート、あるいは、撮像信号の読出しデータ速度、ＤＳＰの信号処理速度、ＣＯＤＥＣ処理速度など、所定のデータ処理速度を基準にして、所定の処理速度が得られるように、あるいは、所定の処理速度内で処理できるように、ズーム倍率および加算数を制御しても良い。
【００９７】
（実施形態２）
次に、本発明の第２の実施形態について説明する。本実施の形態は、図１に示した構成のデジタルカメラにおいて、動画撮影時に、前述した表示書込み画像サイズではなく、ユーザーが設定した動画記録用の所望の画像サイズを基準にして、拡大や伸張なしに記録画像サイズを確保するものである。
【００９８】
図１７及び図１８は、本実施の形態において動画撮影モードが設定されているときＣＰＵ１１が実行する、主としてデジタルズームに関する処理内容を示すフローチャートである。
【００９９】
具体的には、撮影時においてＣＰＵ１１は、まず、操作入力に応じて、撮影モードおよび撮影条件、記録画像サイズを設定した後（ステップＳＤ１）、動画撮影モードでなければ（ステップＳＤ２でＮＯ）、そのまま他のモードの処理へ移行する（ステップＳＤ３）。
【０１００】
動画撮影モードでかつ、動画撮影中であれば（ステップＳＤ２，ＳＤ４が共にＹＥＳ）、撮像フル画像サイズ（ＸＦ、ＹＦ）と記録画像サイズ（ＸＲ、ＹＲ）に応じて、(画質劣化しない)デジタルズーム倍率（ＤＺ）の限度（ＤＺmax）を設定する（ステップＳＤ５）。また動画撮影モードであるが、録画停止中であれば（ステップＳＤ２でＹＥＳ，ステップＳＤ４がＮＯ）、撮像フル画像サイズ（ＸＦ、ＹＦ）と表示メモリ２３ａの書込み画像サイズ（Ｘｄ、Ｙｄ）に応じて、(画質劣化しない)デジタルズーム倍率（ＤＺ）の限度（ＤＺmax）を設定する（ステップＳＤ６）。
【０１０１】
次に、測光処理及びホワイトバランス調整処理を行い（ステップＳＤ７）、視野の中央をデジタルズームの中央位置に設定する（ステップＳＤ８）。なお、設定した中央位置はデータ・メモリ２９に記憶する。
【０１０２】
また、ユーザーによる光学ズーム操作があれば（ステップＳＤ９でＹＥＳ）、操作入力に応じて光学ズーム倍率を増減し（ステップＳＤ１０）、増減後の光学ズーム倍率に応じてズームレンズ６を駆動する光学ズーム処理を行った後（ステップＳＤ１１）、また、光学ズーム操作がなければ（ステップＳＤ９でＮＯ）、直ちに、ステップＳＤ１２へ進み、視野中央をフォーカス検出領域として焦点レンズ５を駆動するＡＦ処理を行う。
【０１０３】
また、ユーザーによるデジタルズーム操作があれば（ステップＳＤ１３でＹＥＳ）、操作入力に応じてデジタルズーム倍率（ＤＺ）を増減した後（ステップＳＤ１４）、また、デジタルズーム操作がなければ（ステップＳＤ１３でＮＯ）、直ちに、増減後のデジタルズーム倍率（ＤＺ）、又は既に設定されているデジタルズーム倍率（ＤＺ）が、１倍以上、(画質劣化しない)デジタルズーム倍率（ＤＺ）の限度（ＤＺmax）以下の範囲内であるか否かを判別する（ステップＳＤ１５）。
【０１０４】
そして、デジタルズーム倍率（ＤＺ）が上記範囲内でない場合には（ステップＳＤ１５でＮＯ）、それが１倍未満であれば（ステップＳＤ１６がＹＥＳ）、デジタルズーム倍率（ＤＺ）を１倍に修正し（ステップＳＤ１７）、デジタルズーム倍率（ＤＺ）が上記限度（ＤＺmax）を超えていれば（ステップＳＤ１６でＮＯ、ステップＳＤ１８がＹＥＳ）、デジタルズーム倍率（ＤＺ）を上記限度（ＤＺmax）に修正する（ステップＳＤ１９）。
【０１０５】
しかる後、図１９に示したように、動画撮影中でない録画停止中であれば（ステップＳＤ２０でＮＯ）、感光部２０１から読み出す画像データの画素サイズ（ＸＯＵＴ，ＹＯＵＴ）を表示書込み用画像サイズ（Ｘｄ，Ｙｄ）に設定した後（ステップＳＤ２１）、実施形態１で説明した図９の（画質劣化の少ない）デジタルズーム処理（１）のサブルーチン、つまり静止画撮影におけるスルー表示のデジタルズーム処理に移行して（ステップＳＤ２２）、前述したようにスルー撮像画像の画像サイズが表示書込み画像サイズ（Ｘｄ，Ｙｄ）より大きくなるように制御する。
【０１０６】
一方、動画撮影中の場合には（ステップＳＤ２０でＹＥＳ）、静止画記録と違って、スルー表示の解像度で動画像が記録されてしまうので、動画の記録画質が劣化しないように、スルー表示が劣化することを抑制するだけでは不十分で、記録される動画の解像度や画質に重点を置く必要がある。そのため、感光部２０１から読み出す画像データの画素サイズ（ＸＯＵＴ，ＹＯＵＴ）を設定記録画像サイズ（ＸＲ，ＹＲ）に設定した後（ステップＳＤ２３）、図１７の（画質劣化の少ない）デジタルズーム処理（２）のサブルーチンに移行する（ステップＳＤ２４）。
【０１０７】
そして、係る処理においては、動画撮影時のユーザーが設定した記録画像サイズ（ＸＲ，ＹＲ）に応じて、あらかじめ、画素加算する加算数の上限値を、
ｍmax＝ＩＮＴ（ＸＦ／ＸＲ）、または、ｎmax＝ＩＮＴ（ＹＦ／ＹＲ）
のように、つまり撮像素子から読み出される撮像画像サイズが、設定記録画像サイズより大きくなるように設定する（ステップＳＤ１０１〜ＳＤ１０４）。
【０１０８】
例えば、ＸＦ＝２，８８０、ＹＦ＝２，１６０で、設定記録画像サイズが、ＸＲ＝１，２８０、ＹＲ＝９６０のとき、
加算数の限度は、ｍmax≦ＩＮＴ（２，８８０／１，２８０）＝２、ｎmax≦ＩＮＴ（２，１６０／９６０）＝２となるので、ｍ１＝ｎ１＝１、ｍ２＝ｎ２＝２、とすると、
加算数ｍ２の限度倍率ＤＺＬ（２）＝ＩＮＴ（２，８８０／２）／１，２８０＝１．１２５、
加算数ｍ１の限度倍率ＤＺＬ（１）＝ＩＮＴ（２，８８０／１）／１，２８０＝２．２５、となるので、
初期加算数をｉ＝２、ｍ＝ｎ＝２からはじめたとき、
ＤＺ＝１〜１．１２５倍のとき、ｍ＝ｎ＝２（２×２加算読出し）、
ＤＺ＝１．１２５〜２．２５倍のとき、ｍ＝ｎ＝１（１×１加算なし読出し）
となるように、ＤＺ＝１．１２５にて、加算数を切り替える。
【０１０９】
その後、ステップＳＤ１０２以降の処理により以下の制御を行う。すなわち、選択領域の加算読出し画像サイズ（Ｘ’，Ｙ’）が、少なくとも、ユーザーにより設定されている所望の動画記録の画像サイズ（ＸＲ，ＹＲ）以上となる条件、
Ｘ’＝Ｘ／ｍ＝ＩＮＴ（ＸＦ／ＤＺ）／ｍ（ｉ）≧ＸＲ、かつ、
Ｙ’＝Ｙ／ｎ＝ＩＮＴ（ＹＦ／ＤＺ）／ｎ（ｉ）≧Ｙ、
が満足される範囲で、デジタルズーム倍率（ＤＺ）を可変するようにして、つまり、加算数（ｍ（ｉ−１），ｎ（ｉ−１））に応じて、デジタルズーム倍率（ＤＺ）が
ＤＺ≦ＤＺＬ（ｉ）、但し、ＤＺＬ（ｉ）＝ＩＮＴ｛ＸＦ／ｍ（ｉ）｝／ＸＲ、または、ＩＮＴ｛ＹＦ／ｎＬ（ｉ）｝／ＹＲ
となる範囲内で、デジタルズーム倍率（ＤＺ）を可変するように制御すれば、記録される動画像の画質劣化が抑えられるので、それを超える高倍率が選択され、選択領域の加算読出し画像サイズが設定記録画像サイズ（ＸＲ，ＹＲ）未満になる場合には、加算数（ｍ（ｉ），ｎ（ｉ））を順次小さい加算数に切り替えてデジタルズームを行うように制御する。
【０１１０】
なお、表示書込み用画像サイズ（Ｘｄ，Ｙｄ）の代わりに、設定された記録画像サイズ（ＸＲ，ＹＲ）よりも小さな読出し画像サイズにならないように、画素加算数を切り替える以外は、実施形態１で説明した図９の（画質劣化の少ない）デジタルズーム処理（１）、つまり静止画撮影におけるスルー表示のデジタルズーム処理とほぼ同様である。
【０１１１】
このとき、拡大や伸張処理などを伴う画質が劣化しやすいリサイズや補間処理を行わない範囲内において、画素加算数を切り替えて、表示あるいは記録動画像の画質が劣化したり解像感が落ちない範囲で、読出し画像のデータ量を削減して、所要メモリ容量や信号処理量などを抑えるように制御する。
【０１１２】
すなわちステップＳＤ１１３，ＳＤ１１４においては、例えば、ＸＦ＝２，８８０、ＹＦ＝２，１６０で、設定記録画像サイズが、ＸＲ＝１,２８０、ＹＲ＝９６０であれば、
（例１）デジタルズーム倍率ＤＺ＝１．０倍のとき、選択読み出しする領域の大きさ（Ｘ，Ｙ）は、
Ｘ＝ＩＮＴ（ＸＦ／ＤＺ）＝（２,８８０／１）＝２,８００、Ｙ＝ＩＮＴ（ＹＦ／ＤＺ）＝（２,１６０／１）＝２,１６０、
ＤＺは、ＤＺＬ（２）＝１．１２５より小さい範囲内に入るので、加算数ｍ＝２、ｎ＝２として加算読出しし、
Ｘ’＝Ｘ／ｍ＝（２,８００／２）＝１，４４０、Ｙ’＝Ｙ／ｎ＝（２,１６０／２）＝１,０８０、
すなわち、１,４４０×１,０８０画素の（２×２）加算画像を得る。
【０１１３】
（例２）同様に、デジタルズーム倍率ＤＺ＝２．０倍のとき、選択読み出しする領域の大きさ（Ｘ，Ｙ）は、
Ｘ＝（２,８８０／２）＝１,４４０、Ｙ＝（２,１６０／２）＝１,０８０、
ＤＺは、ＤＺＬ（２）＝１．１２５より大きいが、ＤＺＬ（１）＝２．２５よりは小さいので、加算数ｍ＝１、ｎ＝１として加算読出しして、
Ｘ’＝（１,４４０／１）＝１,４４０、Ｙ’＝（１,０８０／１）＝１,０８０、
すなわち、１,４４０×１,０８０画素の（１×１）加算画像を得る。
【０１１４】
そして、上述した（画質劣化の少ない）デジタルズーム処理（１）、又は（画質劣化の少ない）デジタルズーム処理（２）が終了したら、メインルーチン（図１７）へ戻り、リサイズ／補間処理前の画像データを順次動画像ＣＯＤＥＣ２２に出力して圧縮符号化させるとともに、符号化した動画データをデータ・メモリ２９や画像メモリ媒体２５等に記録する（ステップＳＤ２５）。
【０１１５】
さらに、実施形態１で説明した静止画撮影モードの場合と同様に、設定記録画像サイズに応じて、（必要な場合のみ）撮影画像データのリサイズ／補間処理を行った後（ステップＳＤ２６）、スルー画像の表示処理を行った後（ステップＳＤ２７）、ユーザーによるキー操作があれば、録画の開始／停止／終了を含む他のキー処理を行い（ステップＳＤ２８）、それ以後は、前述した図１７のステップＳＤ４へ戻り、前述した処理を繰り返す。
【０１１６】
したがって、本実施の形態においては、動画撮影の記録中でも、設定された所望の記録画像サイズが確保できる範囲で、画素加算数を切り替えて、画質が劣化したり解像感が落ちたりしない範囲で、読出し画像のデータ量を削減できるので、所要メモリ量や所要信号量を大幅に削減できる。つまり信号処理負担を大幅に削減することができる。
【０１１７】
ここで、前述したイメージセンサ２の構成は、例えば図２０に示すように、水平出力回路に、各画素に隣接する同色（フィルタ）の複数の画素の撮像信号同士をデジタル信号で加算するデジタル加算回路（若しくは演算回路）２１１を設ける構成、または、図２１に示すように、列回路のＣＤＳ／ＡＤＣ回路２０４の前やＣＤＳ回路内に、各画素に隣接する複数の画素の撮像信号をアナログ信号のまま、画素加算または画素混合するアナログ加算回路を設けるとともに、加算後の撮像信号を読み出すアナログ信号読み出し回路２２１を設け、加算後の撮像信号をＡ／Ｄ変換回路２２２でデジタル変換して出力する構成としてもよい。
【０１１８】
なお、選択読出しされた選択領域の撮像信号、さらに画素加算された撮像信号は、列回路のＣＤＳ／ＡＤＣ回路から水平走査回路の列選択信号により選択された列信号が順次出力されるが、このとき、高速クロックに同期させて並列のデジタル信号として出力させてもよい。
【０１１９】
また、以上説明した実施形態１，２では、加算読出しは、列回路部のＣｏｌｕｍｎ型ＣＤＳ方式によるＣＤＳ／ＡＤＣ回路２０４でデジタル変換された信号同士を演算するデジタル演算回路を設けて行うようにしたが、ＣＤＳ／ＡＤＣ回路部は、その他のＣＤＳ方式やＡＤＣ方式で構成してもよい（実施形態３参照。例えば、積分型ＡＤＣの代わりに、逐次型や巡回型のＡＤＣを用いると、さらに高速に加算処理できる。）。
【０１２０】
また、加算読出しは、列回路のＣＤＳ／ＡＤＣ回路２０４の出力のデジタル信号同士をデジタル演算する演算回路を設けて構成したが、ＣＤＳ／ＡＤＣ回路２０４に入力される前のアナログ撮像信号同士で加算処理を行い、加算結果のアナログ信号をＣＤＳ／ＡＤＣ回路２０４でデジタル信号に変換してから出力できるように構成してもよい（実施形態４を参照。キャパシタ面積などアナログ回路部は若干大きくなり、演算の汎用性も劣るが、並列デジタル信号の多数の配線数が削減でき、回路も単純化できる。）。
【０１２１】
あるいは、ＣＭＯＳセンサの代わりに、ＣＣＤセンサを用いて構成し、撮像電荷を垂直＆水平転送ＣＣＤで順次転送して(低速度で)読み出すが、垂直および水平転送路上で画素加算してデータ量を少なくして読出し、また、出力を並列化する等して、通常のスルー映像や動画像の読出しより、(垂直加算数)×(水平加算数)×(並列出力数)の分だけ、数〜数十倍、速い速度で撮像信号を出力できるようにして、画質劣化の少ないデジタルズーム処理を実現してもよい（実施形態５を参照。既存のＣＣＤや性能の安定したＣＣＤをそのまま利用できる。)。
【０１２２】
さらに、実施形態１，２において、ＣＤＳ／ＡＤＣ回路は、Ｃｏｌｕｍｎ ＡＤＣ方式で構成したが、各種の方法があり、たとえば、単純なＣｏｌｕｍｎ ＣＤＳ方式や、ＤＤＳ方式(Double Data Sampling)、電荷領域差分方式など、他のＣＤＳ／ＡＤＣ回路方式で構成してもよい。また、ＡＤＣ回路部(アナログ／デジタル変換器)はシンプルな積分型Ａ／Ｄ変換器で構成したが、積分型Ａ／Ｄ変換器は線形性に優れるが、所要とする変換時間が長くかかるので、回路は若干大きくなるが逐次型Ａ／Ｄ変換器や巡回型Ａ／Ｄ変換器など、変換時間を短くできる他のＡ／Ｄ変換器を用いてもよい。
【０１２３】
（実施形態３）
次に、本発明の第３の実施形態について説明する。本実施の形態は、前述したイメージセンサ２の他の構成に関するものであって、比較器とアップ／ダウンカウンタによるＣＤＳ／ＡＤＣ回路、加算回路に関するものである。
【０１２４】
例えば、特開２００５−２７８１３５号公報(「固体撮像装置および固体撮像装置の駆動方法」)には、積分型ＡＤＣを列並列ＡＤＣ比較器およびアップ／ダウンカウンタを用いて、ＣＤＳ／ＡＤＣ回路を構成して、デジタル画素値をメモリ部に書込み、例えば、カウンタをリセットせずに次の画素値を続けてカウントさせると加算器なしで加算演算を行えるようにしたＣＭＯＳイメージセンサの構成例が公開されている。このような加算回路で画素加算処理を行ってもよい。
【０１２５】
図２２は、上記ＣＭＯＳイメージセンサと同様のＣＤＳ／ＡＤＣ回路４０１に、さらに、任意の演算や信号処理ができるように、列演算回路４０２、行演算回路４０３を設け、出力に並列デジタル／直列デジタル変換回路２０９を備えた出力回路４０４を設けた例である。
【０１２６】
列回路部は、列信号線毎に設けられたＣＤＳ／ＡＤＣ回路４０１を有し、各単位画素回路２５２から列毎に出力されるアナログ信号をデジタル信号に変換して出力する。
【０１２７】
各列のＡＤＣ回路(アナログ−デジタル変換回路)部の構成は、制御信号によって、全領域の撮像信号を読み出すプログレッシブ走査方式での(加算なしの)通常フレームレートモードと、単位画素の露光時間を１／Ｎに設定してフレームレートをＮ倍、例えば２倍に上げる(垂直加算を行う)高速フレームレートモードとの各動作モードに対応したＡ／Ｄ変換動作を切り替えられる構成となっており、各ＡＤＣは、比較器４０５と、アップ／ダウンカウンタ４０６などの計数器、転送スイッチ４０７およびメモリ４０８から成る。
【０１２８】
参照電圧の供給部は、例えばＤＡＣ(デジタル−アナログ変換回路)４０９などを内蔵し、クロックＣＫに基づいて、時間経過につれて電値が傾斜状に変化する、いわゆるランプ(ＲＡＭＰ)波形の参照電圧Ｖrefを生成する（以下、図２３参照）。
【０１２９】
比較器４０５は、ｎ列目の列信号線の信号電圧Ｖxと、参照電圧供給部からのランプ波形の参照電圧Ｖrefとを比較し、例えば、参照電圧Ｖrefが列信号線の信号電圧Ｖxよりも大きいときに比較器の出力Ｖcoが「Ｈ」レベルになり、参照電圧Ｖrefが信号電圧Ｖx以下のときに比較器出力Ｖcoが「Ｌ」レベルになる。
【０１３０】
アップ／ダウンカウンタ４０６は、非同期カウンタで、クロックＣＫに同期してダウン(ＤＯＷＮ)カウント、または、アップ(ＵＰ)カウントを行うことにより、比較器４０５での比較開始から比較終了までの比較時間を計測し、参照電圧Ｖrefは電圧が線形に上昇するＲＡＭＰ波形なので、カウント値はデジタル電圧値を表すことになる。
【０１３１】
１回目の読出し動作では、(単位画素毎にばらつく固定パターンノイズを含む)単位画素のリセット成分△Ｖが読み出され、２回目の読出し動作では、リセット成分△Ｖに加えて、単位画素毎の入射光量に応じた信号成分が、同様動作によって読出される。
【０１３２】
通常フレームレートモードでは、１つの画素からの信号読出しにおいて、１回目の読出し時に、比較器出力Ｖcoが「Ｈ」から「Ｌ」へ反転するまで、ダウンカウントを行うことにより１回目読出し時の比較時間を計測し、２回目の読出し時に、Ｖcoが逆に「Ｌ」から「Ｈ」へ反転するまで、アップカウントを行うことにより２回目読出し時の比較時間を計測する。
【０１３３】
また、ダウンカウント後にアップカウントを行うことにより、２回目と１回目の減算を行うことになり、
（２回目の比較時間）−（１回目の比較時間）
＝（信号成分Ｖsig＋リセット成分△Ｖ＋ＡＤＣオフセット成分）−（リセット成分△Ｖ＋ＡＤＣオフセット成分）
＝（信号成分Ｖsig）
となるので、２回の読出し動作とアップ／ダウンカウンタ４０６での減算処理により、単位画素毎のばらつきを含んだリセット成分△Ｖに加えて、ＡＤＣ毎のオフセット成分も除去され、単位画素毎の入射光量に応じた信号成分Ｖsigのみを取り出すことができる。ＡＤＣ回路に加え、ＣＤＳ回路の働きを兼ねることができる。
【０１３４】
一方、（Ｎ画素加算による）高速フレームレートモードでは、ある行の単位画素についてのカウント結果をそのまま保持しておき、引き続き、次行の単位画素について、前回カウント結果から１回目の読出し時にダウンカウント、２回目の読出し時にアップカウントを行うので、同様にＣＤＳ／ＡＤＣ処理を行うとともに、画素値が引き続き加算されることになり、さらに垂直加算回路の働きをも兼ねることができる。
【０１３５】
転送スイッチ４０７は、（加算なしの）通常フレームレートモードでは、ある行の単位画素についてのアップ／ダウンカウンタ４０６のカウント動作が完了した時点でオンとなってアップ／ダウンカウンタ４０６のカウント結果をメモリ装置に転送する。
【０１３６】
一方、例えば（Ｎ＝２）の画素加算読出しによる高速フレームレートでは、ある行の単位画素についてのアップ／ダウンカウント動作が完了した時点でオフのままで、引き続き、次行の単位画素についてのアップ／ダウンカウント動作が完了した時点でオン状態となってアップ／ダウンカウンタ４０６の垂直２画素分についてのカウント結果をメモリ４０８に転送する。
【０１３７】
先に図５に示したものと同様に、カウント結果を、転送スイッチ４０７を介して選択的にメモリ４０８に転送できるため、カウント動作と、カウント結果の水平信号線への読出し動作とを独立して制御できる。
【０１３８】
このようにして、各単位画素から列毎に供給されるアナログ信号が、ＡＤＣにおける比較器４０５およびカウンタ動作により、Ｎビットのデジタル信号に変換されてメモリ４０８に格納される。
【０１３９】
水平走査回路（Ｈレジスタ、列走査回路）２０８からの列選択信号に応じて、各ＡＤＣでＡ／Ｄ変換されたＮビットのデジタル信号は順に水平信号線に読み出され、水平信号線を経由して出力回路４０４から撮像データとして出力される。
【０１４０】
本例では、さらに、メモリ４０８に演算回路（列演算回路４０２）を設け、読出し時のアップ／ダウンカウンタ４０６による加減算以外の演算、例えば、エッジ検出（輪郭強調）やパターン識別などの演算処理もできる。また、出水平信号線の後段で出力回路４０４の前段にも、メモリ４１０と演算回路（行演算回路４０３）を設けたので、垂直加算だけでなく、水平加算などの水平方向の列同士の演算も行える。
【０１４１】
また、そのほか、特開２００６−２５１８９号公報（「デイジタルノイズキヤンセル機能をもつイメージセンサ」）には、巡回型ＡＤＣを用いるＣＤＳ／ＡＤＣ回路を設けたＣＭＯＳイメージセンサの例が公開されている。説明は略すが、このような他方式によるＣＤＳ／ＡＤＣを設けたり、画素加算を行ったりしても良い。巡回型や逐次型のＡＤＣでは、回路規模は増えるが、加算処理が高速にできる。
【０１４２】
（実施形態４）
次に、本発明の第４の実施形態について説明する。本実施の形態は、先に図２１に示したように、アナログ信号のまま加算してから、ＣＤＳ／ＡＤＣ回路でデジタル信号に変換するように構成したイメージセンサに関するものである。
【０１４３】
例えば、特開２０００−１０６６５３号公報（「固体撮像装置」）には、単位画素回路のフォトダイオードによる光電変換出力の増幅信号を、少なくとも上下２画素分蓄積し、加算する２Ｈラインメモリ＋２Ｈライン加算回路を備えて、センサ内部でインターレース動作を行えるＣＭＯＳイメージセンサの例が公開されている。
【０１４４】
この例ではインターレス動作を行う為に、キャパシタによるラインメモリに蓄積した信号同士を垂直加算しているが、同様の方法を用いて、アナログ信号のまま異なる行の垂直信号線からの信号を加算してから、ＣＤＳ／ＡＤＣ回路でデジタル信号に変換するようにしても良い。
【０１４５】
図２４は、このような２Ｈラインメモリ＋２Ｈライン加算回路４５１を設けたＣＭＯＳイメージセンサで垂直方向の画素加算を行い、加算された撮像信号をＣＤＳ／ＡＤＣ回路でノイズ除去およびデジタル信号に変換して、また、並列／直列変換して高速で読み出せるようにしたものである。
【０１４６】
加算方法は、例えば、上記特開２０００−１０６６５３号公報に記載された方法と同様の方法を用いるとすると、各列の第１の垂直信号線には、サンプルホールドトランジスタＳ／Ｈ Ｔｒ１とキャパシタＣ１を介して、第２の垂直信号線が接続される。第２の垂直信号線には、（２画素加算のみ行う場合には）トランジスタ２とキャパシタＣ２の直列接続と、トランジスタ３とキャパシタＣ３の直列接続との２組分が接続される（３画素加算を行う場合には３組設ければよい)。
【０１４７】
例えば、（２Ｎ行）の信号電圧はトランジスタ２を介してキャパシタＣ２に蓄積され、（２Ｎ＋１）行の信号電圧はトランジスタ３を介してキャパシタＣ３に蓄積され、この（２Ｎ）行の信号電圧と（２Ｎ＋１）行の信号電圧は、第２の垂直信号線で加算され、列選択トランジスタを介して、水平信号線に読み出される。
【０１４８】
例えば、各画素回路２５２を転送読出し線（転送ゲート線）を設けず、フォトダイオードの光電変換部と行選択アドレス線と行リセット線、列信号読出し線にそれぞれ接続された３素子トランジスタによる単純な構成とした場合には、図２５に示したように、水平帰線期間内に、（２Ｎ）行目の行アドレス線を選択し、この時、Ｈ１線に接続されたトランジスタ２のみがＯＮなので、第２の垂直信号線がクランプされる。その後、リセット線により当該行の単位画素回路のリセットトランジスタをＯＮすることによって、（信号電圧−リセット電圧）の信号をキャパシタＣ２に書き込む。同様にして、（２Ｎ＋１）行目の行アドレス線を選択し、Ｈ２線に接続されたトランジスタ３のみがＯＮなので、第２の垂直信号線がクランプされる。リセットトランジスタをＯＮすることによって、（２Ｎ＋１）行目の（信号電圧−リセット電圧）の信号をキャパシタＣ３に蓄積する。
【０１４９】
最後にトランジスタ２および３を同時にＯＮすることによって、上下２行分の信号を第２の垂直信号線で加算する。第２の垂直信号線を１本使って信号の加算が行われる。
【０１５０】
（実施形態５）
次に、本発明の第５の実施形態について説明する。実施形態１〜５においては、前記イメージセンサ２をＣＭＯＳイメージセンサとした例を主体に説明したが、高速で読出しできる撮像素子であれば、ＣＣＤ（Charge Coupled Device：電荷結合素子)など他の方式のイメージセンサを用いて構成しても良い。
【０１５１】
垂直方向の画素加算読出し動作については、例えば、特開平９−５５９５２号公報等に記されたような垂直２画素周期の繰返し配置の色フィルタを有し、垂直加算読出しを可能とした固体撮像装置における垂直方向の画素加算読出し動作によって、垂直方向に２画素離れた同色の信号電荷を垂直転送レジスタ内で加算した信号を得ることができる。
【０１５２】
同様に、水平方向の画素加算読出しについても、特開平１１−２３４５６９号公報、特開平１１−２３４６８８号公報、特開２０００−１１５６４３号公報（「固体撮像装置の駆動方法、固体撮像装置、固体撮像素子、並びに撮像カメラ」）等に記された撮像装置における水平加算読出し動作と同様に、水平方向の同一行の互いに異なる列の同色フィルターの画素同士を水平転送ＣＣＤ上で加算して読み出すことで行える。上記の垂直方向と水平方向の画素加算を組み合わせて、例えば、垂直２画素加算×水平２画素加算＝４画素加算読出し、垂直３画素加算×水平３画素加算＝９画素加算読出し、・・・など加算数を変えて行うこともできる。
【０１５３】
このようなＣＣＤ撮像素子などの固体撮像装置を用いて、上述のＣＭＯＳセンサにおける加算回路の代わりに、ＣＣＤ転送路における垂直画素加算および水平画素加算読出しで画素加算を行うように構成しても良い。図２６に、ＣＣＤ撮像素子における全画素読出しモード（ａ）と垂直加算読出しモード（ｂ）、垂直＆水平加算読出しモード（ｃ）の例を示す。
ＣＣＤによる垂直方向の加算は、以前よりビデオカメラなどでインターレス読出し時の画質向上などに用いられているので、ここでは、例として、水平方向の画素加算読出しの動作を、前記の特開２０００−１１５６４３号公報に記された固体撮像素子を例に、以下に概略を説明する。
【０１５４】
図２７（ａ）に、「通常読み出しモード」での駆動信号のタイムチャートを、同図（ｂ）に、「水平加算読出しモード」での駆動信号のタイムチャートを、また、図２８に、水平加算読出し時の信号電荷の状態の動作例を、それぞれ示す。
【０１５５】
この固体撮像素子では、垂直ＣＣＤレジスタ５０１と水平ＣＣＤレジスタ５０２との間に転送ゲート部を有し、この転送ゲート部において、第１相及び第２相の転送電極が、垂直ＣＣＤレジスタ５０１の一定の列毎に互に違いに配置され、垂直ＣＣＤレジスタ５０１の転送電極及び転送ゲート部の転送電極が２層電極構造で形成され、垂直ＣＣＤレジスタ５０１の一定の列単値毎に別々に信号電荷を水平ＣＣＤレジスタ５０２ヘ転送することができるので、この間に水平ＣＣＤレジスタ５０２を動作させて別々に転送した信号電荷を水平ＣＣＤレジスタ５０２内で混合することができる。
【０１５６】
また、垂直ＣＣＤレジスタ５０１内での転送数が垂直レジスタ列に関して周期的に異なるように電荷転送を行い、同一行の互いに離れた同色の画素の信号電荷を順番に垂直ＣＣＤレジスタ５０１から水平ＣＣＤレジスタ５０２ヘ転送し、先に水平ＣＣＤレジスタ５０２ヘ転送した画素の信号電荷を水平ＣＣＤレジスタ５０２内で転送した後、後から水平ＣＣＤレジスタ５０２ヘ転送した同色の画素の信号電荷と加算する。同じ行の互いに離れた同色フィルタの画素の信号電荷を水平ＣＣＤレジスタ５０２内で加算できる。
【０１５７】
通常読み出し動作では、垂直ＣＣＤレジスタ５０１の入力端子ｔＶ１〜ｔＶ４には、図２７（ａ）に示すような４相駆動パルスφＶＩ〜φＶ４を印加し、入力端子ｔＶ１’〜ｔＶ４’には、別の４相駆動パルスφＶ１’ 〜φＶ４’を印加する。駆動パルスφＶ１’ 〜φＶ４’を印加する電極群は、駆動パルスφＶ１〜φＶ４を印加する電極群に比べ２倍の回数の転送を行う。
【０１５８】
従って、駆動パルスφＶ１〜φＶ４を印加する電極群から駆動パルスφＶ１’〜φＶ４’を印加する電極群へ信号電荷が順次送られるのに対し、駆動パルスφＶ１’〜φＶ４’を印加する電極群では信号電荷のパケットと空パケットが存在するように信号電荷が水平ＣＣＤレジスタ方向に転送されることとなる。
【０１５９】
今、第２の転送期間Ｔ３を経て駆動パルスφＶ１〜φＶ４を印加する電極群から駆動パルスφＶ１’〜φＶ４’を印加する電極群へｊ行目の電荷が転送されたとする。一方、駆動パルスφＶ１〜φＶ４を印加する電極群は、第２の転送期間Ｔ３の他に第１の転送期間Ｔ２があるため、垂直ＣＣＤレジスタ〔１〕，〔２〕と垂直ＣＣＤレジスタ〔３〕，〔４〕のパケット数の違いは吸収され、水平走査期間Ｔ１に蓄積されたｊ行目の信号電荷を水平ＣＣＤレジスタに転送することができる。
【０１６０】
すなわち、水平ブランキング期間ＨＢＬＫの第１の転送期間Ｔ２において、垂直ＣＣＤレジスタ〔１〕，〔２〕におけるｊ行目の信号電荷が水平ＣＣＤレジスタ５０２に転送され、垂直ＣＣＤレジスタ〔３〕，〔４〕におけるｊ行目の信号電荷が垂直ＣＣＤレジスタ５０１の最終段へと１パケット分垂直転送される。次いで、第２の転送期間Ｔ３において、垂直ＣＣＤレジスタ〔３〕，〔４〕のｊ行目の信号電荷が水平ＣＣＤレジスタ５０２ヘ転送されると共に、垂直ＣＣＤレジスタ〔１〕，〔２〕，〔３〕，〔４〕のｊ−１行目の信号電荷が垂直ＣＣＤレジスタ５０１ヘ転送されることになる。
【０１６１】
従って通常読出し動作では、１行の信号電荷が順次出力されることになる。
【０１６２】
水平画素加算動作では、垂直ＣＣＤレジスタ５０１の入力端子ｔＶ１〜ｔＶ４に、図２７（ｂ）に示す４相駆動パルスφＶ１〜φＶ４を印加し、入力端子ｔＶ１’〜ｔＶ４’には、４相駆動パルスφＶ１’〜φＶ４’を印加する。また、水平ＣＣＤレジスタ５０２には、２相駆動パルスφＨ１及びφＨ２を印加する。
【０１６３】
図２８の信号電荷の状態と図２７（ｂ）の駆動パルスとを対応させて説明すると、
１）先ず、図２７（ｂ）の水平走査期間Ｔ１の終了時が図２８（Ａ）に相当する。
【０１６４】
２）次に、図２８（Ｂ）に示すように、水平ブランキング期間ＨＢＬＫのうちの第１の期間Ｔ２において、垂直ＣＣＤレジスタ〔１〕，〔２〕の信号電荷が水平ＣＣＤレジスタ５０２ヘ転送されると共に、垂直ＣＣＤレジスタ〔３〕，〔４〕の信号電荷が垂直ＣＣＤレジスタ５０１の最終段へ垂直転送される。
【０１６５】
３）次に、図２８（Ｃ）に示すように、第２の期間Ｔ３において、水平ＣＣＤレジスタ５０２で２パケット分の転送が行われ、同一行の２画素列方向に離れた信号電荷同士が同一列に移動される。
【０１６６】
４）次に、図２８（Ｄ）に示すように、第３の期間Ｔ４において、垂直転送により垂直ＣＣＤレジスタ〔３〕，〔４〕の最終段の信号電荷が水平ＣＣＤレジスタ５０２ヘ転送され、先に水平ＣＣＤレジスタ５０２に転送された垂直ＣＣＤレジスタ〔１〕，〔２〕の信号電荷に加算される。
【０１６７】
すなわち、水平ＣＣＤレジスタ５０２内で同一行の２画素だけ列方向に離れた信号電荷同士が加算される。同時に、水平ＣＣＤレジスタ５０２の空パケットに垂直ＣＣＤレジスタ〔１〕，〔２〕から次の行の信号電荷が転送される。
【０１６８】
５）さらに、図２８（Ｅ）に示すように、第４の期間Ｔ５において、水平ＣＣＤレジスタ５０２内で２パケット分の転送が行われ、上記次の行の２画素列方向に離れた信号電荷同士が同一列に移動される。
【０１６９】
６）次いで、図２８（Ｆ）に示すように、第５の期間Ｔ６において、垂直転送により垂直ＣＣＤレジスタ〔３〕，〔４〕の最終段の信号電荷が水平ＣＣＤレジスタ５０２ヘ転送され、先に転送された垂直ＣＣＤレジスタ〔１〕，〔２〕の信号電荷に加算される。
【０１７０】
すなわち、水平ＣＣＤレジスタ５０２内で上記次の行の２画素だけ列方向に離れた信号電荷同士が加算される。この結果、水平ＣＣＤレジスタ５０２に水平方向に２画素加算された信号電荷が２行分、蓄積されることになる。
【０１７１】
従って、水平走査期間Ｔ１において、水平ＣＣＤレジスタ５０２を２相駆動し、水平走査を１回行うことで、２行分の信号がＣＣＤ固体撮像素子の出力端子より出力される。
【０１７２】
このようなカラーＣＣＤ固体撮像素子に水平２画素周期の色フィルタを用いるときは、各々の行の画素の偶数列同士、奇数列同士が同一色になるので、混合しても混色が発生しない。
【０１７３】
また、水平方向に２画素離れた信号電荷同士を加算混合することで、水平方向のデータレートを１／２に削減できる。これにより高速に動作を行うことができる。また、撮像領域の画素全体の信号に対し合成を行うため、水平方向のデータ数を１／２にしても画角が変わらない。
【０１７４】
以上、水平方向の２画素加算について簡単に説明したが、水平３画素以上の加算についても可能である。また、前述の垂直方向の画素加算読出し動作と組み合わせることにより、垂直２画素加算×水平２画素加算＝４画素加算読出しなど、垂直方向と水平方向の加算数を共に切り替えて各種加算倍率の読出し走査が行える。
【０１７５】
もちろん、上記の特開２０００−１１５６４３号公報に記載の固体撮像素子とは、転送路や転送ゲート電極の構成、タイミング制御方法などが異なるような、他の構成の撮像素子を用いて画素加算読出しができるようにしても構わない。
【０１７６】
（実施形態６）
次に、本発明の第６の実施形態について説明する。本実施の形態は、イメージセンサ２からＤＳＰ３へ撮像信号を転送するための、ＣＭＬ、ＬＶＤＳなどの高速シリアル転送回路に関するものである。
【０１７７】
上述のように、加算された撮像信号のデジタル信号は、並列／直列変換回路２０９で順次シリアル（直列）のデジタル信号に変換されて出力されＤＳＰ３に転送される。高解像度で高速フレームで撮像を行うためには、当然ながら、撮像信号を高速でＤＳＰ３に転送する必要がある。
【０１７８】
例えば、図２９（ａ）に示すような、一般のＣＭＯＳ入出力回路では、入出力信号の振幅は、電源電圧範囲の一杯の範囲で振らせるので、消費電力が大きくなるばかりでなく、転送できる速度も遅くなってしまう。
【０１７９】
図２９（ｂ）に示すようなＣＭＬ系（Current Mode Logic、電流モードロジック）の入出力回路では、トランジスタを不飽和領域で使用して、インピーダンスを低くし、電圧を振らせるというよりは電流をｏｎ／ｏｆｆさせる方法で、(Ｖdd−０．４Ｖ)の電位電位を中心に低振幅で動作させる。浮遊容量を充・放電する量が少なくなるので高速動作できる。
【０１８０】
また、図２９（ｃ）に示すＬＶＤＳ系（Low-Voltage Differentia1 Signaling、小振幅差動信号方式）は、２本の信号線を使って情報を運ぶ差動信号方式で、単一チャンネルあたり数百〜数千Ｍｂｐｓ（メガビット／秒）の高速度でデータ伝送でき、かつ、ｍＷレベルの低消費電力の差動データ伝送方式として、内部バスの信号線の本数等を減らせるため、通信機器やＰＤＰ（プラズマディスプレイパネル）など表示装置や映像信号のデジタル入出力インタフェースとして普及している。
【０１８１】
２本の配線を必要とするが、電流モード・ドライバの採用と、＋１．２Ｖ電位を中心に０．３Ｖの上下振幅内で振らせる小振幅によって、コモンモードノイズを除去でき、広い周波数範囲に対して高いノイズ耐性が得られる。
【０１８２】
低振幅としたことで本来は雑音の影響は受けやすくなるが、信号振幅をわずか数百ｍＶに抑えられるのは、シングル・エンド伝送ではなく差動伝送にして、信号対ノイズの除去性能を高めたからで、振幅が小さくできるため遷移時間は短くなり、高いデータ・レートが実現できる。さらに、データ信号とクロック信号を多重化することなどで、１対の信号線でＲＣＢ各６ビット〜１０ビットのデータ伝送を実現することができる。汎用のＬＶＤＳ規格も、ＡＮＳＩ／ＴＩＡ／ＥＩＡ−６４４−Ａ(２００１年改訂)として、ドライバやレシーバの入出力特性など電気的特性が規格化されている。
【０１８３】
このように、ＣＭＯＳ回路でも高速でシリアル伝送できるＣＭＬ系やＬＶＤＳ系などによる低振幅の入出力インタフェースを用いて、直列信号に変換されたデジタル撮像信号を撮像素子の出力回路(送信トランシーバー)から出力して、後段のＤＳＰ回路３などへ高速で伝送し、ＤＳＰ側の入力回路(受信レシーバー)で受信した直列デジタル信号を並列／直列変換回路３０１で並列デジタル信号に変換してから、デジタル撮像信号として映像信号処理に用いることができる。
【０１８４】
図３０（ａ）に、ＬＶＤＳ方式を用いて直列シリアルのデジタル信号で伝送する撮像素子側（イメージセンサ２側）の出力回路（トランシーバー）とＤＳＰ３側の入力回路（レシーバー）の構成例を、同図（ｂ）にタイミングチャートを示す。
【０１８５】
また、図３１に示すように、映像機器間に用いられるデジタルインタフェースとして、Siliconlmage社が開発したシリアル転送方式のＴＭＤＳ（Transition Minimized Differential Signaling）などがある。
【０１８６】
ＰＣ用ディスプレイ向け映像入出力用のデジタル・インターフェース規格であるＤＶＩ（Digital Visual Interface）や、ＤＶＩをベースにデジタル家電／ＡＶ機器向けに開発された次世代の映像・音声・制御信号入出力用デジタル・インタフェース規格のＨＤＭＩ（High Definition Multimedia lnterface）などにも、物理層としてＴＭＤＳが採用されている。
【０１８７】
ＴＭＤＳでは、基本的にドライバ側がオープン・ドレインの電流源で、レシーバ側は差動レシーバとなり、差動の＋側と−側がそれぞれ５０Ω３．３Ｖにオフセット終端された不平衡対称差動伝送路を形成する。１リンク当たりデータ転送速度は、２２．５Ｍｐｐｓ〜１６５Ｍｐｐｓ（Pixel Per Second）と高速で、１リンクでＶＧＡ（６４０×４８０画素＠６０Ｈｚ）からＵＸＧＡ（１６００×１２００画素＠６０Ｈｚ）またはＳＸＧＡ（１２８０×１０２４画素＠８５Ｈｚ）までカバーでき、アナログ信号変換による信号劣化がなくなり、伝送画質が向上する。
【０１８８】
ＴＭＤＳでは、データ信号用にＤ０〜Ｄ２のＳレーン、クロック信号用に１レーンのＴＭＤＳリンクが構成される。Ｄ０〜Ｄ２の各レーンは、それぞれ１０ビット（うちわけは、ＹＣｂＣｒやＲＧＢ等の色データが各８ビット、コントロール信号が各３ビット）の映像データ信号を１０：１にシリアル化して送信できる。クロックのレーンは、ベース・クロックが、（データに対して１０分の１の伝送レートで）そのまま送信される。受信側では、レシーバＰＬＬによって、クロック信号が再生されて再生復元されたクロック信号を用いてデータ信号が受信される。
【０１８９】
このような映像入出力用のＴＭＤＳやＤＶＩ、ＨＤＭＩなどの高速シリアル転送方式、あるいは、これらのデジタル・インターフェースによるリンクを複数並列に用いて、撮像素子からＤＳＰなどでデジタル撮像信号を高速でシリアル転送するように構成しても良い。
【０１９０】
（実施形態７）
次に、本発明の第７の実施形態について説明する。本実施の形態は、撮像信号の出力を並列化して高速転送するものである。上述した実施形態６では、デジタル撮像信号を並列／直列変換して高速で出力し、後段のＤＳＰなど信号処理回路へ転送出力する例を示した。
【０１９１】
ＣＭＯＳイメージセンサなどでは、このような方法も採りやすいが、ＣＣＤなどでは、撮像電荷をＣＣＤ転送路で順次バケツリレー式に運んで読出し出力するので、このような方法では、高速化にも限度がある。このため、以前より特殊な高速度カメラなどで一部用いられているが、撮像信号の出力端子を複数設けて、並列に出力する方法がある。もちろん、アナログ信号のままであっても、デジタル信号であってもよい。
【０１９２】
図３２は、撮像信号の出力を複数設けて構成したＣＣＤ撮像素子６０１の例を示した回路図、図３３は、撮像信号出力を複数並列に設けて、デジタル信号による撮像信号、あるいは、さらに並列直列変換した直列デジタル信号を複数本並列に出力して、転送速度をさらに稼げるようにしたＣＭＯＳイメージセンサ７０１の例を示した回路図である。後段の信号処理回路も並列に複数設けたり、複数のＤＳＰで同じ画像データを部分データ毎に分離して並列パイプラインで映像信号処理した後で合成して、信号処理された画像データを出力できるように構成しても良い。
【０１９３】
なお、以上説明した各実施の形態では、本発明をデジタルカメラに適用する場合について説明したが、本発明は電子ズーム機能を有しているものであれば、光学ズームの有無に関係なくデジタルビデオカメラ、カメラ付き携帯電話端末、カメラ付きＰＤＡ等の他の撮像装置にも採用することができる。
【図面の簡単な説明】
【０１９４】
【図１】各実施の形態に共通するデジタルカメラのブロック図である。
【図２】第１の実施の形態におけるイメージセンサ及びＤＳＰの詳細を示したシステム構成図である。
【図３】同イメージセンサの詳細を示した回路図である。
【図４】（ａ）はイメージセンサの単位画素回路、（ｂ）は単位画素回路の構造、（ｃ）は単位画素回路の動作を示した説明図である。
【図５】ＣＤＳ／ＡＤＣ回路及びデジタル画素加算回路の具体的構成を示した回路図である。
【図６】信号読み出し時の動作タイミングチャートである。
【図７】静止画撮影モードでの動作を示すフローチャートである。
【図８】図７に続くフローチャートである。
【図９】（画質劣化の少ない）デジタルズーム処理（１）を示すフローチャートである。
【図１０】画素加算しない場合のデジタルズーム処理の例を示す説明図である。
【図１１】図１０に続く説明図である。
【図１２】画素加算を行う場合のデジタルズーム処理の例を示す説明図である。
【図１３】図１２に続く説明図である。
【図１４】選択されたＡＦ枠を中心にデジタルズーム処理を行う場合の例を示す説明図である。
【図１５】光学ズームの限度を越えると、デジタルズームを行う場合の例を示すフローチャートである。
【図１６】画質劣化の少ないデジタルズームを行い、その限度を越えると光学ズームを行う場合の例を示すフローチャートである。
【図１７】第２の実施の形態を示す、動画撮影モードでの動作を示すフローチャートである。
【図１８】図１７に続くフローチャートである。
【図１９】（画質劣化の少ない）デジタルズーム処理（２）を示すフローチャートである。
【図２０】イメージセンサの他の構成を示す、図２に対応するシステム構成図である。
【図２１】イメージセンサの他の構成を示す、図２に対応するシステム構成図である。
【図２２】第３の実施の形態におけるイメージセンサの構成を示す回路図である。
【図２３】同イメージセンサの信号読み出し時の動作タイミングチャートである。
【図２４】第４の実施の形態におけるイメージセンサの構成を示す回路図である。
【図２５】同イメージセンサの信号読み出し時の動作タイミングチャートである。
【図２６】第５の実施の形態におけるＣＣＤ撮像素子の全画素読出しモード（ａ）と垂直加算読出しモード（ｂ）、垂直＆水平加算読出しモード（ｃ）の例を示した概念図である。
【図２７】（ａ）は、通常読み出しモードでの駆動信号を示すタイミングチャート、（ｂ）は、水平加算読出しモードでの駆動信号のタイミングチャートである。
【図２８】水平加算読出しモードでの駆動時における信号電荷の状態を示す遷移図である。
【図２９】（ａ）は、一般のＣＭＯＳ入出力回路の説明図、（ｂ）は、第６の実施の形態におけるＣＭＬ系の高速入出力回路の説明図、（ｂ）は、ＬＶＤＳ系の高速入出力回路の説明図である。
【図３０】（ａ）は、ＬＶＤＳを用いる画像信号の入出力回路、（ｂ）は、そのデータ転送のタイミングチャートを示す図である。
【図３１】ＴＭＤＳまたはＤＶＩ規格、ＨＤＭＩ規格を用いる映像信号の入出力回路の例を示す図である。
【図３２】第７の実施の形態におけるＣＣＤ撮像素子の回路図である。
【図３３】同実施の形態におけるＣＭＯＳイメージセンサの回路図である。
【符号の説明】
【０１９５】
２ イメージセンサ
３ ＤＳＰ
１０ 制御回路
１１ ＣＰＵ
１９ 画像データバス
２３ａ 表示メモリ（ＲＡＭ）
２４ ＬＣＤ
２５ 画像メモリ媒体
２０１ 感光部
２０２ 垂直走査回路
２０３ タイミング発生回路
２０４ ＣＤＳ／ＡＤＣ回路
２０４ａ ＣＤＳ回路
２０４ｂ Ａ／Ｄ変換回路
２０６ デジタル画素加算回路
２２１ アナログ信号読み出し回路
４０１ ＣＤＳ／ＡＤＣ回路
４０５ 比較器
４０６ アップ／ダウンカウンタ
６０１ ＣＣＤ撮像素子
７０１ ＣＭＯＳイメージセンサ
【出願人】 【識別番号】０００００１４４３
【氏名又は名称】カシオ計算機株式会社
【出願日】 平成１８年７月５日（２００６．７．５）
【代理人】 【識別番号】１０００８８１００
【弁理士】
【氏名又は名称】三好 千明
【公開番号】 特開２００８−１７０９０（Ｐ２００８−１７０９０Ａ）
【公開日】 平成２０年１月２４日（２００８．１．２４）
【出願番号】 特願２００６−１８５２００（Ｐ２００６−１８５２００）