撮像装置

トップ :: H 電気 :: H04 電気通信技術

【発明の名称】	撮像装置
【発明者】	【氏名】橋本充夫【氏名】久野徹也
【要約】	【課題】特殊な機構装置を用いることなく手ぶれ補正を実施することにより、小型で低コストの撮像装置を提供する。【構成】電荷蓄積期間中に第１から第Ｎ（Ｎは２以上）の画像を１枚に合成する合成手段３３を有した撮像装置において、撮像装置の動きを検出する動き検出手段３２と、第１の画像を一時保持する画像保持手段３５と、該保持された第１の画像を第２の画像に対して、動き検出手段によって検出された動き量の１／Ｎに応じた画像位置だけシフトする画像シフト手段３４と、該シフトした第１の画像を第２の画像に加算し、画像保持手段に加算した画像を移す画像加算手段３６と、該加算された画像を再び１／Ｎに応じた画像位置だけシフトして第３の画像を加算する動作を第Ｎの画像を加算するまで繰り返し行う制御手段３７とによって手ぶれを補正する。

【特許請求の範囲】
【請求項１】
撮像画面上の第１の方向に整列した複数の画素位置に配置され、被写体からの光を受けて光電変換を行なう光電変換素子を備えた光電変換部と、前記第１の方向に整列した画素位置の光電変換素子にそれぞれ対応して設けられ、対応する光電変換素子で蓄積された電荷が転送され、かつ相互間で電荷の転送を行う複数の転送素子を有する転送部とを有する固体撮像素子と、
前記固体撮像素子の、前記第１の方向の動きを検出する動き検出手段と、
前記動き検出手段で検出された動きの量に応じて、前記固体撮像素子上に結像した光像に対応する、所定のフレーム期間の中の第１乃至第Ｎ（Ｎは２以上の整数）の画像信号を読み出して、該読み出された前記第１乃至第（Ｎ－１）の画像信号を、前記検出された前記動きの量に応じた画素数分シフトさせて合成する合成手段とを有し、
前記合成手段は、
前記動き検出手段で検出された所定時間当たりの動きの量に応じて、相前後する第１乃至第Ｎの画像生成期間に前記光電変換素子で電荷を蓄積させ、
第１の画像生成期間中に前記光電変換素子で蓄積された電荷を、前記光電変換素子から対応する転送素子に読み出し、前記動きの量に関係付けられた第１の移動量だけ前記転送素子間で転送し、
Ｎが２よりも大きい場合には、さらに第ｎ（ｎは２乃至（Ｎ－１）の整数）の画像生成期間中に前記光電変換素子で蓄積された電荷を、前記光電変換素子から対応する転送素子に読み出し、該読み出された電荷を、前記動きの量に関係付けられた第（ｎ－１）の移動量だけ転送された電荷に加算し、加算の結果得られた電荷を、前記動きの量に関係付けられた第ｎの移動量だけ前記転送素子間で転送する処理をｎが２から（Ｎ－１）まで順に実行し、
第Ｎの画像生成期間中に前記光電変換素子で蓄積された電荷を、前記光電変換素子から対応する転送素子に読み出し、該読み出された電荷を、前記動きの量に関係付けられた第（Ｎ－１）の移動量だけ転送された電荷に加算し、加算の結果得られた電荷を、合成された画像信号として前記固体撮像素子から出力し、
前記合成手段は、各フレーム期間において前記画像信号をシフトさせる画素数を、当該フレーム期間よりも前のフレームにおいて、前記動き検出手段で検出された動きの量に応じた値に定める
ことを特徴とする撮像装置。
【請求項２】
前記動きの量に関係付けられた量が、前記所定時間当たりの動きの量に比例することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記光電変換部が、それぞれ異なる色の色フィルタで覆われた光電変換素子を含み、前記色フィルタが所定の繰り返しパターンで周期的に配列され、
前記転送部での電荷転送の量は、色フィルタの繰り返しパターンの周期に対応する画素数の整数倍であることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記第１乃至第Ｎの画像生成期間の合計の時間が、前記被写体の明るさに基づいて決められるものであることを特徴とする請求項１乃至３のいずれかに記載の撮像装置。

【発明の詳細な説明】【技術分野】
【０００１】
本発明はＣＣＤイメージセンサなどの固体撮像素子を用いた撮像装置に関するものであり、静止画におけるぶれ補正機能を有する静止画撮像装置に関する。
【背景技術】
【０００２】
被写体を撮像しようとするとき、被写体が静止していても、撮影者がシャッタボタンを押す際に撮像装置を動かしてしまうことで撮像画像がぶれてしまうことは良く知られた現象であり、これは一般に「手ぶれ」と表現される。「手ぶれ」の発生は被写体が撮像される環境の照度が低く、シャッタスピードが遅くなる（電荷蓄積期間が長くなる）ほど多くなる。
【０００３】
この手ぶれによる撮像画像に対し、機構的に、あるいは画像処理により補正を加え、手ぶれによる画像の劣化を減少させ、撮像画像の品質を向上しようとする技術が広く検討されている。例えば、角速度や角加速度を検出するセンサを用いて撮像装置の変位（角度）を検出し、この変位を打ち消す方向に、光学レンズや固体撮像素子自体を移動させることにより手ぶれを補正する技術がある。
【０００４】
例えば、角速度センサによる手ぶれ検出手段を設け、手ぶれ検出結果ならびに補正光学系の位置検出結果に応じて、像のぶれを低減または消滅させる方向に前記補正光学系を駆動制御する手段を設けた像ぶれ補正装置を備えた撮像装置が知られている（例えば、特許文献１参照）。
【０００５】
従来の別の撮像装置では、画像処理による手ぶれ補正処理を行っている。例えば、電荷蓄積期間を制御して複数回の連続した露光を与え、得られた複数の撮像画像を加算して一つの画像を生成することとし、加算に際しては各露光において得られる画像間で相対的な動き補償を行い、画像間の被写体ずれを補正した後に行う画像処理手段を備えた撮像装置が知られている（例えば、特許文献２参照）。
【０００６】
また、同じ画像処理による手ぶれ補正処理手段を有する撮像装置であるが、手ぶれによって発生した連続するフィールド間画像の動きベクトルをもとに動き予測ならびに動き検出を行い、画像の切り出し位置（画像メモリからの読み出し位置）を変えることで手ぶれの補正を行なうものも知られている（例えば、非特許文献１参照）。
【０００７】
【特許文献１】特開平７－９８４６６号公報（第１－８頁、第１図）
【特許文献２】特開２００１－８６３９８号公報（第１－９頁、第１図）
【非特許文献１】日下博也、岸靖典、“高解像度純電子手振れ補正システム”、映像情報メディア学会誌、２００２年、Ｖｏｌ．５６、Ｎｏ．１０、ｐ．１６６３－１６６８
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１に記載された従来の撮像装置では、手ぶれによる振動を相殺するための機構部品が必要であり、またその装置を駆動するためのアクチュエータやモーターが必要であり、撮像装置が大型化するとともに消費電力、コストも増大するという問題がある。さらに機構部品が落下衝撃の影響を受けるために、対衝撃設計を行う必要がある。
【０００９】
また、上記特許文献２に記載された従来の別の撮像装置では、複数回の連続した露光を与えることによって得られた複数の撮像画像を加算するため、これら複数の撮像画像数すべてを記憶するための別途フレームメモリが必要となる。
【００１０】
さらに、上記非特許文献１に記載されたように、連続するフィールド間画像の動きベクトルをもとに手ぶれ補正を実施した場合、動画には有効であるが、１枚の画像内に発生している手ぶれについては補正できないため、静止画の手ぶれ補正には使用できない。また、画像メモリから画像を切り出すため、必要なメモリ容量も増大する。
【００１１】
なお、手振れ以外の理由で発生する画像のぶれ、例えば撮像装置が車両などの移動体に搭載され、移動しながら撮像を行う場合の、被写体に対する撮像装置の相対的な動きによって生じる画像のぶれについても同じような問題がある。
【００１２】
本発明は上述したような課題を解決するためになされたもので、特殊な機構部品や大容量のメモリを必要とせず、固体撮像素子内でぶれ補正を実施することにより、小型で低コストの撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、
撮像画面上の第１の方向に整列した複数の画素位置に配置され、被写体からの光を受けて光電変換を行なう光電変換素子を備えた光電変換部と、前記第１の方向に整列した画素位置の光電変換素子にそれぞれ対応して設けられ、対応する光電変換素子で蓄積された電荷が転送され、かつ相互間で電荷の転送を行う複数の転送素子を有する転送部とを有する固体撮像素子と、
前記固体撮像素子の、前記第１の方向の動きを検出する動き検出手段と、
前記動き検出手段で検出された動きの量に応じて、前記固体撮像素子上に結像した光像に対応する、所定のフレーム期間の中の第１乃至第Ｎ（Ｎは２以上の整数）の画像信号を読み出して、該読み出された前記第１乃至第（Ｎ－１）の画像信号を、前記検出された前記動きの量に応じた画素数分シフトさせて合成する合成手段とを有し、
前記合成手段は、
前記動き検出手段で検出された所定時間当たりの動きの量に応じて、相前後する第１乃至第Ｎの画像生成期間に前記光電変換素子で電荷を蓄積させ、
第１の画像生成期間中に前記光電変換素子で蓄積された電荷を、前記光電変換素子から対応する転送素子に読み出し、前記動きの量に関係付けられた第１の移動量だけ前記転送素子間で転送し、
Ｎが２よりも大きい場合には、さらに第ｎ（ｎは２乃至（Ｎ－１）の整数）の画像生成期間中に前記光電変換素子で蓄積された電荷を、前記光電変換素子から対応する転送素子に読み出し、該読み出された電荷を、前記動きの量に関係付けられた第（ｎ－１）の移動量だけ転送された電荷に加算し、加算の結果得られた電荷を、前記動きの量に関係付けられた第ｎの移動量だけ前記転送素子間で転送する処理をｎが２から（Ｎ－１）まで順に実行し、
第Ｎの画像生成期間中に前記光電変換素子で蓄積された電荷を、前記光電変換素子から対応する転送素子に読み出し、該読み出された電荷を、前記動きの量に関係付けられた第（Ｎ－１）の移動量だけ転送された電荷に加算し、加算の結果得られた電荷を、合成された画像信号として前記固体撮像素子から出力し、
前記合成手段は、各フレーム期間において前記画像信号をシフトさせる画素数を、当該フレーム期間よりも前のフレームにおいて、前記動き検出手段で検出された動きの量に応じた値に定める
ことを特徴とする撮像装置を提供する。
【発明の効果】
【００１４】
本発明によれば、特殊な機構装置やメモリを必要とせずに固体撮像素子内でぶれ補正を実施することにより小型で低コストの撮像装置を提供することが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、画像のぶれが手ぶれによるものである場合について、説明するが、本発明は、手ぶれ以外の理由で発生する画像のぶれにも適用可能である。例えば、自動車やその他の移動体に搭載され、移動しながら撮影を行うカメラであって、あらかじめ主たる動きの方向が分っている場合に適用できる。
【００１６】
実施の形態１．
図１は本発明の実施の形態１の撮像装置の構成を示す図である。図示のようにこの撮像装置は、レンズ１と、固体撮像素子２と、アナログ信号処理部３と、画素信号Ａ／Ｄ変換部４と、信号処理部５と、表示手段６と、ＣＰＵ７と、タイミングジェネレータ８と、手ぶれセンサ９と、動き信号Ａ／Ｄ変換部１０と、積算部１１と、レンズ駆動部１２とを有する。
【００１７】
レンズ１を通して入射した被写体像を固体撮像素子２で光電変換する。このレンズ１は焦点距離が可変のズームレンズとして機能する。レンズ駆動部１２からの制御信号によって、レンズ１は光軸上で前後へ移動し、焦点距離を連続的に変えることができる。この制御信号はＣＰＵ７から出力される。
【００１８】
固体撮像素子２は、図２に示すように、複数の光電変換素子列２０を有する光電変換部１９と、それぞれ光電変換素子列２０に対応し、隣接して設けられた複数の垂直転送部２２と、光電変換素子列２０と垂直転送部２２の間に位置する読み出しゲート部２４と、水平転送部２７と、出力増幅器２８とを有する。
【００１９】
各光電変換素子列２０は、撮像画面上の第１の方向、例えば垂直方向に列をなす複数の画素位置に配置され、被写体（図示しない）からの光をレンズ１を介して受けて光電変換を行なう複数の光電変換素子２１を有する。
各垂直転送部２２は、対応する光電変換素子列２０の光電変換素子２１にそれぞれ対応して設けられ、対応する光電変換素子２１で蓄積された電荷が、読み出しゲート部２４のそれぞれの読み出しゲート２５を介して転送され、かつ相互間で垂直方向に電荷の転送を行う複数の転送素子２３から成る。
水平転送部２７は、垂直転送部２２で転送され、垂直転送部２２から出力された電荷を受けて、第１の方向と直交する第２の方向、例えば水平方向に転送する。
出力増幅器２８は、水平転送部２７を転送され、水平転送部２７から出力された電荷を増幅して出力する。
【００２０】
光電変換部１９の光電変換素子２３における光電変換によって、光の強さに応じた量の電荷が蓄積され、読み出しパルスＴＧによって、電荷が読み出しゲート部２４を介して垂直転送部２２に取り出され、４相のパルスφＶ１、φＶ２、φＶ３、φＶ４から成る垂直転送パルスＶＤＰによって水平転送部２７方向へ逐次転送される。水平転送部２７では１ライン分の画素が入るたびに２相のパルスφＨ１、φＨ２から成る水平転送パルスＨＤＰによって水平方向に電荷の転送を行ない、出力増幅器２８で信号電圧に変換して信号を出力する。
【００２１】
本願では簡単のため、垂直転送部２２内の転送を単に「垂直転送」と言い、水平転送部２７内の転送を単に「水平転送」と言うことがある。
【００２２】
上記の垂直転送パルスＶＤＰによって、垂直転送部２２内の電荷を水平転送部２７の方向（図２の垂直転送部２２内の矢印ＦＷの方向。以下「順方向」と呼ぶことがある）へ転送するだけではなく、水平転送部２７から離れる方向（図２の垂直転送部２２内の矢印ＦＷと反対方向。以下「逆方向」と呼ぶことがある）へ転送することも可能である。また、垂直転送パルスＶＤＰを印加しない時は、垂直転送部２２は画像保持手段としての働きを有し、読み出しゲート部２４を介して垂直転送部２２に取り出された電荷を、垂直転送部２２内で順方向にも逆方向にも移動させず、取り出された位置に保持することができる。
垂直転送部２２の各転送素子２３は、内部に保持されている電荷と、対応する光電変換素子２１から転送される電荷とを加算する画像加算手段としても機能する。
【００２３】
図３は、図２における縦方向に並んだ４画素を拡大して示す図である。符号ＰＸは一つの画素を示す。各画素は、光電変換素子２１、読み出しゲート２５ならびに転送素子２３を備える。本実施の形態では４相の垂直転送パルスＶＤＰを用いており、１画素あたり４個の電極２６ａ～２６ｄが存在する。光電変換素子２１にて光電変換されて蓄積された電荷は、読み出しゲート２５を介して転送素子２３に読み出される。以下に述べるように、４相の垂直転送パルスＶＤＰの電圧を所定の時系列で変化させることにより、垂直転送部２２内の電荷を所望の画素数分だけ順方向にも、逆方向にも転送することができる。
【００２４】
固体撮像素子の光電変換部１９の光電変換素子２１は、それぞれ異なる色の色フィルタで覆われ、該色フィルタが所定の繰り返しパターンで周期的に配列されている。この周期的配列は、図４に示すようにベイヤ型であっても良い。色フィルタは、例えば赤（Ｒ），緑（Ｇ），青（Ｂ）の色フィルタであり、Ｒ，Ｇ，Ｂの色フィルタで覆われた光電変換素子からは、Ｒ，Ｇ，Ｂの画素信号が得られる。図４で、符号Ｈは、撮像画面上の横軸、即ち水平方向軸を示し、水平方向軸に沿う１、２、…ｍは水平方向軸上の座標値を表し、符号Ｖは、撮像画面上の縦軸、即ち垂直方向軸を示し、垂直方向軸に沿う１、２、…ｎは垂直方向軸上の座標値を表す。
【００２５】
なおまた、図４に示すベイヤ配列の代わりに、図５に示すハニカム配列のものを用いても良い。ハニカム配列は、ベイヤ配列を４５度回転させたものであり、ハニカム配列においては、撮像素子は各々略正八角形の各画素の光電変換素子を有し、垂直転送部２２は画素列に沿って（隣接する画素列間を）蛇行する形状をしている。
【００２６】
再び図１を参照し、固体撮像素子２から得られるＲ、Ｇ、Ｂの画素信号は、アナログ信号処理部３において、相関二重サンプリング処理（ＣＤＳ）ならびに自動利得制御増幅処理（ＡＧＣ）が施される。
固体撮像素子２に供給される、読み出しパルスＴＧ、垂直転送パルスＶＤＰ、及び水平転送パルスＨＤＰ、並びに後述のオーバーフロードレインパルスＯＦＤ（これらを総称して「固体撮像素子の駆動用パルス」と呼ぶことがある）、並びにアナログ信号処理部３に供給されるＣＤＳのためのサンプリングパルスＤＳＰは、タイミングジェネレータ８によって供給される。これらのパルスの発生のタイミングは、ＣＰＵ７によって制御される。また、アナログ信号処理部３におけるＡＧＣも、ＣＰＵ７からの制御信号によって行われる。
【００２７】
アナログ信号処理部３の出力信号は、画素信号Ａ／Ｄ変換部４にてデジタル信号に変換された後、信号処理部５にて映像信号処理され、表示手段６において表示可能な映像信号になる。信号処理部５では、ＲＧＢ信号から輝度色差信号（ＹＣｂＣｒ）への変換、ホワイトバランス補正、γ（ガンマ）補正、色補間処理および輪郭強調補正等の画像処理が行われる。ＬＣＤなどで構成された表示手段６は、信号処理部５から出力された映像信号を表示する。静止画を撮影する際、撮影者は表示手段６に映る被写体の画像を見ながら構図を決める。
【００２８】
手ぶれセンサ９は、撮影者が被写体を撮像する際の撮像装置本体、特にその固体撮像素子２の上記第１の方向（垂直方向）の動きを感知する動き検出手段として用いられている。ここで、第１の方向の動きを感知する動き検出手段としては、第１の方向の動きのみを感知するものでもよく、他の方向の動きをも感知するが、動きの第１の方向の成分に対応した信号を生成するものでもよい。手ぶれセンサ９は例えば角速度を検知する素子であり、得られた角速度を時間積分することで、振動による変位量および変位方向を得ることができる。この手ぶれセンサ９によって検出した角速度信号は動き信号Ａ／Ｄ変換部１０にてデジタル信号に変換された後、ＣＰＵ７に出力される。なお、手ぶれセンサ９としては、角速度センサに限られず、代わりに角加速度センサ、加速度センサまたは地磁気センサ等を用いることも可能であり、それぞれのセンサ信号に応じた適正な信号処理を行なうことで、角速度センサを用いた場合と同様の効果を得ることができる。
【００２９】
ＣＰＵ７は本撮像システムを総括して制御を行うとともに、各種演算を実施する手段として機能している。信号処理部５からの映像信号データに基づき、自動露光制御（ＡＥ）／自動ホワイトバランス制御（ＡＷＢ）を行うとともに、アナログ信号処理部３に対する増幅利得の設定、タイミングジェネレータ８で生成される固体撮像素子２の駆動用パルスの発生の制御、ならびにレンズ駆動部１２の制御信号の生成を行う。
積算部１１は、信号処理部５から入力される１画面分の映像信号の積算を行う。積算結果は、撮像画像の明るさを表すものであり、ＣＰＵ７はこれに基づいて、オーバーフロードレインパルスＯＦＤの生成を制御し、これにより電荷蓄積時間の制御を行う。
【００３０】
さらにＣＰＵ７は、動き信号Ａ／Ｄ変換部１０にてデジタル信号に変換された角速度信号を積分し、撮像装置に生じたぶれの角度と方向を計算し、さらにこの計算値をもとに手ぶれ量を画像のぶれの画素数に換算する機能も有する。
【００３１】
また、後に詳しく述べるように、垂直転送部２２（図２参照）内で電荷を移動させるための垂直転送パルスＶＤＰの波形、ならびにこの垂直転送パルスＶＤＰの発生タイミングを決定する。この決定された垂直転送パルスＶＤＰの波形及び発生タイミングに基づいてタイミングジェネレータ８へ制御信号を出力し、この制御信号に基づいて、タイミングジェネレータ８は固体撮像素子２の駆動用パルス信号の発生を行う。このように、ＣＰＵ７が算出する制御信号を受け取ったタイミングジェネレータ８は、後述する垂直転送部２２内で電荷を移動させる垂直転送信号発生手段として機能する。
【００３２】
さらに、ＣＰＵ７とタイミングジェネレータ８は、手ぶれセンサ９で動きが検出されたときに、光電変換素子から転送素子への転送（読み出し）のための読み出しパルスのタイミングを制御し、所定のフレーム期間の間に複数回画像を読み出すための制御も行う。
【００３３】
図６は、本実施の形態において手ぶれ補正を行うための構成要素を機能ブロック図で表したものである。レンズ１を通して入射する光像は電荷蓄積手段３１にて光電変換され、電荷が蓄積される。
【００３４】
電荷蓄積手段３１は、本実施の形態では図２における、光電変換部１９で構成される。動き検出手段３２は撮像装置の動きを検出する手段であり、図１の手振れセンサ９で構成される。合成手段３３は、動き検出手段３２で検出された動きの量（ＢＬ）に応じて、固体撮像素子２上に結像した光像に対応する、所定のフレーム期間の中の第１乃至第Ｎ（Ｎは２以上の整数）の画像信号を読み出して、該読み出された第１乃至第（Ｎ－１）の画像信号を、それぞれ検出された動きの量に応じた画素数分シフトさせて合成する。
なお、このような合成処理を、動き検出手段３２で検出された所定時間当たりの動きの量が所定値以上のときにのみ行うようにしても良い。
【００３５】
合成手段３３は、図示のように、画像シフト手段３４と、画像保持手段３５と、画像加算手段３６と、制御手段３７とを有する。
実施の形態１では、画像シフト手段３４、画像保持手段３５及び画像加算手段３６はともに垂直転送部２２で構成される。
【００３６】
以下に詳しく述べるように、合成手段３３は、動き検出手段３２で検出された所定時間当たりの動きの量（ＢＬ）に応じて、それぞれ同じフレーム期間の一部をなし、相前後する第１乃至第Ｎ（Ｎは２以上の整数）の画像生成期間に光電変換素子２１で電荷を蓄積させ、第１の画像生成期間中に光電変換素子２１で蓄積された電荷を、該第１の画像生成期間の経過後に、光電変換素子２１から対応する転送素子２３に読み出し、動きの量ＢＬに関係付けられた第１の移動量だけ転送素子２３間で転送する。Ｎが２よりも大きいときは、合成手段３３はさらに、第ｎ（ｎは２乃至（Ｎ－１）の整数）の画像生成期間中に光電変換素子２１で蓄積された電荷を、光電変換素子２１から対応する読み出し、該読み出された電荷を、動きの量に関係付けられた第（ｎ－１）の移動量だけ転送された電荷に加算し、加算の結果得られた電荷を、動きの量に関係付けられた第ｎの移動量だけ転送素子２３間で転送する処理をｎが２から（Ｎ－１）まで順に実行する。合成手段３３はさらに、第Ｎの画像生成期間中に光電変換素子２１で蓄積された電荷を、光電変換素子２１から対応する転送素子２３に読み出し、該読み出された電荷を、動きの量に関係付けられた第（Ｎ－１）の移動量だけ転送された電荷に加算し、加算の結果得られた電荷を、合成された画像信号として固体撮像素子から出力する。
【００３７】
例えば、第１乃至第Ｎの画像生成期間は互いに略同じ長さを有し、所定時間当たりの動きの量ＢＬは、第１乃至第Ｎの画像生成期間の合計の時間当たりの、固体撮像素子２の画素の数で表された動きの量であり、動きの量に関係付けられた量は、所定時間当たりの動きの量を、Ｎで割ることにより得られる、固体撮像素子２の画素の数（ＢＬ／Ｎ）で表される動きの量である。
【００３８】
本実施の形態の固体撮像素子２は、例えばインターライン型のＣＣＤ撮像素子であって、線順次走査により水平方向に１ラインずつ順番にすべての画素信号を読み出す「全画素読み出し」方式のものである。
【００３９】
図７は合成手段３３の動作を経時的に示した模式図である。所定のフレーム期間の一部をなす、電荷蓄積期間（被写体の明るさによって定められる）をＮ分割した画像生成期間の各々に生成された画像を表す画像信号に、本実施の形態の手ぶれ補正のため、シフトを行なった後合成する動作を示している。第１の画像生成期間ＧＣ１は、１番目の画像（第１の画像）を得るために光電変換部１９にて電荷蓄積を行う期間を示しており、以下第２の画像生成期間ＧＣ２乃至第Ｎの画像生成期間ＧＣＮは同様の意味をもつ。第１の画像生成期間ＧＣ１における電荷蓄積で形成された第１の画像を表す画像信号を垂直転送部２２に読み出し（ＲＤ１）た後、第２の画像の表す画像信号を得るために光電変換部１９にて電荷蓄積（ＧＣ２）を行う間に、該第１画像を表す画像信号を画像シフト手段３４により動き量の１／Ｎに応じた画素数だけシフトし（ＳＨ１）、第２画像の読み出しまで画像保持手段３５によりシフト後の画素位置に保持する（ＨＬ１）。
【００４０】
その後、該画像保持手段３５により画素位置に保持した状態の画像信号を、第２の画像を表す画像信号と画像加算手段３６により加算し（ＡＤ１）、該加算した画像を画像シフト手段３４により、動き量の１／Ｎに応じた画素数だけシフトし（ＳＨ２）、第３の画像の読み出しまで画像保持手段３５によりシフト後の画素位置に保持する（ＨＬ２）。その後、該画像保持手段３５により画素位置に保持した状態の画像信号を、第３の画像を表す画像信号と画像加算手段３６により加算する（ＡＤ２）。以下、第Ｎの画像を表す画像信号を加算するまで同様の動作繰り返して、合成された画像信号を得る。
【００４１】
図２及び図３に示される、固体撮像素子２の垂直転送部２２内の電荷を順方向に転送する具体的な手法を、垂直転送パルスＶＤＰの電位変化のタイミングチャートである図８および図９を用いて説明する。図８は、各電極の垂直転送パルスＶＤＰの４相のパルスφＶｉ（ｉ＝１、２、３、４）のタイミングチャートであり、横軸に時刻を、縦軸に４つの電極２６ａ～２６ｄに与えられる電位を並べて示している。図９は、図８に示す垂直転送パルスＶＤＰを各電極に与えた時の、電荷移動の様子を示す図である。図９において、横軸は垂直転送部２２の転送素子２３の電極２６ａ～２６ｄの位置を示し、縦軸には各電極の電子のポテンシャルエネルギーφｉ（＝－ｅφＶｉ）と電荷ＱＣの分布の経時変化（異なる時刻ｔ＝ａ１乃至ａ９における電荷分布）が示してある。
【００４２】
次に動作を説明する。図８において、時刻ａ１では電極２６ｂの電位φＶ２と電極２６ｃの電位φＶ３が＋Ｖであり、電極２６ａの電位φＶ１と電極２６ｄの電位φＶ４が０Ｖであるため、図９に示すように、電極２６ｂと電極２６ｃに電位井戸が形成されて電荷ＱＣが蓄積される。次に時刻ａ２にて電極２６ｄにバイアス電圧＋Ｖを印加すると、電極２６ｂと電極２６ｃにあった電荷ＱＣは、電極２６ｂから電極２６ｄに拡散する。次に時刻ａ３にて電極２６ｂを無バイアスにすると、電荷ＱＣは電極２６ｃから電極２６ｄに収束し、結果として、時刻ａ１からａ３において、電荷ＱＣは順方向（図９において右方向）へ１電極分だけ移動したことになる。
【００４３】
時刻ａ４では電極２６ａにバイアス電圧＋Ｖを印加し、時刻ａ５で電極２６ｃを無バイアスにすることにより、電荷ＱＣはさらに１つの電極分だけ順方向に移動する。時刻ａ６では電極２６ｂにバイアス電圧＋Ｖを印加し、時刻ａ７で電極２６ｄを無バイアスにすることにより、電荷ＱＣはさらに１つの電極分だけ順方向へ移動する。時刻ａ８では電極２６ｃにバイアス電圧＋Ｖを印加し、時刻ａ９で電極２６ａを無バイアスにすることにより時刻ａ１の状態と同じになる。すなわち、時刻ａ１から時刻ａ９において、１画素分電荷ＱＣを順方向へ移動したことになる。
【００４４】
他方、垂直転送部内の電荷ＱＣを逆方向に転送する場合に関して、図１０および図１１を用いて説明する。電荷ＱＣを順方向に転送する場合の説明に用いた図８が図１０に、図９が図１１にそれぞれ対応している。また、時刻ａ１からａ９は、ｂ１からｂ９にそれぞれ対応している。
【００４５】
次に動作を説明する。図１０において、時刻ｂ１では電極２６ｂと電極２６ｃにバイアス電圧＋Ｖが掛かり、電極２６ａと電極２６ｄは無バイアスで０Ｖであるため、図１１に示すように、電極２６ｂと電極２６ｃに電位井戸が形成されて電荷ＱＣが蓄積されている。次に時刻ｂ２にて電極２６ａにバイアス電圧＋Ｖを印加すると、電極２６ｂと電極２６ｃにあった電荷ＱＣは、電極２６ａから電極２６ｃに拡散する。次に時刻ｂ３にて電極２６ｃを無バイアスにすると、電荷ＱＣは電極２６ａから電極２６ｂに収束し、結果として、時刻ｂ１からｂ３において、電荷ＱＣは逆方向（図１１において左方向）へ１電極分だけ移動したことになる。
【００４６】
時刻ｂ４では電極２６ｄにバイアス電圧＋Ｖを印加し、時刻ｂ５で電極２６ｂを無バイアスにすることにより、電荷ＱＣはさらに１つの電極分だけ逆方向に移動する。時刻ｂ６では電極２６ｃにバイアス電圧＋Ｖを印加し、時刻ｂ７で電極２６ａを無バイアスにすることにより、電荷ＱＣはさらに１つの電極分だけ逆方向へ移動する。時刻ｂ８では電極２６ｂにバイアス電圧＋Ｖを印加し、時刻ｂ９で電極２６ｄを無バイアスにすることにより時刻ｂ１の状態と同じになる。すなわち、時刻ｂ１から時刻ｂ９において、１画素分電荷を逆方向へ移動したことになる。
【００４７】
本実施の形態においては、上述したように、電荷の拡散ステップ後に収束ステップを行ない、これを繰り返すことで電荷の転送を実現しているが、拡散と収束のステップを同時に行なっても電荷の転送は可能である。例えば、図９の時刻ａ２の拡散と時刻ａ３の収束を同時に行なう、すなわち電極２６ｄへのバイアス電圧印加と電極２６ｂの無バイアス化を同時に行なうことによっても同様の電荷の転送は達成できる。あるいは、図９において時刻ａ３の収束と時刻ａ４の拡散を同時に行なっても、同様に電荷の転送が可能である。
【００４８】
さらに、本実施の形態では４相の垂直転送パルスＶＤＰによって電荷を転送しているが、４相に限るものではなく、３相以上であれば、同様の方法により電荷の転送は可能である。同様に水平転送パルスＨＤＰについても２相のものを用いているがこれに限るものではない。
【００４９】
また、本実施の形態では撮像素子としてＣＣＤ撮像素子を用いたが、これに限るものではなく、例えば前述の合成手段３３と同等の手段を有するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙｍｅｔａｌｏｘｉｄｅｓｅｍｉｃｏｎｄｕｃｔｏｒ）型撮像素子であっても良い。
【００５０】
次に本発明で補正の対象となる「手ぶれ」の概念について説明する。図１２（ａ）は撮像者が被写体を撮像する際に、上下（ピッチング）方向に手ぶれをしたときの手ぶれ方向と撮像画像との関係を示した図である。ここで被写体は円形の光源ＬＳであり、手ぶれをおこさずに撮像したときの撮像画像を図１２（ｃ）に示す。丸い被写体形状を保持した画像ＬＳｂが撮像される。
【００５１】
撮像者ＨＹは、最初に光軸が地面ＧＬと線ＨＬに一致するように撮像装置ＰＧを構え、シャッタボタンＳＢを押す。手ぶれはこのときに生じ、手ぶれによって撮像装置ＰＧの光軸ＯＸが上向きになる方向（（＋）方向）に動いた場合、図１２（ｂ）に示すように撮像画像Ｌａには、符号ＴＲａで示すように下方向に尾引きが生じ、一方撮像装置ＰＧの光軸ＯＸが下向きになる方向（（－）方向）に動いた場合、図１２（ｄ）に示すように撮像画像Ｌｃには、符号ＴＲｃで示すように上方向に尾引きが生じる。
【００５２】
本発明は図１２（ｂ）、（ｄ）に再現される被写体像ＬＳａ、ＬＳｃの尾引きＴＲａ、ＴＲｂを低減した高品質な撮像画像を実現することを目的としている。なお、手ぶれによる画質劣化はほとんどの場合、撮像者ＨＹがシャッタボタンＳＢを押す動作に起因した撮像装置の回転等により生じる。この回転方向はシャッタボタンＳＢの押し下げ方向とほぼ一致するため、押し下げ方向に対応する一次元的な補正により、実用上十分な補正が可能である。本実施の形態においては、垂直転送部２２において電荷を転送する方向（撮像画面上の垂直方向）を、上記した手ぶれが生じ易い方向を対応させる（撮像画面が垂直に設けられている場合には、垂直転送部２２において電荷を転送する方向（撮像画面上の垂直方向）を、手ぶれが生じ易い方向に略平行とする）ことで良好な手ぶれ動作を達成している。
【００５３】
図１３（ａ）～（ｉ）は本実施の形態における撮像装置の動作を示すタイミングチャートである。図１３（ａ）はシャッタ信号ＢＰであり、シャッタの押下が検出された時点Ｔｏｎで高レベルから低レベルへの遷移が起きる。
図１３（ｂ）は垂直同期信号ＶＤであり、原則として所定の周期、例えば垂直周期に１回発生する。図１３（ｃ）のオーバーフロードレインパルスは水平同期信号に同期してタイミングジェネレータ８から固体撮像素子２のオーバーフロードレイン電極に印加されるものであり、ＡＥ制御において電荷蓄積期間を調整するために光電変換素子２１に蓄積された電荷を固体撮像素子２内の基板上に排出することにより電子シャッタ機能を実現するものである。なお、図１３（ｃ）のオーバーフロードレインパルスＯＦＤのうち、最初のパルスＯＦＤ１（垂直同期信号ＶＤの立ち上がりと同時又はその直後に（立ち上がりの後最初に）発生されるもの）以外のパルスを、電子シャッタパルスと呼ぶこともある。
【００５４】
図１３（ｄ）は光電変換素子２１において光電変換ならびに電荷蓄積を行う期間ＰＤを示している。この期間ＰＤ（それぞれ符号ＳＳ１，ＳＳ２などで示されている）は、各フレーム期間において、オーバーフロードレインパルスＯＦＤの発生が終わった後に開始され、次の垂直同期信号ＶＤの立ち上がりまで続く。言い換えると、電荷蓄積期間が与えられた長さとなるように、オーバーフロードレインパルスＯＦＤの列の発生を終了する時点が決められる。図１３（ｅ）は読み出しパルスＴＧであり、光電変換素子２１で蓄積した電荷を垂直転送部２２の対応する転送素子２３へ読み出す（転送する）ため、読み出しゲート２５を制御する。図１３（ｆ）～（ｈ）は垂直転送パルスＶＤＰ（φＶ１～φＶ４）、図１３（ｉ）は水平転送パルスＨＤＰ（φＨ１、φＨ２）を示している。
【００５５】
シャッタボタンＳＢを押す前は、被写体の明るさに基づいて、露出条件の一つとして定められる電荷蓄積期間ＳＳｉ（ｉ＝１、２、…）を設定して、撮像を行う。例えばある垂直同期信号ＶＤが発生される第１の垂直ブランキング期間ＶＢ（１）で始まるフレーム（第１のフレームＦＰ（１））内の電荷蓄積期間ＳＳ１で蓄積した電荷は、当該第１のフレームＦＰ（１）の次のフレーム（第２のフレームＦＰ（２））の先頭の垂直ブランキング期間ＶＢ（２）内に発生される読み出しパルスＴＧ１０によって垂直転送部２２へ読み出され、上記第２のフレームＦＰ（２）内の期間１００ｂに垂直転送部２２内で水平転送部２７に向けて転送される。複数の垂直転送部２２内で同時に水平転送部２７に向けた転送が行われる。同時に転送される画素信号は、撮像面上の水平方向に整列した複数の画素、即ち同じライン上の複数の画素をそれぞれ構成する複数の光電変換素子２１から読み出された信号電荷が同時に、それぞれの垂直転送部２２により転送される。言換えると、光電変換部１９のそれぞれの光電変換素子列２０から垂直転送部２２に転送された信号電荷は水平転送部２７に向けて１ラインずつ順々に転送される。そして、同じ第２のフレーム期間ＦＰ（２）内の期間１０１ｂにおいて、垂直転送部２２から水平転送部２７に転送された電荷が、水平転送部２７内を出力増幅器２８に向けて転送され、出力増幅器２８で増幅されて出力される。
【００５６】
第２のフレーム期間ＦＰ（２）内の電荷蓄積期間ＳＳ２内のある時点ＴｏｎにシャッタボタンＳＢが押され、シャッタ信号ＢＰが高レベルから低レベルに遷移したとすると、第２のフレームＦＰ（２）内の電荷蓄積期間ＳＳ２に蓄積された電荷は、次の垂直ブランキング期間ＶＢ（３）の最初（垂直同期信号ＶＤの立ち上がりと略同時）にオーバーフロードレインパルスＯＦＤ１を固体撮像素子２へ印加することにより垂直転送部２２へ転送されることなく基板上に排出される。なお、垂直ブランキング期間内において、ＡＥ制御により電子シャッタパルス（ＯＦＤ１以外のオーバーフロードレインパルスＯＦＤ）が発生される場合は、オーバーフロードレインパルスＯＦＤ１は必ずしも必要ではない。読み出しパルス（ＶＢ（２）内のＴＧ１０のごときもの）の発生を禁止すれば垂直転送部２２への信号電荷の読み出しが禁止されるので、ＡＥ制御による電子シャッタパルスの発生の時点で、蓄積された電荷が基板上に排出されるためである。
【００５７】
シャッタボタンＳＢの押下が検知された時点Ｔｏｎの次のフレーム期間ＦＰ（３）は、静止画像として記録する画像用の映像信号を得るための電荷蓄積を行う期間である。このフレーム期間ＦＰ（３）において電荷蓄積期間を複数個の画像生成期間（図７参照）に分割して画像生成期間ごとに垂直転送部２２への電荷読み出しを行うことにより複数の画像を得る。
【００５８】
該複数の画像は最終的に１枚の画像に合成されて固体撮像素子から出力されるが、それまでは前記複数の画像を構成する画像のうち、第１の画像生成期間に読み出した画像（１画像分の全電荷であり、以下「第１の画像」と呼ぶことがある）を垂直転送部２２内に一時保持した後、第２の画像生成期間に読み出した画像（第２の画像）を垂直転送部２２に読み出すまでの間に、前記第１の画像を動き検出手段で検出した動き量を前記複数の画像数で除算した画像位置だけ移動させ、その後該画像に前記第２の画像生成期間に読み出した画像（第２の画像）を加算した後一時保持するという動作を最後に読み出す画像（図示の例では「第４の画像」）を加算するまで繰り返す。
【００５９】
４枚の画像を読み出すべく電荷蓄積期間の分割数を４に設定して、１つの電荷蓄積期間を等分に分割した後の画像生成期間（分割後の電荷蓄積期間）をそれぞれＳ１、Ｓ２、Ｓ３、Ｓ４とする。この場合画像生成期間Ｓ１で蓄積した電荷を読み出しパルスＴＧ１、画像生成期間Ｓ２で蓄積した電荷を読み出しパルスＴＧ２、画像生成期間Ｓ３で蓄積した電荷を読み出しパルスＴＧ３、画像生成期間Ｓ４で蓄積した電荷を読み出しパルスＴＧ４にてそれぞれ垂直転送部２２へ読み出している。１０２ａは読み出しパルスＴＧ１にて読み出した電荷を、１０２ｂは読み出しパルスＴＧ２にて読み出した電荷を、１０２ｃは読み出しパルスＴＧ３にて読み出した電荷をそれぞれ垂直転送部２２内で順方向または逆方向へ所定の画素数分だけ転送する期間である。
【００６０】
また、電荷蓄積期間の分割数を４とした場合は、動き検出手段で検出した動き量の１／４に比例して、即ち動き量に対応する画素数の１／４の画素数だけ、垂直転送部２２内で電荷を転送する。例えば図のように符号１０２ａ、１０２ｂ、１０２ｃで表される３つの電荷転送期間がある場合、それぞれの期間において全手ぶれ量の１／４に比例して電荷転送を行うため、該３つの電荷転送期間の合計として全手ぶれ量の３／４を補正する。ただし全手ぶれ量の１／４はそのまま残るため、結果として手ぶれが１／４に軽減されたことになる。
一般化して、電荷蓄積期間の分割数をＮとすれば、手ぶれが１／Ｎに軽減される。
【００６１】
通常、本実施の形態のような手ぶれ補正によらずに記録画像の手ぶれによる像ぶれを１／４に軽減するためには、露光の絞りを２段開く（Ｆ値を２段階大きな値に設定する）、言い換えれば固体撮像素子に取り込む光量を４倍にして電荷蓄積期間（シャッタースピード）を１／４にすることで可能となるが、本実施の形態は露光の絞りを２段開くことなしに手ぶれが１／４に軽減できる。すなわち電荷蓄積期間の分割数をＮとした場合は、Ｎ回の画像の読み出しを行い、Ｎ枚の画像合成を行うことにより、露光の絞りをｌｏｇ_２Ｎ段大きくしたのと同等の補正効果を期待できる。
【００６２】
上記のように電荷蓄積期間の分割数を４に固定した場合、異なる手ぶれ量の画像を補正する場合はそれぞれの画像生成期間において固体撮像素子に印加する垂直転送パルスＶＤＰ数を手ぶれ量に応じて増減する。例えば手ぶれがまったくない（所定の閾値以下である）場合は図１３（ｆ）に示すように、画像生成期間Ｓ１、Ｓ２，Ｓ３が終わるごとに垂直転送を行う必要がないため、垂直転送パルスＶＤＰは印加されず、垂直転送のための期間も存在しない。この場合は読み出した４枚の画像をそれぞれ移動することなく、読み出した状態のまま加算して最終的に一枚の画像を得る。
【００６３】
なお、手振れがまったくない場合には、電荷蓄積期間の分割を行わず、即ち、図１３（ｅ）の読み出しパルスＴＧ１～ＴＧ４を発生せず、シャッターオンが検知されない場合と同様垂直ブランキング期間ＶＢ（４）中に読み出しパルス（ＴＧ１０と同様のもの）を発生するようにしても良い。
【００６４】
動き検出手段３２より手ぶれを検出した場合は、図１３（ｇ）及び（ｈ）に示すように、手ぶれ量に応じた距離（画素数）だけ、垂直転送部２２内で電荷の転送を行う。この場合の電荷移動量は手ぶれ量に比例し、ぶれ量が大きい場合は各画像生成期間における電荷移動量も長くなり、ぶれ量が小さいと電荷移動量も短くなる。例えば、図１３（ｇ）よりも図１３（ｈ）の方が、手ぶれ量が大きい場合を想定している。即ち、図１３（ｇ）に示される垂直転送期間１０２ａ、１０２ｂ、１０２ｃよりも、図１３（ｈ）に示される垂直転送期間１０４ａ、１０４ｂ、１０４ｃの方が長い。
【００６５】
符号１０３は、垂直転送期間１０２ａ、１０２ｂ、１０２ｃにおいて垂直転送部２２内の電荷を水平転送部２７方向に転送することによって水平転送部２７に押し出された後、水平転送部２７に蓄積された余分な電荷を掃き捨てる、即ち、水平転送部２７内の蓄積電荷を（次の垂直転送に先立って）ゼロにするための期間である。
【００６６】
なお、図１３では、垂直ブランキング期間ＶＢ（３）に読み出しパルスＴＧを読み出しゲート２５に印加することにより、電荷蓄積期間ＳＳ２で蓄積された全電荷を垂直転送部２２に読み出した後、水平転送部２７への高速転送し、さらに水平転送部２７で高速転送することによって掃き捨てを行うこととし、これによりオーバーフロードレインパルスＯＦＤ１を不要とすることも可能である。
【００６７】
また、フレーム期間ＦＰ（４）における水平転送期間１０１ｃで電荷転送を行う際の最初の１ライン分を破棄するようにすれば、ブランキング期間ＶＢ（４）の水平転送期間１０３を不要とすることができる。
【００６８】
さらに本実施の形態では電子シャッタパルスによる電荷蓄積期間調節を行っているが、機構式のシャッタを設けることにより、シャッタが開いている間だけ電荷蓄積を行うようにすることもできる。
【００６９】
図１３に示す例では、１つのフレーム期間から固体撮像素子２に対してオーバーフロードレインパルスＯＦＤを印加し続ける期間を差し引いた残りの期間を電荷蓄積期間とし、該電荷蓄積期間を４つに分割している。言い換えると、被写体の明るさに応じて決まる電荷蓄積期間（分割しない場合の電荷蓄積期間と等しい長さの期間）を４つの画像生成期間に分割している。
【００７０】
このようにする代わりに、オーバーフロードレインパルスＯＦＤを印加しないこととし、１フレーム期間中の電荷蓄積に利用し得る最大の期間に亘って電荷蓄積を行うこととしても良い。さらに、垂直同期信号ＶＤの発生を１回抑制し、フレーム期間の長さを２倍にして、この２場合の長さを有するフレーム期間のうちの電荷蓄積に利用し得る最大の期間を分割して複数の画像生成期間に電荷蓄積を行うこととしても良い。図１４（ｄ）は、垂直同期信号ＶＤの発生を１回抑制し、フレーム期間の長さを２倍にして、この２倍の長さを有するフレーム期間のうちの電荷蓄積に利用し得る最大の期間を４つの画像生成期間に分割した場合を示す。このようにすれば、被写体の照度が低い場合に比較的多くの電荷を蓄積することができ、比較的高いレベルの信号を得ることができる。
【００７１】
図１５は、実施の形態１における手ぶれ補正の動作を示すフローチャートである。まずシャッタボタンＳＢが押されたかどうかを監視し（ステップＳｔ１）、シャッタボタンＳＢが押された場合は、ＡＥ処理により算出した電荷蓄積期間（即ち被写体の明るさに基づいて定められた電荷蓄積期間）に応じて電荷蓄積期間の分割数Ｎ、すなわち読み出す画像数Ｎを決定する（ステップＳｔ２）。
【００７２】
次に分割数Ｎが１か否かを判定する（ステップＳｔ３）。Ｎ＝１であれば画像を読み出し（光電変換素子列２０の電荷を垂直転送部２２に転送し（ステップＳｔ４）、次のフレーム期間に垂直転送部２２内の全電荷を水平転送部２７へ転送して（ステップＳｔ１４）、終了する。
【００７３】
ステップＳｔ３においてＮ＝１でない場合は、ステップＳｔ５に進み、手ぶれセンサ９により手ぶれ量ＢＬを検出する。本実施の形態では、手ぶれセンサ９として角速度センサを用いており、撮像者がシャッタボタンＳＢを押した際の撮像装置に発生する振動の角速度を検出するとともに、ＣＰＵ７によってズーム倍率を決めるレンズ１の位置と角速度の積分値から、ぶれ量を対応する画素数ＢＬに換算することで、画素数で表したぶれ量を得る。
【００７４】
なお、上記の例では、電荷蓄積時間の分割数の決定（Ｓｔ２）の後で、手ぶれ量の検出を行っているが、手ぶれ量の検出（Ｓｔ５）を行った後で、手ぶれ量を考慮に入れて、電荷蓄積時間の分割数の決定（Ｓｔ２）を行う（例えば手ぶれ量が大きいほど、分割数を多くする）こととしても良い。その場合、フローチャート上では、ステップＳｔ５がステップＳｔ２の前に移される。
【００７５】
分割したＮ画像のうち第１番目の画像から読み出す目的にてｎ＝１を与える（ステップＳｔ６）。次に第ｎ番目の画像を読み出す。初期状態ではステップステップＳｔ６によりｎ＝１であるため、第１の画像を読み出すことになる（ステップＳｔ７）。
【００７６】
次に、動き量を表す画素数ＢＬを電荷蓄積期間の分割数、即ち画像生成期間の数Ｎで除算した画像位置（画素数）だけ画像をシフトさせた後（ステップＳｔ８）、垂直転送部２２内に保持する（ステップＳｔ９）。このとき保持した画像を画像（Ａ）とする。次に第（ｎ＋１）番目の画像を読み出し、該読み出した画像を画像（Ｂ）とする（ステップＳｔ１０）。
【００７７】
初期状態では（即ち、ステップＳｔ１０を最初に実行するときは）該第（ｎ＋１）番目の画像とは第２の画像のことを指す。そして画像（Ａ）と画像（Ｂ）を加算する（ステップＳｔ１１）。この加算は、画像（Ａ）、即ち画像（Ａ）に対応する電荷を保持している垂直転送部２２のそれぞれの転送素子２３に、光電変換素子列２０のそれぞれの光電変換素子２１から画像（Ｂ）、即ち画像（Ｂ）に対応する電荷を読み出すことにより、行われる。
【００７８】
次にｎ＝Ｎ－１か否かを判定する（ステップＳｔ１２）。ｎ＝Ｎ－１でない場合は、ｎに１を足して（ステップＳｔ１３），ステップＳｔ８に戻り、ステップＳｔ８からステップＳｔ１２の処理を繰り返す。この繰り返しは、ステップＳｔ１２でｎ＝Ｎ－１となるまで続けられる。ｎ＝Ｎ－１となれば次のフレーム期間に垂直転送部２２内の全電荷を水平転送部２７へ転送して（ステップＳｔ１４）、終了する。
【００７９】
上記の例で、レンズ１の位置と角速度の積分値からぶれ量を画素数ＢＬに換算する方法は、レンズ１の位置と角速度の積分値を変数としたテーブルを用いても良いし、予め与えておいた計算式より算出しても良い。例えば画像生成期間数を４とした図１３において、手ぶれ画素数ＢＬ＝１６であるとき、垂直転送期間１０２ａ、１０２ｂ、１０２ｃではそれぞれＢＬ／４＝４画素分だけ電荷を転送することになる。
【００８０】
撮像時に手ぶれをおこしたときの撮像画像、ならびに固体撮像素子２の撮像面上における被写体像の詳細を図１６（ａ）乃至（ｉ）に示す。本例では撮像者が撮像装置のシャッタボタンＳＢを押す瞬間に上方向に手ぶれをおこした（撮像装置が上方向に動き、そのため撮像画像が次第に下方向に移動した）場合であり、画像生成期間数が４、垂直方向の手ぶれの画素換算数が１６である場合を示している。図１６（ａ）は手ぶれが全くない場合の撮像画像である。図１６（ｂ）は、図１３における符号ＳＳ１、ＳＳ２で示す場合と同様に、電荷蓄積期間を分割せず、且つ手ぶれ補正を行なわない場合の撮像画像であり、垂直方向に１６画素分の手ぶれが発生している。
【００８１】
図１６（ｃ）～（ｆ）は、図１６（ｂ）の画像を４つの画像生成期間に分割して取得したそれぞれの画像であり、それぞれ画像生成期間Ｓ１、Ｓ２、Ｓ３、Ｓ４において電荷蓄積を行うとともに、画像生成期間ごとに全画素を読み出すと仮定した場合に得られる撮像画像を示している（実際には、画像生成期間ごとの画像が固体撮像素子から外部に読み出されるわけではなく、垂直加算部で加算された後外部に読み出される）。画像生成期間Ｓ１～Ｓ４は互いに同じ長さであり、図１６（ｃ）～（ｆ）の撮像画像の輝度は、いずれも図１６（ｂ）の撮像画像の輝度の１／４となる。
【００８２】
図１６（ｃ）～（ｆ）の各々において、点線と実線の差は各画像生成期間中のぶれを表す。
【００８３】
図１６（ｂ）の画像で発生している１６画素分の被写体像のずれＢＬは、図１６（ｃ）～（ｆ）でそれぞれ４画素分のずれ（ＤＢＬ＝ＢＬ／４）に等配分できるとする。図１６（ｃ）～（ｆ）の画像の画像生成期間内で、手ぶれの角速度が一定と仮定すれば、近似的にそのような扱いが可能である。本実施の形態１は、相前後して得られる画像間に存在する４画素分のずれを逐次補正して加算（合成）するものであり、即ち、図１６（ｃ）の画像を４画素分のずれＤＢＬだけシフトして図１６（ｄ）の画像と合成して第１の合成画像を形成し、この第１の合成画像をさらに４画素分のずれＤＢＬだけシフトして図１６（ｅ）の画像と合成して第２の合成画像を形成し、この第２の合成画像をさらに４画素分のずれＤＢＬだけシフトして図１６（ｆ）の画像と合成して第３の合成画像（最終的な合成画像）を形成するものであり、これにより、図１６（ｆ）の撮像画像と略同位置に被写体像が位置する画像（図１６（ｆ）の被写体像に、図１６（ｃ）～（ｅ）の被写体像をそれぞれシフトした上で合成した（重ね合わせた）のと同じ画像）を最終的な撮像画像として固体撮像素子２から出力するものである。
【００８４】
図１６（ｇ）～（ｊ）はレンズを通して被写体を固体撮像素子２の撮像面上に投影したときの像を示しており、それぞれ対応する図１６（ｃ）～（ｆ）の画像とは、上下が反対の関係にある。
【００８５】
図１６（ｇ）～（ｊ）の被写体像について、便宜上手ぶれによる尾引き部分を描画していないが、実際には図１６（ｃ）～（ｆ）の被写体像と同様の手ぶれによる尾引き部分が存在する。画像生成期間の数が４であれば、総手ぶれ量の１／４の手ぶれが各画像生成期間の画像ごとに発生する。
【００８６】
なお、画像生成期間の数が８であれば各画像生成期間の画像には総動き量の１／８の手ぶれが発生することになる。
【００８７】
図１２（ａ）に示すように、手ぶれにより撮像装置の向きが上方に変化した場合、図１６（ｇ）、（ｈ）、（ｉ）、（ｊ）の、上下反転した撮像面上の被写体像は上方向に移動する。図１６（ｇ）、（ｈ）、（ｉ）、（ｊ）中の符号ｄ１、ｄ２、ｄ３、ｄ４で示す「＊」印は被写体（人物の顔）上の同じ箇所における１画素を示しており、以下この画素に注目して垂直転送部２２内における電荷転送の詳細を図１７および図１８を用いて説明する。
【００８８】
図１７は、図１３において電荷蓄積期間の分割を行った期間を時間軸方向に拡大した図であり、それぞれの動作に対し、時系列に、符号ＴＳａからＴＳｋを割り当てる。これら動作ＴＳａ～ＴＳｋが行われる時点における垂直転送部２２内の電荷転送の様子を、図１８（ａ）～（ｈ）を参照して説明する。
【００８９】
図１８（ａ）～（ｈ）は、図１６（ｇ）～（ｊ）に示すように、固体撮像素子２の撮像面上で被写体が上方向に移動した際の垂直転送部２２内における電荷転送による手ぶれ補正の方法を示している。図２および図３と同様に、図１８（ａ）～（ｊ）において、各光電変換素子列２０は複数の光電変換素子２１を含み、垂直転送部２２は複数の転送素子２３を含む。各転送素子２３は画素に対応するものであり、４つの転送電極を備えているが、図１８（ａ）～（ｈ）ではこの点の図示を省略している。
【００９０】
読み出しゲート部２４の読み出しゲート２５の各々は、各光電変換素子２１と対応する転送素子２３の間に設けられている。
【００９１】
まず図１８（ａ）に示すように、最初の画像生成期間Ｓ１（ＴＳａ）において、注目画素（図１６（ｇ）のｄ１）に対応する光電変換素子２１（１）で光電変換を行って電荷ｄ１を蓄積する。
【００９２】
次に図１８（ｂ）に示すように、読み出しパルスＴＧ１により画像生成期間Ｓ１中に光電変換素子２１（１）に蓄積された電荷ｄ１を垂直転送部２２の対応する転送素子２３（１）に読み出す（ＴＳｂ）。
【００９３】
この電荷読み出しが終了した直後から図１８（ｃ）に示すように、２番目の画像生成期間Ｓ２において注目画素の光電変換素子２１（２）における電荷ｄ２の蓄積（ＴＳｃ）を開始し、この電荷蓄積（ＴＳｃ）中に、動作ＴＳｂにより垂直転送部２２に読み出され電荷を転送素子２３（１）から４画素分上方向に、即ち転送素子２３（２）に移動させる（ＴＳｄ）。
【００９４】
次に図１８（ｄ）に示すように、読み出しパルスＴＧ２により光電変換素子２１（２）の電荷ｄ２（画像生成期間Ｓ２中に光電変換素子２１（２）に蓄積された電荷ｄ２）を垂直転送部２２の対応する転送素子２３（２）に読み出し、垂直転送部２２内で、転送素子２３（１）から転送素子２３（２）に移動した電荷ｄ１と加算する（ＴＳｅ）。
【００９５】
この電荷読み出し及び加算が終了した直後から図１８（ｅ）に示すように、３番目の画像生成期間Ｓ３において注目画素の光電変換素子２１（３）における電荷ｄ３の蓄積（ＴＳｆ）を開始し、この電荷蓄積（ＴＳｆ）中に、動作Ｔｓｅにおいて垂直転送部２２の転送素子２３（２）内で加算した電荷（ｄ１＋ｄ２）を転送素子２３（２）から４画素分上方向に、即ち転送素子２３（３）に移動させる（ＴＳｇ）。
【００９６】
次に図１８（ｆ）に示すように、読み出しパルスＴＧ３により光電変換素子２１（３）の電荷ｄ３（画像生成期間Ｓ３中に光電変換素子２１（３）に蓄積された電荷ｄ３）を垂直転送部２２の対応する転送素子２３（３）に読み出し、垂直転送部２２内で、転送素子２３（２）から転送素子２３（３）に移動した電荷（ｄ１＋ｄ２）と加算する（ＴＳｈ）。
【００９７】
この電荷の読み出し及び加算が終了した直後から図１８（ｇ）に示すように、４番目の画像生成期間Ｓ４において注目画素の光電変換素子２１（４）における電荷ｄ４の蓄積（ＴＳｉ）を開始し、この電荷蓄積（ＴＳｉ）中に、動作ＴＳｈにおいて垂直転送部２２の転送素子２３（３）内で加算した電荷（ｄ１＋ｄ２＋ｄ３）を転送素子２３（３）から４画素分上方向に、即ち転送素子２３（４）に移動させる（ＴＳｊ）。
【００９８】
次に図１８（ｈ）に示すように、読み出しパルスＴＧ４により光電変換素子２１（４）の電荷ｄ４（画像生成期間Ｓ４中に光電変換素子２１（４）に蓄積された電荷ｄ４）を垂直転送部２２の対応する転送素子２３（４）に読み出し、垂直転送部２２内で、転送素子２３（３）から転送素子２３（４）に移動した電荷（ｄ１＋ｄ２＋ｄ３）と加算する（ＴＳｋ）。
【００９９】
その後全画素のデータを矢印Ｙｍで示すように、水平転送部２７へ転送する（図１３、図１７の１００ｃ）と同時に、水平転送部２７内で出力増幅器部２８へ向けて、信号電荷の転送を行う（図１３、図１７の１０１ｃ）。
以上の動作により、像ぶれの低減された画像データを得ることが可能となる。
【０１００】
なお、上記のように、固体撮像素子２の光電変換部１９の光電変換素子２３が、それぞれ異なる色の色フィルタで覆われ、該色フィルタが所定の繰り返しパターンで周期的に配列されている場合、各画像生成期間に対応する、垂直転送の量（画素数）は、色フィルタの繰り返しパターンの周期に対応する画素数の整数倍とするのが望ましい。
【０１０１】
この点につき色フィルタの周期的配列がベイヤ型である場合について図４を参照して説明する。ベイヤ型配列の場合には、図４に示すように、緑Ｇが市松状に配置され、その他の部分に赤Ｒ及び青Ｂが線順次に配置されている。例えば図４の３列目（Ｈ＝３）に注目すると、その画素の並びは上から下に向かってＲ、Ｇ、Ｒ、Ｇ、…、Ｇのようになっており、Ｒ画素、Ｇ画素ともに１画素おきに並んでいる。
【０１０２】
そのため、画像生成期間ごとに垂直転送部２２内で電荷を移動する際の移動量が順方向または逆方向に奇数画素分である場合、例えば移動させたＲ画素にＧ画素を加算することになったり、移動させたＧ画素にＲ画素を加算することになり、適切ではない。同じ色の画素の信号電荷同士を加算するためには、電荷の移動量を偶数画素分とする必要がある。図１８では動作ＴＳｄ、ＴＳｇ、ＴＳｊにおいて垂直転送部内で電荷を移動させる際に４画素分移動させており、同色画素同士を加算するようにしている。例えば、第１の画像生成期間の手ぶれ換算画素数ＢＬが５画素である場合、電荷移動量は４画素または６画素のどちらかとすることが必要である。この具体的な手法としては、電荷移動量として、（ＢＬ＋１）／２を超えない最大の自然数に２を乗じたものとするのが一法である。例えば、ＢＬ＝５の時は電荷移動量は６となる。また、ＢＬ＝４．９の時は電荷移動量は４となる。
【０１０３】
また、画像生成期間ごとに垂直転送部２２内で電荷を移動する際、順方向すなわち水平転送部２７の方向に電荷を移動させる場合は、最下位ラインの垂直転送部２２内に電荷が蓄積されずに水平転送部２７内に排出される。一方、垂直転送部２２内で電荷を逆方向に移動する場合は、固体撮像素子２の構造上、最上位ラインより上部に水平転送部２７がないため、図１９のごとく電荷排出溝（ドレイン）４０を設ける。これにより垂直転送部２２内で電荷を上方向に移動する際にも、最上位ラインにて電荷が溢れずに電荷排出溝４０内に排出することができる。
【０１０４】
また、図１９のように固体撮像素子２の上部に電荷排出溝４０を設けるのではなく、撮像面上部の光電変換可能な領域を一部遮光することにより垂直転送部２２内で電荷を上方向に移動する際に最上位ラインにて電荷が溢れないようにすることも可能である。この場合の模式図を図２０に示す。斜線で示す部分が遮光領域４２である。遮光領域４２の大きさについては手ぶれ補正時に必要な電荷移動量にもよるが、（図１９において電荷排出溝４０に排出される電荷量）が（遮光領域で光電変換したと想定した場合の蓄積電荷量）に略等しくなるように、手ぶれ補正により補正したいぶれ量に比例した大きさの領域を確保する必要がある。
【０１０５】
Ｎ枚の画像を読み出す場合、本実施の形態における手ぶれ補正を実施することにより最終的に１枚に合成した画像における像ぶれは、本実施の形態による手ぶれ補正を実施しない場合に比べて１／Ｎに軽減できる。そのため、本実施の形態では電荷蓄積期間の分割数（読み出す画像数）を４としたが、さらに精度の高い手ぶれ補正を行ないたい場合には、分割数を増加させれば良いし、逆に簡素な構成の装置においては、分割数を減らしても良い。
【０１０６】
本実施の形態では、レンズ１が光軸方向に駆動可能なズーム機構を用いているが、単焦点レンズでも同様の効果を得ることが出来る。また、垂直転送パルスＶＤＰについては４相の場合を説明したが、３相でも同様の動作が可能であり、５相、６相等でももちろん同様の動作が可能である。
【０１０７】
以上説明したように第１の実施の形態によれば、アクチュエータ等の複雑な機構部品を必要とせず、固体撮像素子内部の電荷移動のみで手ぶれを低減、補正する撮像装置を提供できる。また、電荷蓄積期間の分割を行なうことでぶれを補正するにもかかわらず、フレームメモリ等も不要であり、携帯機器用のカメラのように構成上の制約がある場合にも高精度の手ぶれ補正が可能である。
【０１０８】
以上実施の形態１で、シャッタボタンＳＢの押下の検出Ｔｏｎからの後、動きの量が直ちに、即ちＴｏｎから次のＶＤ信号の立ち上がりまでの間に、検出できるものとして説明した。以下、動きの量の検出が、Ｔｏｎ後の最初のＶＤ信号の立ち上がりまでの間に終わらない場合について説明する。
【０１０９】
図２１（ａ）～（ｉ）は、その場合のタイムチャートを示す。このタイムチャートは図１３に対応する。図２１（ａ）～（ｅ）、（ｈ）、（ｉ）は、それぞれ図１３（ａ）～（ｅ）、（ｈ）、（ｉ）と同様のものを示す。図２１（ａ）では、シャッタボタン押下の検出による信号ＢＰの高レベルから低レベルへの遷移（Ｔｏｎ）が第１のフレーム期間ＦＰ（１）で発生している。図２１（ｆ）は、手ぶれセンサ（角速度センサ）９の出力ＧＹを示す。図示の例では、信号ＢＰの立ち下がりと略同時に出力ＧＹが立ち上がり、その後略一定の値を保つ場合を示している。図２１（ｇ）は、ＣＰＵ７における、動作のタイミング、即ち、手ぶれセンサ９の出力ＧＹ（を動き信号Ａ／Ｄ変換部１０で変換したもの）をＣＰＵ７で積算する期間ＳＧｂ及び積算値に基づいて動きの量を計算する期間ＳＫｂを示す。
【０１１０】
図示の例では、シャッタボタンＳＢの押下が検出されたフレーム期間ＦＰ（１）の次のフレーム期間ＦＰ（２）に、動きの量を検出し、その次のフレーム期間ＦＰ（３）に、電荷蓄積時間ＳＳ３を４分割して手ぶれ補正撮像を行うこととしている。以下この点についてより詳しく説明する。
【０１１１】
手ぶれセンサ９は、撮像装置の動きに応じて信号を出力するものであり、例えば、シャッタボタンＳＢが押されて撮像装置が動くと、その動きに応じて出力を開始する。手ぶれセンサ９の出力の開始は、シャッタボタン押下の検出のタイミングＴｏｎと一致するとは限らず、それより少し前である可能性もあり、逆に少し後である可能性もある。手ぶれセンサの出力の開始後、撮像装置の動きは、通常はすぐには止まらず、数フレーム間動きが続く。
【０１１２】
図示の例では、シャッタボタン押下の検出Ｔｏｎの次のフレーム期間ＦＰ（２）の垂直同期信号ＶＤが立ち上がった後、オーバーフロードレインパルスＯＦＤの列の発生が終了した時点から、手ぶれセンサ９の出力ＧＹの積算が開始される。この積算は、被写体の明るさに基づいて定められる電荷蓄積時間ＳＳ２と同じ長さの時間ＳＧｂ続けられる。第２のフレームＦＰ（２）の電荷蓄積時間ＳＳ２と第３のフレームの電荷蓄積時間ＳＳ３（＝Ｓ１＋Ｓ２＋Ｓ３＋Ｓ４）はともに、第１のフレームＦＰ（１）或いはそれよりも一つ前のフレームの撮像結果（積算手段１１による積算の結果）に基づいて定められるものであり、互いに同じである。
【０１１３】
積算が終わると、そのときから、積算結果に基づいて、同じくＣＰＵ７で、動きの量が計算される。この計算のための期間が符号ＳＫｂで示されている。
【０１１４】
第３のフレームＦＰ（３）において、電荷蓄積時間ＳＳ３を４分割した画像生成を行って手ぶれ補正撮像を行うに当たり、第２のフレームＦＰ（２）に計算された動きの量が用いられる。従って、第２フレームＦＰ（２）と第３フレームＦＰ（３）とで、撮像装置の動きの速さが変わらないとすれば、積算時間ＳＧｂにおける積算によって求められた動きの量と電荷蓄積時間ＳＳ３における動きの量が全く同じで、補正を正確に行うことができる。手ぶれによる撮像装置の動きは通常数フレームにわたって続き、第２のフレームにおける動きの速さと第３のフレームにおける動きの速さの差は小さい。
【０１１５】
なお、図２１に示すように、シャッタボタン押下の検出Ｔｏｎの次のフレーム期間ＦＰ（２）の垂直同期信号ＶＤが立ち上がった後に、オーバーフロードレインパルスＯＦＤの列の発生が終了した時点から、手ぶれセンサ９の出力の積算を開始する代わりに、シャッタボタンの押下の検出Ｔｏｎの次のフレーム期間ＦＰ（２）の垂直同期信号ＶＤの立ち上がりと同時に手ぶれセンサ９の出力の積算を開始することとしても良い。また、シャッタボタンの押下の検出Ｔｏｎと同時に手ぶれセンサ９の出力の積算を開始することとして、シャッタボタン押下が検出されたフレームの前のフレームにおける撮像結果（被写体の明るさ、即ち積算手段１１の出力）に基づいて積算時間ＳＧｂ及び手ぶれ補正撮像のための電荷蓄積時間を決めることとしても良い。
【０１１６】
この場合、シャッタボタン押下の検出されたフレームの前のフレームにおける撮像結果（被写体の明るさ、即ち積算手段１１の出力）に基づいて積算時間ＳＧｂ及び手ぶれ補正撮像のための電荷蓄積時間を決めることとしても良い。
【０１１７】
代わりに、シャッタボタン押下の検出されたフレームの前のフレームにおける撮像結果（被写体の明るさ、即ち積算手段１１の出力）に基づいて決められる手ぶれ補正撮像のための電荷蓄積時間よりも短い時間の間、積算することとしても良い。この場合、積算により求めた動きの量に対し、積算時間ＳＧに対する電荷蓄積時間の比（ＳＳ／ＳＧ）を掛けたものを、電荷蓄積時間当たりの動きの量を求める（動きの量と推定する）ことができる。
【０１１８】
シャッタボタンの押下の検出Ｔｏｎと同時に手ぶれセンサの出力の積算を開始し、電荷蓄積時間よりも短い時間を掛けて積算することとすれば、シャッタボタンの押下が検出されたフレーム（ＦＰ（１））の次のフレーム（ＦＰ（２））で、手ぶれ補正撮像を行うことができる。
【０１１９】
実施の形態２．
図２２は本発明の実施の形態２の撮像装置の構成を示す図である。実施の形態２の撮像装置は、概して図１に示す実施の形態１の撮像装置と同じであるが、フレームメモリ４８（以下、単に「メモリ」と呼ぶ場合がある）、加算部４４、及び選択器４６が追加されている点で異なる。また図１の信号処理部５は、画素信号Ａ／Ｄ変換部４からではなく、フレームメモリ４８から画素信号を受け、ＣＰＵ７は、加算器４４，及び選択器４６の制御をも行う。
【０１２０】
また、実施の形態２において手ぶれ補正を行うための構成要素を表す機能ブロック図は実施の形態１の図６と同一であるが、合成手段３３が実施の形態１とは異なる。即ち、画像シフト手段３４が、メモリ４８のアドレスを指定するＣＰＵ７で構成され、画像保持手段３５が、フレームメモリ４８で構成され、画像加算手段３６が加算器４４で構成される。制御手段３７は、実施の形態１と同様ＣＰＵ７で構成される。
【０１２１】
合成手段３３は、動き検出手段３２で検出された所定時間当たりの動きの量（ＢＬ）に応じて、それぞれ同じフレーム期間の一部をなし、相前後する第１乃至第Ｎ（Ｎは２以上の整数）の画像生成期間に光電変換素子２１で電荷を蓄積させ、第１の画像生成期間中に蓄積された電荷を、該第１の画像生成期間の経過後に、固体撮像素子２から出力させて、アナログ信号処理部３、画素信号Ａ／Ｄ変換部４及び選択器４６を介してフレームメモリ４８に供給し、固体撮像素子２から出力された電荷に応じた画素データを、フレームメモリ４８内の、上記動きの量に関係付けられた第１の量だけシフトしたアドレス（撮像素子の画素に対応するアドレスから上記の量だけシフトしたアドレス）に記憶させる。Ｎが２よりも大きいときは、合成手段３３はさらに、第ｎ（ｎは２乃至（Ｎ－１））の画像生成期間中に蓄積された電荷を、該第ｎの画像生成期間の経過後に、固体撮像素子２から出力させて、アナログ信号処理部３及び画素信号Ａ／Ｄ変換部４を介して加算器４４に供給し、これと同時、フレームメモリ４８内の、動きの量に関係付けられた上記第ｎの量だけシフトしたアドレス（第１の画像生成期間中に蓄積された撮像素子の各画素からの電荷に対応する画素データについて、上記第１の量だけシフトしたアドレスに一致する）に記憶されている画素データを読み出して加算器４４に供給し、加算器４４で入力されている画素データ同士を加算して、加算結果をフレームメモリ４８内の、前記第ｎの量だけシフトしたアドレスに記憶させる処理をｎが２から（Ｎ－１）まで順に実行する。合成手段３３はさらに、第Ｎの画像生成期間中に蓄積された電荷を、該第Ｎの画像生成期間の経過後に、固体撮像素子２から出力させて、アナログ信号処理部３、及び画素信号Ａ／Ｄ変換部４を介して加算器４４に供給し、これと同時、フレームメモリ４８内の、動きの量に関係付けられた第Ｎの量だけシフトしたアドレス（第１の画像生成期間中に蓄積された、撮像素子の各画素からの電荷に対応する画素データについて、上記第１の量だけシフトしたアドレスに一致する）に記憶されている画素データを読み出して加算器４４に供給し、加算器４４で入力されている画素データ同士を加算して、加算結果をフレームメモリ４８内の、前記第Ｎの量だけシフトしたアドレスに記憶させた後、合成した画素データとして出力させて信号処理部５に供給する。
【０１２２】
なお、第Ｎの画像生成期間中に蓄積された電荷に応じた画素データを加算した後の画素データを、一旦フレームメモリ４８に記憶させることなく、信号処理部５に供給するようにしても良い。
【０１２３】
また、第１の画像生成期間中に蓄積された電荷に応じた画素データを、加算器４４を介することなく、フレームメモリ４８に供給しているが、こうする代わりに、加算器４４に供給し、これと同時、フレームメモリ４８内の、動きの量に関係付けられた上記第１の量だけシフトしたアドレスに記憶されている画素データを読み出して加算器４４に供給し、加算器４４で入力されている画素データ同士を加算して、加算結果をフレームメモリ４８内の、前記第１の量だけシフトしたアドレスに記憶させ、信号処理部５に供給するようにしても良い。この場合、フレームメモリ４８の読み出し前に上記アドレスにゼロを記憶させておけば、同じ結果が得られる。この場合、選択器４６が不要となり、また選択器４６の制御のための処理（ＣＰＵ７の動作）が不要となり、第１の画像生成期間中に蓄積された電荷を読み出したときの処理を、第ｎ（ｎは２乃至（Ｎ－１）の画像生成期間中に蓄積された電荷を読み出したときの処理と同じにすることができる。
【０１２４】
例えば、第１乃至第Ｎの画像生成期間が互いに略同じ長さを有し、
所定時間当たりの動きの量（ＢＬ）が、第１乃至第Ｎの画像生成期間の合計の時間当たりの、撮像素子の画素の数で表された動きの量であり、
動きの量に関係付けられた第１の量が、
ＢＬ・（Ｎ－１）／Ｎ
であり、
動きの量に関係付けられた第ｎの量が、
ＢＬ・（Ｎ－ｎ）／Ｎ
であることとしても良い。
【０１２５】
また、フレームメモリ４８が、合成画像の画素のためのアドレス（記憶位置）を有し、
前記シフトされた画素データが、それぞれ合成画像の、それぞれの画素のためのアドレスに記憶されるようにしても良い。
【０１２６】
図２３は、実施の形態２の合成手段３３の動作を経時的に示した模式図である。所定のフレーム期間の一部をなす、電荷蓄積期間（被写体の明るさによって定められる）をＮ分割した画像生成期間の各々に生成された画像を表す画像信号に、本実施の形態の手ぶれ補正のための、シフトを行なったのち、合成する動作を示している。第１の画像生成期間ＧＣ１は、１番目の画像を得るために光電変換部１９にて電荷蓄積を行う期間を示しており、以下第２の画像生成期間ＧＣ２乃至第Ｎの画像生成期間ＧＣＮは同様の意味をもつ。
【０１２７】
第１の画像は電荷蓄積（ＧＣ１）が終了した後、第１の画像を表す電荷信号が垂直転送部２２に読み出され、水平転送部２７の方向に高速転送され、同時に水平転送部２７内で水平方向に電荷の高速転送が行われ、電荷信号が出力増幅器２８で信号電圧に変換されて画像信号として出力される（ＶＥ１）。該画像信号はアナログ処理部３、画素信号Ａ／Ｄ変換部４及び選択器４６を経由してからフレームメモリ４８（画像保持手段３５）に供給され、フレームメモリ４８内の、ＢＬ・（Ｎ－１）／Ｎに応じた画像位置だけシフトしたアドレス（記憶位置）に書込まれ（ＳＤ１）。このアドレス（記憶位置）を合成画像記憶アドレス（記憶位置）と呼ぶ。
【０１２８】
その後、第２画像生成期間（ＧＣ２）における電荷蓄積が終了するまでフレームメモリ４８（画像保持手段３５）に保持される（ＳＴ１）。
【０１２９】
第２の画像は電荷蓄積（ＧＣ２）が終了した後、第２の画像を表す電荷信号が垂直転送部２２に読み出され、水平転送部２７の方向に高速転送され、同時に水平転送部２７内で水平方向に電荷の高速転送が行われ、電荷信号が出力増幅器２８で信号電圧に変換されて画像信号として出力される（ＶＥ２）。該画像信号はアナログ処理部３、画素信号Ａ／Ｄ変換部４を経由して加算器４４に供給される。これと同時、フレームメモリ４８内の、動きの量に関係付けられた上記第２の量だけシフトしたアドレス（第１の画像生成期間（ＧＣ１）中に蓄積された各画素の電荷に対応する画素データについて、撮像素子の画素に対応するアドレスに対し上記第１の量だけシフトしたアドレス、即ち合成画像記憶位置に一致するアドレス）に記憶されている画素データを読み出して加算器４４に供給し、加算器４４で入力されている画素データ同士を加算する（ＡＤ２）。このことは、第２の画像生成期間中に各画素（光電変換素子２１）で蓄積された電荷に対応する画素データは、（ＢＬ・（Ｎ－２）／Ｎに対応する画素数だけシフトされ、第１の画像生成期間中に各画素（光電変換素子２１）で蓄積された電荷に対応する画素データは、（ＢＬ・（Ｎ－１）／Ｎに対応する画素数だけシフトした画素データと加算されることを意味する。
【０１３０】
加算の結果得られる画素データは、上記の（各画素についての）合成画像記憶アドレスに書込まれ（ＳＤ２）、第３の画像生成期間における電荷蓄積が終了するまでフレームメモリ４８（画像保持手段３５）に保持される（ＳＴ２）。
以下、同様に、第ｎの画像生成期間中に各画素（光電変換素子２１）で蓄積された電荷に対応する画素データは、（ＢＬ・（Ｎ－ｎ）／Ｎに対応する画素数だけシフトされ、対応する合成画像記憶アドレスに記憶されている画素データと加算され、同じ合成画像記憶アドレスに記憶される。このような動作を第Ｎ画像まで順次繰り返すことで、合成画像記録アドレスの合成画像の各画素の画素データが得られる。
【０１３１】
撮像時に手ぶれをおこしたときの撮像画像、ならびにフレームメモリ４８への書き込み画像の詳細を図２４（ａ）～（ｊ）に示す。本例では撮像者が撮像装置のシャッタボタンＳＢを押す瞬間に上方向に手ぶれをおこした（撮像装置が上方向に動き、そのため撮像画像が次第に下方向に移動した）場合であり、画像生成期間数が４、垂直方向の手ぶれの画素換算数が４である場合を示している。なお、撮像面上での上下反転はないものとして図示している。図２４（ａ）は、手ぶれが全くない場合の撮像画像である。図２４（ｂ）は、電荷蓄積期間を分割せず、且つ手ぶれ補正を行なわない場合の撮像画像であり、垂直方向に４画素分の手ぶれが発生している。
【０１３２】
図２４（ｃ）～（ｆ）は、図２４（ｂ）の画像を４つの画像生成期間に分割して読み出したそれぞれの画像である。４つの画像生成期間Ｓ１～Ｓ４は互いに同じ長さであり、図２４（ｃ）～（ｆ）の撮像画像の輝度は、いずれも図２４（ｂ）の撮像画像の輝度の１／４となる。
【０１３３】
図２４（ｃ）～（ｆ）の各々において、点線は、各画像生成期間の開始時の被写体像の一部を示し、実線は、各画像生成期間の終了時の被写体像を示し、点線と、実線の差が各画像生成期間中のぶれを表す。また、図２４（ｃ）～（ｅ）の各々において、鎖線は、最後の画像生成期間で生成される被写体像と最後の画像生成期間で生成される被写体像の位置の差ＳＦＴ１～ＳＦＴ３を表す。
【０１３４】
図２４（ｂ）の画像で発生している４画素分の被写体像のずれＢＬは、図２４（ｃ）～（ｄ）でそれぞれ１画素分のずれ（ＤＢＬ＝ＢＬ／４）に等配分できるとする。図２４（ｃ）～（ｆ）の画像の画像生成期間内で、手ぶれの角速度が一定と仮定すれば、近似的にそのような扱いが可能である。
【０１３５】
本実施の形態２は、図２４（ｃ）～（ｅ）に示される１番目乃至３番目の画像と図２４（ｆ）に示される最後の画像の間に存在する位置の差を補正してフレームメモリ４８内の同じアドレスに書込むものであり、即ち、図２４（ｃ）の画像を、フレームメモリ４８内の３画素分の位置の差ＳＦＴ１だけシフトしたアドレス（撮像素子内の画素に対応するアドレスに対してシフトした位置のアドレス）に書込んで第１の書き込み画像を形成し、図２４（ｄ）の画像を、フレームメモリ４８内の２画素分の位置の差ＳＦＴ２だけシフトしたアドレスに書込まれている第１の書き込み画像と加算（合成）して、加算結果をフレームメモリ４８の同じアドレス（第１の書き込み画像が書込まれていたのと同じアドレス）に書込んで第２の書き込み画像を形成し、図２４（ｅ）の画像を、フレームメモリ４８内の１画素分の位置の差ＳＦＴ３だけシフトしたアドレスに書込まれている第２の書き込み画像と加算（合成）して、加算結果をフレームメモリ４８の同じアドレス（第２の書き込み画像が書込まれていたのと同じアドレス）に書込んで第３の書き込み画像を形成し、図２４（ｆ）の画像を、フレームメモリ４８内の対応するアドレスに書込まれている第３の書き込み画像と加算（合成）して、加算結果をフレームメモリ４８の同じアドレス（第２の書き込み画像が書込まれていたのと同じアドレス）に書込んで第４の書き込み画像、即ち最終的な書き込み画像を形成するものであり、これにより、図２４（ｆ）の撮像画像と略同位置に被写体像が位置する画像（図２４（ｆ）の被写体像に、図２４（ｃ）～（ｅ）の被写体像をそれぞれシフトした上で合成した（重ね合わせた）のと同じ画像）を最終的な書き込み画像としてフレームメモリ４８内に形成するものである。
【０１３６】
図２４（ｇ）～（ｊ）の被写体像について、便宜上手ぶれによる尾引き部分を描画していないが、実際には図２４（ｃ）～（ｆ）の被写体像と同様の手ぶれによる尾引き部分が存在する。画像生成期間数が４であれば、総手ぶれ量の１／４の手ぶれが各画像生成期間の画像ごとに発生する。
【０１３７】
図示を簡単にするため、撮像素子２の撮像画面上の画像における垂直方向の画素数は１３として、水平方向のラインを１３ライン読み出すことにより１枚の画像が得られるとする。また、図示の例では、ライン番号は下から順に付与してある。
【０１３８】
このとき読み出した４枚の画像のうち最初の画像（図２４（ｃ））については、図２４（ｇ）に示すように、フレームメモリ４８に書き込む際に撮像素子２の第１、２、３ラインの画素データを廃棄して、撮像素子２の第４～第１３ラインの画素データを、フレームメモリ４８内の、位置の差ＳＦＴ１（＝３画素）に相当するライン数だけシフトしたアドレス、即ち、第１から第１０ラインに対応するアドレスに書きこむ。即ち３ラインシフトしたアドレス、言換えると垂直方向に３画素分シフトしたアドレスに書込む。フレームメモリ４８の第１１～第１３ラインには、ダミー画像信号（例えば値ゼロの信号）を書き込む。そして、フレームメモリ４８に書き込みが終了した状態をそのまま保持する。
【０１３９】
続いて２枚目の画像（図２４（ｄ））については、図２４（ｈ）に示すように、フレームメモリ４８に書き込む際に撮像素子２の第１、２ラインの画素データを廃棄して、撮像素子２の第３～１３ラインの画素データを、フレームメモリ４８内の、位置の差ＳＦＴ２（＝２画素）に相当するライン数だけシフトしたアドレス、即ち、第１から第１１ライン（即ち２ラインシフトしたアドレス、言換えると垂直方向に２画素分シフトしたアドレス）に保持されているデータとそれぞれ加算した上で、同じ第１から第１１ラインまでに書きこむ。フレームメモリ４８の第１２～第１３ラインには、ダミー画像信号（例えば値ゼロの信号）を書き込む。そして、フレームメモリ４８に書き込みが終了した状態をそのまま保持する。
【０１４０】
３枚目の画像（図２４（ｅ））については、図２４（ｉ）に示すように、フレームメモリ４８に書き込む際に撮像素子２の第１ラインの画素データを廃棄して、撮像素子２の第２～１３ラインの画素データを、フレームメモリ４８内の、位置の差ＳＦＴ３（＝１画素）に相当するライン数だけシフトしたアドレス、即ち、第１から第１２ライン（即ち１ラインシフトしたアドレス、言換えると垂直方向に１画素分シフトしたアドレス）に保持されているデータとそれぞれ加算した上で、同じ第１から第１２ラインまでに書きこむ。フレームメモリ４８の第１３ラインには、ダミー画像信号（例えば値ゼロの信号）を書き込む。そして、フレームメモリ４８に書き込みが終了した状態をそのまま保持する。
４枚目の画像（図２４（ｆ））については、図２４（ｊ）に示すように、フレームメモリ４８に書き込む際に撮像素子２の第１～１３ラインの画素データを、フレームメモリ４８内の対応するアドレス、即ち、第１から第１３ラインに保持されているデータとそれぞれ加算した上で、同じ第１から第１３ラインまでに書きこむ。
【０１４１】
これによりフレームメモリ４８内に合成画像が形成される。フレームメモリ４８内の第１～第１０ラインには、４枚の撮像画像のそれぞれで得られた画素データを合計したものが記憶されている。第１１ラインには、第２～第４の撮像画像の画素データ及びダミーデータを合計したもの、第１２ラインには、第３～第４の撮像画像の画素データ及びダミーデータを合計したもの、第１３ラインには、第４の撮像画像の画素データ及びダミーデータを合計したものが記憶されている。
【０１４２】
フレームメモリ４８から信号処理部に画素データを供給する際には、第１乃至第１０ラインの画素データのみを供給する（書き込み時にダミーの画像信号を書き込んだ領域ＤＭを除いた残りの画像領域ＲＲを切り出して供給する）こととしても良く、第１乃至第１３ラインの画素データをすべて供給することしても良い。
【０１４３】
図２４は撮像者が撮像装置のシャッタボタンＳＢを押す瞬間に上方向に手ぶれをおこした場合であるが、下方向に手ぶれをおこした場合でもｎ番目に読み出した画像を撮像装置の動き量の（Ｎ－ｎ）／Ｎだけ画像位置を上方向にシフトした上でフレームメモリ４８への書き込み或いは加算器４４での加算をすることにより最終的に手ぶれが１／Ｎに軽減された画像を得ることができる。
【０１４４】
図２５は、実施の形態２における手ぶれ補正の動作を示すフローチャートである。ステップＳｔ１、Ｓｔ２及びＳｔ５～Ｓｔ７の動作は図１５と同じである。ステップＳｔ３においてＮ＝１である場合は、ステップＳｔ２１に進み、第ｎ画像（ｎ＝１）を読み出し、次にステップＳｔ２２で第ｎ画像の画素データ（固体撮像素子２から出力された信号電荷に対応するデータ）フレームメモリ４８に書込む。（固体撮像素子２から読み出された画像は、アナログ信号処理部３及び画素信号Ａ／Ｄ変換部４を経て加算器４４を経ることなく（選択器４６を経て、フレームメモリ４８に供給されて、書込まれる）。
【０１４５】
ステップＳｔ７の次には、ステップＳｔ２３に進み、第ｎの画像（ｎ＝１）を読み出し、読み出した画像の画素データをフレームメモリ４８に書込む。（読み出された画像は、アナログ信号処理部３及び画素信号Ａ／Ｄ変換部４を経て加算器４４を経ることなく（選択器４６を経て、フレームメモリ４８に供給されて、書込まれる）このとき動き量の（Ｎ－１）／Ｎに対応する画素数分だけシフトしたアドレスに書込む。
その後、ステップＳｔ２４に進み、ステップＳｔ２４でｎに１を加え、次にステップＳｔ２５に進み、第ｎ画像を読み出す。読み出された画像は、アナログ信号処理部３及び画素信号Ａ／Ｄ変換部４を経て加算器４４に供給される。そして、ステップＳｔ２６において、フレームメモリ４８内のシフトしたアドレスからデータを読み出し、Ａ／Ｄ変換器４４からのデータとの加算が行われる。そして、加算の結果得られる画素データが、フレームメモリ４８内の上記と同じアドレス（ステップＳｔ２６でデータが読み出されたのと同じアドレス）に書込む（Ｓｔ２７）。
【０１４６】
その後、ステップＳｔ２８に進み、ｎ＝Ｎかどうかの判定を行う。ステップＳｔ２８でｎ＝Ｎでなければ、ステップＳｔ２４に進む。
ステップＳｔ２４、Ｓｔ２５、Ｓｔ２６、Ｓｔ２７、Ｓｔ２８の処理は、ステップＳｔ２８でｎ＝Ｎと判定されるまで繰り返される。
ステップＳｔ２８でｎ＝Ｎと判定されたときは、処理を終了する。
この時点で、フレームメモリ４８には、第１から第Ｎまでの画像の合成画像に対応する画素データが記憶されている。
【０１４７】
以上説明したように実施の形態２によれば、アクチュエータ等の複雑な機構部品を必要とせず、フレームメモリ４８へのデータの書きこみ方式を制御することによりで手ぶれを低減、補正することができる撮像装置が得られる。
【図面の簡単な説明】
【０１４８】
【図１】本発明の実施の形態１の撮像装置の構成を示すブロック図である。
【図２】本発明で用いられる固体撮像素子の構成を示す図である。
【図３】図２における縦方向に並んだ４画素を拡大して示す図である。
【図４】ベイヤ型色フィルタ配列を示す図である。
【図５】ハニカム型色フィルタ配列を示す図である。
【図６】実施の形態１において手ぶれ補正を行うための構成要素を示す機能ブロック図である。
【図７】実施の形態１における合成手段を構成する固体撮像素子の動作を示す図である。
【図８】垂直転送部内で順方向に電荷を転送する場合に印加される垂直転送パルスＶＤＰを示すタイミングチャートである。
【図９】垂直転送部内で順方向に電荷を転送する場合の固体撮像素子の転送素子の電極の電位分布を示す図である。
【図１０】垂直転送部内で逆方向に電荷を転送する場合に印加される垂直転送パルスＶＤＰを示すタイミングチャートである。
【図１１】垂直転送部内で逆方向に電荷を転送する場合の固体撮像素子の転送素子の電極の電位分布を示す図である。
【図１２】（ａ）～（ｄ）は、撮像装置の手ぶれの方向及び角度とぶれを含む撮像画像の例を示す図である。
【図１３】（ａ）～（ｉ）は実施の形態１における撮像装置の動作を示すタイミングチャートである。
【図１４】（ａ）～（ｉ）は実施の形態１の変形例における撮像装置の動作を示すタイミングチャートである。
【図１５】実施の形態１における手ぶれ補正の動作を示すフローチャートである。
【図１６】実施の形態１の撮像画像と固体撮像素子の撮像面の被写体像の変位を示す図である。
【図１７】（ａ）～（ｆ）は、図１３において電荷蓄積期間の分割を行った期間を時間軸方向に拡大した図である。
【図１８】実施の形態１における垂直転送部内の電荷転送ならびに電荷加算方法を示す図である。
【図１９】電荷排出溝を備えた固体撮像素子を示す図である。
【図２０】遮光領域を備えた固体撮像素子を示す図である。
【図２１】（ｚ）～（ｆ）は実施の形態１の変形例における撮像装置の動作を示すタイミングチャートである。
【図２２】本発明の実施の形態２の撮像装置の構成を示すブロック図である。
【図２３】実施の形態２における合成手段を構成する固体撮像素子の動作を示す図である。
【図２４】実施の形態２の撮像画像と固体撮像素子の撮像面の被写体像とフレームメモリの画像の関係を示す図である。
【図２５】実施の形態２における手ぶれ補正の動作を示すフローチャートである。
【符号の説明】
【０１４９】
１レンズ、２固体撮像素子、３アナログ信号処理部、４画素信号Ａ／Ｄ変換部、５信号処理部、６表示手段、７ＣＰＵ、８タイミングジェネレータ、９手ぶれセンサ、１０動き信号Ａ／Ｄ変換部、１１積算部、１２レンズ駆動部、２１光電変換素子（ＰＤ）、２２垂直転送部、２４読み出しゲート部、２７水平転送部、２８出力増幅器、３１電荷蓄積手段、３２動き検出手段、３３合成手段、３４画像シフト手段、３５画像保持手段、３６画像加算手段、３７制御手段、４０電荷排出溝、４２遮光領域、４８フレームメモリ、ＰＸ画素。

【出願人】	【識別番号】０００００６０１３【氏名又は名称】三菱電機株式会社
【出願日】	平成１９年１１月１５日（２００７．１１．１５）
【代理人】	【識別番号】１０００８３８４０【弁理士】【氏名又は名称】前田実【識別番号】１００１１６９６４【弁理士】【氏名又は名称】山形洋一
【公開番号】	特開２００８－７２７５５（Ｐ２００８－７２７５５Ａ）
【公開日】	平成２０年３月２７日（２００８．３．２７）
【出願番号】	特願２００７－２９６３７６（Ｐ２００７－２９６３７６）