トップ :: G 物理学 :: G01 測定;試験

【発明の名称】 距離画像センサ
【発明者】 【氏名】村山 任

【要約】 【課題】外光中の赤外成分による距離画像の劣化を防止することができる、可視光画像同時取得型の距離画像センサを提供する。

【構成】可視光および赤外光の撮像が可能な単板構成の固体撮像装置により、1フレーム走査期間ごとに可視光および赤外光の撮像を行いながら、撮影対象空間へのIRパルスの照射を1フレーム走査期間おきに行う。可視光画像を1フレーム走査期間ごとに生成するとともに、IRパルスの照射時の撮像によって得られたIR画素信号(S1IR)からIRパルスの非照射時の撮像によって得られたIR画素信号(S2IR)を減算することによって、外光中の赤外成分による影響を排除した距離画像を1フレーム走査期間おきに生成する。
【特許請求の範囲】
【請求項1】
赤外のパルス光を撮影対象空間に照射する赤外発光手段と、
可視光を受光する複数の第1受光部および赤外光を受光する複数の第2受光部により、前記撮影対象空間からの可視光および赤外光を受光して光電変換を行い、前記第1受光部に蓄積される信号電荷の電荷量に応じた第1画素信号と、前記第2受光部に蓄積される信号電荷の電荷量に応じた第2画素信号とを出力する撮像手段と、
前記撮像手段を駆動し、1フレーム分の第1および第2画素信号を1フレーム走査期間ごとに周期的に出力させるとともに、所定の距離位置から反射される前記パルス光を受光するように、前記第2受光部の受光期間を、前記赤外発光手段による前記パルス光の照射時から所定時間遅延させて設定する撮像制御手段と、
前記赤外発光手段の発光タイミングを制御し、1フレーム走査期間おきに前記パルス光の照射を行わせる発光制御手段と、
前記パルス光の照射時の撮像によって得られた1フレーム分の第1および第2画素信号を格納する第1フレームメモリと、
前記パルス光の非照射時の撮像によって得られた1フレーム分の第1および第2画素信号を格納する第2フレームメモリと、
前記第1フレームメモリに格納された第1画素信号に基づいて第1可視光画像を生成し、前記第2フレームメモリに格納された第1画素信号に基づいて第2可視光画像を生成し、前記第1フレームメモリに格納された第2画素信号から前記第2フレームメモリに格納された第2画素信号を減算することにより距離画像を生成する信号処理手段と、
を備えたことを特徴とする距離画像センサ。
【請求項2】
前記信号処理手段によって生成された第1および第2可視光画像と距離画像とを格納する画像メモリを備えたことを特徴とする請求項1記載の距離画像センサ。
【請求項3】
前記撮像手段は、一導電型半導体基板の表層に形成された反対導電型ウェル層中に各部が形成された固体撮像装置であって、
前記第1および第2受光部と、
前記第1および第2受光部の信号電荷を前記一導電型半導体基板に掃き捨てる縦型オーバーフロードレインと、
前記第2受光部の信号電荷を、掃き捨てゲートを介して前記反対導電型ウェル層に形成された一導電型のドレイン領域に掃き捨てる横型オーバーフロードレインと、
前記第1および第2受光部から信号電荷を読み出す読み出しゲートと、
前記読み出しゲートによって読み出された信号電荷を垂直転送する垂直転送部と、
前記垂直転送部から各信号電荷を受け取り、水平転送を行う水平転送部と、
前記水平転送部によって水平転送された各信号電荷を電荷量に応じた画素信号に変換して出力を行う信号出力部と、から構成されており、
前記撮像制御手段は、前記縦型オーバーフロードレインによる前記第1および第2受光部からの信号電荷の掃き捨て、前記横型オーバーフロードレインによる前記第2受光部からの信号電荷の掃き捨て、前記読み出しゲートによる前記第1および第2受光部からの信号電荷の読み出しの順に前記撮像手段を駆動することにより、可視光の受光期間と赤外光の受光期間とを異ならせて個別に設定することを特徴とする請求項1または2記載の距離画像センサ。
【請求項4】
前記第1受光部は、可視光の3原色のうち青色光を受光する青色受光部と、前記3原色のうち緑色光を受光する緑色受光部と、前記3原色のうち赤色光を受光する赤色受光部とからなることを特徴とする請求項1ないし3いずれか記載の距離画像センサ。
【請求項5】
前記掃き捨てゲートおよび前記読み出しゲートは、垂直転送部の転送電極によって制御されることを特徴とする請求項2ないし4いずれか記載の距離画像センサ。
【請求項6】
前記第1および第2受光部は、前記垂直転送部に沿う垂直方向、および前記水平転送部に沿う水平方向に沿って、2次元状に平面配列されていることを特徴とする請求項2ないし5いずれか記載の距離画像センサ。
【請求項7】
前記ドレイン領域は、前記第1および第2受光部の1垂直列を間に挟んで、前記垂直転送部と対向するように配置されていることを特徴とする請求項2ないし6いずれか記載の距離画像センサ。
【発明の詳細な説明】【技術分野】
【0001】
本発明は、所定の距離位置に存在する被写体像(距離画像)を取得する距離画像センサに関し、特に、距離画像の取得とともに、通常の画像(可視光画像)を取得する距離画像センサに関する。
【背景技術】
【0002】
近年、撮影対象空間に赤外のパルス光を照射し、所定時間経過後に被写体から反射されてくるパルス光を撮像することにより、所定の距離位置(光路差)に存在する被写体の画像(距離画像)を取得する光路差検出方式の距離画像センサが知られている(例えば、特許文献1参照)。特許文献1記載の距離画像センサでは、赤外光を受光するために固体撮像装置が用いられ、また、所定距離に位置する被写体から反射されたパルス光のみを受光するために、電気光学シャッタやイメージインテンシファイヤ等の高速シャッタ装置が設けられている。
【0003】
また、距離画像センサにおいて、距離画像と同時に通常の可視光画像を取得することは、画像中からの特定の被写体の切り出し(背景分離)や、3次元画像の作成などを行ううえで有用である。しかしながら、上記の距離画像センサに用いられる固体撮像装置は、赤外光受光用の撮像装置であるため、距離画像と可視光画像とを同時に取得するには、可視光受光用の固体撮像装置が別途必要であるとともに、入射光を各固体撮像装置へ導くためのプリズムなども必要となる。
【0004】
そこで、本出願人は、上記の距離画像センサの構成を簡素化し、サイズやコスト面の向上を図ることを目的とした固体撮像装置を提案している(特許文献2参照)。この固体撮像装置は、単板式でありながら可視光および赤外光を同時に受光することができるとともに、赤外光および可視光の受光期間をそれぞれ独立して制御することができる。この固体撮像装置を用いることにより、上記のプリズムやシャッタ装置を排除し、距離画像センサの構成を簡素化することができる。
【特許文献1】米国特許第6057909号明細書
【特許文献2】特願2006−172649号明細書
【発明の開示】
【発明が解決しようとする課題】
【0005】
ところで、上記の距離画像センサは、人の目視あるいは通常の撮像へ影響を与えないように、可視光とは波長の異なる赤外光を用いて距離画像の取得を行っているが、実際に距離画像センサに入射される赤外光には、赤外発光部から発せられたパルス光の被写体からの反射成分だけでなく、太陽光や白熱灯等の外光中に存在する赤外光成分も含まれるため、距離撮像に影響が生じる。このため、状況によっては距離画像のSN比が著しく低下して、距離情報を正確に取得することができないといった問題がある。
【0006】
本発明は、上記課題を鑑みてなされたものであり、外光中の赤外成分による距離画像の劣化を防止することができる、可視光画像同時取得型の距離画像センサを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明の距離画像センサは、赤外のパルス光を撮影対象空間に照射する赤外発光手段と、可視光を受光する複数の第1受光部および赤外光を受光する複数の第2受光部により、前記撮影対象空間からの可視光および赤外光を受光して光電変換を行い、前記第1受光部に蓄積される信号電荷の電荷量に応じた第1画素信号と、前記第2受光部に蓄積される信号電荷の電荷量に応じた第2画素信号とを出力する撮像手段と、前記撮像手段を駆動し、1フレーム分の第1および第2画素信号を1フレーム走査期間ごとに周期的に出力させるとともに、所定の距離位置から反射される前記パルス光を受光するように、前記第2受光部の受光期間を、前記赤外発光手段による前記パルス光の照射時から所定時間遅延させて設定する撮像制御手段と、前記赤外発光手段の発光タイミングを制御し、1フレーム走査期間おきに前記パルス光の照射を行わせる発光制御手段と、前記パルス光の照射時の撮像によって得られた1フレーム分の第1および第2画素信号を格納する第1フレームメモリと、前記パルス光の非照射時の撮像によって得られた1フレーム分の第1および第2画素信号を格納する第2フレームメモリと、前記第1フレームメモリに格納された第1画素信号に基づいて第1可視光画像を生成し、前記第2フレームメモリに格納された第1画素信号に基づいて第2可視光画像を生成し、前記第1フレームメモリに格納された第2画素信号から前記第2フレームメモリに格納された第2画素信号を減算することにより距離画像を生成する信号処理手段と、を備えたことを特徴とする。なお、前記信号処理手段によって生成された第1および第2可視光画像と距離画像とを格納する画像メモリを備えたことが好ましい。
【0008】
また、前記撮像手段は、一導電型半導体基板の表層に形成された反対導電型ウェル層中に各部が形成された固体撮像装置であって、前記第1および第2受光部と、前記第1および第2受光部の信号電荷を前記一導電型半導体基板に掃き捨てる縦型オーバーフロードレインと、前記第2受光部の信号電荷を、掃き捨てゲートを介して前記反対導電型ウェル層に形成された一導電型のドレイン領域に掃き捨てる横型オーバーフロードレインと、前記第1および第2受光部から信号電荷を読み出す読み出しゲートと、前記読み出しゲートによって読み出された信号電荷を垂直転送する垂直転送部と、前記垂直転送部から各信号電荷を受け取り、水平転送を行う水平転送部と、前記水平転送部によって水平転送された各信号電荷を電荷量に応じた画素信号に変換して出力を行う信号出力部と、から構成されており、前記撮像制御手段は、前記縦型オーバーフロードレインによる前記第1および第2受光部からの信号電荷の掃き捨て、前記横型オーバーフロードレインによる前記第2受光部からの信号電荷の掃き捨て、前記読み出しゲートによる前記第1および第2受光部からの信号電荷の読み出しの順に前記撮像手段を駆動することにより、可視光の受光期間と赤外光の受光期間とを異ならせて個別に設定することが好ましい。一導電型とは、n型またはp型のいずれか一方の導電型であり、反対導電型とは、一導電型とは反対の導電型である。
【0009】
また、前記第1受光部は、可視光の3原色のうち青色光を受光する青色受光部と、前記3原色のうち緑色光を受光する緑色受光部と、前記3原色のうち赤色光を受光する赤色受光部とからなることが好ましい。また、前記掃き捨てゲートおよび前記読み出しゲートは、垂直転送部の転送電極によって制御されることを特徴とする請求項2ないし4いずれか記載の距離画像センサ。
【0010】
また、前記第1および第2受光部は、前記垂直転送部に沿う垂直方向、および前記水平転送部に沿う水平方向に沿って、2次元状に平面配列されていることが好ましい。さらに、前記ドレイン領域は、前記第1および第2受光部の1垂直列を間に挟んで、前記垂直転送部と対向するように配置されていることが好ましい。
【発明の効果】
【0011】
本発明の距離画像センサは、1フレーム走査期間ごとに可視光および赤外光の撮像を行いながら、赤外のパルス光の照射を1フレーム走査期間おきに行い、可視光画像を1フレーム走査期間ごとに生成するとともに、パルス光の照射時の撮像によって得られた赤外画素信号からパルス光の非照射時の撮像によって得られた赤外画素信号を減算することによって距離画像を生成しているので、可視光画像を生成しながら、同時に、外光中の赤外成分による影響が排除された距離画像を生成することができる。
【0012】
また、本発明の距離画像センサは、単板構成にて、可視光および赤外光を受光することができるとともに、赤外光と可視光との受光期間をそれぞれ独立して制御可能な固体撮像装置を備えるので、構成を簡素化し、サイズやコスト面の向上を図ることができる。
【発明を実施するための最良の形態】
【0013】
図1において、本発明に係わる距離画像センサ2は、各部を統括的に制御する制御部3と、撮影対象空間に向けて赤外(IR)光を発するIR発光部4と、撮影対象空間からの可視光およびIR光を集光するレンズ5と、レンズ5によって集光された光を光電変換して画素信号を出力する固体撮像装置6と、固体撮像装置6を駆動するための各種の駆動パルスを発生するタイミングジェネレータ(TG)7と、固体撮像装置6から出力された画素信号をデジタル化するA/D変換器8と、デジタル化された画素信号の記録先を1フレーム走査期間ごとに切り替える記録先切替部9と、1フレーム分の画素信号が記録先切替部9を介して交互に書き込まれる第1および第2フレームメモリ10a,10bと、第1および第2フレームメモリ10a,10bに書き込まれた画素信号を信号処理して可視光画像と距離画像とを生成する信号処理部11と、信号処理部11によって生成された可視光画像と距離画像とを記録する画像メモリ12とから構成されている。
【0014】
IR発光部4は、IR光(例えば、波長850nm)を発光するLED(発光ダイオード)やレーザダイオードなどの光源4aと、光源4aを駆動するドライバ4bと、光源4aから発光されるIR光をパルス状に変調する変調器4cとから構成されており、パルス状のIR光(以下、IRパルスと称す)を撮影対象空間に照射する。IR発光部4は、1フレーム走査期間おきにIRパルスの照射を行うように制御部3によって制御されており、制御部3は、発光制御手段としても機能する。なお、変調器4cを設けず、ドライバ4bによる光源4aの駆動信号を変調することによってIRパルスを生成することも可能である。
【0015】
レンズ5は、太陽光などの外光による通常の被写体光とともに、被写体によって反射されるIRパルスを集光して固体撮像装置6に入射させる。同図に示すように、被写体が複数の距離位置に存在する場合には、各被写体によって反射されたIRパルスの固体撮像装置6への入射タイミングは、各被写体の距離位置(光路差)に応じて異なる。光源4aおよび固体撮像装置6はほぼ等しい位置にあり、この位置からある1つの被写体までの距離をL、光速をcとすると、光源4aによって発せられたIRパルスが該被写体によって反射され、固体撮像装置6に入射されるまでの飛程時間(TOF:Time of Flight)τは、τ=2L/cとなる。
【0016】
TG7は、固体撮像装置6を、全画素読み出し方式により、1フレーム分の画素信号を1フレーム走査期間ごと出力させるように周期的に駆動し、撮像制御手段として機能する。固体撮像装置6は、各フレーム走査期間において通常の被写体光(可視光の他に、外光中のIR光成分も含まれる)の受光を行うとともに、1フレーム走査期間おきにIR発光部4から発光され、所定の距離位置の被写体から反射されてくるIRパルスを所定のタイミングで受光し、B(青色),G(緑色),R(赤色),IRの各画素に対応した画素信号を時系列的に出力する。A/D変換器8は、固体撮像装置6から出力されたアナログの画素信号を順次にデジタル化して、記録先切替部9に入力する。記録先切替部9は、入力された画素信号の記録先(第1フレームメモリ10aまたは第2フレームメモリ10b)を1フレーム走査期間ごとに切り替える。
【0017】
第1フレームメモリ10aには、IR発光部4が発光を行う第1フレーム走査期間に受光が行われ、続く第2フレーム走査期間に出力された画素信号(以下、第1フレーム信号という)が記録される。一方、第2フレームメモリ10bには、IR発光部4が発光を行わない第2フレーム走査期間に受光が行われ、続く第1フレーム走査期間に出力された画素信号(以下、第2フレーム信号という)が記録される。
【0018】
信号処理部11は、第1フレーム信号に含まれるB,G,Rの画素信号から第1可視光画像を生成し、第2フレーム信号に含まれるB,G,Rの画素信号から第2可視光画像を生成するとともに、第1フレーム信号に含まれるIRの画素信号(IR発光部4より射出されたIR光の被写体による反射成分と外光中のIR光成分との和)から第2フレーム信号のIRの画素信号(外光中のIR光成分)を、対応する画素ごとに減算して距離画像を生成する。つまり、信号処理部11は、可視光画像を1フレーム走査期間ごとに生成するとともに、距離画像を1フレーム走査期間おきに生成する。画像メモリ12には、信号処理部11によって生成された各可視光画像と、距離画像とが順次に記録される。なお、B,G,Rの画素信号は請求項中の第1画素信号、IRの画素信号は請求項中の第2画素信号に対応する。
【0019】
図2は、固体撮像装置6の構成を示す。固体撮像装置6は、インターライン転送方式のCCDイメージセンサであり、青色(B)光を受光してB信号電荷を蓄積するB受光部20aと、緑色(G)光を受光してG信号電荷を蓄積するG受光部20bと、赤色(R)光を受光してR信号電荷を蓄積するR受光部20cと、赤外(IR)光を受光してIR信号電荷を蓄積するIR受光部20dと、受光部20a〜20dから信号電荷を読み出す読み出しゲート(RG)21a〜21dと、信号電荷を垂直転送する垂直CCD22と、信号電荷を水平転送する水平CCD23と、信号電荷を電圧信号に変換して出力する出力アンプ24と、IR受光部20dに接続された掃き捨てゲート(EG)25と、IR受光部20dの信号電荷が掃き捨てられるドレイン領域26とから構成されている。EG25とドレイン領域26とによって横型オーバーフロードレイン(LOD)が構成されている。また、受光部20a〜20d下には、後述するpウェル層31の薄部31a〜31dとn型半導体基板30とによって縦型オーバーフロードレイン(VOD)が構成されている。なお、受光部20a〜20cは請求項中の第1受光部、受光部20dは請求項中の第2受光部に対応する。
【0020】
受光部20a〜20dは、垂直方向(V方向)および水平方向(H方向)に沿って平面配列され、全体としては正方格子状配列となっている。B受光部20aには“B”、G受光部20bには“G”、R受光部20cには“R”、IR受光部20dには“IR”を付して配列順を示している。垂直方向には、B,IR,G,R,B,IR,・・・の順に受光部20a〜20dが配列されており、奇数行と偶数行とで配列周期が半周期(2画素分)ずれている。これにより、水平方向は、B受光部20aとG受光部20bとが交互に配列された奇数行と、IR受光部20dとR受光部20cとが交互に配列された偶数行とからなる。各受光部20a〜20dは、4画素に1つの割合で均等に配列されている。
【0021】
垂直CCD22は、受光部20a〜20dの垂直列ごとに配設されており、垂直CCD22と各受光部20a〜20dとの間には、RG21a〜21dがそれぞれ設けられている。各受光部20a〜20dからは、B,G,R,IRの各信号電荷がRG21a〜21dを介して垂直CCD22に読み出される。垂直CCD22は、RG21a〜21dを介して読み出された各信号電荷を水平CCD23に向けて1行ずつ垂直転送を行う。垂直CCD22の垂直転送は、図3に示すように、画素の1水平行につき2本ずつ設けられた4種の垂直転送電極27a〜27dに印加される垂直転送パルスVφ1〜Vφ4により、4相駆動によって制御される。垂直転送電極27a〜27dのうち、第1相の垂直転送パルスVφ1が印加される垂直転送電極27aは、RG21a,21bの読み出しゲート電極として兼用されている。また、第3相の垂直転送パルスVφ3が印加される垂直転送電極27cは、RG21c,21dの読み出しゲート電極として兼用されている。さらに、第4相の垂直転送パルスVφ4が印加される垂直転送電極27dは、EG25の掃き捨てゲート電極として兼用されている。
【0022】
水平CCD23は、水平転送電極(図示せず)に印加される水平転送パルスHφ1,Hφ2により2相駆動され、垂直CCD22から転送された1行分の信号電荷を、出力アンプ24に向けて水平転送する。出力アンプ24は、例えば、フローティング・ディフュージョン・アンプからなり、水平CCD23から転送された信号電荷を検出して電荷量に応じた電圧信号に変換し、各受光部20a〜20dに対応した画素信号を時系列的に出力する。
【0023】
ドレイン領域26は、受光部20a〜20dの垂直列ごとに配設されており、同一列に属するIR受光部20dにRG21cを介して共通に接続されている。ドレイン領域26は、EG25を介してIR受光部20dに接続されており、IR受光部20dから信号電荷が掃き捨てられる。
【0024】
なお、図2中の矩形領域28は、1つの画素(ピクセル)領域を示している。
【0025】
図4は、図2のI−I線に沿う、B受光部20aを含む画素の断面を示す。n型半導体基板(n型シリコン基板)30の表層には、pウェル層31が形成されており、pウェル層31の深部には、n型半導体層からなるB信号電荷蓄積部32が形成されている。B信号電荷蓄積部32は、遮光膜33の開口33a下に層状に広がっており、水平方向の一端は、pウェル層31の表面に達している。
【0026】
B信号電荷蓄積部32とその下のpウェル層31との界面に形成されるpn接合部32aが、B光を光電変換してB信号電荷を生成するフォトダイオードとなっている。このpn接合部32aは、波長が短く、pウェル層31の表面からの侵入距離が短いB光に対して高い感度を有するように、比較的浅い位置に形成されている。pウェル層31は、B信号電荷蓄積部32下において薄く形成されており、この薄部31aが、VODの電位障壁として機能する。n型半導体基板30に、基板電圧としてVODパルスが印加されると、薄部31aの電位障壁が低下し、B信号電荷蓄積部32内の信号電荷がn型半導体基板30へ掃き出される。
【0027】
開口33a下のpウェル層31の表層には、暗電流成分の発生を抑制するために高濃度にp型不純物が注入されたp層34が形成されている。また、遮光膜33下のpウェル層31の表層には、n型半導体層からなる転送チャネル35、およびn型半導体層からなるドレイン領域26が形成されており、転送チャネル35とドレイン領域26とは、p型半導体層からなる画素分離部36によって分離されている。
【0028】
転送チャネル35は、pウェル層31を介してB信号電荷蓄積部32と離間しており、この離間部分および転送チャネル35の上方には、全面に形成された透明なゲート絶縁膜37を介して、前述の垂直転送電極27aが形成されている。転送チャネル35は、垂直方向(図2のV方向)に延設されており、その上方に交差する垂直転送電極27a〜27dとによって、前述の4層駆動の垂直CCD22を構成している。また、転送チャネル35とB信号電荷蓄積部32との離間部分は、その上方の垂直転送電極27aとによって、前述のRG21aを構成している。B信号電荷蓄積部32のB信号電荷は、垂直転送電極27aに高電圧の読み出しパルスが印加されると、上記離間部分を介して転送チャネル35に移送され、垂直転送電極27a〜27dに印加される垂直転送パルスVφ1〜Vφ4に応じて転送チャネル35内を移動する。
【0029】
ドレイン領域26は、遮光膜33下に延設されたp層34の延設部分34aを介してB信号電荷蓄積部32と離間されており、この離間部分およびドレイン領域26の上方には、ゲート絶縁膜37を介して、前述の垂直転送電極27aが形成されている。p層34の延設部分34aは、チャネルストッパとして機能するため、垂直転送電極27aに読み出しパルスが印加されたとしても、その部分にチャネルは形成されず、B信号電荷蓄積部32内の信号電荷がドレイン領域26へ掃き出されることはない。
【0030】
遮光膜33は、層間絶縁膜38を介して、垂直転送電極27a〜27d上を覆っており、前述のフォトダイオードに光を入射させる開口33aが形成されている。遮光膜33および開口33aから露出したゲート絶縁膜37の上には、透明絶縁体からなる平坦化層39が形成されている。そして、平坦化層39の上には、波長に応じて選択的に光を透過させる分光層40が形成されている。
【0031】
分光層40は、画素ごとに区分けされた複数種類の光学フィルタによって構成されており、本画素の平坦化層39上には、可視光からB光(波長:約400nm〜500nm)のみを透過させるBフィルタ40aと、IR光(波長:約800nm〜1500nm)を遮断するIRカットフィルタ40bとが順に積層されている。さらに、分光層40の上には、開口33a内へ光を集光するためのマイクロレンズ41が形成されている。
【0032】
図5は、図2のII−II線に沿う、G受光部20bを含む画素の断面を示す。本画素は、信号電荷蓄積部と光学フィルタの構成以外は、図4と同一であるため、異なる部分のみについて説明を行う。
【0033】
本画素において、開口33a下のpウェル層31中には、G信号電荷蓄積部42が形成されている。G信号電荷蓄積部42とその下のpウェル層31との界面に形成されるpn接合部42aが、G光を光電変換してG信号電荷を生成するフォトダイオードとなっている。このpn接合部42aは、B光より波長が長く、pウェル層31内へより深く侵入するG光に対して高い感度を有するように、上記のpn接合部32aより深い位置に形成されている。pウェル層31は、G信号電荷蓄積部42下において薄く形成されており、この薄部31bが、VODの電位障壁として機能する。n型半導体基板30にVODパルスが印加されると、薄部31bの電位障壁が低下し、G信号電荷蓄積部42内の信号電荷がn型半導体基板30へ掃き出される。
【0034】
G信号電荷蓄積部42は、端部が表面に達しており、転送チャネル35とpウェル層31を介して離間している。この離間部分は、その上方の垂直転送電極27aとによって、RG21bを構成している。また、G信号電荷蓄積部42は、チャネルストッパとして機能するp層34の延設部分34aを介してドレイン領域26から離間されており、G信号電荷蓄積部42内の信号電荷がドレイン領域26へ掃き出されることはない。
【0035】
そして、本画素の平坦化層39上には、可視光からG光(波長:約500nm〜600nm)のみを透過させるGフィルタ40cと、前述のIRカットフィルタ40bとが順に積層されており、IRカットフィルタ40bの上には、マイクロレンズ41が積層されている。
【0036】
図6は、図2のIII−III線に沿う、R受光部20cを含む画素の断面を示す。本画素は、信号電荷蓄積部と光学フィルタの構成以外は、図4,5と同一であるため、異なる部分のみについて説明を行う。
【0037】
本画素において、開口33a下のpウェル層31中には、R信号電荷蓄積部43が形成されている。R信号電荷蓄積部43とその下のpウェル層31との界面に形成されるpn接合部43aが、R光を光電変換してR信号電荷を生成するフォトダイオードとなっている。このpn接合部43aは、G光より波長が長く、pウェル層31内へより深く侵入するR光に対して高い感度を有するように、上記のpn接合部42aより深い位置に形成されている。pウェル層31は、R信号電荷蓄積部43下において薄く形成されており、この薄部31cが、VODの電位障壁として機能する。n型半導体基板30にVODパルスが印加されると、薄部31cの電位障壁が低下し、R信号電荷蓄積部43内の信号電荷がn型半導体基板30へ掃き出される。
【0038】
R信号電荷蓄積部43は、端部が表面に達しており、転送チャネル35とpウェル層31を介して離間している。この離間部分は、その上方の垂直転送電極27cとによって、RG21cを構成している。また、R信号電荷蓄積部43は、チャネルストッパとして機能するp層34の延設部分34aを介してドレイン領域26から離間されており、R信号電荷蓄積部43内の信号電荷がドレイン領域26へ掃き出されることはない。
【0039】
そして、本画素の平坦化層39上には、可視光からR光(波長:約600nm〜700nm)のみを透過させるRフィルタ40dと、前述のIRカットフィルタ40bとが順に積層されており、IRカットフィルタ40bの上には、マイクロレンズ41が積層されている。
【0040】
図7は、図2のIV−IV線に沿う、IR受光部20dを含む画素の断面を示す。本画素は、信号電荷蓄積部と光学フィルタの構成、およびEG25が設けられていること以外は、図4〜図6と同一であるため、異なる部分のみについて説明を行う。
【0041】
本画素において、開口33a下のpウェル層31中には、IR信号電荷蓄積部44が形成されている。IR信号電荷蓄積部44とその下のpウェル層31との界面に形成されるpn接合部44aが、IR光を光電変換してIR信号電荷を生成するフォトダイオードとなっている。このpn接合部43aは、R光より波長が長く、pウェル層31内へより深く侵入するIR光に対して高い感度を有するように、上記のpn接合部43aより深い位置に形成されている。pウェル層31は、IR信号電荷蓄積部44下において薄く形成されており、この薄部31dが、VODの電位障壁として機能する。n型半導体基板30にVODパルスが印加されると、薄部31dの電位障壁が低下し、IR信号電荷蓄積部44内の信号電荷がn型半導体基板30へ掃き出される。
【0042】
IR信号電荷蓄積部44は、2つの端部が表面に達しており、転送チャネル35側の端部は、転送チャネル35とpウェル層31を介して離間している。この離間部分は、その上方の垂直転送電極27cとによって、RG21dを構成している。また、IR信号電荷蓄積部44のドレイン領域26側の端部も同様に、ドレイン領域26とpウェル層31を介して離間している。この離間部分には、チャネルストッパ(p層34の延設部分34a)は形成されておらず、この離間部分とその上方の垂直転送電極27dとによって、EG25を構成している。垂直転送電極27dに高電圧のLODパルスが印加されると、この離間部分の電位障壁が低下し、IR信号電荷蓄積部44内の信号電荷がドレイン領域26に掃き出される。
【0043】
そして、本画素の平坦化層39上には、IR光(波長:約800nm〜1500nm)を透過させ、可視光をカットする赤外光透過・可視光カットフィルタ40eと、透明膜40fとが順に積層されており、透明膜40fの上には、マイクロレンズ41が積層されている。なお、透明膜40fは、マイクロレンズ41下を平坦化するために設けたものであるが、透明膜40fを設けず、分光層40を構成する各光学フィルタの厚さを調節することによって、マイクロレンズ41下の平坦化を行ってもよい。また、マイクロレンズ41の下に、分光層40の上面全体を覆う平坦化層を別途設けてもよい。
【0044】
図8は、固体撮像装置6の駆動タイミング、およびIR発光部4の発光タイミングに併せて、信号処理部11による画像生成のタイミングを示す。このタイミングチャートに基づいて、距離画像センサ2の動作を説明する。
【0045】
VODパルス、LODパルス、および読み出しパルスは、TG7から発生され、各パルスは、1フレーム走査期間(1垂直走査期間)ごとに固体撮像装置6入力される。また、IR発光部4により、1フレーム走査期間おきにIRパルスの照射が行われる。フレーム走査期間は、読み出しパルスが入力される周期で規定され、IRパルスの照射が行われる周期を第1フレーム走査期間、IRパルスの照射が行われない周期を第2フレーム走査期間とする。各フレーム走査期間では、直前のフレーム走査期間で蓄積された信号電荷の読み出しおよび転送が行われ、画素信号として出力される。
【0046】
まず、第1フレーム走査期間において、固体撮像装置6にVODパルスが入力されると、前述のpウェル層31の薄部31a〜31dの電位障壁が低下し、各受光部20a〜20dの信号電荷蓄積部32,42〜44に存在する信号電荷がn型半導体基板30に掃き捨てられ、信号電荷蓄積部32,42〜44が全て空の状態となる。
【0047】
次いで、IR発光部4から、パルス幅tのIRパルスが発せられる。この後、時間t経過後に、LODパルスが固体撮像装置6に入力され、これにより、IR受光部20dのIR信号電荷蓄積部44内の信号電荷がEG25を介してドレイン領域26に掃き捨てられる。IR受光部20dは、この時点からの露光が開始する。この後、時間t経過後に読み出しパルスが固体撮像装置6に入力される。この読み出しパルスにより、各受光部20a〜20dの信号電荷蓄積部32,42〜44に蓄積された信号電荷がRG21を介して垂直CCD22に移送される。この時点で、全ての受光部20a〜20dの露光が終了し、時間tがIR受光部20dの受光時間(信号電荷蓄積時間)となり、また、VODパルスが入力されてから読み出しパルスが入力されるまでの時間tがB,G,R受光部20a〜20cの受光時間となる。なお、IR受光部20dの受光時間tは、被写体から反射されるIRパルスの1パルス分の受光を行うように、パルス幅tとほぼ等しい値に設定されている。
【0048】
続く第2フレーム走査期間では、不図示の垂直・水平転送パルスが固体撮像装置6に入力され、直前の第1フレーム走査期間において蓄積された信号電荷が垂直・水平転送されて、出力アンプ24から順次に1フレーム分の画素信号(第1フレーム信号)が出力される。また、この第1フレーム信号の出力がなされている間に、VODパルスが固体撮像装置6に入力され、上記と同様に、信号電荷蓄積部32,42〜44が全て空の状態となる。第2フレーム走査期間では、IR発光部4からIRパルスは発せられず、LODパルスが固体撮像装置6に入力されることによりIR受光部20dの露光が開始する。この後、時間t経過後に読み出しパルスが固体撮像装置6に入力され、各受光部20a〜20dの信号電荷蓄積部32,42〜44に蓄積された信号電荷がRG21を介して垂直CCD22に移送されることにより、全ての受光部20a〜20dの露光が終了する。なお、第2フレーム走査期間中の各パルスのタイミングは、IRパルスが発せられないことを除いて、第1フレーム走査期間と同一である。第2フレーム走査期間では、IR受光部20dは、外光のIR光成分を受光する。
【0049】
そして、続く第1フレーム走査期間では、不図示の垂直・水平転送パルスが固体撮像装置6に入力され、直前の第2フレーム走査期間において蓄積された信号電荷が垂直・水平転送されて、出力アンプ24から順次に1フレーム分の画素信号(第2フレーム信号)が出力される。また、この第2フレーム信号の出力がなされている間に、VODパルスが固体撮像装置6に入力される。この後は、前述と同様なタイミングで各パルスが固体撮像装置6に入力され、同様な動作が繰り返される。なお、各第1フレーム走査期間において、IRパルスの受光タイミングを規定する時間t(上記の飛程時間τに対応)を変えることにより、異なる距離位置に対する距離画像が順に取得される。ここで上記と同様に、高速をc、距離画像を取得する被写体までの距離をLとすると、時間tは、L=c・t/2の関係より、t=2L/cと決定される。
【0050】
第2フレーム走査期間において出力された第1フレーム信号、および第1フレーム走査期間において出力された第2フレーム信号は、A/D変換器8によってデジタル化された後、記録先切替部9を介して、第1および第2フレームメモリ10a,10bにそれぞれ記録される。信号処理部11は、第1フレームメモリ10aに記録された第1フレーム信号に含まれるB,G,Rの画素信号(S1BGR)から第1可視光画像を生成して画像メモリ12に記録し、第2フレームメモリ10bに記録された第2フレーム信号に含まれるB,G,Rの画素信号(S2BGR)から第2可視光画像を生成して画像メモリ12に記録し、また、第1フレーム信号に含まれるIRの画素信号(S1IR)から第2フレーム信号に含まれるIRの画素信号(S2IR)を減算して距離画像を生成し、これを画像メモリ12に記録する。
【0051】
以上説明したように、距離画像センサ2は、1フレーム走査期間ごとに撮像を行いながら、IRパルスの照射を1フレーム走査期間おきに行うので、IRパルスの被写体からの反射光(信号成分)と外光中のIR光成分(ノイズ成分)とを含んだ画素信号(S1IR)と、外光中のIR光成分(ノイズ成分)のみを含んだ画素信号(S2IR)とが交互に取得され、画素信号(S1IR)から画素信号(S2IR)を減算することで、ノイズ成分が除去されたSN比のよい距離画像を生成することができる。
【0052】
また、距離画像センサ2に搭載された固体撮像装置6は、可視光とともにIR光を受光することができ、受光部20a〜20dのうちIR受光部20dにのみLODを設け、受光部20a〜20dの全体に作用するVODとは独立した電荷排出機構を構成しているので、IR光の受光期間を、可視光の受光期間とは独立して制御することができる。距離画像センサ2は、この固体撮像装置6の使用により構成が簡素化され、小型化・低コスト化が図られる。
【0053】
なお、上記実施形態では、距離画像を生成する際に、図8に示すように、第2フレーム走査期間に出力される第1フレーム信号中の画素信号(S1IR)から、その直後の第1フレーム走査期間に出力される第2フレーム信号中の画素信号(S2IR)を減算しているが、本発明はこれに限定されず、逆に、第2フレーム走査期間に出力される第1フレーム信号中の画素信号(S1IR)から、その直前の第1フレーム走査期間に出力される第2フレーム信号中の画素信号(S2IR)を減算してもよい。
【0054】
また、上記実施形態では、図1において、第1および第2フレームメモリ10a,10bのそれぞれを別に示しているが、これは、これらを個別のメモリ素子として構成することに限定するものでなく、本発明は、第1および第2フレームメモリ10a,10bを一体のメモリ素子として構成する形態も含む。
【0055】
また、上記実施形態では、図2において、LODを構成するドレイン領域26を、受光部20a〜20dの垂直列ごとに配設し、同一列のIR受光部20dに共通に接続しているが、本発明はこれに限定されず、ドレイン領域26の形態は適宜変更してよく、例えば、各IR受光部20dに個別にドレイン領域26を設けてもよい。
【0056】
また、上記実施形態では、図2において、受光部20a〜20dを全体として正方格子状に平面配列しているが、本発明はこれに限定されず、水平方向に隣接する受光部の垂直列を垂直方向に半ピッチ(画素配列ピッチの半分)だけずらして配列した、いわゆるハニカム配列としてもよい。
【0057】
また、上記実施形態では、固体撮像装置6において、フォトダイオードの光電変換によって生成される電子−正孔対のうち電子を信号電荷として扱うように、各部の導電型(p型またはn型)を設定しているが、本発明はこれに限定されず、電子とは反対の極性の正孔を信号電荷として扱うように、各部の導電型を、上記とは反対の導電型としてもよい。
【図面の簡単な説明】
【0058】
【図1】距離画像センサの構成を示すブロック図である。
【図2】固体撮像装置の構成を示す概略平面図である。
【図3】垂直転送電極の構成を示す概略平面図である。
【図4】図2のI−I線に沿う概略断面図である。
【図5】図2のII−II線に沿う概略断面図である。
【図6】図2のIII−III線に沿う概略断面図である。
【図7】図2のIV−IV線に沿う概略断面図である。
【図8】距離画像センサの駆動タイミングを示すタイミングチャートである。
【符号の説明】
【0059】
2 距離画像センサ
3 制御部(発光制御手段)
4 IR発光部(赤外発光手段)
6 固体撮像装置(撮像手段)
7 タイミングジェネレータ(撮像制御手段)
8 A/D変換器
9 記録先切替部
10a 第1フレームメモリ
10b 第2フレームメモリ
11 信号処理部(信号処理手段)
20a B受光部(第1受光部)
20b G受光部(第1受光部)
20c R受光部(第1受光部)
20d IR受光部(第2受光部)
21a〜21d 読み出しゲート
22 垂直CCD(垂直転送部)
23 水平CCD(水平転送部)
24 出力アンプ(信号出力部)
25 掃き捨てゲート
26 ドレイン領域
27a〜27d 垂直転送電極
30 n型半導体基板(一導電型半導体基板)
31 pウェル層(反対導電型ウェル層)
31a〜31d 薄部
32 B信号電荷蓄積部
32a,42a,43a,44a pn接合部
35 転送チャネル
40a Bフィルタ
40b IRカットフィルタ
40c Gフィルタ
40d Rフィルタ
40e 赤外光透過・可視光カットフィルタ
40f 透明膜
42 G信号電荷蓄積部
43 R信号電荷蓄積部
44 IR信号電荷蓄積部
【出願人】 【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
【出願日】 平成18年6月28日(2006.6.28)
【代理人】 【識別番号】100075281
【弁理士】
【氏名又は名称】小林 和憲

【識別番号】100095234
【弁理士】
【氏名又は名称】飯嶋 茂

【識別番号】100117536
【弁理士】
【氏名又は名称】小林 英了


【公開番号】 特開2008−8700(P2008−8700A)
【公開日】 平成20年1月17日(2008.1.17)
【出願番号】 特願2006−177702(P2006−177702)