| 【発明の名称】 |
視差量補正装置 |
| 【発明者】 |
【氏名】小野 修司
|
| 【要約】 |
【課題】被写体画像に基づいて被写体までの距離を測定する視差量補正装置を提供する。
【解決手段】本発明の視差量補正装置は、レンズユニット22と受光部30とを有する撮像ユニット20と、ズーム等を制御する撮像制御ユニット40と、デジタル画像データを処理する処理ユニット60と、デジタル画像を表示する表示ユニット100と、ユーザが操作する操作ユニット110とを備え、さらに、前記レンズユニットには、受光平面上に結像されたときの2つの被写体像に生じる視差量が、被写体までの距離に対して非線形となる像高特性を有し、前記視差量の非線形性を打ち消すように、像高特性に応じた不均等な密度でサンプリングして得られる画像データを出力する視差量補正ユニットを備える。 |
【特許請求の範囲】
【請求項1】 第1、第2の視点をもつレンズ系から得られる被写体像の画像データを取得する装置であって、前記レンズ系は、受光平面上に結像されたときの2つの前記被写体像に生じる視差量が、撮影位置から被写体までの距離に対して非線形となる像高特性を有し、前記視差量の非線形性を打ち消すように、前記レンズ系の像高特性に応じた不均等な密度でサンプリングして得られる前記画像データを出力する視差量補正ユニットを備えることを特徴とする視差量補正装置。 【請求項2】 前記視差量補正ユニットは、前記画像データにおいて2つの前記被写体像に生じる視差量を、撮影位置から被写体までの距離に比例させるように、前記レンズ系の像高特性に応じた不均等な密度でサンプリングして得られる前記画像データを出力することを特徴とする請求項1に記載の視差量補正装置。 【請求項3】 前記視差量補正ユニットは、撮影位置からの等距離面上の被写体が第1、第2の視点を通して結像されたときの2つの前記被写体像に生じる視差量が等しくなるような不均等な密度でサンプリングして得られる前記画像データを出力することを特徴とする請求項1又は2に記載の視差量補正装置。 【請求項4】 前記視差量補正ユニットは、撮影位置を通る法線と前記撮影位置および被写体を結ぶ線とがなす方位角をθとするとき、前記撮影位置からの等距離面上の被写体が第1、第2の視点を通して受光平面上に結像されたときの2つの前記被写体像に生じる前記視差量を、【数1】
を満たす補正関数hにより等視差に補正するような不均等な密度でサンプリングして得られる前記画像データを出力することを特徴とする請求項1乃至3のいずれかに記載の視差量補正装置。 【請求項5】 前記視差量補正ユニットは、前記レンズ系の像高特性に応じて光学的に不均等な密度でサンプリングして得られる前記画像データを出力することを特徴とする請求項1乃至4のいずれかに記載の視差量補正装置。 【請求項6】 前記視差量補正ユニットは、前記レンズ系の像高特性に応じて光学的に不均等な密度で配置した複数の受光素子を有することを特徴とする請求項1乃至5のいずれかに記載の視差量補正装置。 【請求項7】 複数の前記受光素子のうち、前記レンズ系の光軸から遠い前記受光素子ほど低密度で配置することを特徴とする請求項6に記載の視差量補正装置。 【請求項8】 前記視差量補正ユニットは、前記レンズ系の像高特性に応じた度合いで湾曲させた受光面に配置した複数の受光素子を有することを特徴とする請求項1乃至5のいずれかに記載の視差量補正装置。 【請求項9】 前記視差量補正ユニットは、前記レンズ系の像高特性に応じた度合いで湾曲させた撮像体に前記レンズ系からの光を感光させることを特徴とする請求項1乃至5のいずれかに記載の視差量補正装置。 【請求項10】 前記視差量補正ユニットは、前記レンズ系の像高特性に応じて電気的に不均等な密度でサンプリングして得られる前記画像データを出力することを特徴とする請求項1乃至4のいずれかに記載の視差量補正装置。 【請求項11】 前記視差量補正ユニットは、光学的に均等な密度で配置した複数の受光素子を有し、これらの受光素子から得られる前記画像データのアナログ信号を、前記レンズ系の像高特性に応じて電気的に不均等な密度でサンプリングして得られる前記画像データのデジタル信号に変換することを特徴とする請求項10に記載の視差量補正装置。 【請求項12】 前記視差量に基づいて奥行き分布情報を生成する奥行き分布情報生成部をさらに備えることを特徴とする請求項1乃至11のいずれかに記載の視差量補正装置。 【請求項13】 第1、第2の視点をもつレンズ系から得られる被写体像の第1の画像データを入力する画像入力部と、受光平面上に結像されたときの2つの前記被写体像に生じる視差量が撮影位置から被写体までの距離に対して非線形となる像高特性を有する前記レンズ系から得られた前記被写体像の前記第1の画像データを、前記視差量の非線形性を打ち消すように第2の画像データに変換する画像処理部とを備えることを特徴とする視差量補正装置。 【請求項14】 前記画像処理部は、前記第1の画像データを、2つの前記被写体像に生じる視差量が撮影位置から前記被写体までの距離に比例する前記第2の画像データに変換することを特徴とする請求項13に記載の視差量補正装置。 【請求項15】 前記画像処理部は、前記第1の画像データを、撮影位置からの等距離面上の被写体が第1、第2の視点を通して結像されたときの2つの前記被写体像に生じる視差量が等しくなるような前記第2の画像データに変換することを特徴とする請求項13又は14に記載の視差量補正装置。 【請求項16】 前記画像処理部は、前記撮影位置を通る法線と前記撮影位置から等距離面上にある被写体および前記撮影位置を結ぶ線とがなす方位角をθ、前記レンズ系の像高特性をg(θ)とするとき、前記第1の画像データにおいて2つの前記被写体像に生じる前記視差量を、【数2】
を満たす補正関数hにより等視差に補正して前記第1の画像データを前記第2の画像データに変換することを特徴とする請求項13乃至15のいずれかに記載の視差量補正装置。 【請求項17】 前記視差量に基づいて奥行き分布情報を生成する奥行き分布情報生成部をさらに備えることを特徴とする請求項13乃至16のいずれかに記載の視差量補正装置。
|
【発明の詳細な説明】【0001】 【発明の属する技術分野】本発明は、カメラおよびラボシステムに関する。本発明は、特に距離を測定するカメラおよびラボシステムに関する。 【0002】 【従来の技術】一般的なカメラにおいては、被写体像をひずみなく撮影できるよう設計されたf・tanθレンズが用いられる。また、人間の目以上に広い画角を持つように設計されたレンズとしてf・θレンズ(魚眼レンズ)等がある。一方、従来から、同一被写体を複数の視点から撮影するステレオ撮影という技法がある。この技法により得られた2つの画像間における見かけの違い(視差)に基づいて、カメラから被写体までの距離を求めることができる。これは、人間の両眼立体視の原理と同様である。 【0003】 【発明が解決しようとする課題】しかし、f・tanθレンズを用いてステレオ撮影する場合、複数の視点を通して結像したときの結像面に生じる視差量が等しくなる等視差面は、レンズの光軸に直交する平面となる。しかし、この等視差面はカメラからの正確な等距離面ではない。また、f・θレンズを用いてステレオ撮影する場合、等視差面は複数の視点と被写体を通る球面となるが、この等視差面もまたカメラからの正確な等距離面ではない。このように、いずれのレンズを用いてステレオ撮影を行っても、正確に距離を測定することは困難であった。 【0004】そこで本発明は、上記の課題を解決することのできる視差量補正装置を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明のさらなる有利な具体例を規定する。 【0005】 【課題を解決するための手段】上記課題を解決するために、本発明の第1の形態は、第1、第2の視点をもつレンズ系から得られる被写体像の画像データを取得する装置であって、前記レンズ系は、受光平面上に結像されたときの2つの前記被写体像に生じる視差量が、撮影位置から被写体までの距離に対して非線形となる像高特性を有し、前記視差量の非線形性を打ち消すように、前記レンズ系の像高特性に応じた不均等な密度でサンプリングして得られる前記画像データを出力する視差量補正ユニットを備える。 【0006】前記視差量補正ユニットは、前記画像データにおいて2つの前記被写体像に生じる視差量を、撮影位置から被写体までの距離に比例させるように、前記レンズ系の像高特性に応じた不均等な密度でサンプリングして得られる前記画像データを出力してもよい。前記視差量補正ユニットは、撮影位置からの等距離面上の被写体が第1、第2の視点を通して結像されたときの2つの前記被写体像に生じる視差量が等しくなるような不均等な密度でサンプリングして得られる前記画像データを出力してもよい。 【0007】前記視差量補正ユニットは、撮影位置を通る法線と前記撮影位置および被写体を結ぶ線とがなす方位角をθとするとき、前記撮影位置からの等距離面上の被写体が第1、第2の視点を通して受光平面上に結像されたときの2つの前記被写体像に生じる前記視差量を、【数3】
を満たす補正関数hにより等視差に補正するような不均等な密度でサンプリングして得られる前記画像データを出力してもよい。 【0008】前記視差量補正ユニットは、前記レンズ系の像高特性に応じて光学的に不均等な密度でサンプリングして得られる前記画像データを出力してもよい。前記視差量補正ユニットは、前記レンズ系の像高特性に応じて光学的に不均等な密度で配置した複数の受光素子を有してもよい。複数の前記受光素子のうち、前記レンズ系の光軸から遠い前記受光素子ほど低密度で配置してもよい。前記視差量補正ユニットは、前記レンズ系の像高特性に応じた度合いで湾曲させた受光面に配置した複数の受光素子を有してもよい。前記視差量補正ユニットは、前記レンズ系の像高特性に応じた度合いで湾曲させた撮像体に前記レンズ系からの光を感光させてもよい。 【0009】前記視差量補正ユニットは、前記レンズ系の像高特性に応じて電気的に不均等な密度でサンプリングして得られる前記画像データを出力してもよい。前記視差量補正ユニットは、光学的に均等な密度で配置した複数の受光素子を有し、これらの受光素子から得られる前記画像データのアナログ信号を、前記レンズ系の像高特性に応じて電気的に不均等な密度でサンプリングして得られる前記画像データのデジタル信号に変換してもよい。前記視差量に基づいて奥行き分布情報を生成する奥行き分布情報生成部をさらに備えてもよい。 【0010】また、本発明の第2の形態においては、第1、第2の視点をもつレンズ系から得られる被写体像の第1の画像データを入力する画像入力部と、受光平面上に結像されたときの2つの前記被写体像に生じる視差量が撮影位置から被写体までの距離に対して非線形となる像高特性を有する前記レンズ系から得られた前記被写体像の前記第1の画像データを、前記視差量の非線形性を打ち消すように第2の画像データに変換する画像処理部とを備える。 【0011】前記画像処理部は、前記第1の画像データを、2つの前記被写体像に生じる視差量が撮影位置から前記被写体までの距離に比例する前記第2の画像データに変換してもよい。前記画像処理部は、前記第1の画像データを、撮影位置からの等距離面上の被写体が第1、第2の視点を通して結像されたときの2つの前記被写体像に生じる視差量が等しくなるような前記第2の画像データに変換してもよい。前記画像処理部は、前記撮影位置を通る法線と前記撮影位置から等距離面上にある被写体および前記撮影位置を結ぶ線とがなす方位角をθ、前記レンズ系の像高特性をg(θ)とするとき、前記第1の画像データにおいて2つの前記被写体像に生じる前記視差量を、【数4】
を満たす補正関数hにより等視差に補正して前記第1の画像データを前記第2の画像データに変換してもよい。前記視差量に基づいて奥行き分布情報を生成する奥行き分布情報生成部をさらに備えてもよい。 【0012】なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。 【0013】 【発明の実施の形態】以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 【0014】以下に説明する本発明の視差量補正装置は、各実施形態において一般的な画像撮影に用いられるほか、撮影された画像を利用して被写体までの距離を測定することができる。以下、本発明の実施の形態を説明する。第1実施形態における視差量補正装置は、その一例としてのデジタルカメラである。図1は実施の形態に係るデジタルカメラ10の構成を示す。このデジタルカメラ10は、主に撮像ユニット20、撮像制御ユニット40、処理ユニット60、表示ユニット100、および操作ユニット110を含む。 【0015】撮像ユニット20は、撮影および結像に関する機構部材および電気部材を含む。撮像ユニット20はまず、映像を取り込んで処理を施すレンズユニット22、絞り24、シャッタ26、光学LPF(ローパスフィルタ)28、受光部30、および撮像信号処理部32を含む。レンズユニット22は、フォーカスレンズやズームレンズ等により構成させてもよい。この構成により、被写体像が受光部30の受光面上に結像する。結像した被写体像の光量に応じ、受光部30の各センサエレメント(図示せず)に電荷が蓄積される(以下その電荷を「蓄積電荷」という)。蓄積電荷は、リードゲートパルスによってシフトレジスタ(図示せず)に読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。受光部30は、受光面上に配置された複数の受光素子(図示せず)を有する。受光素子には、例えばCCD(電荷結合素子)が用いられる。 【0016】デジタルカメラ10は一般に電子シャッタ機能を有するので、機械式シャッタは必須ではない。電子シャッタ機能を実現するために、受光部30にシャッタゲートを介してシャッタドレインが設けられる。シャッタゲートを駆動すると蓄積電荷がシャッタドレインに掃き出される。シャッタゲートの制御により、各受光素子に電荷を蓄積するための時間、すなわちシャッタスピードを制御できる。 【0017】受光部30から出力される電気信号、すなわちアナログ信号は撮像信号処理部32でR、G、B成分に色分解され、まずホワイトバランスが調整される。つづいて撮像信号処理部32はガンマ補正を行い、必要なタイミングでR、G、B信号を順次A/D変換し、その結果得られたデジタルの画像データ(以下単に「デジタル画像データ」とよぶ)を処理ユニット60へ出力する。 【0018】撮像ユニット20はさらに、ファインダ34とストロボ36を有する。ファインダ34には図示しないLCDを内装してもよく、その場合、後述のメインCPU62等からの各種情報をファインダ34内に表示できる。ストロボ36は、コンデンサ(図示せず)に蓄えられたエネルギが放電管36aに供給されたときそれが発光することで機能する。 【0019】撮像制御ユニット40は、位置制御部240、撮像系CPU50、測距センサ52、および測光センサ54をもつ。位置制御部240は、ステッピングモータ等の駆動手段を有する。後述のレリーズスイッチ114の押下に応じ、測距センサ52は被写体までの距離を測定し、測光センサ54は被写体輝度を測定する。測定された距離のデータ(以下単に「測距データ」という)および被写体輝度のデータ(以下単に「測光データ」という)は撮像系CPU50へ送られる。撮像系CPU50は、ユーザから指示されたズーム倍率等の撮影情報に基づき、位置制御部240による制御を介してズーム倍率の調整を行う。撮像系CPU50は、1画像フレームのRGBのデジタル信号積算値、すなわちAE情報に基づいてシャッタスピードを決定する。決定された値にしたがい、撮像系CPU50は受光部30の電子シャッタ機能を制御する。 【0020】撮像系CPU50はまた、測光データに基づいてストロボ36の発光を制御する。ユーザが映像の取込を指示したとき、受光部30が電荷蓄積を開始し、測光データから計算されたシャッタ時間の経過後、蓄積電荷が撮像信号処理部32へ出力される。 【0021】処理ユニット60は、撮像信号処理部32から受け取るデジタル画像データを処理する。ここでいう処理には、デジタル画像を処理する行程を含むほか、単にデータをメモリに格納する行程も含む。処理ユニット60は、デジタルカメラ10全体、とくに処理ユニット60自身を制御するメインCPU62と、これによって制御されるメモリ制御部64、YC処理部70、オプション装置制御部74、圧縮伸張処理部78、通信I/F部80を有する。メインCPU62は、シリアル通信などにより、撮像系CPU50との間で必要な情報をやりとりする。メインCPU62の動作クロックは、クロック発生器88から与えられる。クロック発生器88は、撮像系CPU50、表示ユニット100に対してもそれぞれ異なる周波数のクロックを提供する。 【0022】メインCPU62には、キャラクタ生成部84とタイマ86が併設されている。タイマ86は電池でバックアップされ、つねに日時をカウントしている。このカウント値から撮影日時に関する情報、その他の時刻情報がメインCPU62に与えられる。キャラクタ生成部84は、撮影日時、タイトル等の文字情報を発生し、この文字情報が適宜撮影画像に合成される。 【0023】メモリ制御部64は、不揮発性メモリ66とメインメモリ68を制御する。不揮発性メモリ66は、EEPROM(電気的消去およびプログラム可能なROM)やFLASHメモリなどで構成され、ユーザによる設定情報や出荷時の調整値など、デジタルカメラ10の電源がオフの間も保持すべきデータが格納されている。不揮発性メモリ66には、場合によりメインCPU62のブートプログラムやシステムプログラムなどが格納されてもよい。一方、メインメモリ68は一般にDRAMのように比較的安価で容量の大きなメモリで構成される。メインメモリ68は、撮像ユニット20から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能をもつ。不揮発性メモリ66とメインメモリ68は、処理ユニット60内外の各部とメインバス82を介してデータのやりとりを行う。 【0024】YC処理部70は、デジタル画像データにYC変換を施し、輝度信号Yと色差(クロマ)信号B−Y、R−Yを生成する。輝度信号と色差信号はメモリ制御部64によってメインメモリ68に一旦格納される。圧縮伸張処理部78はメインメモリ68から順次輝度信号と色差信号を読み出して圧縮する。こうして圧縮されたデータ(以下単に「圧縮データ」という)は、オプション装置制御部74を介してオプション装置76の一種であるメモリカードへ書き込まれる。 【0025】処理ユニット60はさらにエンコーダ72をもつ。エンコーダ72は輝度信号と色差信号を入力し、これらをビデオ信号(NTSCやPAL信号)に変換してビデオ出力端子90から出力する。オプション装置76に記録されたデータからビデオ信号を生成する場合、そのデータはまずオプション装置制御部74を介して圧縮伸張処理部78へ与えられる。つづいて、圧縮伸張処理部78で必要な伸張処理が施されたデータはエンコーダ72によってビデオ信号へ変換される。 【0026】オプション装置制御部74は、オプション装置76に認められる信号仕様およびメインバス82のバス仕様にしたがい、メインバス82とオプション装置76の間で必要な信号の生成、論理変換、または電圧変換などを行う。デジタルカメラ10は、オプション装置76として前述のメモリカードのほかに、例えばフロッピーディスク等の磁気記録媒体をサポートしてもよい。また、デジタルカメラ10は、オプション装置76として例えばPCMCIA準拠の標準的なI/Oカードをサポートしてもよい。その場合、オプション装置制御部74は、PCMCIA用バス制御LSIなどで構成してもよい。 【0027】通信I/F部80は、デジタルカメラ10がサポートする通信仕様、例えばUSB、RS−232C、イーサネットなどの仕様に応じたプロトコル変換等の制御を行う。通信I/F部80は、必要に応じてドライバICを含み、ネットワークを含む外部機器とコネクタ92を介して通信する。そうした標準的な仕様のほかに、例えばプリンタ等の外部機器との間で独自のI/Fによるデータ授受を行う構成としてもよい。 【0028】表示ユニット100は、LCDモニタ102とLCDパネル104を有する。それらはLCDドライバであるモニタドライバ106、パネルドライバ108によってそれぞれ制御される。LCDモニタ102は、例えば2インチ程度の大きさでカメラ背面に設けられ、現在の撮影や再生のモード、撮影や再生のズーム倍率、電池残量、日時、モード設定のための画面、被写体画像などを表示する。LCDパネル104は例えば小さな白黒LCDでカメラ上面に設けられ、画質(FINE/NORMAL/BASICなど)、ストロボ発光/発光禁止、標準撮影可能枚数、画素数、電池容量などの情報を簡易的に表示する。 【0029】操作ユニット110は、ユーザがデジタルカメラ10の動作やそのモードなどを設定または指示するために必要な機構および電気部材を含む。パワースイッチ112は、デジタルカメラ10の電源のオンオフを決める。レリーズスイッチ114は、半押しと全押しの二段階押し込み構造になっている。一例として、半押しで測距動作や測光動作がロックし、全押しで撮影画像の取込が行われ、必要な信号処理、データ圧縮等の後、メインメモリ68、オプション装置76等に記録される。ズームスイッチ118は、ズーム倍率を決める。操作ユニット110はこれらのスイッチの他、回転式のモードダイヤルや十字キーなどによる設定を受け付けてもよく、それらは図1において機能設定部116と総称されている。操作ユニット110で指定できる動作または機能の例として、「ファイルフォーマット」、「特殊効果」、「印画」、「決定/保存」、「表示切換」等がある。 【0030】図2は、デジタルカメラ10の機能ブロック図である。このデジタルカメラ10は、レンズユニット22と視差量補正ユニット300と奥行き分布情報生成部302とを備える。レンズユニット22は、レンズ系200とレンズ駆動部304とを有する。レンズ系200は、第1、第2の視点を通して被写体像を結像する。レンズ駆動部304は、第1の視点と第2の視点との間でレンズ系200を移動させる。これにより、レンズ系200は第1の視点と第2の視点のそれぞれの位置から見た被写体像を結像することができる。 【0031】視差量補正ユニット300は、受光部30と撮像信号処理部32とを備える。受光部30は、レンズ系200を通して外界の光を受光する。受光部30における光電変換作用により2つの視点から見た被写体画像が得られる。これらの被写体画像間には、見かけの違いから視差が生じる。被写体画像は、撮像信号処理部32によりデジタル画像データに変換される。 【0032】視差量補正ユニット300は、受光平面上に結像される2つの被写体像に生じる視差量を所定の方法で補正することにより、画像データにおける視差量を撮影位置から被写体までの距離に比例させる。視差量補正ユニット300は、画像データにおいて2つの被写体像に生じる視差量が、撮影位置から被写体までの距離に比例するようにレンズ系の像高特性に応じた不均等な密度で被写体像をサンプリングする。撮影位置からの等距離面上にある被写体が結像された場合、視差量補正ユニット300が出力する画像データにおける2つの被写体像に生じる視差量は等しい。奥行き分布情報生成部302は、視差量に基づいて奥行き分布情報を生成する。他の形態においては、レンズ系200を移動させるレンズ駆動部304を備えず、第1、第2の視点のそれぞれにレンズ系200を備えてもよい。 【0033】このように、本実施形態においては、撮影位置から等距離に位置する被写体に生じる視差量が等しくなるので、視差量を求めることにより被写体までの距離を容易に算出することができる。 【0034】次に、f・tanθレンズを用いたステレオ撮影を説明する。図3は、f・tanθレンズを用いたステレオ撮影を示す図である。本図に示すレンズ系202、204は、これらレンズ系の視野内にある被写体を結像した画像の像高をy、焦点距離をf、カメラ位置および被写体を結ぶ線と光軸とがなす角(以下、「方位角」という。)をθとしたときに、y=f・tanθという像高特性を有する。このような特性をもつレンズは、ひずみのない画像を撮影できるので一般的なカメラに多く用いられる。そして、このレンズ系202、204を用いてステレオ撮影した場合、複数の視点を通して結像したときの結像面に生じる視差量が等しくなる等視差面は、レンズ系202、204の光軸に直交する平面となる。すなわち、この等視差面上の各点A0、A30、およびA60に対応する視差量をそれぞれId0、Id30、およびId60とすると、Id0=Id30=Id60となる。 【0035】なお、特許請求の範囲および発明の詳細な説明において用いられる「レンズ系」の語は、単一光軸をもつ単数または複数の光学素子を意味する。例えば、図3におけるレンズ系202やレンズ系204は、それぞれがひとつの「レンズ系」であり、レンズ系202、204のそれぞれを複数枚のレンズを接合して形成させてもよい。 【0036】ここで、各点A0、A30、およびA60のそれぞれから基点B(レンズ系202の位置とレンズ204の位置との中間点)までの距離は異なる。すなわち、点Aθの位置が光軸から離れるほど、点Aθから点Bまでの距離は遠くなる。このように、等視差面はカメラ位置(基点B)からの等距離面ではない。 【0037】f・tanθレンズを用いたステレオ撮影による測距は、例えばカメラのオートフォーカス機能に用いる目的であれば問題にならない。オートフォーカスにおいては、等視差面(焦点面)までの距離を用いて焦点調節をするからである。しかし、f・tanθレンズを通して得られる視差量は被写体までの距離に比例しないので、f・tanθレンズを用いた正確な距離の算出は複雑である。 【0038】次に、f・θレンズを用いたステレオ撮影を説明する。図4は、f・θレンズを用いたステレオ撮影を示す図である。本図に示すレンズ系206、208は、これらレンズ系の視野内にある被写体を結像した画像の像高をy、焦点距離をf、方位角をθとしたときに、y=f・θという像高特性を有する。このような特性をもつレンズを用いて撮影すると、180°に近い画角のいわゆる全方位画像が得られる。そして、このレンズ系206、208を用いてステレオ撮影した場合、等視差面はレンズ系206の位置とレンズ系208の位置とから等距離にある所定の点Oを中心にした球面となる。すなわち、この等視差面上の各点A0、A30、およびA60に対応する視差量をそれぞれId0、Id30、およびId60とすると、Id0=Id30=Id60となる。 【0039】本実施形態における等視差面は、人間の目で例えると、両眼視差がゼロとなる点の軌跡であり、一般にホロプタ(Horopter)とよばれる。この等視差面は点Oからの等距離面であるが、カメラ位置からの等距離面ではない。図に示すように、各点A0、A30、およびA60のそれぞれから基点B(レンズ系206の位置とレンズ系208の位置との中間点)までの距離は異なる。そして、点Aθの位置が光軸から離れるほど、点Aθから点Bまでの距離は近くなる。このように、等視差面はカメラ位置(基点B)からの等距離面ではない。 【0040】f・θレンズを用いたステレオ撮影による測距は、f・tanθレンズを用いた場合と同様、カメラのオートフォーカス機能に用いる目的であれば問題にならない。しかし、f・θレンズを通して得られる視差量は被写体までの距離に比例しないので、f・θレンズを用いた正確な距離の算出は複雑である。 【0041】次に、視差量が被写体までの距離に比例する像高特性のレンズを用いたステレオ撮影を説明する。図5は、視差量が被写体までの距離に比例する像高特性のレンズを用いたステレオ撮影を示す図である。このレンズを用いた場合、外界を第1、第2の視点を通して結像したときの結像面に生じる視差量が等しくなる等視差面と、この視差量補正装置からの等距離面とがほぼ一致する。第1、第2の視点のそれぞれにレンズ系(レンズ系210、212)が設けられる。 【0042】本実施形態の視差量補正装置からの等距離面は、例えば第1の視点と第2の視点との中間点を基点とする球面であってもよい。図5において、レンズ系210の中心点(点C)とレンズ系212の中心点(点D)との中間点である基点Bを中心とした半径rの円弧が等距離面を示す。レンズ系210、212は、等視差面が等距離面とほぼ一致する特性をもつ。ここで、撮影位置(点B)および被写体を結ぶ線と光軸とがなす角(以下、「方位角」という。)をθとする。また、等視差面上の被写体位置を示す点Aθおよびレンズ系210を結ぶ線と点Aθおよびレンズ系212を結ぶ線とがなす角(以下、「視差角」という。)をαθとする。等視差面上の各点A0、A30、A60に対応する視差角をそれぞれα0、α30、α60とすると、これらの視差角αθはα0>α30>α60の関係となる。すなわち、点Aが光軸から遠いほど、その視差角αθは小さい。以下に、視差角αθと方位角θとの関係を明らかにする。 【0043】図に示すような点Bを原点(0,0)とする座標系(z,y)をとる場合、レンズ系210、212の位置を示す点C、Dの座標は、C=(0,−d)、D=(0,d)となる。点A0の座標は、A0=(−r,0)となる。点Aθ(ただし、θ=0°〜90°)は、半径rの円弧上の点なので、点Aθの座標は、Aθ=(−r・cosθ,r・sinθ)となる。したがって、被写体から各視点に向かうベクトルは、【数5】
となる。そして、視差角αθは、2つのベクトルがなす角を求める公式より、次式で表される。 【数6】
【0044】ここで、右辺の分子および分母を展開すると、【数7】
となる。したがって、α(θ)は次式のような詳細な式で示すことができる。 【数8】
【0045】図6は、α(θ)とθとの関係を示すグラフである。グラフに示される通り、α(θ)の値は、rとdの比によって帯域が決まるが、いずれの場合も同様のカーブとなる。そこで、θ=0のときのα(θ)、すなわちα(0)で正規化すると、αN(θ)=α(θ)/α(0)となる。このαN(θ)は、α(0)を1とした場合における、被写体の方位角θに対する視差角αの減少率を示す。 【0046】図7は、dをパラメータにしたαN(θ)とθとの関係を示すグラフである。図に示すとおり、パラメータであるdを小さいほど、曲線はcosθの曲線に近似する。r>>dであると仮定すれば、αN(θ)≒cosθとすることができる。すなわち、方位角θの増大に伴って、視差角αはcosθ状に減少する。このレンズ系に、視差角αの減少分を補正する像高特性をもたせるならば、補正分1/αN(θ)を積分する形の像高特性を与えればよい。すなわち、補正量αG(θ)は、【数9】
となる。すなわち、このレンズ系の像高特性を、y=f・αG(θ)と表すことができる。また、被写体までの距離と2つの視点の間隔とが、r>>dの関係となる配置であれば、αN(x)にcosxを代入することができる。 【0047】図8は、各種レンズの像高特性を示すグラフである。このグラフは、縦軸が像高y、横軸が方位角θであり、パラメータは各種レンズの像高特性である。パラメータに用いる各種レンズは、f・tanθレンズ、f・θレンズ、およびf・αG(θ)レンズである。0°<θ<90°の範囲において、このレンズ系の像高yの値は、f・θ<y<f・tanθとなる。このレンズ系の像高特性を示すy=f・αG(θ)の曲線は、y=f・tan(θ)の曲線とy=f・θの曲線との間に位置する。すなわち、このレンズ系は、f・tanθレンズとf・θレンズとの間の像高特性を有する。 【0048】図9は、αG(θ)レンズを用いたステレオ撮影における方位角と視差量との関係を示すグラフである。まず、方位角をθとし、撮影位置から等距離面上にある被写体が結像されるときの被写体像の像高をy1とする。第1象限は、方位角θと像高y1の関係を示す。曲線は、αG(θ)レンズの像高特性を示す。焦点距離fは定数とするので、このグラフにおいて特に示さない。方位角θA、θB、θCに、像高y1A、y1B、y1Cがそれぞれ対応する。 【0049】第2象限は、像高y1と、受光平面上において2つの被写体像に生じる視差量(以下、「補正なし視差量」という。)との関係を示す。ここで、ある方位角を基準とした方位角の増分をΔθとすると、第1象限の横軸(θ軸)における原点、θA、θB、θCの差がΔθ(ΔθA、ΔθB、ΔθC)に相当する。同様に、像高y1の増分をΔy1とすると、第1象限の縦軸(y1軸)における原点、y1A、y1B、y1Cの差がΔy1(y1A、y1B、y1C)に相当する。そして、第2象限の横軸(y2軸)における原点、y2A、y2B、y2Cの差であるΔy2(y2A、y2B、y2C)は、各方位角に対する補正なし視差量を示す。y2A、y2B、y2Cは、Δy2A、y2B、y2Cが上記のような値をとるための積分値といえる。 【0050】第3象限は、補正なし視差量と、画像データにおいて被写体像に生じる視差量(以下、「補正後視差量」という。)との関係を示す。第3象限の縦軸(y3軸)における原点、y3A、y3B、y3Cの差であるΔy3(y3A、y3B、y3C)は、各方位角に対する補正後視差量を示す。y3A、y3B、y3Cは、Δy3A、y3B、y3Cが上記のような値をとるための積分値といえる。補正なし視差量と補正後視差量との関係を補正関数hにより示すと、y3=h(y2)となる。第1象限から第3象限までの展開により、補正後視差量と方位角との関係がわかる。補正後視差量Δy3は方位角θの値に依らず一定である。すなわち、撮影位置から等距離面上にある被写体を結像したときの補正後視差量は等しい。 【0051】ここで、αG(θ)レンズは、そもそもレンズの像高特性によって視差量を被写体までの距離に比例させるという性質を有するので、視差量の補正は不要である。よって、補正なし視差量Δy2は等しいことになる。そして、補正関数hは、h(y2)=y2またはh(y2)=k・y2となる。また、第2象限においては、y2が方位角θに比例しなければならない。よって、y1とy2との関係は、θとy1との関係式の逆関数で示すことができる。位角θと像高y1との関係式がy1=αG(θ)であるから、y1とy2との関係式は、y2=αG−1(y1)となる。第2象限における曲線は、y2=αG−1(y1)を示す。 【0052】y2がθに比例するのは、用いられるレンズの像高特性がy1=αG(θ)のときだけである。すなわち、像高特性がy1=αG(θ)のレンズを用いない場合、y2がθに比例することはない。したがって、第2象限におけるy1とy2との関係式は、用いられるレンズの像高特性に依らず、つねにy2=αG−1(y1)で示すことができる。 【0053】y3とθとの関係は次式の通りである。 【数10】
【0054】ここで、hは、h(y2)=y2またはk・y2、(kは定数)となる関数であれば、y3がθに比例することとなる。すなわち、αG(θ)レンズを用いた場合の視差量は、補正を施さなくても一定である。 【0055】図10は、f・θレンズを用いたステレオ撮影における方位角と視差量との関係を示すグラフである。第1象限から第3象限までにおいて示される関係は図9と同様である。第1象限における直線は、f・θレンズの像高特性を示す。焦点距離fを一定とするので、第1象限における縦軸y1の値には便宜上y1/fを用いる。補正なし視差量と補正後視差量との関係を補正関数hにより示すと、y3=h(y2)となる。 【0056】前述したとおり、第2象限におけるy1とy2との関係は、f・θレンズを用いた場合であってもy2=αG−1(y1)である。f・θレンズの像高特性は線形であるから、像高y1は方位角θに比例する。y2=αG−1(y1)の関係式は、θに対して線形であるy1を、θに対して非線形な値のy2に変換する。第3象限における補正関数hは、第2象限における非線形性を打ち消して、再び方位角θに線形な値を得る関数となる。よって、補正関数hは、y2=αG−1(y1)の逆関数であるk・αG(y2)、(kは定数)となる。グラフにおいては、第3象限の曲線は第2象限の曲線の線対称となる。 【0057】y3とθとの関係は次式の通りである。 【数11】
【0058】ここで、hは、h{αG−1(f・θ)}=k1・θ、(k1は定数)となる関数であれば、y3がθに比例することとなる。h(y2)=k2・αG(y2)、(k2は定数)であれば、h{αG−1(f・θ)}=k2・αG{αG−1(f・θ)}=k3・f・θ=k3・θ、(k3は定数)となる。したがって、視差量補正ユニット300はh(y2)=k2・αG(y2)となる関数hに基づいて視差量を補正すればよい。 【0059】図11は、f・tanθレンズを用いたステレオ撮影における方位角と視差量との関係を示すグラフである。第1象限から第3象限までにおいて示される関係は図9と同様である。第1象限における曲線は、f・tanθレンズの像高特性を示す。焦点距離fを一定とするので、第1象限における縦軸y1の値には便宜上y1/fを用いる。補正なし視差量y2と補正後視差量y3との関係を補正関数hにより示すと、y3=h(y2)となる。 【0060】f・θレンズを用いる場合と同様、第2象限における像高y1と視差量y2との関係は、f・tanθレンズを用いた場合であってもy2=αG−1(y1)である。第3象限における補正関数hは、グラフに示される曲線y3=h(y2)となる。y3とθとの関係は次式の通りである。 【数12】
【0061】ここで、hは、h{αG−1(f・tanθ)}=k・θ、(kは定数)となる関数であれば、y3がθに比例することとなる。したがって、視差量補正ユニット300はh{αG−1(f・tanθ)}=k・θとなる関数hに基づいて視差量を補正すればよい。 【0062】図12は、任意の像高特性のレンズを用いたステレオ撮影における方位角と視差量との関係を示すグラフである。第1象限から第3象限までにおいて示される関係は図9と同様である。焦点距離fは定数とするので、このグラフにおいて特に示さない。このレンズの像高特性は、y1=g(θ)とする。第1象限における曲線は、このレンズの像高特性y1=g(θ)を示す。補正なし視差量と補正後視差量との関係を補正関数hにより示すと、y3=h(y2)となる。 【0063】第2象限における像高y1と視差量y2との関係は、y2=αG−1(y1)である。第3象限における補正関数hは、グラフに示される曲線y3=h(y2)となる。y3とθとの関係は次式の通りである。 【0064】 【数13】
ここで、hは、h[αG−1{g(θ)}]=k・θ、(kは定数)となる関数であれば、y3がθに比例することとなる。したがって、視差量補正ユニット300はh[αG−1{g(θ)}]=k・θとなる関数hに基づいて視差量を補正すればよい。 【0065】図13は、本実施形態におけるレンズ系および受光部の構成を示す。本実施形態における視差量補正ユニット300は、レンズ系の像高特性に応じて光学的に不均等な密度で配置した複数の受光素子を有する。複数の受光素子のうち、レンズ系の光軸から遠い受光素子ほど低密度で配置される。 【0066】レンズ系200は、受光平面上に結像されたときの2つの被写体像に生じる視差量が、撮影位置から被写体までの距離に対して非線形となる像高特性を有する。そして、受光部30において、複数の受光素子を不均等な密度で配置することにより、レンズ系200の像高特性によって生じる視差量の非線形性を打ち消す補正をする。受光部30は、レンズ系200の像高特性に応じた不均等な密度で画像データをサンプリングすることができる。受光部30による視差量の補正は、補正関数hで示される。すなわち、関数hは、レンズ系200の像高特性をg(θ)とすると、h[αG−1{g(θ)}]=k・θ、(kは定数)を満たす関数である。 【0067】受光部30により得られる画像データにおいて2つの被写体像に生じる視差量は、撮影位置から被写体までの距離に比例する。撮影位置からの等距離面上の被写体が第1、第2の視点を通して結像されたときの2つの被写体像に生じる視差量は等しい。このように、視差量が、被写体までの距離に比例するので、視差量に基づいて容易に被写体までの距離を求めることができる。 【0068】なお、他の形態においては、視差量から距離を求める奥行き分布情報生成部の機能をカメラ内部にではなく、ラボシステムにもたせてもよい。この場合、デジタルカメラ10は、視差量の補正までを行い、得られた画像に基づいてラボシステムが奥行き分布情報を生成する。 【0069】次に、第2実施形態を説明する。図14は、本実施形態におけるレンズ系、受光部、および撮像信号処理部の構成を示す。本実施形態においては、受光部における複数の受光素子の配置は均等にしておき、撮像信号処理部32によるA/D変換において不均等な密度で被写体像をサンプリングする。レンズ系200の像高特性は、第1実施形態と同様である。撮像信号処理部32は、レンズ系200の像高特性における視差量の非線形性を打ち消す補正をする。 【0070】撮像信号処理部32は、レンズ系200の像高特性に応じた不均等な密度で受光部30からアナログ信号の出力を取り出す。撮像信号処理部32による視差量の補正は、補正関数hで示される。すなわち、関数hは、レンズ系200の像高特性をg(θ)とすると、h[αG−1{g(θ)}]=k・θ、(kは定数)を満たす関数である。他の形態においては、撮像信号処理部32は、受光部から均等な画素密度でアナログ信号の出力を取り出して、レンズ系の像高特性に応じた不均等な画素密度でデジタル信号を出力してもよい。 【0071】撮像信号処理部32より出力される画像データにおいて2つの被写体像に生じる視差量は、撮影位置から被写体までの距離に比例する。このように、視差量が、被写体までの距離に比例するので、視差量に基づいて容易に被写体までの距離を求めることができる。 【0072】なお、他の形態においては、視差量から距離を求める奥行き分布情報生成部の機能をカメラ内部にではなく、ラボシステムにもたせてもよい。この場合、デジタルカメラ10は、視差量の補正までを行い、得られた画像に基づいてラボシステムが奥行き分布情報を生成する。 【0073】次に、第3実施形態を説明する。図15は、本実施形態におけるレンズ系および受光部の構成を示す。本実施形態における視差量補正ユニットは、レンズ系200の像高特性に応じた度合いで湾曲させた受光面に配置した複数の受光素子を有する。これにより、実質的に不均等な密度でサンプリングした画像データが得られ、レンズ系200の像高特性における視差量の非線形性が打ち消される。 【0074】受光部30による視差量の補正は、補正関数hで示される。すなわち、関数hは、レンズ系200の像高特性をg(θ)とすると、h[αG−1{g(θ)}]=k・θ、(kは定数)を満たす関数である。撮像信号処理部32より出力される画像データにおいて2つの被写体像に生じる視差量は、撮影位置から被写体までの距離に比例する。 【0075】なお、他の形態においては、視差量から距離を求める奥行き分布情報生成部の機能をカメラ内部にではなく、ラボシステムにもたせてもよい。この場合、デジタルカメラ10は、視差量の補正までを行い、得られた画像に基づいてラボシステムが奥行き分布情報を生成する。さらに他の形態としては、本実施形態における受光部30と同様に、視差量補正ユニット300が、レンズ系200の像高特性に応じた度合いで湾曲させた撮像体にレンズ系からの光を感光させてもよい。撮像体としては、例えば銀塩フイルムを用いる。この場合、ラボシステムは、銀塩フイルム等をスキャンして得られる画像データに基づいて奥行き分布情報を生成する。銀塩フイルム等の撮像体において2つの被写体に生じる視差量は、撮影位置から被写体までの距離に比例する。 【0076】次に、第4実施形態を説明する。本実施形態における視差量補正装置は、その一例としてのラボシステムである。図16は、本実施形態におけるラボシステムの機能ブロック図である。このラボシステムは、画像入力部400と画像処理部410と奥行き分布情報生成部420とを備える。 【0077】画像入力部400は、第1、第2の視点をもつレンズ系から得られる被写体像の画像データを入力する。画像入力部400が記録媒体から画像データを入力する場合、画像入力部400としては記録媒体の規格に応じた各種読取装置が用いられる。例えば、画像入力部400がフロッピーディスク、MO、CD−ROMから画像データを入力する場合、画像入力部400としてはフロッピードライブ、MOドライブ、CDドライブが用いられる。画像入力部400は、例えばデジタルカメラから画像データを取り込むインターフェイスであってもよい。この場合、画像入力部400はデジタルカメラがサポートする通信仕様、例えばUSB、RS−232C等に応じたプロトコル変換を行う。また例えば、画像入力部400は、ネットワーク網から画像データを受信するインターフェイスであってもよい。この場合、ネットワーク網の通信仕様、例えばTCP/IP等に応じたプロトコル変換を行う。 【0078】画像処理部410は、受光平面上に結像されたときの2つの被写体像に生じる視差量が、撮影位置から被写体までの距離に対して非線形となる像高特性を有するレンズ系から得られた第1の画像データを画像入力部400から受け取る。画像処理部410は、第1の画像データを、視差量の非線形性が打ち消された第2の画像データに変換する。画像処理部410は、視差量抽出部412と視差量補正部414とを有する。視差量抽出部412は、画像入力部400から受け取る2つの被写体画像間の視差量を抽出する。視差量補正部414は、第1の画像データを、視差量が撮影位置から被写体までの距離に比例する第2の画像データに変換することにより、視差量抽出部412から受け取る視差量の非線形性を打ち消す補正をする。 【0079】視差量補正部414による視差量の補正は、補正関数hで示される。すなわち、関数hは、レンズ系200の像高特性をg(θ)とすると、h[αG−1{g(θ)}]=k・θ、(kは定数)を満たす関数である。視差量補正部414より出力される画像データにおいて2つの被写体像に生じる視差量は、撮影位置から被写体までの距離に比例する。 【0080】奥行き分布情報生成部420は、視差量補正部414から受け取る補正後の視差量に基づいて奥行き分布情報を生成する。 【0081】なお、他の形態においては、この視差量補正装置を一例としてデジタルカメラに応用してもよい。この場合、画像入力部400は、図1における撮像ユニット20に相当し、画像処理部410および奥行き分布情報生成部420は、処理ユニット60に相当する。 【0082】以上のように、第1〜第4実施形態によれば、撮影位置からの等距離面上にある被写体を結像したときの2つの被写体像に生じる視差量が等しいので、視差量を求めることにより被写体までの距離を容易に算出することができる。 【0083】また、本実施形態の視差量補正装置は、用いられるレンズの像高特性に依らず、高い精度で被写体までの距離を測定することができる。 【0084】本実施形態の視差量補正装置は、物体までの正確な距離の測定を要する様々な装置や機能に応用することができる。例えば、物体までの距離の情報に基づいて照明光の強度を調整する機能をもつカメラに応用してもよい。例えば、物体までの距離の情報に基づいて位置制御されるアーム機構を備えたロボットに応用してもよい。例えば、物体までの距離の情報に基づいて塗料を射出する強さを制御する塗装装置に応用してもよい。 【0085】以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることができる。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 【発明の効果】上記説明から明らかなように、本発明によれば被写体画像に基づいて被写体までの距離を測定することができる。
|
| 【出願人】 |
【識別番号】000005201 【氏名又は名称】富士写真フイルム株式会社
|
| 【出願日】 |
平成11年11月11日(1999.11.11) |
| 【代理人】 |
【識別番号】100104156 【弁理士】 【氏名又は名称】龍華 明裕
|
| 【公開番号】 |
特開2001−141417(P2001−141417A) |
| 【公開日】 |
平成13年5月25日(2001.5.25) |
| 【出願番号】 |
特願平11−321137 |
|