トップ :: A 生活必需品 :: A61 医学または獣医学;衛生学




【発明の名称】 視線検出機能付き光学機器およびカメラ
【発明者】 【氏名】森川 剛一
【要約】 【課題】使用者が強いられるキャリブレーション作業の煩わしい操作を軽減するとともに、精度良く視線検出を行うための個人差補正係数を算出するための補正データを速やかに取得し、これを用いて最適な視線情報を検出できるようにする。

【解決手段】眼球光軸と視線のずれを補正する為の個人差に関する補正係数を記憶する記憶手段と、前記個人差補正係数を用いて眼球光軸を補正し、視線を検出する演算手段（Ｓ０１）と、観察画面上の任意の座標を外部操作部材により指示する座標指示手段と、前記演算手段によって算出された視線の座標が、使用者が注視した座標とは異なるとして、前記座標指示手段により注視座標が入力されることにより（Ｓ０４→Ｓ０７）、該注視座標を用いて前記個人差補正係数を更新する更新手段（Ｓ０８）とを有する。
【特許請求の範囲】
【請求項１】 使用者の眼球回転角および瞳孔径より得られる眼球光軸と視線のずれを補正する為の個人差に関する補正係数を記憶する記憶手段と、前記個人差補正係数を用いて眼球光軸を補正し、視線を検出する演算手段と、観察画面上に任意の視認可能な視標を任意の座標に表示する表示手段とを有する視線検出機能付き光学機器において、前記観察画面上の任意の座標を外部操作部材により指示する座標指示手段と、前記演算手段によって算出された視線の座標が、使用者が注視した座標とは異なるとして、前記座標指示手段により注視座標が入力されることにより、該注視座標を用いて前記個人差補正係数を更新する更新手段とを有することを特徴とする視線検出機能付き光学機器。
【請求項２】 前記更新手段は、前記座標指示手段によって入力された入力座標値と、使用者の眼球回転角および瞳孔径とを更新のための入力パラメータとすることを特徴とする請求項１に記載の視線検出機能付き光学機器。
【請求項３】 前記更新手段は、使用者の該光学機器の使用状況による瞳孔径の変化に対応するために、前記個人差補正係数を瞳孔径の関数として求めることを特徴とする請求項１又は２に記載の視線検出機能付き光学機器。
【請求項４】 前記更新手段は、使用者の眼球回転角、瞳孔径および入力座標値より、前記瞳孔径に対応した個人差補正係数を、瞳孔径−個人差補正係数座標空間上に点データとして求め、複数の該点データより近似直線を求めることで前記関数とすることを特徴とする請求項３に記載の視線検出機能付き光学機器。
【請求項５】 前記更新手段は、同一の観察画面上座標を異なる使用状況で複数回注視したとき、瞳孔径−眼球回転角座標空間上に複数の点データとして求め、該点データより近似直線を求めること特徴とした請求項１〜４の何れかに記載の視線検出機能付き光学機器。
【請求項６】 請求項１〜５の何れかの視線検出機能付き光学機器を備えたことを特徴とするカメラ。
【請求項７】 前記更新手段は、該カメラの一連の撮影動作中に実行されることを特徴とする請求項６に記載のカメラ。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、使用者が観察している注視点の方向の軸、所謂視線を検出する視線検出機能付き光学機器およびカメラの改良に関するものである。
【０００２】
【従来の技術】従来より、使用者が観察空間のどの方向を注視しているかを検出する、いわゆる視線を検出する装置が種々提案されている。特開平２−２６４６３２号公報においては、使用者の眼球に赤外光を照射し、眼球の角膜から反射光による角膜反射像と瞳孔の結像位置を利用して使用者の視線を求める視線検出装置が開示されている。
【０００３】図８は、公知の視線検出方法の原理説明図である。
【０００４】同図において、１３ａ，１３ｂは各々使用者に対して不感の赤外光を放射する発光ダイオード等の光源であり、各光源１３ａ，１３ｂは受光レンズ１２の光軸に対してｘ方向に略対称に配置され、さらに使用者の眼球１７を下方（ｙ方向にオフセットした位置）から照明するように配置されている。眼球１７で反射した照明光の一部は受光レンズ１２を介してイメージセンサ１４に集光する。１７ｂは角膜、１７ｃは虹彩である。
【０００５】図９（ａ）は、上記イメージセンサ１４に投影される眼球像の概略図であり、図９（ｂ）は、上記イメージセンサ１４の出力ラインからの信号の強度分布を示す図である。
【０００６】以下、図８及び図９を用いて、視線の検出方法について説明する。
【０００７】光源１３ｂより放射された赤外光は、使用者の眼球１７の角膜１７ｂを照射する。このとき角膜１７ｂの表面で反射した赤外光の一部により形成される反射角膜像ｄ（虚像）は受光レンズ１２により集光され、イメージセンサ１４上の位置ｄ′に結像する。同様に、光源１３ａにより放射された赤外光は、眼球１７の角膜１７ｂを照射する。このとき、角膜１７ｂの表面で反射した赤外光の一部により形成された角膜反射像ｅは受光レンズ１２により集光され、イメージセンサ１４上の位置ｅ′に結像する。
【０００８】また、虹彩１７ｃの端部ａ，ｂからの光束は、受光レンズ１２を介してイメージセンサ１４上の位置ａ′，ｂ′に該端部ａ，ｂの像を結像する。受光レンズ１２の光軸に対する眼球１７の光軸の回転角θが小さい場合、虹彩１７ｃの端部ａ、ｂのｘ座標をｘａ，ｘｂとすると、瞳孔１７ｄの中心位置ｃの座標ｘは、 ｘｃ≒（ｘａ＋ｘｂ）／２ …………（１）
と表される。
【０００９】また、角膜反射像ｄ及びｅの中点のｘ座標と角膜１７ｂの曲率中心ｏのｘ座標ｘｏとは略一致する。このため角膜反射像の発生位置ｄ、ｅのｘ座標をｘｄ，ｘｅ、角膜１７ｂの曲率中心ｏと瞳孔１７ｄの中心ｃまでの標準的な距離をＬocとすると、眼球１７の光軸１７ａの回転角θx は、 Ｌoc× sinθｘ≒（ｘｄ＋ｘｅ）／２−ｘｃ …………（２）
の関係式を満足する。このため、図９（ａ）に示した様に、イメージセンサ１４上に投影された眼球１７の各特徴点（角膜反射像及び瞳孔の中心）の位置を検出することにより、眼球１７の光軸１７ａの回転角θを求めることができる。
【００１０】眼球１７の光軸１７ａの回転角は（２）式より、 β×Ｌoc× sinθｘ≒｛（ｘｐ０−δｘ）−ｘｉｃ｝×Ｐｔ ……（３）
β×Ｌoc× sinθｙ≒｛（ｙｐ０−δｙ）−ｙｉｃ｝×Ｐｔ ……（４）
と求められる。ここで、βは受光レンズ１２に対する眼球１７の位置により決まる結像倍率で、実質的には２個の角膜反射像の間隔｜ｘｄ′−ｘｅ′｜の関数として求められる。また、θｘはｚ−ｘ平面内での眼球光軸の回転角、θｙはｙ−ｚ平面内での眼球光軸の回転角である。（ｘｐｏ，ｙｐｏ）はイメージセンサ１４上の２個の角膜反射像の中点の座標、（ｘｉｃ，ｙｉｃ）はイメージセンサ１４上の瞳孔中心の座標である。Ｐｔはイメージセンサ１４の画素ピッチである。δｘ，δｙは角膜反射像の中点の座標を補正する補正項であり、使用者の眼球を平行光ではなく発散光にて照明していることにより生じる誤差を補正する補正項、及び、δｙに関しては、使用者の眼球を下まぶたの方から発散光にて照明していることにより生じるオフセット成分を補正する補正項も含まれている。
【００１１】使用者の眼球光軸１７ａの回転角（θｘ，θｙ）が算出されると、使用者の観察面上の注視点（ｘ，ｙ）は、 ｘ［ｍｍ］＝ｍ×（θｘ−ｂｘ）／ａｘ ………（５）
ｙ［ｍｍ］＝ｍ×（θｙ−ｂｙ）／ａｙ ………（６）
と求められる。ここで、ｘ方向は観察者に対して水平方向、ｙ方向は使用者に対して垂直方向を示している。ｍは眼球１７の回転角から観察面上の座標に変換する変換係数であり、ａｘ，ｂｘ，ａｙ，ｂｙは注視点キャリブレーション係数で、使用者の眼球１７の回転角と観察面上の注視点を一致させるための補正係数である。
【００１２】ここで、特開平４−２４２６３０号公報において、使用者の視線の個人差を補正するための補正データを取得する機能であるキャリブレーションを行って、より正確な視線検出が可能な視線検出装置が提案されている。この提案装置の実施例における「キャリブレーションモード」に沿って、上記キャリブレーション係数ａｘ，ｂｘ，ａｙ，ｂｙの取得方法を説明する。
【００１３】図１０に示すように、使用者には観察面上の４つの固定視標２５０〜２５３を順に注視してもらう。このうち視標２５０，２５１の注視はｘ方向のキャリブレーション係数ａｘ，ｂｘを求めるためであり、視標２５２，２５３の注視はｙ方向のキャリブレーション係数ａｙ，ｂｙを求めるためである。
【００１４】まず、ｘ方向に関して説明する。使用者が視標２５０（ｘ１, ０）を注視したときに検出されたｘ方向眼球回転角をθｘ１、視標２５１（ｘ２，０）を注視したときに検出されたｘ方向眼球回転角をθｘ２とすると、キャリブレーション係数ａｘ，ｂｘは、 ａｘ＝ｍ×（θｘ１−θｘ２）／（ｘ１−ｘ２） ……（７）
ｂｘ＝（θｘ１×ｘ２−θｘ２×ｘ１）／（ｘ１−ｘ２） ……（８）
で算出することができる。
【００１５】同様に、ｙ方向に関しては、使用者が視標２５２（０，ｙ１）を注視したときに検出されたｙ方向眼球回転角をθｙ１、視標２５３（０，ｙ２）を注視したときに検出されたｙ方向眼球回転角をθｙ２とすると、キャリブレーション係数ａｙ，ｂｙは、 ａｙ＝ｍ×（θｙ１−θｙ２）／（ｙ１−ｙ２） ……（９）
ｂｙ＝（θｙ１×ｙ２−θｙ２×ｙ１）／（ｙ１−ｙ２） …（１０）
で算出することができる。
【００１６】このようにして、キャリブレーション動作にて複数の使用者毎の個人差補正係数である、キャリブレーション係数ａｘ，ｂｘ，ａｙ，ｂｙを記憶し、使用者に合せた個人差補正データが設定できれば、使用者の眼球回転角が求まると、使用者が観察画面上のどの点を注視しているかを特定でき、例えばカメラに応用した場合、カメラのファインダを覗く使用者のピント板上の視線位置を正確に算出し、その視線情報を撮影レンズの焦点調節等に利用することができる。
【００１７】ここで、これまでに記した個人差補正係数を取得するための具体的な動作を、特開平６−３４８７４号公報において公開されている、カメラへの適用例に準じて説明する。
【００１８】図１１は、一眼レフカメラの要部概略図である。
【００１９】同図において、１は撮影レンズで便宜上２枚のレンズで示したが、実際はさらに多数のレンズから構成されている。２は主ミラーで、ファインダ系による被写体像の観察状態と被写体像の撮影状態に応じて撮影光路へ斜設、あるいは退去される。３はサブミラーで、主ミラー２を透過した光束をカメラボディの下方に位置する焦点検出装置６へ向けて反射する。４はシャッタ、５は感光部材で、具体的には銀塩フィルムあるいはＣＣＤ等の撮像素子である。７は撮影レンズ１の予定結像面に配置されたピント板、８はファインダ光路変更用のペンタプリズム、９，１０は各々観察画面内の被写体輝度を測定するための結像レンズと測光センサである。上記ペンタプリズム８の射出後方には分光器１１ａを備えた接眼レンズ１１が配置され、使用者の眼１５によるピント板７の観察に使用される。分光器１１ａは、例えば可視光を透過し赤外光を反射するダイクロイックミラーより成っている。
【００２０】１２は受光レンズ、１４はＣＣＤ等の撮像素子を用いたイメージセンサであり、受光レンズ１２に関して所定の位置にある使用者の眼１５の瞳孔近傍と共役になるように配置されている。１３ａ〜１３ｆは各々照明光源であるところの赤外発光ダイオードである。１５は明るい被写体の中でも視認できる高輝度の発光ダイオードであり、ここから発光された光は投光用プリズム１６を介し主ミラー２で反射されて、ピント板７に設けられた微小プリズム７ａで垂直に曲げられ、ペンタプリズム８，接眼レンズ１１を通って、使用者の眼１５に視認される。実際には、高輝度発光ダイオード１５，プリズム１６，微小プリズム７ａを複数設けることで、ピント板７上の複数の焦点検出領域を選択的に照明することが可能である。この選択的に焦点検出領域を照明することを以下スーパーインポーズと呼ぶ。
【００２１】図１２（ａ），（ｂ）は、上記一眼レフカメラの上部外観図と背面図である。
【００２２】同図において、１８はレリーズ釦、１９は外部モニタ表示装置としてのＬＣＤ、２１は撮影モード等の選択を行うモードダイヤル、２０は各種設定を行うための電子ダイヤルである。２４は任意の焦点検出領域をマニュアルで選択するための十字釦であり、各方向釦２４ａ（上選択），２４ｂ（下選択），２４ｃ（左選択），２４ｄ（右選択）より成る。
【００２３】図１３は、図１２に示した接眼レンズ１１より観察したファインダ視野図であり、焦点検出領域２００〜２０６はピント板７上で各々スーパーインポーズされる。
【００２４】図１４は、図１２に示したモードダイヤル２１の詳細説明図である。
【００２５】モードダイヤル２１を、カメラ本体に印された指標２２に表示を合わせることによって、その表示内容で撮影モードが設定される。２１ａはカメラを不作動とするロックポジション、２１ｂはカメラが予め設定した撮影プログラムによって制御される自動撮影モードのポジション、２１ｃは使用者が撮影内容を設定できるマニュアル撮影モードである。２１ｄは使用者の視線のキャリブレーションを行なうキャリブレーションモードとなる「ＣＡＬ」ポジションである。
【００２６】それでは上記一眼レフカメラにおける、個人差補正係数を取得するキャリブレーション動作について、図１５及び図１６のフローチャートに沿って説明する。
【００２７】まず、ステップＳ２９において、使用者はモードダイヤル２１を回転させ、ＣＡＬポジション２１ｄを指標２２に合せる。ＣＡＬポジションに設定されるとカメラはキャリブレーションモードに切り換わる。
【００２８】キャリブレーションモードでは、複数の使用者に対応するため、あるいは同一使用者においても様々な使用状況（例えば、裸眼状態や眼鏡を掛けた状態）に対応するため、複数の個人差補正係数を保持できるようになっている。例えば、５つの個人差補正係数を保持できるようになっている場合、それぞれに対してＣＡＬ番号が割り振られており、「ＣＡＬ−１」，「ＣＡＬ−２」…「ＣＡＬ−５」と名付けられる。
【００２９】次のステップＳ３０においては、使用者は自らの使用状況に応じた個人差補正係数を登録するためのＣＡＬ番号を、電子ダイヤル２０を回転してＬＣＤ１９に表示させ、指定する。ここで使用者は、接眼レンズ１１より観察画面を観察する。すると、図１３の焦点検出領域のうち右端に位置する焦点検出領域２０４がスーパーインポーズによって点滅する（Ｓ３１）ので、使用者はこの点を注視した状態で（Ｓ３２）レリーズ釦１８を押し下げる（Ｓ３３）。レリーズ釦１８の押下がなされると、カメラに具備された不図示のＣＰＵによって複数回視線検出が実行され（Ｓ３４）、右端焦点検出領域に対する使用者の眼球回転角が取得される。
【００３０】次のステップＳ３５においては、ＣＰＵは右端の焦点検出領域２０４に対する視線検出が終了したことを使用者に認識させるために図示されていない発音体を用いて電子音を数回鳴らす。同時に焦点検出領域２０４を所定の時間フル点灯させる。続いてステップＳ３６において、焦点検出領域２０４を消灯し、それと同時に左端の焦点検出領域２００が点滅を開始する。使用者は点滅している焦点検出領域２００を注視し（Ｓ３７）、レリーズ釦１８を押下げる（Ｓ３８）ことによってＣＰＵに視線検出を実行させる（Ｓ３９）。右端の焦点検出領域と同様に複数回視線検出が実行され、左端焦点検出領域に対する使用者の眼球回転角が取得される。
【００３１】ステップＳ４０においては、ＣＰＵは焦点検出領域２００に対する視線検出が終了したことを使用者に認識させるために図示されていない発音体を用いて電子音を数回鳴らさせる。同時に焦点検出領域２００をフル点灯させる。
【００３２】この一連の動作により左右焦点検出領域に対応する眼球回転角が取得される。
【００３３】次のステップＳ４１においては、ＣＰＵは取得した眼球回転角が適正かどうかの判定を行なう。判定は視線検出サブルーチンからの返数である眼球の回転角と、同時に取得される瞳孔径の信頼性を算出して行なわれる。すなわち、視線検出サブルーチンにて検出された眼球の回転角及び瞳孔径の信頼性がない場合は算出された視線のキャリブレーションデータも信頼性がないと判定する。又、視線検出サブルーチンにて検出された眼球の回転角及び瞳孔径の信頼性がある場合、算出された視線のキャリブレーションデータが一般的な個人差の範囲に入っていれば適正と判定し、一方、算出された視線のキャリブレーションデータが一般的な個人差の範囲から大きく逸脱していれば算出された視線のキャリブレーションデータは不適性と判定する。
【００３４】算出された視線のキャリブレーションデータが不適性と判定すると、ステップＳ４２に進み、ＣＰＵは点灯焦点検出領域２０４および２００を消灯し、図示されていない発音体を用いて電子音を所定時間鳴らし、視線のキャリブレーションが失敗したことを警告する。同時にＬＣＤ１９に「ＣＡＬ」表示を点滅させて警告する。発音体による警告音とＬＣＤ１９による警告表示を所定時間行なった後、キャリブレーションルーチンの初期ステップに移行し、再度ｘ方向の視線キャリブレーションを実行できる状態に設定される。
【００３５】又、算出された視線のキャリブレーションデータが適正であれば、ステップＳ４３に進み、ｘ方向の視線キャリブレーションの終了したことを、スーパーインポーズ表示によって焦点検出領域２０４，２００を数回点滅させ、使用者に認識させる。
【００３６】ｘ方向のキャリブレーションに引き続き、ｙ方向のキャリブレーションも同様に行われる。
【００３７】図１６のステップＳ４４へ進むと、ＣＰＵは図１３の焦点検出領域のうち、上端に位置する焦点検出領域マーク２０５を、スーパーインポーズによって点滅させる。点滅を開始した焦点検出領域を使用者が注視した状態で（Ｓ４５）レリーズ釦１８を押下げると（Ｓ４６）、ＣＰＵによりキャリブレーション動作が開始される。次のステップＳ４７においては、動作の開始と同時に複数回視線検出がＣＰＵによって実行され、上端焦点検出領域に対する使用者の眼球回転角が取得される。そして、ステップＳ４８において、上端の焦点検出領域２０５に対する視線検出が終了したことを使用者に認識させるためにＣＰＵは図示されていない発音体を用いて電子音を数回鳴らさせる。同時に焦点検出領域２０５を所定の時間フル点灯させる。
【００３８】続いてステップＳ４９において、ＣＰＵは焦点検出領域２０５を消灯しそれと同時に下端の焦点検出領域２０６が点滅を開始する。使用者は点滅している焦点検出領域２０６を注視し（Ｓ５０）、レリーズ釦１８を押下げる（Ｓ５１）ことによってＣＰＵに視線検出を実行させる（Ｓ５２）。上端の焦点検出領域と同様に複数回視線検出が実行され、下端焦点検出領域に対する使用者の眼球回転角が取得される。
【００３９】ステップＳ５３においては、焦点検出領域２０６に対する視線検出が終了したことを使用者に認識させるためにＣＰＵは図示されていない発音体を用いて電子音を数回鳴らさせる。同時に焦点検出領域２０６をフル点灯させる。
【００４０】この一連の動作により上下焦点検出領域に対応する眼球回転角が取得される。
【００４１】次にステップＳ５４においては、ＣＰＵは取得された眼球回転角が適正かどうかの判定を行なう。算出された視線のキャリブレーションデータが不適性と判定するとステップＳ５５に進み、点灯焦点検出領域２０５および２０６を消灯し、図示されていない発音体を用いて電子音を所定時間鳴らし、視線のキャリブレーションが失敗したことを警告する。同時にＬＣＤ１９に「ＣＡＬ」表示を点滅させて警告する。発音体による警告音とＬＣＤ１９による警告表示を所定時間行なった後、キャリブレーションルーチンの初期ステップに移行し、再度ｙ方向の視線キャリブレーションを実行できる状態にカメラは設定される。又、算出された視線のキャリブレーションデータが適正であれば、ステップＳ５６に進み、ｙ方向の視線キャリブレーションの終了したことを、スーパーインポーズによって焦点検出領域２０５，２０６を数回点滅させ使用者に認識させる。
【００４２】一連の視線のキャリブレーション動作終了後、ＣＰＵは使用者によって電子ダイヤル２０かあるいはモードダイヤル２１が操作されるまで待機する。使用者が電子ダイヤル２０を回転させて他のキャリブレーション番号を選択したならば、キャリブレーション番号の変更を検知し、視線のキャリブレーションルーチンの初期ステップに移行する。また使用者がモードダイヤル２１を回転させて他の撮影モードを選択したならばメインのルーチンに復帰する。
【００４３】以上のキャリブレーション動作を経て、使用者の特定の使用状態における個人差補正係数ａｘ，ｂｘ，ａｙ，ｂｙを求めることができる。
【００４４】しかし実際には、図１７に示すように、同一注視点を観察していても周囲の明るさの変化に対応して使用者の瞳孔径は変化し、瞳孔径の変化に応じて算出される座標値も変化してしまう。
【００４５】そこで、同一注視点を観察している以上、周囲の明るさの変化によらず同一座標が算出されるように、回転角算出に際し、瞳孔径変化を考慮した補正値を用いることが特開平０６−０３４８７４号に明らかにされている。すなわち、（７），（８），（９），（１０）式における回転角θｘ１，θｘ２，θｙ１，θｙ２は、それぞれ瞳孔径の大きさＲｐｐの関数であるとみなし、θｘ１（Ｒｐｐ），θｘ２（Ｒｐｐ），θｙ１（Ｒｐｐ），θｙ２（Ｒｐｐ）と表すと、 θｘ１（Ｒｐｐ）＝ｋｘ１×Ｒｐｐ＋ｍｘ１ ………（１１）
θｘ２（Ｒｐｐ）＝ｋｘ２×Ｒｐｐ＋ｍｘ２ ………（１２）
θｙ１（Ｒｐｐ）＝ｋｙ１×Ｒｐｐ＋ｍｙ１ ………（１３）
θｙ２（Ｒｐｐ）＝ｋｙ２×Ｒｐｐ＋ｍｙ２ ………（１４）
の一次関数で表記できる。上記（１１），（１２），（１３），（１４）式における、係数ｋｘ１，ｍｘ１，ｋｘ２，ｍｘ２，ｋｙ１，ｍｙ１，ｋｙ２，ｍｙ２を求めるためには、異なる瞳孔径Ｒｐｐ、すなわち異なる明るさの環境のもと、上記に記したキャリブレーション動作を少なくとも２度は行う必要がある。さらには、より正確に上記係数を求めるために、様々な明るさの環境のもと、複数回キャリブレーションを行い、最小二乗法等を用いて算出することが望ましい。
【００４６】こうすることで、キャリブレーション係数ａｘ，ｂｘ，ａｙ，ｂｙは瞳孔径による関数、 ａｘ＝ｇｘ（Ｒｐｐ） ………（１５）
ｂｘ＝ｈｘ（Ｒｐｐ） ………（１６）
ａｙ＝ｇｙ（Ｒｐｐ） ………（１７）
ｂｙ＝ｈｙ（Ｒｐｐ） ………（１８）
として表されることになる（具体的には、（１１），（１２）式を（７），（８）式へ、（１３），（１４）式を（９），（１０）式へ、それぞれ代入した式）。これを（５），（６）式に反映すると、最終的に視線座標（ｘ，ｙ）は、瞳孔径Ｒｐｐと眼球回転角（θｘ，θｙ）の関数 ｘ＝ｆｘ（Ｒｐｐ，θｘ） ………（１９）
ｙ＝ｆｙ（Ｒｐｐ，θｙ） ………（２０）
として求めることができることがわかる。
【００４７】上記のように、キャリブレーション動作を複数回繰り返すことにより、より正確に使用者の観察画面上における注視点が同定でき、例えば上記一眼レフカメラに応用した場合、カメラのファインダ系を覗く使用者の視線のピント板上位置が算出されると、その視線情報をレンズの焦点調節あるいは露出制御等に利用することが可能である。
【００４８】
【発明が解決しようとする課題】上記従来例においては、精度良く視線の検出を行なうためには、使用者の観察状態、即ち周囲環境の明るさが変化するたび毎に、図１５及び図１６のフローチャートに沿って説明した一連のキャリブレーション動作を使用者は行わなければならず、この結果、カメラの操作性を損なうという問題があった。
【００４９】特にキャリブレーション作業という行為は、これまで述べたように複数の操作部材を一定の決められた手順に従って操作し、カメラ側から要求される眼球動作を、その要求に従って順次行わなければならないという、本来の撮影行為とは無関係な独立した行為であり、この行為を何度も使用者に強いることは、使用者に苦痛を与えてしまうという問題があった。
【００５０】（発明の目的）本発明の目的は、使用者が強いられるキャリブレーション作業の煩わしい操作を軽減するとともに、精度良く視線検出を行うための個人差補正係数を算出するための補正データを速やかに取得し、これを用いて最適な視線情報を検出することのできる視線検出機能付き光学機器およびカメラを提供しようとするものである。
【００５１】
【課題を解決するための手段】上記目的を達成するために、本発明は、使用者の眼球回転角および瞳孔径より得られる眼球光軸と視線のずれを補正する為の個人差に関する補正係数を記憶する記憶手段と、前記個人差補正係数を用いて眼球光軸を補正し、視線を検出する演算手段と、観察画面上に任意の視認可能な視標を任意の座標に表示する表示手段とを有する視線検出機能付き光学機器において、前記観察画面上の任意の座標を外部操作部材により指示する座標指示手段と、前記演算手段によって算出された視線の座標が、使用者が注視した座標とは異なるとして、前記座標指示手段により注視座標が入力されることにより、該注視座標を用いて前記個人差補正係数を更新する更新手段とを有する視線検出機能付き光学機器とするものである。
【００５２】
【発明の実施の形態】以下、本発明を図示の実施の形態に基づいて詳細に説明する。
【００５３】本発明の実施の一形態に係る一眼レフカメラの要部外略図は前述の図１１と、上部概観図と背面図は前述の図１２（ａ），（ｂ）と、ファインダ視野図は前述の図１３と、モードダイヤルの説明図は前述の図１４と、それぞれ同様であり、これらについての詳細は省略する。
【００５４】図１は、本発明の実施の形態に係る上記構成の一眼レフカメラに内蔵された要部電気回路図であり、図１と同じ部分は同一符号を付してある。
【００５５】カメラ本体に内蔵されたマイクロコンピュータ（以下、ＣＰＵと記す）３００には、視線検出回路３０１，測光回路３０２，自動焦点検出回路３０３，信号入力回路３０４，ＬＣＤ駆動回路３０５，ＬＥＤ駆動回路３０６，ＩＲＥＤ駆動回路３０７，シャッタ制御回路３０８，モータ制御回路３０９、焦点調節回路３１０、絞り駆動回路３１１が接続されている。ＣＰＵ３００に付随したＥＥＰＲＯＭ３００ａは記憶手段としての視線の個人差を補正する視線補正データの記憶機能を有している。
【００５６】前記視線検出回路３０１は、イメージセンサ１４（ＣＣＤ−ＥＹＥ）からの眼球像の信号をＡ／Ｄ変換し、この像情報をＣＰＵ３００に送信する。ラインセンサ６ａは、前述の図１３に示すファインダ視野内の７つの焦点検出領域２００〜２０６に対応した７組のラインセンサＣＣＤ−Ｌ２，ＣＣＤ−Ｌ１，ＣＣＤ−Ｃ，ＣＣＤ−Ｒ１，ＣＣＤ−Ｒ２，ＣＣＤ−Ｕ，ＣＣＤ−Ｄから構成される公知のＣＣＤラインセンサである。前記自動焦点検出回路３０３は、上記のラインセンサ６ａから得た電圧をＡ／Ｄ変換し、ＣＰＵ３００に送る。
【００５７】ＳＷ１はレリーズ釦１８の第１ストロークでオンし、測光，ＡＦ，視線検出動作等を開始させる為のスイッチであり、ＳＷ２はレリーズ釦１８の第２ストロークでオンするスイッチである。電子ダイヤル２０は、回転によって使用者が所定の設定を入力するためのスイッチであり、アップダウンカウンタを介して回転量が信号入力回路に伝達される。方向２４ａ〜２４ｄは、十字釦２４の上（ＳＷ−Ｕ）下、（ＳＷ−Ｄ）左、（ＳＷ−Ｌ）右、（ＳＷ−Ｒ）の入力を検知するためのスイッチである。
【００５８】前記ＬＣＤ駆動回路３０５は、ＬＣＤ１９等を表示駆動させ、ＬＥＤ駆動回路３０６はスーパーインポーズ用ＬＥＤ１５等を点灯／点滅制御する。ＩＲＥＤ駆動回路３０７は、赤外発光ダイオード（ＩＲＥＤ１〜６）１３ａ〜１３ｆを状況に応じて選択的に点灯させる。
【００５９】上記構成における一眼レフカメラの動作について、図２のフローチャートにより説明する。このフローチャートは、モードダイヤル２１を撮影モードである２１ｂもしくは２１ｃのうち視線情報が有効なモードに指標をあわせた状態で作動する。
【００６０】スイッチＳＷ１がオンすると（Ｓ００）、ＣＰＵ３００はステップＳ０１へ進み、使用者の視線検出を実行する。具体的には、従来例で示したようにピント板７上での座標を算出する。ただし、座標算出においては、個人差補正係数が既に存在する場合には、前述の式（５），（６）に基づいて、有効な補正係数ａｘ，ｂｘ，ａｙ，ｂｙを用いて行われる。これは、データａｘ，ｂｘ，ａｙ，ｂｙが過去１回算出できたかどうかで判定するようにしても良いし、２回あるいは３回以上の回数で算出できたときに初めてデータが有効であると判定しても良い。なお、１回のみの算出では、瞳孔径変化についての眼球回転角補正を行なうことはできない。個人差補正係数が存在しない場合には、ＥＥＰＲＯＭ３００ａに格納されている、基準補正係数としてのデフォルトの値によって検出が行われる。
【００６１】次のステップＳ０２においては、上記のようにして算出したピント板上の視線座標に対し、焦点検出領域２００〜２０６のうちから最も近い焦点検出領域を使用者が意図した焦点検出領域として選択する。そして、選択した焦点検出領域をスーパーインポーズ（Ｓ０３）し、使用者に選択焦点検出領域を知らしめる。
【００６２】このスーパインポーズによって表示された焦点検出領域は、個人差補正係数にデフォルト値を用いていたり、周囲の明るさの影響に対する補正が充分でなかったりする場合、しばしば使用者の実際の意図する焦点検出領域とは異なる。この場合、使用者は十字釦２４によって所望の焦点検出領域を手動により再選択することができる。
【００６３】次のステップＳ０４においては、カメラが視線算出によって選択した焦点検出領域が、使用者によって意図された領域であるかどうかを判定するステップであり、スーパーインポーズ（Ｓ０３）後、一定時間の間に使用者から十字釦２４の入力があるかを検出する。十字釦２４の方向釦２４ａ〜２４ｄのいずれにも入力がなかった場合、使用者の意図する焦点検出領域と、カメラが選択した焦点検出領域が一致したものとして、すなわち視線座標の算出が正しく行われたものと判定してステップＳ０５に移行し、その焦点検出領域においてレンズの焦点調節を行う。その後選択焦点検出領域が合焦になるとステップＳ０６へ移行し、レリーズ釦の第２ストロークによりオンするスイッチＳＷ２の検出を行い、オンであれば公知である一連のレリーズ動作を行って撮影を終了する。
【００６４】一方、十字釦２４の何れかの方向釦に押下の入力があった場合、ステップＳ０４からステップＳ０７に進む。ここでは、視線検出によって選択された焦点検出領域を、使用者によって意図される焦点検出領域とは異なるものであったと認識してキャンセルし、改めて使用者が指示した焦点検出領域を選択し直す。同時にこの焦点検出領域をスーパーインポーズし、使用者に知らしめる。続いてステップＳ０８に移行し、焦点検出領域の再選択によって得られるキャリブレーションデータ取得のためのサブルーチンを行う。
【００６５】このサブルーチンを説明する前に、ｘ軸方向のキャリブレーションデータの補正方法について説明する。
【００６６】図３（ａ）は、従来例で示したキャリブレーション動作を２回以上行ったときの、眼球回転角θｘと瞳孔径Ｒｐｐの関係図である。
【００６７】同図において、５１は座標ｘ１を注視した時に得られる関数θｘ１（Ｒｐｐ）であり（式（１１）の一次関数に同じ）、５２は座標ｘ２を注視したときに得られる関数θｘ２（Ｒｐｐ）である（式（１２）の一次関数に同じ）。この２本の直線が存在すれば、従来例で示した通り、任意の瞳孔径Ｒｐｐに関して補正係数ａｘ，ｂｘを求めることができる。ただし、この場合においても、キャリブレーション回数が少なければ、必ずしも精度の良い補正係数を求めることができるわけではない。
【００６８】そこで、図３（ｂ）の点５３のように、ある座標ｘｃを注視した時に得られた瞳孔径Ｒｐｐｃと眼球回転角θｘｃが存在する場合を考える。直線５１より（Ｒｐｐｃ，θｘ１（Ｒｐｐｃ））を求めることができるので、（ｘ１，θｘ１（Ｒｐｐｃ））および（ｘｃ，θｘｃ）を、式（７），（８）に代入すると、図４（ａ）（ｂ）に示すように、瞳孔径Ｒｐｐｃにおいての補正係数ａｘ（Ｒｐｐｃ）およびｂｘ（Ｒｐｐｃ）を点座標５４，５５として求めることができる。（ただし、直線５１から（Ｒｐｐｃ，θｘ１（Ｒｐｐｃ））を求める代わりに、直線５２から（Ｒｐｐｃ，θｘ２（Ｒｐｐｃ））を用いて求めてもよい。）
以上の操作によると、注視点のｘ座標ｘｃを既知であり、その点を注視した時の瞳孔径Ｒｐｐｃとｘ軸方向眼球回転角θｘｃが検出できれば、この瞳孔径Ｒｐｐｃにおける補正係数ａｘ（Ｒｐｐｃ），ｂｘ（Ｒｐｐｃ）をプロットすることができる。従って、この操作を繰り返すことにより、Ｒｐｐ−ａｘ，Ｒｐｐ−ｂｘ上のプロットデータを多く獲得できるのである。プロットデータ数が増えると、その都度近似直線を更新することで、より使用者の眼球特性に合った補正係数ａｘ＝ｇｘ（Ｒｐｐ）、ｂｘ＝ｈｘ（Ｒｐｐ）（式（１５），（１６）より）を算出することが可能となり、精度の良い視線座標を求めることが可能となる。
【００６９】次に、予め直線５１や５２が存在しない場合、すなわち複数回のキャリブレーションが行われていない場合における補正係数ａｘ，ｂｘの求め方を図５を用いて述べる。
【００７０】例えば、ｘ＝ｘ０という既知の座標を、初めて使用者が注視した時の瞳孔径をＲｐｐ０、ｘ軸方向の眼球回転角をθｘ０とする（点５６）。別の機会に同一座標ｘ＝ｘ０を注視した時の瞳孔径をＲｐｐ０’、眼球回転角をθｘ０’（点５７）とすると、この２点により、ｘ＝ｘ０を注視した時の瞳孔径と眼球回転角の関係式５８を求めることができる。ｘ＝ｘ０という既知の座標を繰返し注視するたびにプロット点は増大し、それらの点に対して近似直線を適用することにより、瞳孔径と眼球回転角の関係式は精度の良いものとなる。
【００７１】このようにしてｘ＝ｘ０の注視による、瞳孔径−眼球回転角の関係式が存在すれば、ｘ＝ｘ０とは異なるｘ＝ｘｃという既知の座標を注視した時の瞳孔径Ｒｐｐｃと眼球回転角θｘｃが検出できたとき、上述した通り、Ｒｐｐｃにおける補正係数ａｘ（Ｒｐｐｃ）、ｂｘ（Ｒｐｐｃ）を得ることができることになる。
【００７２】上記の方法によると、既知のｘ座標，瞳孔径，眼球回転角のデータ群を多く獲得すれば、図６（ａ），（ｂ）に示すように、式（１５），（１６）におけるａｘ＝ｇｘ（Ｒｐｐ），ｂｘ＝ｈｘ（Ｒｐｐ）を精度良く同定することができ、使用者の視線座標を正しく求めることができるようになる。
【００７３】これまでに述べた補正係数更新法はｘ軸方向を基に説明したが、ｙ軸方向も全く同様の手法で補正係数を更新することができる。すなわちｘ←ｙとするとｙ軸方向の補正係数ａｙ，ｂｙの更新法の説明となる。
【００７４】再びサブルーチン「キャリブレーションデータの取得」（Ｓ０８）に戻り、このサブルーチンを図７を用いて説明する。
【００７５】まず前提として、再選択前の視線検出（Ｓ０１）によって算出された座標は、使用者の視線を正しく求められていないものであり、このときに使用者が注視した実際の座標は、再選択された焦点検出領域の座標であるものとする。ステップＳ０９に進み、上記ステップＳ０１の視線検出時に検出した使用者の瞳孔径Ｒｐｐｃ、眼球回転角（θｘｃ，θｙｃ）を再取得する。そして、ステップＳ１０に移行し、再選択によって使用者から指示された焦点検出領域（ｘｃ，ｙｃ）を取得する。これらのデータ群から、補正係数の更新が可能かどうかを次のステップＳ１１において調べる。具体的には、上述の補正係数更新法による。
【００７６】補正係数の更新が不可能な場合には、ステップＳ１２に移行し、このデータ群をキャリブレーションデータとして保持しておく。更新が可能な場合には、ステップＳ１３に移行し、新たな補正係数を算出して以後の視線座標算出に利用できるようにする。
【００７７】以上のサブルーチンが終了したら、図２のメインルーチンに復帰し、再選択によって指示された焦点検出領域においてレンズ駆動・合焦動作を行い（Ｓ０５）、スイッチＳＷ２のオンを検出して公知のレリーズ動作を行って撮影を終了する。
【００７８】以上の実施の形態によれば、使用者の視線検出を行なうルーチンにおいて、使用者の実際の視線座標が算出された視線座標と異なる場合、使用者の実際の座標がどこであったのかを入力することで、視線座標算出過程における個人差補正係数を更新することを実現している。従って、使用者にキャリブレーション動作を行なうために複数操作部材を操作させ、特定の座標を注視させるという煩わしいルーチンを独立に強要することなく、個人差補正係数を更新することが可能となり、使用頻度に応じて精度の高くなる視線検出手段を有したカメラを提供可能となる。
【００７９】更に詳しくは、撮影動作中において、使用者が意図していない焦点検出領域をカメラが選択した場合、使用者は座標指示手段に相当する十字釦２４によって焦点検出領域を選択し直すことが可能であり、該十字釦２４によって観察画面上の座標が入力されると、この入力座標と視線検出によって得られた使用者の瞳孔径および眼球回転角を入力パラメータとして、瞳孔径−個人差補正係数座標空間上に点データとして得る。この点データが数多く獲得されると、個人差補正係数を瞳孔径の関数として扱うことが可能となり、具体的には近似直線を当てはめることにより精度の良い個人差補正係数を、使用者の状況に応じて使い分けることでき、よって、ピント板上に複数存在する焦点検出領域から、使用者が意図する１つの焦点検出領域を、使用者の視線を検出して選択することが可能となる。
【００８０】以上が本発明の実施の形態での構成であり、かつ本発明との対応関係である。本発明はこれらの形態と構成に限定されるものではなく、請求項で示した機能が達成できる構成であれば、どのようなものであってもよい。また、カメラのみならず、その他の視線検出機能を具備した光学機器へも提供することができる。
【００８１】
【発明の効果】以上説明したように、本発明によれば、使用者が強いられるキャリブレーション作業の煩わしい操作を軽減するとともに、精度良く視線検出を行うための個人差補正係数を算出するための補正データを速やかに取得し、これを用いて最適な視線情報を検出することができる視線検出機能付き光学機器およびカメラを提供できるものである。
【出願人】 【識別番号】０００００１００７
【氏名又は名称】キヤノン株式会社
【出願日】 平成１２年６月１６日（２０００．６．１６）
【代理人】 【識別番号】１０００６８９６２
【弁理士】
【氏名又は名称】中村 稔
【公開番号】 特開２００１−３５３１２７（Ｐ２００１−３５３１２７Ａ）
【公開日】 平成１３年１２月２５日（２００１．１２．２５）
【出願番号】 特願２０００−１８０７９１（Ｐ２０００−１８０７９１）