| 【発明の名称】 |
二光源及び画像差分手段を用いた眼球特徴点検出方式 |
| 【発明者】 |
【氏名】海老澤 嘉伸
|
| 【要約】 |
【課題】眼球３をビデオカメラ１等の画像入力装置によって画像撮影を行い，視線方向，瞳孔や角膜等の眼球３の特徴点を検出する場合において，二光源２が赤外線等の光を眼球３に照射し，眼球３の瞳孔像であるブライトアイ及びダークアイを最も効率的に発生させてビデオカメラ１で撮影することによって，瞳孔の面積や幅，角膜の位置，視線方向等の眼球３の特徴点を正確に検出する。
【解決手段】ビデオカメラ２の映像の偶数フィールドと奇数フィールドに違いを発生させるために，ビデオカメラ１の映像に同期して一定時間で交互点灯する二個の光源をもつ二光源２及び各フィールドの輝度データの差分値及び差分補正値を算出する画像差分手段５を設けることで，眼球３の外側の肌の部分や白目部分等の輝度データを除去して，眼球３の特徴点を効率的かつ正確に検出する。 |
【特許請求の範囲】
【請求項１】この発明は，眼球３をビデオカメラ１等の画像入力装置によって画像撮影を行い，視線方向，瞳孔や角膜等の眼球３の特徴点を検出する場合において，眼球３に二ヵ所の光源から赤外線等の光を照射する二光源２及びビデオカメラ１に撮影された眼球３の映像から眼球３の特徴点を検出するために画像データの処理を行う画像差分手段５を備えることを特徴とする二光源及び画像差分手段を用いた眼球特徴点検出方式である。
|
【発明の詳細な説明】【０００１】
【発明の属する技術分野】この発明は，眼球３をビデオカメラ１等の画像入力装置によって画像撮影を行い，視線方向，瞳孔や角膜等の眼球３の特徴点を検出する場合において，検出の目的である眼球３に二ヵ所の光源がある二光源２から赤外線等の光を一定時間で交互に照射し，ビデオカメラ１で撮影された眼球３の映像を画像差分手段５が画像データの処理を行い，その結果を計算機６で解析することによって瞳孔の面積や幅，角膜の位置，視線方向等の眼球３の特徴点を正確に検出できる二光源及び画像差分手段を用いた眼球特徴点検出方式についてのものである。
【０００２】
【従来の技術】従来技術による眼球特徴点検出方式の装置構成を図２，図３，図９により説明する。図２は従来の光源及び画像差分手段を用いた眼球特徴点検出方式による実際の装置構成を示したもので，２１はビデオカメラで眼球２３を撮影する画像入力装置，２２は光源で眼球２３に赤外線等の光を照射する装置，２３は眼球，２４はビデオカメラ２１によって入力された映像を計算機２６が処理できる様な輝度データに変換する画像処理装置，２５は画像差分手段，２６は計算機で画像差分手段２５から入力した眼球２３の画像データから眼球２３に関する情報を解析及び検出する装置，２７は光源２２を点灯させる光源制御装置である。図３は従来技術による図２の光源２２の構成図で，３１はビデオカメラのレンズ正面，３２は光源の集合体である光源群（１），３３は光源の集合体である光源群（２）である。図９の（Ａ）はビデオカメラ２１から眼球２３と光源２２から眼球２３との光軸が一致した場合の説明図，（Ｂ）はビデオカメラ２１から眼球２３と光源２２から眼球２３との光軸が一致していない場合の説明図である。
【０００３】図９の（Ａ）において光源９２Ａから眼球９３Ａに照射された赤外線等の光はは瞳孔９５Ａを通過し，眼球９３Ａ内にある網膜９４Ａで反射して再び瞳孔９５Ａを通過して光源９２Ａに瞳孔像を形成する。この場合は光源９２Ａから眼球９３Ａに照射した赤外線等の光が再び光源９２Ａに戻ってくるためビデオカメラ９１Ａで撮影した眼球９３Ａの瞳孔像は明るく撮影できるのでこれをブライトアイと呼ぶ。また，図９の（Ｂ）において光源９２Ｂから眼球９３Ｂに照射された赤外線等の光は瞳孔９５Ｂを通過し，眼球９３Ｂ内にある網膜９４Ｂで反射して再び瞳孔９５Ｂを通過して光源９２Ｂに瞳孔像を形成する。この場合は光源９２Ｂから眼球９３Ｂに照射した赤外線等の光が再び光源９２Ｂに戻ってくるが，この位置はビデオカメラ９１Ｂと異なるためにビデオカメラ９１Ｂで撮影した眼球９３Ｂの瞳孔像は暗く撮影できるのでこれをダークアイと呼ぶ。
【０００４】図２の光源制御装置２７は図３の光源群（１）３２及び光源群（２）３３の様に構成される光源２２の各光源群を一定時間で交互に点灯させて眼球２３に赤外線等の光を照射するが，光源群（１）３２及び光源群（２）３３は両方共ビデオカメラ２１から眼球２３と光源２２から眼球２３との光軸が全く一致していないためにビデオカメラ２１で最も明るいブライトアイの撮影はできないが，光源群（１）３２が点灯した場合の眼球２３の瞳孔像は光源群（２）３３が点灯した場合の眼球２３の瞳孔像よりはビデオカメラ２１から眼球２３と光源２２と眼球２３との光軸が近い分だけ若干明るいため，都合上，光源群（１）３２が点灯した場合にビデオカメラ２１で撮影される眼球２３の瞳孔像をブライトアイ，光源群（２）３３が点灯した場合にビデオカメラ２１で撮影される眼球２３の瞳孔像をダークアイとして考える。
【０００５】ビデオカメラ２１で撮影された眼球２３の映像を画像処理装置２４で輝度データに変換し，画像差分手段２５は図３の光源群（１）３２が点灯した場合のブライトアイ及び光源群（２）３３が点灯した場合のダークアイの２種類の映像の輝度データの差分を行い，その結果を計算機２６が解析して眼球２３の特徴点を検出する。
【０００６】図３の光源群（１）３２の点灯によって図２のビデオカメラ２１で撮影できる眼球２３の瞳孔像の映像であるブライトアイと光源群（２）３３の点灯によってビデオカメラ２１で撮影できる眼球２３の瞳孔像の映像であるダークアイの様に光源群（１）３２と光源群（２）３３の点灯によって瞳孔像の明るさに差があるために輝度データに差が生じるが，眼球２３の外側の肌の部分や白目部分等の輝度データは眼球２３に照射する赤外線等の光の光量が光源群（１）３２と光源群（２）３３と同じである場合にはほぼ等値である。この現象を利用して，画像差分手段２５が光源群（１）３２が点灯した場合にビデオカメラ２１が眼球２３を撮影した映像の輝度データと光源群（２）３３が点灯した場合にビデオカメラ２１で撮影した眼球２３の映像の輝度データの差分を行うことによって眼球２３の外側の肌の部分や白目部分等の瞳孔像以外の部分の差分値は０に近い値になるために瞳孔像との区別ができ，眼球２３の特徴点を検出することができる。
【０００７】この様に従来技術による眼球特徴点の検出は図２の光源２２を図３に示す様に光源群（１）３２をビデオカメラ２１から眼球２３の光軸にできるだけ近いビデオカメラ２１のレンズ外周に接近した部分に配置し，光源群（２）３３をビデオカメラ２１から眼球２３の光軸から離し，ビデオカメラ２１のレンズ外周から離れた部分で光源群（１）３２の外側に配置し，交互に点灯させることによって眼球２３の瞳孔像をブライトアイ及びダークアイの２種類の異なった映像をビデオカメラ２１で撮影して，画像差分手段２５によって２種類の異なる眼球２３の瞳孔像の差分を行うことで，眼球２３の瞳孔像を周辺の背景と区別して眼球２３の特徴点を検出する方法である。
【０００８】
【発明が解決しようとする課題】図２に示される従来の光源及び画像差分手段を用いた眼球特徴点検出方式において，図１０はビデオカメラ２１の光軸上（レンズの中心位置からの延長線上）から光源２２までの距離に対するビデオカメラ２１で撮影した眼球２３の瞳孔像の明るさをグラフに示したものである。図１０によると光源２２とビデオカメラ２１の光軸との距離が０ｍｍの部分，すなわちビデオカメラ２１の光軸上に光源２２を配置した場合がビデオカメラ２１で撮影される眼球２３の瞳孔像が最も明るく，距離が３０ｍｍを越えると飽和してしまうために，それ以上は際だって暗くならないことがわかる。
【０００９】従って，図２の光源２２の構成を示してある図３の光源群（１）３２と光源群（２）３３の距離が離れていた場合でもビデオカメラ２１で撮影される眼球２３の瞳孔像の明るさの差は殆どない為に，光源群（１）３２及び光源群（２）３３を交互に点灯しても眼球２３の瞳孔像であるブライトアイ及びダークアイをビデオカメラ２１で撮影することは非常に困難であった。また，光源群（１）３２及び光源群（２）３３の光量を増加することによってビデオカメラ２１で撮影される眼球２３の瞳孔像であるブライトアイ及びダークアイの明るさの差は多少大きくなるが，この方法は極めて非効率的である。
【００１０】この発明は，以上の欠点を解決するために光源及び画像差分手段を用いた眼球特徴点検出方式において，最も効率的に眼球２３の瞳孔像であるブライトアイ及びダークアイを発生させて，瞳孔の面積や幅，角膜の位置，視線方向等の眼球２３の特徴点を正確に検出することを目的とする。
【００１１】
【課題を解決するための手段】この目的を達成するために，この発明は図１のビデオカメラ１から眼球３までの光軸上に一個の光源とビデオカメラ１から眼球３までの光軸上から偏心した位置に一個の合計二個の光量の等しい光源から構成される二光源２，二光源２の二個の光源を一定時間で交互点灯を行う光源制御装置７及び画像処理装置４から出力した輝度データを二光源２の二個の光源の点灯状態によって二種類の偶数フィールド及び奇数フィールドに分類し，二種類のフィールドの輝度データの差分を行う画像差分手段５を備えて，二光源２を構成するビデオカメラ１から眼球３までの光軸上に配置した光源が点灯することによって眼球３の瞳孔像であるブライトアイを最も効率的に発生させてビデオカメラ１で撮影し，ビデオカメラ１から眼球３までの光軸上から偏心した位置に配置した光源が点灯することによって眼球３の瞳孔像であるダークアイを最も効率的に発生させてビデオカメラ１で撮影することで，瞳孔の面積や幅，角膜の位置，視線方向等の眼球３の特徴点を正確に検出をする二光源及び画像差分手段を用いた眼球特徴点検出方式である。
【００１２】
【発明の実施の形態】この発明による二光源及び画像差分手段を用いた眼球特徴点検出方式における装置構成を図１，図４，図５，図７により説明する。図１はこの発明による二光源及び画像差分手段を用いた眼球特徴点検出方式における装置構成を一例に示したもので，１はビデオカメラ，２は二光源，３は眼球，４は画像処理装置，５は画像差分手段，６は計算機，７は光源制御装置である。図４の（Ａ）は図１のビデオカメラ１から眼球３までの光軸上に配置された二光源２のうちの一個の光源が眼球３に赤外線等の光を照射した場合にビデオカメラ１に撮影される眼球３の映像の模様を図に示したもので，４１は輝度のサンプルライン，４２は瞳孔像，４３は角膜反射像である。（Ｃ）はビデオカメラ１から眼球３までの光軸上から少し偏心した位置に配置された二光源２のうちの一個の光源が眼球３に赤外線等の光を照射した場合にビデオカメラ１に撮影される眼球３の映像の模様を図に示したもので，４４は瞳孔像，４５は角膜反射像である。（Ｂ）は（Ａ）の輝度サンプルライン４１上の映像を画像処理装置４によって輝度データに変換し，輝度サンプルライン４１上の輝度と位置との関係をグラフにしたものであり，（Ｄ）は（Ｃ）の輝度サンプルライン４１上の映像を画像処理装置４によって輝度データに変換し，輝度サンプルライン４１上の輝度と位置との関係をグラフにしたものである。図５はビデオカメラ１で撮影される映像の説明図である。図７は図１の二光源２の構成図で，７１はビデオカメラ１のレンズ正面，７２は図１のビデオカメラ１から眼球３までの光軸上に配置してある光源（１），７３はビデオカメラ１から眼球３までの光軸上から偏心位置に配置してある光源（２）である。
【００１３】図１の二光源２の二個の光源を光源制御装置７によって１／６０秒の一定時間で交互に点灯を行うが，二光源２の二個の光源を交互に点灯させるタイミングはビデオカメラ１で撮影する映像に同期することが必要であるために，そのタイミングの情報は画像処理装置４によって提供される。尚，画像処理装置４から出力される１／６０秒のタイミング情報は通常ビデオカメラ１から出力される映像信号による映像画面の構成はインターレース方式であるため，図５の（Ａ）の様に偶数フィールドを１／６０秒で映像画面の左上端から右下端までを一ライン飛ばして表示し，次の１／６０秒で偶数フィールドが表示していない残りのラインの奇数フィールドを（Ｂ）の様に左上端から右下端までを表示して（Ｃ）で示される様に完全な一画面である一フレームを１／３０秒で完成させる。そのため光源制御装置７は画像処理装置４から出力される偶数または奇数フイールドのタイミングの情報によって，図７の光源（１）７２は偶数フィールドの表示時間である１／６０秒間点灯させ，光源（２）７３は奇数フィールドの表示時間である１／６０秒間点灯させる事ができ，ビデオカメラ１で撮影される眼球３の偶数フィールドまたは奇数フィールドの各フィールドの映像は二光源２の点灯する光源はそれぞれ一個であるために，二光源２が眼球３に赤外線等の光を照射する位置が異なり，眼球３の瞳孔像であるブライトアイ及びダークアイを発生させることができる。
【００１４】次に，図１の眼球３の映像をビデオカメラ１で撮影するが，ビデオカメラ１のレンズ中央の位置でビデオカメラ１から眼球３までの光軸上に配置してある図７の光源（１）７２が点灯して眼球３に赤外線等の光を照射した場合にはビデオカメラ１で撮影される眼球３の偶数フィールドの映像は図４の（Ａ）の様になり，輝度サンプルライン４１上での輝度と位置との関係をグラフに示すと（Ｂ）になる。また，ビデオカメラ１のレンズ中央より少し左下の位置でビデオカメラ１から眼球３までの光軸上から偏心位置に配置してある図７の光源（２）７３が点灯して眼球３に赤外線等の光を照射した場合にはビデオカメラ１で撮影される眼球３の奇数フィールドの映像は（Ｃ）の様になり，輝度サンプルライン４１上での輝度と位置との関係をグラフに示すと（Ｄ）になる。ビデオカメラ１によって撮影された眼球３の映像は画像処理装置４によって映像信号は輝度データに変換され，画像差分手段５は画像処理装置４によって変換された輝度データ及び偶数フィールドまたは奇数フィールドのタイミングの情報から同じ輝度サンプルライン４１上の位置の偶数フィールドの輝度データから奇数フィールドの輝度データの差分を行い，図４の（Ｅ）に示される輝度データの差分値を算出する。次に，予め決定してある差分値の閾値と目的の差分値を比較して，差分値が閾値以上の値の場合は１，差分値が閾値より小さい値の場合は０として差分値の補正を行い，図４の（Ｆ）に示される差分補正値を算出する。また，装置の動作の説明上，図４の輝度サンプルライン４１上の一ラインのみの説明であるが，実際は一フレーム全てのラインについてこの動作を繰り返し行う。
【００１５】この結果，図１の眼球３の瞳孔像の明るさは二光源２から照射する赤外線等の光の照射位置によって影響を受けるが，眼球３の外側の肌の部分や眼球３の白目部分等は極めて影響が少ないため，図４の（Ｆ）に示される輝度データの差分補正値によって眼球３の瞳孔像を容易に識別することができる。従って，計算機６は画像差分手段５から輝度データの差分補正値のデータを入力することによって瞳孔部分の面積や幅，角膜の位置，視線方向等の眼球３の特徴点を検出することができる。
【００１６】これによって二光源２の二ヶ所の光源が眼球３に照射した赤外線等の光の照射位置を変えることで眼球３の瞳孔像であるブライトアイ及びダークアイを最も効率的に発生させて，瞳孔部分の面積や幅，角膜の位置，視線方向等の眼球３の特徴点を正確に検出することが可能であることは明らかである。
【００１７】
【実施例】この発明による二光源及び画像差分手段を用いた眼球特徴点検出方式を実現した場合の一例を図１，図４，図６，図７，図８により説明する。図８は図１を実際に装置化した場合の構成図の一例で，８１は図１の画像差分手段５及び計算機６を実現するマイクロプロセッサー，８２はマイクロプロセッサー８１が動作する手順を書いたプログラムを記憶する記憶素子であるＲＯＭ，８３は図１のビデオカメラ１で撮影した眼球３の映像を入力して，画像信号に含まれる同期信号やフィールド信号の分離や輝度データの変換を行う画像処理回路，８４は図１の二光源２の二個の光源を交互に点灯させる光源制御回路，８５は図１の眼球３の撮影をするビデオカメラ，８６は図１の眼球３に赤外線等の光を照射する二光源，８７はマイクロプロセッサー８１が画像処理回路８３から入力する輝度データを読み込むタイミングクロックを発生するタイミング発生回路，８８はマイクロプロセッサー８１が計算結果等のデータを一時的に記憶するＲＡＭである。図６は図１の画像差分手段５を図８のマイクロプロセッサー８１で実現する場合の動作方法を示したフローチャートである。
【００１８】図８の画像処理回路８３はビデオカメラ８５で撮影している図１の眼球３の映像を入力して，映像信号に含まれる同期信号，フィールド信号及び輝度信号の分離を行い，輝度信号はマイクロプロセッサー８１が処理できるデータ形式である輝度データに変換する。ここでは同期信号は画像信号に含まれる垂直及び水平同期信号，フィールド信号は現在画像信号が偶数フィールド又は奇数フィールドのどちらを表示しているかを識別する信号，輝度データは映像のデータそのものを示す。そして画像処理回路８３はマイクロプロセッサー８１に垂直同期信号，輝度データ及びフィールド信号を，タイミング発生回路８７に同期信号を，光源制御回路８４にはフィールド信号をそれぞれに出力する。光源制御回路８４は画像処理回路８３からフィールド信号を入力して，偶数フィールドならば二光源８６の図７の光源（１）７２を点灯して，奇数フィールドならば二光源８６の図７の光源（２）７３を点灯する。タイミング発生回路８７は画像処理回路８３から垂直及び水平同期信号を入力して，マイクロプロセッサー８１が画像処理回路８３から輝度データを入力するタイミングクロックを発生させてマイクロブロセッサー８１に出力する。
【００１９】マイクロプロセッサー８１は画像処理回路８３からデータ読み込むタイミングクロックをタイミング発生回路８７から入力することによって，図１の画像差分手段５の処理の一部である偶数フィールドの輝度データと奇数フィールドの輝度データの差分を行う。マイクロプロセッサー８１はタイミング発生回路８７からタイミングクロックが入力されると図６の（Ａ）の６０Ａから処理を開始し，６１Ａでは画像処理回路８３からフィールド信号を入力して，６２Ａで偶数フィールドであるか識別する。偶数フィールドの場合には６３Ａで画像処理回路８３から偶数フィールドの輝度データを読み込んで，６４ＡでＲＡＭ８８に一時的に記憶する。また，奇数フィールドの場合には６５Ａで画像処理回路８３から奇数フィールドの輝度データを読み込んで，さらに６６ＡでＲＡＭ８８に一時的に記憶してある偶数フィールドのデータを読み出して，６７Ａで偶数フィールドの輝度データから奇数フィールドの輝度データの差分を行い，算出された差分値を６８ＡでＲＡＭ８８に再度一時的に記憶する。この時，偶数フィールドの輝度データは図４の（Ｂ），奇数フィールドの輝度データは（Ｄ），差分値は（Ｅ）に示す分布となる。
【００２０】次に，マイクロプロセッサー８１は画像処理回路８３から垂直同期信号を入力によって図１の画像差分手段５の処理の一部である差分値の補正を行う。この処理は差分値の閾値をあらかじめ決定しておき，差分値が閾値以上の場合には１，差分値が閾値より小さい場合には０として差分値の補正をする。マイクロプロセッサー８１は画像処理回路８３から垂直同期信号が入力されると図６の（Ｂ）の６０Ｂから処理を開始し，６１Ｂで図６の（Ａ）の処理が全て終了したかを判定する。偶数フィールドの処理であれば６８Ｂで全処理を終了して，奇数フィールドが終了した場合には６２Ｂで図６の（Ａ）の処理の結果である差分値を一時的に記憶してあるＲＡＭ８８から読み出して，あらかじめ決定してある閾値と比較するが，その値が閾値以上であれば６４Ｂで差分補正値を１，閾値より小さければ６５Ｂで差分補正値を０として，算出された差分補正値を６６ＢでＲＡＭ８８にさらに一時的に記憶する。次に，マイクロプロセッサー８１は６７Ｂで全差分値の補正が終了したかをチェックして，終了であれば６８Ｂで全処理を終了し，それ以外は６２Ｂに戻って全差分値の補正を終了するまで繰り返し実行する。
【００２１】これにより輝度サンプルライン４１上の一ラインの差分補正値は図４の（Ｆ）に示す分布になるため，差分補正値が１の部分は図１の眼球３の瞳孔像の映像，１が連続する差分補正値の中で一部に０の差分補正値が存在する部分は角膜反射像の映像，その他は瞳孔像周辺の背景部分の映像であることがわかる。この結果を利用してマイクロプロセッサー８１は図６の（Ｃ）に示す動作をすることによって，図１の眼球３の瞳孔部分の面積や幅，角膜の位置，視線方向等の眼球３の特徴点を検出する。
【００２２】この様に図１の二光源及び画像差分手段を用いた眼球特徴点検出方式を実現した一例である図８の装置では，二光源２の二ヶ所の光源が眼球３に照射した赤外線等の光の照射位置を変えて交互に点灯することで眼球３の瞳孔像であるブライトアイ及びダークアイを最も効率的に発生させ，瞳孔部分の面積や幅，角膜の位置，視線方向等の眼球３の特徴点を正確に検出することできる。
【００２３】
【発明の効果】この発明によれば，図１の眼球３をビデオカメラ１等の画像入力装置によって画像撮影を行い，視線方向，瞳孔や角膜等の眼球３の特徴点を検出する場合において，ビデオカメラ１から眼球３までの光軸上に一個の光源と光軸上から偏心した位置に一個の光源の合計二個の光量の等しい光源をビデオカメラ１の偶数フィールドと奇数フィールドの映像に同期して交互に点灯して眼球３に赤外線等の光の照射した場合には，眼球３の瞳孔像であるブライトアイ及びダークアイを最も効率的に発生させ，ビデオカメラ１で撮影された眼球３の偶数フィールドと奇数フィールドの映像に眼球３の瞳孔像のみの輝度データに大きな違いを発生させることができる。これによって画像差分手段５は偶数フィールドの輝度データと奇数フィールドの輝度データとの差分値及び差分補正値を算出することで，計算機６は視線方向，瞳孔や角膜等の眼球３の特徴点を検出する。これは眼球３をビデオカメラ１等の画像入力装置によって画像撮影を行い，視線方向，瞳孔や角膜等の眼球３の特徴点を検出する場合において，二光源２の二ヶ所の光源が眼球３に照射した赤外線等の光の照射位置を変えて交互点灯することで眼球３の瞳孔像であるブライトアイ及びダークアイを最も効率的に発生させて，瞳孔部分の面積や幅，角膜の位置，視線方向等の眼球３の特徴点を正確に検出することができる方法である。
|
| 【出願人】 |
【識別番号】５９６１８３０３３
【氏名又は名称】株式会社テクノワークス
|
| 【出願日】 |
平成９年（１９９７）８月１２日 |
| 【代理人】 |
|
| 【公開番号】 |
特開平１１−５６７８２ |
| 【公開日】 |
平成１１年（１９９９）３月２日 |
| 【出願番号】 |
特願平９−２５１２５３ |
|