| 【発明の名称】 |
歩行支援装置 |
| 【発明者】 |
【氏名】高橋 保文
|
| 【要約】 |
【課題】距離画像を高速にリアルタイムに取得することができ、また、日中、夜間に限られず距離画像を取得することができる歩行支援装置を提供する。
【構成】本体11は、パルス変調された近赤外光を撮像対象空間に照射し、撮像対象空間内から反射されてくる反射光を時間分割して撮像することにより、撮像対象空間内に存在する物体の3次元位置を表す距離画像を取得した後、取得された距離画像に基づき、前記撮像対象空間内の物体の3次元位置をステレオ音響として表した空間音響データを生成する。ヘッドフォン12は、骨伝導式のヘッドフォンであり、本体11に着脱自在に接続され、本体11から送られた空間音響データに基づいてユーザの聴覚にステレオ音響を伝達する。 |
【特許請求の範囲】
【請求項1】 パルス変調された光を撮像対象空間に照射し、前記撮像対象空間内から反射されてくる光を時間分割して撮像することにより、前記撮像対象空間内に存在する物体の3次元位置を表す距離画像を取得する距離画像取得手段と、 前記距離画像取得手段によって取得された距離画像に基づき、前記撮像対象空間内の物体の3次元位置をステレオ音響として表した空間音響データを生成する空間音響データ生成手段と、 前記空間音響データ生成手段によって生成された空間音響データに基づいてユーザの聴覚にステレオ音響を伝達する音響伝達手段と、 を備えたことを特徴とする歩行支援装置。 【請求項2】 前記光は、近赤外光であることを特徴とする請求項1記載の歩行支援装置。 【請求項3】 前記空間音響データ生成手段は、前記撮像対象空間内の物体をそれぞれ音源として仮定して、前記空間音響データを作成することを特徴とする請求項1または2記載の歩行支援装置。 【請求項4】 前記音響伝達手段は、骨伝導方式のヘッドフォンであることを特徴とする請求項1ないし3いずれか記載の歩行支援装置。 【請求項5】 前記距離画像取得手段および前記空間音響データ生成手段は、1つの筐体に収められており、前記ヘッドフォンは前記筐体に着脱自在に接続されることを特徴とする請求項4記載の歩行支援装置。 【請求項6】 前記撮像対象空間内から物体情報を取得したい領域を選択可能とする操作手段を備え、前記空間音響データ生成手段は、前記操作手段からの指示信号に応じて前記空間音響データを生成する領域を切り替えることを特徴とする請求項1ないし5いずれか記載の歩行支援装置。
|
【発明の詳細な説明】【技術分野】 【0001】 本発明は、視覚障害者の歩行を支援する歩行支援装置に関し、特に、前方の様子(障害物の有無)を視覚障害者に認識させる歩行支援装置に関する。 【背景技術】 【0002】 視覚障害者が単独で歩行する際には一般に白杖が用いられているが、視覚障害者は白杖が届く範囲の極近傍の様子しか認識することができず、白杖が届く範囲より先の様子を事前に認識することができないため、障害物等に対する対応が遅れ、安全を十分に確保することが困難であった。 【0003】 この問題を解決するために、特許文献1では、視覚障害者の前頭部に装着される多眼ステレオカメラにて前方の空間を撮像し、その空間内に存在する物体の3次元位置(距離画像)を求め、その距離画像に基づき、空間内に存在する各物体の方向と距離とを、触覚表示装置や空間情報聴覚化装置を介して視覚障害者に伝達するようにした歩行支援装置が提案されている。また、これに類似した歩行支援装置が特許文献2,3に開示されている。 【特許文献1】特開2002−65721号公報 【特許文献2】特開2003−23699号公報 【特許文献3】特開2005−143892号公報 【発明の開示】 【発明が解決しようとする課題】 【0004】 特許文献1〜3に記載された従来の歩行支援装置は、いずれも多眼ステレオカメラを用いて距離画像の取得を行っており、多眼ステレオカメラによって撮影された複数の撮影画像から距離画像を得るには、各画素について視差を算出するために、各撮影画像の特徴点抽出と対応点認識とを行う必要がある。このため、距離画像の取得には、多大な処理時間が要され、視覚障害者に対してリアルタイムに情報が伝達されない可能性があり、安全性が危惧される。 【0005】 また、多眼ステレオカメラでは、夜間などの光量の不足する状況下においては距離画像の取得が困難であるため、上記の歩行支援装置の使用は、日中もしくは、照明が十分に整備された場所に限られる。 【0006】 本発明は、上記課題を鑑みてなされたものであり、距離画像を高速にリアルタイムに取得することができ、また、日中、夜間に限られず距離画像を取得することができる歩行支援装置を提供する歩行支援装置を提供することを目的とする。 【課題を解決するための手段】 【0007】 上記目的を達成するために、本発明の歩行支援装置は、パルス変調された光を撮像対象空間に照射し、前記撮像対象空間内から反射されてくる光を時間分割して撮像することにより、前記撮像対象空間内に存在する物体の3次元位置を表す距離画像を取得する距離画像取得手段と、前記距離画像取得手段によって取得された距離画像に基づき、前記撮像対象空間内の物体の3次元位置をステレオ音響として表した空間音響データを生成する空間音響データ生成手段と、前記空間音響データ生成手段によって生成された空間音響データに基づいてユーザの聴覚にステレオ音響を伝達する音響伝達手段と、を備えたことを特徴とする。 【0008】 なお、前記光は、近赤外光であることが好ましい。また、前記空間音響データ生成手段は、前記撮像対象空間内の物体をそれぞれ音源として仮定して、前記空間音響データを作成することが好ましい。また、前記音響伝達手段は、骨伝導方式のヘッドフォンであることが好ましい。 【0009】 また、前記距離画像取得手段および前記空間音響データ生成手段は、1つの筐体に収められており、前記ヘッドフォンは前記筐体に着脱自在に接続されることが好ましい。 【0010】 さらに、前記撮像対象空間内から物体情報を取得したい領域を選択可能とする操作手段を備え、前記空間音響データ生成手段は、前記操作手段からの指示信号に応じて前記空間音響データを生成する領域を切り替えることが好ましい。 【発明の効果】 【0011】 本発明の歩行支援装置は、パルス変調された光を撮像対象空間に照射し、撮像対象空間内から反射されてくる光を時間分割して撮像することにより、撮像対象空間内に存在する物体の3次元位置を表す距離画像を取得するので、距離画像を高速にリアルタイムに取得することができる。これにより、ユーザは、歩行支援装置からリアルタイムに情報を取得することができ、安全性が向上する。また、光の照射を行うため、日中、夜間に限られず距離画像を取得することができる。 【0012】 また、照射する光を近赤外光とすることにより、外光に影響されず正確に距離画像を取得することができる。また、音響伝達手段として骨伝導方式のヘッドフォンを用いることにより、ユーザは、通常の鼓膜を介した聴覚が阻害されず、歩行支援装置により物体認識を行いながらも周囲の音を通常通り認識することができる。さらに、撮像対象空間内から物体情報を取得したい領域を選択可能とする操作手段を設けることにより、利便性が向上する。 【発明を実施するための最良の形態】 【0013】 図1において、本発明の第1実施形態に係わる歩行支援装置10は、直方形の筐体からなる本体11と、本体11に着脱自在に接続される骨伝導方式のヘッドフォン12とからなる。本体11の前面に、赤外(IR)光を所定空間に向けて射出するための窓13が設けられており、窓13の下には、該所定空間から反射された反射光を受光するためのレンズ14が設けられている。窓13の奥には、IR発光部31(図2参照)が設けられており、レンズ14の奥にはIR受光部33(図2参照)が設けられている。また、本体11の上面には、電源のオン/オフ操作を行うための電源ボタン15と、ヘッドフォン12のプラグ16が着脱自在に装着されるコネクタ17が設けられている。さらに、本体11の背面上部には、環状のネックストラップ18が取り付けられるストラップ取り付け部19が設けられている。 【0014】 ヘッドフォン12は、ユーザの頭部に装着されるU字型のアーム部20と、アーム部20の両端部に設けられた一対の骨伝導スピーカ21と、後述する空間音響データを骨伝導スピーカ21に伝達するためのケーブル22とからなる。ケーブル22の先端には、前述のプラグ16が設けられている。骨伝導スピーカ21は、本体11から送信される空間音響データを振動として、空気や鼓膜を介さずに、骨(特に、頭骨)から直接聴覚神経に伝導させるものである。骨伝導スピーカ21の構成は周知であり、基本的には、ヨーク、マグネット、ボイスコイル、および振動板を備えて構成され、ボイスコイルに電気信号を供給してヨークを振動させ、振動板を振動させるものである。 【0015】 図2は、本体11の内部の電気的構成を示す。制御部30には、電源ボタン15が接続されている。制御部30は、電源ボタン15によって起動され、各部を統括的に制御する。IR発光部31は、IR光(例えば、波長850nmの近赤外光)を発する光源31aと、光源31aから発せられたIR光をパルス状に変調する変調器31bとから構成されており、パルス状のIR光(以下、IRパルスと称す)を、上記の窓13を介して撮像対象空間32向けて射出する。なお、光源31aは、LED(発光ダイオード)などからなる。また、変調器31bは、KDP結晶などからなる電気光学変調器や、音響光学変調器、液晶シャッタ、高速メカシャッタなどからなる。 【0016】 レンズ14は、撮像対象空間32中の物体によって反射されたIRパルスの反射光を集光し、IR受光部33に導く。IR受光部33は、変調器33aとイメージセンサ33bとからなる。変調器33aは、変調器31bと同様に、KDP結晶などからなる電気光学変調器や、音響光学変調器、液晶シャッタ、高速メカシャッタなどからなり、所定の時間間隔の間に入射した光のみを通過させる。イメージセンサ33bは、CCD型やCMOS型の2次元イメージセンサであり、変調器33aを通過した光を撮像する。イメージセンサ33bは、可視光をカットし、IR光のみを入射させる光学フィルタ(図示せず)を備えており、画素ごとの受光量に応じた電圧信号からなる撮像信号を出力する。なお、イメージセンサ33bは、IR光のみを受光する撮像素子であるため、可視光を分光するためのカラーフィルタは備えていない。 【0017】 撮像信号は、イメージセンサ33bから画素ごとにシリアルに出力される。A/D変換器34は、イメージセンサ33bから出力された撮像信号を、所定ビット数のデジタル信号に変換して、デジタル化された画像データ(グレースケールの静止輝度画像)を画像メモリ35に入力する。イメージセンサ33bの撮像は複数回繰り返し行われ、画像メモリ35は、A/D変換器34をから入力される複数フレームの画像データを順次に記憶する。 【0018】 距離画像生成回路36の説明を行う前に、いわゆるTOF(Time of Flight)技術に基づき発光側の変調器31bおよび受光側の変調器33aを駆動するタイミングについて説明を行う。図3は、変調器31b,33aをそれぞれ駆動するための駆動パルスを示す。駆動パルス40は、光源31aから発せられたIR光をパルス状に変調するために、制御部30から変調器31bに入力される駆動信号であり、変調器31bは、信号レベルがHighの状態にあるときIR光を通過させ、信号レベルがLowの状態にあるときIR光を遮蔽して通過させない。また、駆動パルス41は、IRパルスの反射光を時間選択的にイメージセンサ33bに入射させるために、制御部30から変調器33aに入力される駆動信号であり、変調器33aは、信号レベルがHighの状態にあるとき反射光を通過させ、信号レベルがLowの状態にあるとき反射光を遮蔽して通過させない。 【0019】 駆動パルス40,41のパルス幅をほぼ等しくし、このパルス幅をTとする。また、駆動パルス40に対する駆動パルス41の遅延時間をτとする。1撮像期間中には、例えば図4に示すように、本体11から所定の距離範囲内(DMIN〜DMAX)に位置する物体42b,42cからの反射光が変調器33aを通過してイメージセンサ33bに入射され、該範囲外の物体42a,42dからの反射光は変調器33aによって遮蔽される。ここで、光速をcとすると、DMIN=cτ/2、DMAX=c(τ+T)/2と表される。 【0020】 前述の制御部30は、図5に示すようなタイミングで、変調器31b,33aおよびイメージセンサ33bを駆動し、遅延時間τを変更しながら繰り返し撮像動作を実行する。第1撮像期間では、遅延時間をτ1として撮像動作を行い、続く第2撮像期間では、遅延時間をτ2と変更して撮像動作を行う。符合42を付した期間は、イメージセンサ33bが電子シャッタによって制御されて受光(撮像)を行う期間であり、変調器33aが駆動パルス41によって駆動され、反射光を通過させる期間にほぼ等しく設定されている。なお、遅延時間τは、τ1(初期値)、τ2(=τ1+T)、τ3(=τ2+T)、・・・と、撮像期間が切り替わるたびに順に、駆動パルス40のパルス幅Tを加算していくことが好ましく、こうすることで、撮像対象空間32内から反射されてくる光を時間分割して順に撮像することができる。このようにして、反射光の到達時間、つまり本体11からの距離に応じて分割された撮像対象空間32内の各画像データが順に画像メモリ35に記録される。 【0021】 図2に戻り、距離画像生成回路36は、画像メモリ35に記録された複数の画像データを合成し、撮像対象空間32内に存在する物体の3次元位置を表す距離画像を生成して、これを空間音響データ生成回路37に入力する。 【0022】 空間音響データ生成回路37は、距離画像生成回路36によって生成された距離画像をステレオ音響として表した空間音響データを生成する。この空間音響データは、出力インターフェース(I/F)38およびコネクタ17を介してヘッドフォン12に入力される。ヘッドフォン12は、入力された空間音響データに基づいて一対の骨伝導スピーカ21を個別に振動させ、ユーザの聴覚に音を伝達させる。空間音響データとは、距離画像内の各物体がそれぞれ音響を発する音源であると仮定したときに、その音響がユーザの左右の聴覚に伝達されたときの波形、強度、時刻などを計算して作成された音響データである。ユーザは、左右の聴覚に伝達されるステレオ音響効果により、物体がどの方向に、かつ、どの程度の距離位置に存在するかを認識することができる。さらに、ユーザが物体の大きさや種類を認識することができるように、空間音響データの作成の際に、物体の大きさや種類に応じて音源が発する音の大きさや音色を変えることも好ましい。この空間音響データの作成方法は、特開2002−65721号公報により詳しく開示されている。 【0023】 次に、以上のように構成された歩行支援装置10の具体的な利用形態を説明する。図6に示すように、本体11は、窓13およびレンズ14が設けられた前面側が進行方向を向くように、ネックストラップ18によってユーザ(視覚障害者)50の首から吊り下げられている。ヘッドフォン12は、骨伝導スピーカ21が耳の下に位置するように、アーム部20を介してユーザ50の頭部に装着され、骨伝導スピーカ21は、ケーブル22によって本体11と接続されている。また、ユーザ50は、歩行支援装置10とは別に、杖51を補助的に使用している。 【0024】 ユーザ50が電源ボタン15を操作すると、本体11が起動し、IR発光部31から窓13を介してIRパルスが前方の撮像対象空間32(領域32a〜32dからなる)に向けて射出され、撮像対象空間32内の物体から反射された反射光がレンズ14を介して所定のタイミングでIR受光部33に受光される。窓13から射出されたIRパルスは、一点鎖線52にて示す指向方向を中心として均等に角度θだけ開いた範囲内を放射状に伝搬する。この範囲は、IR受光部33の視野範囲とほぼ一致している。 【0025】 撮像対象空間32は、領域32a〜32dに区分されている。領域32a〜32dは、視野範囲を本体11からの距離に応じて区分けした領域であり、前述のTOF技術により、各領域32a〜32dが順に撮像される。まず、第1撮像期間では、変調器33aを制御し、領域32aから反射される反射光のみがIR受光部33に取り込まれ、領域32aの画像データが画像メモリ35に生成される。同様な動作が撮像期間ごとに繰り返し行われ、第2撮像期間では領域32b、第3撮像期間では領域32c、第4撮像期間では領域32dの各画像データが画像メモリ35に生成される。なお、撮像対象空間32の区分数や区分する領域の距離範囲は、適宜変更してよい。 【0026】 画像メモリ35に生成された各画像データは、距離画像生成回路36により距離画像に合成される。この距離画像は、空間音響データ生成回路37によって前述の空間音響データに変換され、ヘッドフォン12へ出力される。ヘッドフォン12は、ヘッドフォン12は、入力された空間音響データに基づいて左右の骨伝導スピーカ21を個別に振動させ、ユーザ50の聴覚にステレオ音響の伝達を行う。ユーザ50は、左右の聴覚に伝達されるステレオ音響効果により、物体がどの方向に、かつ、どの程度の距離位置に存在するかを認識することができる。これにより、ユーザ50は、同図に示すような物体53など(壁、天井、柱、地面の凹凸なども含む)を事前に認識することができる。また、この物体認識は、骨伝導式のヘッドフォン12によって行われるため、ユーザ50の通常の聴覚(鼓膜を介した聴覚)が阻害されることはない。ユーザ50は、物体認識を行いながらも周囲の音を通常通り認識することができる。 【0027】 次に、図7に、本発明の第2実施形態に係わる歩行支援装置60を示す。歩行支援装置60の本体61は、その下部に、後述する領域指示信号を受信するための受信部62を備える以外は、上記第1実施形態の本体11と同一であるため、各部には同一の符号を付している。また、本体61には、上記第1実施形態と同一のヘッドフォン12が接続される。 【0028】 図8は、上記の杖51に代えて、ユーザ50に補助的に使用される杖63を示す。杖63の端部には、本体61の受信部62へ領域指示信号を無線送信するための送信部64が設けられており、杖62の端面には、送信部64に領域指示信号を与えるための操作部65が設けられている。領域指示信号は、前述の撮像対象空間32から物体情報を取得したい領域を指示するための信号である。操作部65には、物体情報の取得領域を選択するための選択ボタンとして、左領域選択ボタン65a、中央領域選択ボタン65b、右領域選択ボタン65c、および全領域選択ボタン65dが設けられている。 【0029】 図9は、本体61の内部の電気的構成を示す。受信部62が制御部30に接続されていること以外は、上記第1実施形態の本体11と同一であるため、各部には同一の符号を付している。受信部62は、杖63の操作部65に対する操作(ボタン65a〜65dのうちのいずれかの押下)に応じて生成される領域指示信号を、送信部64を介して受信する。 【0030】 制御部30は、受信部62から入力される領域指示信号に応じて空間音響データ生成回路37を制御する。空間音響データ生成回路37は、距離画像から空間音響データを作成する際に物体認識を行う空間を、領域指示信号に応じて切り替える。図10は、歩行支援装置60を装着したユーザ50を上方から俯瞰した様子を示している。撮像対象空間32は、水平方向に、左から順に、左領域66a、中央領域66b、右領域66cと3分割されている。各領域66a〜66cは、上記のボタン65a〜65cにそれぞれ対応し、左領域選択ボタン65aの押下時には左領域66a、中央領域選択ボタン65bの押下時には中央領域66b、右領域選択ボタン65cの押下時には右領域66cがそれぞれ選択される。また、全領域選択ボタン65dの押下時には撮像対象空間32の全体が選択される。空間音響データ生成回路37は、距離画像内の物体のうち、その選択領域内の物体のみを音源と想定して空間音響データを作成する。作成された空間音響データは、同様に、ヘッドフォン12を介してユーザ50の聴覚に伝達される。 【0031】 本発明の第2実施形態により、ユーザ50は、杖63を使用しながら操作部65を操作することで、知りたい方向の物体情報を選択的に取得することができ、利便性が向上する。さらに、撮像対象空間32を上下方向に分割し、各分割領域を操作部により選択可能とすることで、利便性をさらに高めることができる。なお、操作部は、杖に限られず、本体に設けてもよい。 【0032】 上記第1および第2実施形態では、撮像対象空間32に照射する光として赤外光(特に、波長が850nm前後の近赤外光)を用いている。この理由は、赤外光は外光中にあまり存在しない波長の光であるので、外光に影響されず良好な距離画像が得られるためである。しかし、本発明はこれに限定されるものでなく、他の波長の光を用いることも可能である。 【0033】 また、上記第1および第2実施形態では、図5のように、発光側の変調パルス幅と、受光側の変調パルス幅と、受光期間をとそれぞれ等しくしているが、本発明はこれに限定されず、受光側の変調パルス幅および受光期間を、発光側の変調パルス幅より長く設定してもよい。 【0034】 また、上記第1および第2実施形態では、光源31aから発せられた光を変調器31bを用いてパルス変調しているが、本発明はこれに限定されず、光源31aを駆動する信号を変調することにより、変調器31bを設けずに直接パルス変調を行うことも可能である。 【0035】 また、上記第1および第2実施形態では、撮像対象空間32内の所定領域からの反射光を正確に捕らえるために、高速にシャッタ動作を行う変調器33bを介して受光を行っているが、本発明はこれに限定されず、変調器33bを設けず、イメージセンサ33bが備える電子シャッタの動作のみで受光制御を行ってもよい。 【0036】 また、上記第1および第2実施形態では、空間音響データ生成回路37は、距離画像内の各物体をそれぞれ音源と仮定して空間音響データの作成を行っているが、本発明はこれに限定されず、ユーザを音源と仮定し、距離画像内の各物体から反射される音がユーザにどのように聞こえるのかを計算することによって空間音響データの作成を行ってもよい。 【0037】 また、上記第1および第2実施形態では、ネックストラップ18を用いて本体11,61をユーザに装着しているが、本発明はこれに限定されず、ベルトなどの他の方法を用いて装着してもよい。 【0038】 また、上記第1および第2実施形態では、骨伝導方式のヘッドフォン12を用いているが、本発明はこれに限定されず、空気振動により音を伝達する通常のヘッドフォンを用いることも可能である。 【図面の簡単な説明】 【0039】 【図1】本発明の第1実施形態に係わる歩行支援装置を示す外観斜視図である。 【図2】本体内部の電気的構成を示すブロック図である。 【図3】発光側および受光側の変調パルスを示すタイミング図である。 【図4】1撮像期間における撮像範囲を示す図である。 【図5】連続した撮像期間における変調器およびイメージセンサの駆動タイミングを示すタイミング図である。 【図6】歩行支援装置の利用形態を示す図である。 【図7】本発明の第2実施形態に係わる歩行支援装置を示す外観斜視図である。 【図8】操作部および送信部を備えた杖を示す外観斜視図である。 【図9】本体内部の電気的構成を示すブロック図である。 【図10】撮像対象空間の分割領域を示す図である。 【符号の説明】 【0040】 10 歩行支援装置 11 本体 12 ヘッドフォン 13 窓 14 レンズ 21 骨伝導スピーカ 30 制御部 31 IR発光部 31a 光源 31b 変調器 32 撮像対象空間 33 IR受光部 33a 変調器 33b イメージセンサ 33b 変調器 34 A/D変換器 35 画像メモリ 36 距離画像生成回路 37 空間音響データ生成回路 60 歩行支援装置 61 本体 62 受信部 63 杖 64 送信部 65 操作部
|
| 【出願人】 |
【識別番号】306037311 【氏名又は名称】富士フイルム株式会社
|
| 【出願日】 |
平成18年8月18日(2006.8.18) |
| 【代理人】 |
【識別番号】100075281 【弁理士】 【氏名又は名称】小林 和憲
【識別番号】100095234 【弁理士】 【氏名又は名称】飯嶋 茂
【識別番号】100117536 【弁理士】 【氏名又は名称】小林 英了
|
| 【公開番号】 |
特開2008−43598(P2008−43598A) |
| 【公開日】 |
平成20年2月28日(2008.2.28) |
| 【出願番号】 |
特願2006−223432(P2006−223432) |
|