トップ :: A 生活必需品 :: A61 医学または獣医学;衛生学




【発明の名称】 撮像装置
【発明者】 【氏名】中谷 広正

【氏名】阿部 圭一

【氏名】寺川 進

【氏名】宮川 厚夫
【要約】 【課題】撮像装置において、より正確に被観察部の大きさ及び形状を表示する。

【構成】撮像装置１は、レンズ１２を有し当該レンズ１２を介して被観察部の画像を撮像する撮像部１１と、被観察部の複数の点にレーザ光を照射するレーザ光照射手段を構成する光源２０及び光ファイバ１５と、レンズ１２の歪曲特性を示す情報に基づき、撮像された画像のレンズ１２による歪みを補正する補正部３２と、補正された画像における、照射されたレーザ光の各照射点の座標を検出する検出部３３と、検出された座標及びレーザ光の照射条件から、レーザ光の各照射点の三次元座標を導出する三次元座標導出部３４と、導出された三次元座標から各照射点の間の目盛りの画像上の座標を導出する所定点導出部３５と、画像の情報、及び画像上の目盛りの座標を示す情報を出力する出力部３６とを備える。
【特許請求の範囲】
【請求項１】
レンズを有し当該レンズを介して被観察部の画像を撮像する撮像手段と、
前記被観察部の複数の点にレーザ光を照射するレーザ光照射手段と、
予め記憶した前記レンズの歪曲特性を示す情報に基づき、前記撮像手段により撮像された画像の前記レンズによる歪みを補正する補正手段と、
前記補正手段により補正された画像における、前記レーザ光照射手段により照射されたレーザ光の各照射点の座標を検出する検出手段と、
前記検出手段により検出された前記座標、及び前記レーザ光の照射条件から、前記レーザ光照射手段により照射されたレーザ光の各照射点の三次元座標を導出する三次元座標導出手段と、
前記三次元座標導出手段により導出された三次元座標から前記各照射点の間の、所定の位置関係の点の三次元座標を導出して、導出された当該三次元座標から前記補正手段により補正された前記画像上の当該所定の位置関係の点の座標を導出する所定点導出手段と、
前記補正手段により補正された前記画像の情報、及び前記所定点導出手段により導出された当該画像上の前記所定の位置関係の点の座標を示す情報を出力する出力手段と、
を備える撮像装置。
【請求項２】
前記出力手段は、前記所定点導出手段により導出された当該画像に、前記所定の位置関係の点の座標の位置に目盛りを重畳して、当該重畳された画像を出力することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記検出手段は、前記補正手段により補正された画像における、予め設定された所定の範囲を探索することにより、前記座標を検出することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記所定点導出手段は、前記所定の位置関係の点を移動させる旨の情報の入力を受け付けて、当該入力に応じて前記所定の位置関係の点を移動させることを特徴とする請求項１〜３の何れか一項に記載の撮像装置。
【請求項５】
前記撮像手段は、内視鏡に含まれて構成されることを特徴とする請求項１〜４の何れか一項に記載の撮像装置。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、内視鏡等に適用される撮像装置に関する。
【背景技術】
【０００２】
医療用内視鏡においては、被観察部の画像から病変部の実際の大きさ、あるいは形状を得ることは医療手段の決定の判断材料として非常に重要である。しかしながら、通常、内視鏡の構成上、レンズによる歪みが発生して撮像された画像が歪み、またレンズから被観察部までの高精度な距離情報が得られないため、正確な大きさや形状が分からなかった。そのため、内視鏡の操作者や医師等は経験を元に表示された画像からその大きさや形状を推定していた。
【０００３】
被観察部の大きさや形状を正確に表示するため、例えば、下記の特許文献１では、レンズの像面湾曲特性を利用し、被観察部の凹凸等の形状に対応してピント合わせを行なうことを行っている。これにより、凹凸形状の高低情報を得ることができる。また、下記の特許文献２には、画像における所定の点からのスケール表示（同心円状、直行スケール等）を行うことができる点が記載されている。
【特許文献１】特開２００１−２６９３０６号公報
【特許文献２】特開２００２−１５３４２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された技術では、取得された画像が歪んでいるため、正確な形状は表示されない。また、特許文献２に記載された技術では、焦点距離に基づいてスケール表示がなされているので、必ずしも正確なスケールとなっているとはいえない。
【０００５】
本発明は、以上の問題点を解決するためになされたものであり、より正確に被観察部の大きさ及び形状を表示することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る撮像装置は、レンズを有し当該レンズを介して被観察部の画像を撮像する撮像手段と、被観察部の複数の点にレーザ光を照射するレーザ光照射手段と、予め記憶したレンズの歪曲特性を示す情報に基づき、撮像手段により撮像された画像のレンズによる歪みを補正する補正手段と、補正手段により補正された画像における、レーザ光照射手段により照射されたレーザ光の各照射点の座標を検出する検出手段と、検出手段により検出された座標、及びレーザ光の照射条件から、レーザ光照射手段により照射されたレーザ光の各照射点の三次元座標を導出する三次元座標導出手段と、三次元座標導出手段により導出された三次元座標から各照射点の間の、所定の位置関係の点の三次元座標を導出して、導出された当該三次元座標から補正手段により補正された画像上の当該所定の位置関係の点の座標を導出する所定点導出手段と、補正手段により補正された画像の情報、及び所定点導出手段により導出された当該画像上の所定の位置関係の点の座標を示す情報を出力する出力手段と、を備えることを特徴とする。
【０００７】
本発明に係る撮像装置では、撮像された画像からレンズによる歪みが除去されるので、より正確な形状を表示することができる。また、本発明に係る撮像装置では、レンズの歪みを補正した画像から、レーザ光の各照射点が検出される。当該検出されたレーザ光の各照射点から、各照射点の三次元座標が導出されて、更に各照射点の間の所定の位置関係の点の補正された画像上の座標が導出される。この点の座標は、レーザ光の照射点の三次元座標に基づいた被観察部の大きさを示す情報、主として目盛りの座標として用いることができる。これにより、本発明に係る撮像装置によれば、より正確に被観察部の大きさを表示することができる。
【０００８】
出力手段は、所定点導出手段により導出された当該画像に、所定の位置関係の点の座標の位置に目盛りを重畳して、当該目盛りが重畳された画像を出力することが望ましい。この構成によれば、目盛りが重畳された画像が表示されるので、被観察部の大きさが正確にわかるような画像表示を確実に行うことができる。
【０００９】
検出手段は、補正手段により補正された画像における、予め設定された所定の範囲を探索することにより、座標を検出することが望ましい。この構成によれば、効率的に照射点の検出を行うことができ、結果として本発明に係る撮像装置における処理を効率的に行うことができる。
【００１０】
所定点導出手段は、所定の位置関係の点を移動させる旨の情報の入力を受け付けて、当該入力に応じて所定の位置関係の点を移動させることが望ましい。この構成によれば、例えば目盛りを所望の場所に移動することができ、より容易に被観察部の大きさを認識させることが可能となる。
【００１１】
撮像手段は、内視鏡に含まれて構成されることが望ましい。この構成によれば、本発明の医療分野への応用をより容易に行うことができる。
【発明の効果】
【００１２】
本発明によれば、撮像された画像からレンズによる歪みが除去されるので、より正確な形状を表示することができる。また、本発明では、複数のレーザ光の各照射点の間の所定の位置関係の点の補正された画像上の座標が導出される。これにより、本発明によれば、レーザ光の照射点の三次元座標に基づいた被観察部の大きさを示す情報、主として目盛りの座標として用いることができるので、より正確に被観察部の大きさを表示することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面と共に本発明に係る撮像装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【００１４】
図１に本実施形態に係る撮像装置１を示す。撮像装置１は、人体等の生体内部の被観察部を撮像し、撮像した画像を表示する装置である。即ち、本実施形態に係る撮像装置１は、内視鏡に本発明を適用したものである。図１に示すように、撮像装置１は、生体に差し込まれて撮像を行うための内視鏡１０と、内視鏡１０の先端から照射されるビーム光を供給する光源２０と、内視鏡１０により撮像された画像を処理する情報処理装置３０と、画像を表示するモニタ４０とを備えて構成される。
【００１５】
内視鏡１０は、生体内に挿入できるように細長い形状をしており、その先端部１０ａに生体内部の被観察部を撮像するための撮像手段である撮像部１１を備えている。撮像部１１は、具体的には、内視鏡１０の先端部１０ａに被観察部に向くように位置決めして設けられたレンズ１２と、レンズ１２の決像位置に設けられたＣＣＤ（Charge Coupled Device Image Sensor）イメージセンサ等の撮像素子１３とを含んで構成される。撮像部１１により撮像された画像の情報は、内視鏡１０先端部１０ａとは逆側の端部に設けられるコネクタ１４においてケーブルにより内視鏡１０と接続された情報処理装置３０に出力される。
【００１６】
撮像部１１は、レンズ１２を介して被観察部の画像を撮像するため、レンズ１２による歪みが発生する。本実施形態では、撮像される画像は円形となるが、例えば、図２（ａ）に示す、格子状になるように点が配置されたテストパターンを撮像部１１により撮像すると、図２（ｂ）に示すように歪む。この歪みは、画像の中心から各点までの距離に対して、当該距離に対応する実際の距離の比率が均一にならず、画像の各点間で異なることにより発生する。
【００１７】
また、内視鏡１０は、撮像部１１により撮像される被観察部の複数の点にレーザ光を照射する。内視鏡１０のコネクタ１４には、上記した情報処理装置以外にも、光源２０が光学的に接続されている。この光源２０からレーザ光が内視鏡１０内部に配される光ファイバ１５に入力される。レーザ光は、当該光ファイバ１５を通って内視鏡１０の先端部１０ａにおける複数の出射点１５ａから出射される。図３に、内視鏡１０の先端部１０ａの正面を示す。図３に示すように、本実施形態では、内視鏡１０には、レーザ光の出射点１５ａが４つ設けられる（４本の光ファイバが内視鏡１０内に配される）。レーザ光は、その出射方向（光路）が撮像部１１（のレンズ１２）の光軸方向と平行になるように出射される。
【００１８】
内視鏡１０には更に、図３に示すように、生体内部において明るい状態で撮像が行えるようにするための照明１６や、生体内部に対しての処置を行うための鉗子を通す孔１７、生体内に水や空気を通す孔１８が設けられている（これらは図１では省略している）。
【００１９】
光源２０は、上述したように、被観察部に照射するためのレーザ光を供給する装置である。即ち、光源２０は、内視鏡１０及び内視鏡１０に含まれる光ファイバ１５と共に、被観察部の複数の点にレーザ光を照射するレーザ光照射手段を構成する。光源２０としては、具体的にはレーザダイオードを用いることができる。なお、光源２０は、出射点１５ａから出射されるレーザ光用の光源としてだけでなく、照明１６用の光源としても用いられてもよい。
【００２０】
情報処理装置３０は、内視鏡１０により撮像された画像を処理する装置である。情報処理装置３０は、内視鏡１０とケーブルにより接続されて内視鏡１０からの情報を受信できるようになっており、内視鏡１０の撮像部１１により撮像された画像の情報が入力される。情報処理装置３０は、具体的には、ＣＰＵ（Central Processing Unit）、メモリ等のハードウェアにより構成され、これらの構成要素が動作することにより、下記の情報処理装置３０の動作が実現される。図１に示すように、情報処理装置３０は機能的には、受信部３１と、補正部３２と、検出部３３と、三次元座標導出部３４と、所定点導出部３５と、出力部３６とを備えて構成される。
【００２１】
受信部３１は、内視鏡１０から出力される画像の情報を受信する手段である。受信部３１は、受信した画像の情報を補正部３２に出力する。
【００２２】
補正部３２は、内視鏡１０により撮像された画像に発生するレンズ１２による歪みを補正する補正手段である。補正部３２は、レンズ１２の歪曲特性を示す情報を記憶しておき、当該情報に基づいて歪みの補正を行う。レンズ１２の歪曲特性を示す情報とは、画像の二点間の距離に対する実際の距離の比率を示す情報であり、例えば、図４のグラフに示すようなものである。図４において、縦軸は画像上での画像の中心からの距離（画像の端までの距離を１として正規化している）を示しており、横軸は画像上の距離に対応した実際の距離（画像上での距離と同様に正規化している）を示している。図２や図４に示すように、レンズ１２の影響により、画像上の位置により、実際の距離よりも画像上での距離の方が長くなる。なお、補正部３２においては、レンズ１２の歪曲特性を示す情報として、必ずしも図４に示したグラフの情報を記憶している必要はなく、画像上での距離に対する実際の距離の情報を記憶しておけばよい。
【００２３】
補正部３２による画像の補正は、例えば、画像上の各位置に対して、画像上での距離から、レンズ１２の歪曲特性を示す情報を用いて実際の距離を導出して、導出された実際の距離の位置の画素に画像上での距離の位置にある画素の画素値（色彩）を与えることにより行われる。補正された画像の情報は、検出部３３及び出力部３６に出力される。
【００２４】
ここで、補正部３２により記憶されるレンズ１２の歪曲特性を示す情報を取得する方法の一例について説明する。まず、図２（ａ）に示すような、格子状に点（以下、パターン点と呼ぶ）が配置されたテストパターンを撮像装置１の撮像部１１により撮像する。撮像された画像は、図２（ｂ）に示すようにレンズ１２に歪曲特性に応じて歪む。撮像された画像上の距離と、それに対応するテストパターン上の距離とを計測することにより、レンズ１２の歪曲特性を示す情報が取得される。
【００２５】
図５を用いて、各距離の計測について説明する。図５（ａ）に示すように、まず、撮像した画像の中心点５０を求める。中心点５０は、円形の画像の端から等距離の点として求められる。次に、中心点５０から、何れかのパターン点５１の中央を通るように直線５２を引く。図５（ｂ）に示すように、（撮像したものでなく実際の）テストパターンでも画像の中心点５０に対応する中心点Ｏから、画像上のパターン点５１に対応するパターン点Ｐｍを通るように線を引く。
【００２６】
続いて、図５（ａ）に示すように、撮像した画像において、直線５２を挟むように位置する隣り合う二つパターン点５３の間に線分５４を引く。線分５４は、図５（ａ）に示すように、複数のパターン点５３の組の間で引かれる。このようにして引かれた直線５２と線分５４との間に交点５５ができるが、中心点５０から各交点５５までの距離を計測する。計測した距離は、半径（中心点５０から円周までの距離）で割る。即ち、中心点で０、画像の端（半径）で１になるように正規化する。
【００２７】
次に、図５（ｂ）に示す（撮像したものでなく実際の）テストパターンで各交点５５に対応する点Ｐｎ（ここで、Ｐｎは、中心点５０からｎ＋１番目（ｎは非負の整数）の交点５５に対応する点である）の距離を求める。この距離は実測してもよいが、全てを実測する必要はなく、一部の距離の実測に基づき計算で求めることができる。図５（ｂ）における中心点Ｏから点Ｐｎまでの距離Ｄｎは、次のように求められる。隣り合うパターン点間の実際の距離をｘｂとする。ここで、図５における距離ｘ０と、距離ｙｍとが分かれば、Ｄｍの値を求めることができる。なお、距離ｘ０は、中心点Ｏから、点Ｐ０に係るパターン点間を結ぶ線までの距離であり、距離ｙｍは、点Ｐ０に係るパターン点間を結ぶ線と垂直になるように中心点Ｏから引かれた線（図５（ｂ）における破線）からパターン点Ｐｍまでの距離である。
【００２８】
これらの値から三角形の相似の関係より、
Ｄｎ＝（ｘ０ ＋ ｎｘｂ）Ｄｍ／（ｘ０＋ ｍｘｂ）
が成り立ち、各点Ｐｎまでの距離Ｄｎを求めることができる。上記の方法で、例えば、十数の点について画像上の距離と実際の距離との対応関係の情報を得ることができ、それをレンズ１２の歪曲特性を示す情報とすることができる。
【００２９】
なお、レンズ１２の歪曲特性を示す情報を取得する方法については、例えば、特開昭６３−２４６７１６号公報に記載されている方法（同じ条件で平面上の正方のます目を撮っておき、この画像が正方になるような各画素における補正値を決めておく）を適用することとしてもよい。
【００３０】
検出部３３は、補正部３２により補正された画像における、内視鏡１０から被観察部に対して照射されたレーザ光の各照射点の座標を検出する検出手段である。検出される座標は、例えば、撮像部１１（のレンズ１２）の光学中心に相当する画像の中心を原点とした座標である。各照射点の座標の検出については、より詳細に後述する。検出された各照射点の座標を示す情報は、三次元座標導出部３４に出力される。
【００３１】
三次元座標導出部３４は、検出部３３により検出されたレーザ光の各照射点の座標、及びレーザ光の照射条件から、レーザ光の各照射点の三次元座標を導出する。導出に用いるレーザ光の照射条件としては、内視鏡１０におけるレーザ光の出射位置及び照射方向である。内視鏡１０におけるレーザ光の出射位置は、予め位置決めされているので、撮像部１１（のレンズ１２）の光学中心に対する位置（三次元座標）として予め三次元座標導出部３４に記憶されている。また、レーザ光の照射方向についても同様に予め定められているので、三次元座標導出部３４に記憶されている。三次元座標の導出については、より詳細に後述する。導出されたレーザ光の各照射点の三次元座標を示す情報は、所定点導出部３５に出力される。
【００３２】
所定点導出部３５は、三次元座標導出部３４により導出された三次元座標から各照射点の間の、所定の位置関係の点の三次元座標を導出して、導出された当該三次元座標から補正部３２により補正された画像上の当該所定の位置関係の点の座標を導出する所定点導出手段である。この各照射点の間の所定の位置関係の点とは、例えば、被観察部（例えば、臓器等）の大きさを知ることができる目盛りとなる点である。各照射点の間の所定の位置関係がどのようなものであるかは、所定点導出部３５に予め記憶されている。所定の位置関係の点の導出については、より詳細に後述する。導出された所定の位置関係の点を示す情報は、出力部３６に出力される。
【００３３】
出力部３６は、補正部３２により補正された画像の情報、及び所定点導出部３５により導出された当該画像上の所定の位置関係の点の座標を示す情報をモニタ４０に出力する出力手段である。モニタ４０に出力される際には、座標を示す情報は、補正部３２により補正された画像の情報に目盛りとして組み込まれて、一つの画像の情報として出力される。
【００３４】
モニタ４０は、情報処理装置３０から出力された画像の情報を画面表示する。ユーザは、モニタ４０を参照することにより、内視鏡１０により撮像された画像を見ることができる。以上が撮像装置１の構成である。
【００３５】
引き続いて、撮像装置１の動作について、図６のフローチャートを参照して説明する。この動作は、撮像装置１の内視鏡１０を生体の内部に挿入して、被観察部の撮像を行う際の動作である。まず、内視鏡１０から被観察部の複数の点にレーザ光を照射した状態にしておく（Ｓ０１）。
【００３６】
続いて、内視鏡１０の撮像部１１により被観察部の画像が撮像される（Ｓ０２）。撮像された画像の情報は、内視鏡１０から情報処理装置３０に出力される。情報処理装置３０では、受信部３１により当該画像の情報が受信される。画像の情報は、受信部３１から補正部３２に出力される。
【００３７】
続いて、補正部３２により、撮像部１１のレンズ１２の歪曲特性を示す情報に基づき、画像のレンズ１２による歪みが補正される（Ｓ０３）。歪みが補正された画像は、検出部３３と出力部３６とに出力される。
【００３８】
続いて、検出部３３により、歪みが補正された画像における、レーザ光の各照射点の（二次元）座標が検出される（Ｓ０４）。レーザ光の各照射点の座標の検出は、次のように行われる。まず、照射点の検出には、画像の全てを調べる必要はない。レーザ光の出射位置と撮像部１１（のレンズ１２）との位置関係、レーザ光の照射方向、及び撮像部１１（のレンズ１２）の光軸によって、照射点が存在する位置が制限される。本実施形態では、上述したようにレーザ光はその出射方向（光路）が撮像部１１（のレンズ１２）の光軸方向と平行になるように４本照射される。従って、図７に示すように、被観察部と内視鏡１０との位置関係に応じて、撮像部１１により撮像される画像における４本の線分６０上の何れかの点がレーザ光の照射点となる（被観察部が内視鏡１０の先端部１０ａに接近している程、照射点は画像上の端の方になる）。この線分６０が画像上のどの位置になるかは、予め検出して、検出部３３に設定しておくことができる。即ち、検出部３３は、補正部３２により補正された画像における線分６０等の予め設定された所定の範囲を探索することにより照射点の座標を検出する。
【００３９】
各照射点の座標の検出は、画像の濃淡情報を用いる。そのために、画素値をＲＧＢ（各２５６段階）から２５６段階の濃淡の情報に変換する。照射点の座標を検出するために、各画素の近傍で濃淡値の分散と、濃淡分布の類似度とを用いる。検出のために、ガウス分布等の照射点での濃淡分布のサンプルと、濃淡値の分散の閾値とを検出部３３に予め設定しておく。閾値の設定は、レーザ光の照射点では周囲の画素との濃淡値の大きな差が発生することによるものである。濃淡値の分散が設定した閾値よりも大きい画素の中で、サンプルと最大の濃淡分布類似度を持つ画素を照射点とする。なお、分散及び類似度は、二次元ではなく、図７に示した線分６０に沿って一次元で計算することができる。ここでの類似度としては、例えば、入力画像（補正部３２により補正された画像）と、濃淡分布のサンプルであるガウス分布との相関係数が用いられる。検出された各照射点の座標の情報は、三次元座標導出部３４に出力される。
【００４０】
なお、本実施形態に係る撮像装置１では、画像に照明１６の光の反射によるハイライトが生じる。このハイライトが照射点検出処理の妨げとなるので、ＲＧＢ成分のＧ又はＢの値が設定値以上の画素はハイライト部分として、ハイライト部分内の画素を照射点としないこととすることができる。また、照射点を検出するために撮像する際には、照明１６の光を照射しない制御をすることとしてもよい。
【００４１】
また、照射点の検出の際に、入力画像のノイズを除去するために平滑化を行うこととしてもよい。平滑化の方法としては、照射点の特徴を残すためにメディアンフィルタを使うものを用いるのがよい。メディアンフィルタは、画像の平滑化と特徴点の保持との両方を考慮し、例えば５×５画素の範囲で行う。
【００４２】
続いて、検出された画像上のレーザ光の各照射点の座標に基づいて、三次元座標導出部３４により、各照射点の三次元座標が導出される（Ｓ０５）。レーザ光の各照射点の三次元座標の検出について、図８の透視投影モデルを用いて説明する。ここで、三次元の各座標軸をｘ軸、ｙ軸及びｚ軸とする。ここで導出される照射点の三次元座標Ｐ（Ｘｐ，Ｙｐ，Ｚｐ）は、撮像部１１（のレンズ１２）の光学中心を座標系の原点Ｏとしたときの座標である。図８に示すように、ｚ軸方向を、撮像部１１（のレンズ１２）の光軸方向とする。また、三次元座標導出部３４により予め記憶されているレーザ光の出射位置をＬ（ＸＬ，ＹＬ，ＺＬ）する。また、画像上での照射点の三次元座標をｐ（ｘｐ，ｙｐ，ｆ）とする。ここで、ｆはレンズ１２の焦点距離である。なお、実際の撮像部１１では、レンズ１２を挟んで撮像対象と反対側にある画像面を、簡単のため図８では撮像対象側に描く。また、画像面上での照射点の三次元座標ｐ（ｘｐ，ｙｐ，ｆ）における（ｘｐ，ｙｐ）は、検出部３３により検出された（二次元）座標に対応するものである。なお、上記の各座標の値は、物理的な距離と対応付けられたものである。
【００４３】
このとき、原点Ｏとレーザ光の照射点Ｐ（Ｘｐ，Ｙｐ，Ｚｐ）とを結ぶ直線は、画像上での照射点の三次元座標ｐ（ｘｐ，ｙｐ，ｆ）を通るので、
ｘ／ｘｐ＝ｙ／ｙｐ＝ｚ／ｆ …（１）
で表される。また、レーザ光の出射位置Ｌ（ＸＬ，ＹＬ，ＺＬ）とレーザ光の照射点Ｐ（Ｘｐ，Ｙｐ，Ｚｐ）とを結ぶ直線は、
（ｘ−ＸＬ）／Ｂｘ＝（ｙ−ＹＬ）／Ｂｙ＝（ｚ−ＺＬ）／Ｂｚ …（２）
で表される。ここで、（Ｂｘ，Ｂｙ，Ｂｚ）はレーザ光の照射方向を示すベクトルであり、予め三次元座標導出部３４により予め記憶されている。（Ｂｘ，Ｂｙ，Ｂｚ）としては、設計により定まる値を用いてもよいし、予め撮像装置１の内視鏡１０の前方にスクリーン等を置き、スクリーンでの照射点とレーザ光の出射位置とから実験的に求められる値を用いてもよい。（スクリーンでの）レーザ光の照射点の座標を（Ｘｓ，Ｙｓ，Ｚｓ）とすると、
（Ｂｘ，Ｂｙ，Ｂｚ）＝（Ｘｓ−ＸＬ，Ｙｓ−ＹＬ，Ｚｓ−ＺＬ） …（３）
として求まる。
【００４４】
レーザ光の照射点Ｐ（Ｘｐ，Ｙｐ，Ｚｐ）は、上記の２直線（１），（２）の交点を以下のように計算することにより導出することができる。
Ｘｐ＝（Ｂｙ ＸＬ −Ｂｘ ＹＬ）ｘｐ／（Ｂｙ ｘｐ −Ｂｘ ｙｐ）
Ｙｐ＝（Ｂｙ ＸＬ −Ｂｘ ＹＬ）ｙｐ／（Ｂｙ ｘｐ −Ｂｘ ｙｐ） …（４）
Ｚｐ＝（Ｂｙ ＸＬ −Ｂｘ ＹＬ）ｆ／（Ｂｙ ｘｐ− Ｂｘｙｐ）
【００４５】
上記の導出の過程において、画像面上での照射点の三次元座標をｐ（ｘｐ，ｙｐ，ｆ）としたが、撮像した画像中から特定の画素の位置を、画素を単位として求めることは容易であるが、物理的な距離を単位として求めることは一般には容易ではない。（ｘｐ，ｙｐ）を物理的な距離を単位とすることが困難なときには、予め任意の点の（物理的な距離の）三次元座標を計測して、それを実際に撮影しておき、それらの値に基づいて上記の導出を行うこととすればよい。
【００４６】
任意の点の三次元座標を（Ｘｔ，Ｙｔ，Ｚｔ）とし、その点の画像面での位置が画像中心からｘ軸方向にｉｔ画素、ｙ軸方向にｊｔ画素であるとする。また、１画素あたりの物理的間隔が画像面上でｘ軸方向にｄｘ、ｙ軸方向にｄｙであるとする。このとき、上記の任意の点の画像面での三次元座標は（ｉｔｄｘ，ｊｔｄｘ，ｆ）で表すことができ、
Ｘｔ／（ｉｔｄｘ）＝Ｙｔ／（ｊｔｄｘ）＝Ｚｔ／ｆ …（５）
が成立する。また、式（４）で画像面上での照射点のｘｙ座標を表すｘｐ，ｙｐも同様に、
ｘｐ＝ｉｐｄｘ， ｙｐ＝ｊｐｄｙ …（６）
とすることができる。ここで、ｉｐ，ｊｐは画素を単位として画像面上での照射点の、それぞれｘ軸方向及びｙ軸方向の位置を表す。
【００４７】
式（５），（６）を用いれば、式（４）から式（７）が求まる。
Ｘｐ＝（ＢｙＸＬ−ＢｘＹＬ）ｉｐｊｔＸｔ／（ＢｙｉｐｊｔＸｔ−ＢｘｊｐｉｔＹｔ）
Ｙｐ＝（ＢｙＸＬ−ＢｘＹＬ）ｊｐｉｔＹｔ／（ＢｙｉｐｊｔＸｔ−ＢｘｊｐｉｔＹｔ）
Ｚｐ＝（ＢｙＸＬ−ＢｘＹＬ）ｉｔｊｔＺｔ／（ＢｙｉｐｊｔＸｔ−ＢｘｊｐｉｔＹｔ）
…（７）
式（７）の右辺から、物理的な距離を求めることが困難なｘｐ，ｙｐ，ｆが消え、全て実際に測定可能な変数（予め測定しておくものも含む）を用いて各照射点の三次元座標Ｐ（Ｘｐ，Ｙｐ，Ｚｐ）を導出することができる。上記が、レーザ光の各照射点の三次元座標の導出方法である。導出されたレーザ光の各照射点の三次元座標を示す情報は、所定点導出部３５に出力される。
【００４８】
続いて、所定点導出部３５により、導出された三次元座標から各照射点の間の、所定の位置関係の点の三次元座標が導出される（Ｓ０６）。また、導出された三次元座標から補正部３２により補正された画像上の当該所定の位置関係の点の座標が導出される。本実施形態においては、所定の位置関係の点とは目盛りとなる点である。図９に示すように、目盛りとなる点は、上記のように導出された２点の照射点の座標のうちの一方の点から他方の点に向かう線分上での一定の間隔毎の点である。この点が画像と共に表示されることによって、２点の照射点の間の実際の距離、即ち被観察部の実際の大きさを知ることができる。目盛りの間隔等の、どのような目盛りとなる点を導出するかについての情報は、予め所定点導出部３５に予め記憶されており、所定点導出部３５はその情報に基づいて導出を行う。
【００４９】
なお、目盛りとなる点を導出するための２つの照射点を結ぶ線分が、画像面と平行であれば、実空間で等間隔の目盛りは画像面でも等間隔であるので、１目盛り分の間隔で繰り返し目盛りとなる点を導出すればよい。しかし、図９に示すように、照射点間を結ぶ線分は画像面とは平行になるとは限らない。目盛りは実空間で等間隔であっても画像上では等間隔ではない。画像上での目盛りの位置を一つずつ計算する必要がある。
【００５０】
例えば、二つの照射点Ｐｓ（Ｘｓ，Ｙｓ，Ｚｓ）とＰｅ（Ｘｅ，Ｙｅ，Ｚｅ）との間に、Ｐｓを基点としてｕ間隔に目盛りＭｋ（ｋ＝０，１，２…）を表示させる。ｋ番目の目盛りの実空間での位置をＭｋ（Ｘｋ，Ｙｋ，Ｚｋ）とすると、
【数１】



となる。ここで、‖Ｐｅ−Ｐｓ‖は、２つの照射点間の距離である。これらから、Ｍｋ（Ｘｋ，Ｙｋ，Ｚｋ）の画像上での位置ｍｕ（ｘｋ，ｙｋ，ｚｋ）も以下のように導出することができる。
ｘｋ＝Ｘｋｆ／Ｚｋ
ｙｋ＝Ｙｋｆ／Ｚｋ …（９）
ｚｋ＝ｆ
即ち、画像上でのｋ本目の目盛りを画像上における（Ｘｋｆ／Ｚｋ，Ｙｋｆ／Ｚｋ）の位置に表示すればよい。
【００５１】
また、式（９）のように物理的な距離を単位とするのではなく、画素を単位として画像上の目盛りとなる点の位置を決めるのには次のようにすればよい。上述したように、任意の三次元座標（Ｘｔ，Ｙｔ，Ｚｔ）が既知の点を撮像することにより、式（５）から、
ｆ／ｄｘ＝ｉｔＺｔ／Ｘｔ …（１０）
ｆ／ｄｙ＝ｊｔＺｔ／Ｙｔ
が成立する。上記の点の三次元座標（Ｘｔ，Ｙｔ，Ｚｔ）と画像上での画素を単位とした座標（ｉｔ，ｊｔ）から、ｆ／ｄｘ及びｆ／ｄｙが求まる。従って、ｋ本目の目盛りの画像上の座標（Ｘｋｆ／Ｚｋ，Ｙｋｆ／Ｚｋ）をｘ軸方向及びｙ軸方向それぞれ１画素あたりの物理的間隔ｄｘ、ｄｙを用いて画素単位（ｉｋ，ｊｋ）で表すと、
ｉｋ＝Ｘｋｆ／（Ｚｋｄｘ）＝ＸｋｉｔＺｔ／（ＺｋＸｔ） …（１１）
ｊｋ＝Ｙｋｆ／（Ｚｋｄｙ）＝ＹｋｊｔＺｔ／（ＺｋＹｔ）
となる。即ち、画像上でｋ本目の目盛りを画素単位で（ＸｋｉｔＺｔ／（ＺｋＸｔ），ＹｋｊｔＺｔ／（ＺｋＹｔ））の位置に表示すればよい。上記のように導出された、画像上の目盛りの点の座標を示す情報は、所定点導出部３５から出力部３６に出力される。
【００５２】
続いて、出力部３６では、所定点導出部３５により導出された点の座標の位置に目盛りが、補正部３２により補正された画像の情報に表示されるように、目盛りが画像に重畳されて（組み込まれて）、当該画像の情報がモニタ４０に出力される。モニタ４０では、情報処理装置３０から出力された情報に係る画像が画面表示される（Ｓ０７）。このように、目盛りが重畳された画像を出力することとすれば、被観察部の大きさが正確にわかるような画像表示を確実に行うことができる。図１０に画面表示された例を示す。図１０に示すように、４つの各照射点７１の間に線分が引かれて、その線分上に目盛り７２が表示される。図１０に示す例では、１目盛りが実際の距離にして１ｍｍである。
【００５３】
また、各点について三次元座標が求められているので、各点の撮像部１１（のレンズ１２）からの距離を表示することができる。図１０に示す例では、４つの各照射点７１の撮像部１１（のレンズ１２）からの距離を表示している。
【００５４】
また、目盛り表示は、操作者であるユーザから撮像装置１への入力を出力部３６が受け付けて、当該入力に基づいて行われてもよい。当該入力としては、例えば、「目盛りを今表示せよ」、「ここに目盛りを表示せよ」及び「目盛りの種類を変えろ」等の指示が行えるものとする。また、当該入力は、操作者であるユーザが内視鏡の操作等の手作業を行えるように、例えば、撮像装置１に接続されたフットスイッチ等の入力インターフェースにより行われることが好ましい。
【００５５】
上述したように、本実施形態に係る撮像装置１では、撮像された画像がレンズ１２による歪みを除去されるので、より正確な形状を表示することができる。また、本実施形態に係る撮像装置１では、レンズ１２の歪みを補正した画像においてレーザ光の各照射点の間に、被観察部の実際の大きさを示す目盛り点を表示することができる。これにより、本実施形態に係る撮像装置１によれば、より正確に被観察部の大きさを表示することができる。
【００５６】
また、本実施形態のように撮像部１１を内視鏡１０に含まれて構成される形態とすれば、医療分野への応用がより簡易に行うことができる。本実施形態の上記の効果により、例えば、これまで医者の経験に頼っていた患部の大きさの把握が容易になり、定量的な観察が可能になる。
【００５７】
なお、上述した実施形態では、目盛りの点は例えば１ｍｍ刻み等予め設定された位置に固定的に表示されていたが、目盛りの点を移動できるようにしてもよい。目盛りの点の移動は、例えば、以下のように行われる。情報処理装置３０にキーボードやマウス等のユーザからの入力インターフェースを用意しておく。当該入力インターフェースによりユーザから目盛りを移動させる旨の情報の入力があると、所定点導出部３５がその入力を受け付け、その入力に応じて目盛りとなる点の移動を行う（移動に応じて、目盛りとなる点の座標を再度導出する）。例えば、二つの照射点の間に二つの目盛りを用意しておき、二つの目盛りを、上記の移動により、それぞれ患部等の対象物の端と端とに合せることにより、当該対象物の大きさを測れるようにしておくのがよい。この構成によれば、例えば目盛り点を所望の場所に移動することができ、より容易に被観察部の大きさを認識させることが可能となる。
【００５８】
上述した本実施形態に係る撮像装置１では、レーザ光の照射点間での目盛りを表示するものであったが、下記のように（一つの）照射点に目盛りを表示させることができる。図１１に示すように、表示したい目盛りの間隔をｕとするとき、ｕが画像上で何画素に対応するかが分かればよい。
【００５９】
レーザ光の照射点Ｐ（Ｘｐ，Ｙｐ，Ｚｐ）を通り画像面と平行な平面（ｚ＝Ｚｐ）の線分は、画像面（ｚ＝ｆ）では長さはｆ／Ｚｐ倍に縮小される。従って、ｕｆ／Ｚｐ間隔で目盛りを表示すればよい。また、
【数２】



であるので、ｆが不明であっても、例えば、
【数３】


を使って、
（画像面上での照射点までの距離）／（光軸から照射点までの距離）
の縮尺で目盛りを表示すればよい。
【００６０】
また、画像上での物理的な距離が不明であっても、画素を単位として目盛りを表示することができる。このときには、目盛りを表示したい方向により縮尺は異なる。実空間でθの方向の目盛りを書きたいならば、ｘ軸成分ｕcosθｆ／Ｚｐｄｘ（画素）、ｙ軸成分ｕsinθｆ／Ｚｐｄｙ（画素）の間隔で目盛りを表示すればよい。また、ｆ／ｄｘあるいはｆ／ｄｙが不明であっても、ｘ軸成分、ｙ軸成分共に、
（画像面上での照射点までの画素数）／（光軸から照射点までの画素数）
の縮尺で目盛りを表示すればよい。
【００６１】
図１２に、画像上のレーザ光の照射点の周囲に目盛り表示をした例を示す。図１２（ａ）は、直行する２方向に表示した例、図１２（ｂ）は、同心円状に表示した例である。
【００６２】
また、上述した実施例では、人体等の生体の内部を撮像する内視鏡１０を用いるものとしたが、他のものに対しても応用することができる。例えば、プラント、流体装置その他生産設備の配管内を撮像する欠陥検出装置に利用することができる。このように人間の目では、外部からは確認することができない、あるいは確認できても精度が十分でないような場合に、画像により直接的に欠陥等を定量的かつ精度よく検出することができる。これにより、設備等の破損、事故、異常停止等に対する予防、予知などのメンテナンスの向上に役立てることができる。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施形態に係る撮像装置の構成を示す図である。
【図２】テストパターンと、テストパターンに発生した歪みとを示した図である。
【図３】内視鏡の先端部の正面を示す図である。
【図４】レンズの歪曲特性を示す情報を示したグラフである。
【図５】レンズの歪曲特性を導出する際に撮像したテストパターンと、テストパターン上での距離を示した図である。
【図６】本発明の実施形態における撮像装置での処理を示すフローチャートである。
【図７】撮像され歪みが補正された画像におけるレーザ光の照射点となりうる範囲を示した図である。
【図８】レンズの光学中心、レーザ光の照射点及び画像上の照射点等の関係を示した図である。
【図９】照射点間の目盛りを示した図である。
【図１０】照射点間の目盛りが入れられた画像を示す図である。
【図１１】照射点の周囲の目盛りを示した図である。
【図１２】照射点の周囲の目盛りが入れられた画像を示す図である。
【符号の説明】
【００６４】
１…撮像装置、１０…内視鏡、１１…撮像部、１２…レンズ、１３…撮像素子、１４…コネクタ、１５…光ファイバ、２０…光源、３０…情報処理装置、３１…受信部、３２…補正部、３３…検出部、３４…三次元座標導出部、３５…所定点導出部、３６…出力部、４０…モニタ。
【出願人】 【識別番号】３０４０２３３１８
【氏名又は名称】国立大学法人静岡大学
【識別番号】５０４３００１８１
【氏名又は名称】国立大学法人浜松医科大学
【出願日】 平成１８年９月４日（２００６．９．４）
【代理人】 【識別番号】１０００８８１５５
【弁理士】
【氏名又は名称】長谷川 芳樹

【識別番号】１０００９２６５７
【弁理士】
【氏名又は名称】寺崎 史朗

【識別番号】１００１０８２５７
【弁理士】
【氏名又は名称】近藤 伊知良

【識別番号】１００１２４８００
【弁理士】
【氏名又は名称】諏澤 勇司

【識別番号】１００１２８１０７
【弁理士】
【氏名又は名称】深石 賢治
【公開番号】 特開２００８−６１６５９（Ｐ２００８−６１６５９Ａ）
【公開日】 平成２０年３月２１日（２００８．３．２１）
【出願番号】 特願２００６−２３９４７２（Ｐ２００６−２３９４７２）