トップ :: A 生活必需品 :: A61 医学または獣医学;衛生学

【発明の名称】 医用ガイド装置
【発明者】 【氏名】川島 知直

【氏名】生熊 聡一

【氏名】小幡 里織

【氏名】小室 雅彦
【要約】 【課題】ガイド画像がもう少し硬性部と可撓部とを動かせば胆嚢等臓器のリアルタイム画像上での描出ができるという目印になり、術者がプローブの硬性部と可撓部との操作がしやすい医用ガイド装置を提供する。

【構成】体腔内に挿入される体腔内プローブとしての超音波内視鏡２の先端には超音波のエコー信号を取得する超音波振動子アレイ２９が設けられている。エコー信号からリアルタイム画像としての超音波断層像が生成される。ガイド画像作成回路は、３次元画像とリアルタイム画像の位置及び配向を示す画像指標とを合成し、画像指標によって分けられる２つの領域の表示形態を変化させるガイド画像を生成する。
【特許請求の範囲】
【請求項１】
被検体内の画像を作成するための信号を取得する画像信号取得手段を設けたプローブと、
前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、
人体の３次元データから前記人体の３次元画像を作成する３次元画像作成手段と、
前記３次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、
を備えた医用ガイド装置において、
前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段、
を具備し、
前記ガイド画像作成手段は、前記３次元画像と前記画像指標とを合成し、前記画像指標によって分けられる前記３次元画像の２つの領域の表示態様を、互いに変化させて前記ガイド画像を作成することを特徴とする医用ガイド装置。
【請求項２】
前記表示態様は、輝度もしくは明度もしくは彩度もしくは表示色であることを特徴とする請求項１に記載の医用ガイド装置。
【請求項３】
被検体内の画像を作成するための信号を取得する画像信号取得手段を設けたプローブと、
前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、
人体の３次元データから前記人体の３次元画像を作成する３次元画像作成手段と、
前記３次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置若しくは配向をガイドするガイド画像を作成するガイド画像作成手段と、
を備えた医用ガイド装置において、
前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段を具備し、
前記ガイド画像作成手段は、前記３次元画像と前記画像指標とを合成し、前記画像指標によって分けられる前記３次元画像の２つの領域のうち、一方を非表示にして前記ガイド画像を作成することを特徴とする医用ガイド装置。
【請求項４】
前記ガイド画像作成手段は、前記３次元画像のうち前記画像指標上の部分の輝度若しくは明度若しくは彩度若しくは表示色をそれ以外の表示部分とは変化させて前記ガイド画像を作成することを特徴とする請求項３に記載の医用ガイド装置。
【請求項５】
前記画像信号取得手段と位置関係を固定された画像位置配向検出用素子と、
前記被検体に接触可能な被検体検出用素子と、
前記画像位置配向検出用素子の位置と配向と、前記被検体検出用素子の位置もしくは配向とを検出し、検出値として出力する検出手段と、
を設け、
前記ガイド画像作成手段は、前記検出手段が出力した検出値を基に前記ガイド画像を作成することを特徴とする請求項１から請求項４のいずれか１つの請求項に記載の医用ガイド装置。
【請求項６】
前記プローブは、前記被検体の体腔内へ挿入される体腔内プローブであることを特徴とする請求項１から請求項４のいずれか１つの請求項に記載の医用ガイド装置。
【請求項７】
前記画像指標作成手段は、前記画像指標を透過可能にして作成することを特徴とする請求項１から請求項４のいずれか１つの請求項に記載の医用ガイド装置。
【請求項８】
前記ガイド画像作成手段は、前記被検体から撮像された３次元データから臓器もしくは脈管を抽出する抽出手段を有し、
前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する３次元画像を作成し、前記３次元画像を基に前記ガイド画像を作成することを特徴とする請求項１から請求項４のいずれか１つの請求項に記載の医用ガイド装置。
【請求項９】
前記画像信号取得手段は、前記被検体内を撮像して映像信号を出力する撮像素子であり、
前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする請求項１から請求項４のいずれか１つの請求項に記載の医用ガイド装置。
【請求項１０】
前記画像信号取得手段は、前記被検体内に超音波を送受信してエコー信号を出力する超音波振動子であり、
前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする請求項１から請求項４のいずれか１つの請求項に記載の医用ガイド装置。
【請求項１１】
前記画像位置配向検出用素子と前記被検体検出用素子とは磁場発生器もしくは磁場検出器であり、
前記検出手段は、磁場を用いて前記検出を行うことを特徴とする請求項５に記載の医用ガイド装置。
【請求項１２】
被検体の体腔内へ挿入され、前記体腔内への挿入側先端に前記被検体内の画像を作成するための信号を取得する画像信号取得手段を設けたプローブと、
人体の３次元データから前記人体の３次元画像を作成する３次元画像作成手段と、
前記３次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、
を備えた医用ガイド装置において、
前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、
前記画像信号取得手段と位置関係が固定された画像位置配向検出用素子と、
前記被検体に接触可能な被検体検出用素子と、
前記画像位置配向検出用素子の位置と配向と、前記被検体検出用素子の位置もしくは配向とを検出し、検出値として出力する検出手段と、
前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段と、
前記画像作成手段が作成した前記被検体内の前記リアルタイム画像と、前記ガイド画像作成手段が作成した前記ガイド画像とを、対比可能に表示する表示手段と、
を具備し、
前記表示手段は、前記人体の前記３次元画像の頭側が右に、足側が左に、腹側が前記表示手段の画面手前の法線方向になるよう、前記ガイド画像を表示することを特徴とする医用ガイド装置。
【請求項１３】
前記ガイド画像作成手段は、前記被検体から撮像された３次元データから臓器もしくは脈管を抽出する抽出手段を有し、
前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する３次元画像を作成し、前記３次元画像を基に前記ガイド画像を作成することを特徴とする請求項１２に記載の医用ガイド装置。
【請求項１４】
前記画像信号取得手段は、前記被検体内を撮像して映像信号を出力する撮像素子であり、
前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする請求項１２に記載の医用ガイド装置。
【請求項１５】
前記画像信号取得手段は、前記被検体内に超音波を送受信してエコー信号を出力する超音波振動子であり、
前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする請求項１２に記載の医用ガイド装置。
【請求項１６】
前記画像位置配向検出用素子と前記被検体検出用素子とは磁場発生器もしくは磁場検出器であり、
前記検出手段は、磁場を用いて前記検出を行うことを特徴とする請求項１２に記載の医用ガイド装置。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、体腔内に挿入される体腔内プローブを用いて体腔内を診断等する医用ガイド装置に関する。
【背景技術】
【０００２】
従来より、内視鏡、超音波内視鏡、細径超音波プローブなど、消化管、胆膵管、血管などの体腔内へ挿入して、診断、治療に用いる体腔内プローブが周知である。これら体腔内プローブは通常、先端にＣＣＤカメラなどの撮像素子や超音波振動子を先端に設けている。
そして、これら体腔内プローブは、撮像素子や超音波振動子から得られた信号から光学像や超音波断層像を作成するプロセッサと一体となった体腔内プローブ装置として用いられることが通例である。
さらに、近年、これら体腔内プローブを目的部位まで容易に到達するよう補助するためにナビゲーション機能を備えた医用ガイド装置が公知である。
【０００３】
このうち、第１の従来例としての特開２００４−１１３６２９号公報で開示されている医用ガイド装置は、被検体に超音波を送受して得られる超音波信号により、超音波画像を生成する超音波診断装置であり、超音波を送受する部位の位置を検出するための超音波走査位置検出手段と、超音波信号を基に超音波画像を生成する超音波画像生成手段と、超音波走査位置検出手段により得られる位置情報に対応する被検体の部位の解剖学的な画像情報を、ガイド画像としての人体の模式図データを有する画像情報保持手段より取得し超音波画像と同一の画面に表示させる制御手段と、を備えている。
この医用ガイド装置では、超音波画像がリアルタイム画像として表示される。
【０００４】
また、この医用ガイド装置では、実際の位置情報検出には磁場を発生する送信コイルと磁場を受信する受信コイルとが用いられており、このうち、あるコイルは体腔内プローブとしての超音波内視鏡の挿入端に設けられ、あるコイルは被検体に装着される。このため、この医用ガイド装置では被検体の姿勢を検出して、超音波を送受する被検体の部位の位置を検出することができる。
一方、第２の従来例としての特開２００２−３０６４０３号公報で開示されている医用ガイド装置は、内視鏡の挿入形状を検出し、挿入形状を描出する映像信号を得る内視鏡装置であり、予め被検体のＣＴスキャンにて３次元領域の連続するスライス断層像から被検体の３次元画像を生成する画像生成手段と、挿入形状と挿入形の周囲の被検体の３次元画像とを合成して表示する表示手段と、を設けている。
【０００５】
この医用ガイド装置では、内視鏡像がリアルタイム画像として表示される。
また、この医用ガイド装置では、実際の挿入形状検出には、内視鏡の可撓管に充填されたγ線を放射する放射性物質と、γ線吸収により発光するシンチレータと受光素子とを組み合わせた底部検出部と垂直検出部と、が用いられている。
【特許文献１】特開２００４−１１３６２９号公報
【特許文献２】特開２００２−３０６４０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、従来例においては、ガイド画像を作成するガイド画像作成手段が人体の３次元画像とプローブに設けられた画像信号取得手段によるリアルタイム画像の位置と配向とを示す画像指標とを合成し、この画像指標によって分けられる３次元画像の２つの領域の表示態様を、互いに変化させてガイド画像を作成することができなかった。
【０００７】
そのため、術者は、可撓部と硬性部とをさらにどう動かしたら、患部等の関心領域をリアルタイム画像上に表示できるかわかりにくく、プローブの可撓部と硬性部との操作をしにくい。特に、胆嚢のように被検体内部で柔らかく動きやすい臓器は画像指標上には写っていながら、リアルタイム画像上には写らない可能性がある。
【０００８】
（発明の目的）
本発明は、上述した点に鑑みてなされたもので、ガイド画像がもう少し硬性部と可撓部とを動かせば胆嚢等臓器のリアルタイム画像上での描出ができるという目印になり、術者がプローブの硬性部と可撓部との操作がしやすい医用ガイド装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、被検体内の画像を作成するための信号を取得する画像信号取得手段を設けたプローブと、
前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、
人体の３次元データから前記人体の３次元画像を作成する３次元画像作成手段と、
前記３次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、
を備えた医用ガイド装置において、
前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段と、
を具備し、
前記ガイド画像作成手段は、前記３次元画像と前記画像指標とを合成し、前記画像指標によって分けられる前記３次元画像の２つの領域の表示態様を、互いに変化させて前記ガイド画像を作成することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、表示態様を変化させてガイド画像を作成するため、術者は、可撓部と硬性部とをさらにどう動かしたら、患部等の関心領域をリアルタイム画像上に表示できるかわかりやすく、体腔内プローブの可撓部と硬性部との操作をしやすい。
特に、胆嚢のように被検体内部で柔らかく動きやすい臓器は画像指標上には写っていながら、リアルタイム画像上には写らない可能性があるが、本構成によってガイド画像は、術者がもう少し硬性部と可撓部とを動かせば胆嚢のリアルタイム画像上での描出ができるという目印になるため、術者には、体腔内プローブの硬性部と可撓部との操作がしやすい。
また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の体位に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の３次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。
【００１１】
また、本発明によれば、画像指標によって分けられる２つの領域のうち、一方を非表示にしてガイド画像を作成したため、臓器が術者のガイド画像の観察の邪魔になることなく、このガイド画像とリアルタイム画像との対比を一層しやすい。
また、被検体は内視鏡検査では通常左側臥位での体位で検査される。本発明によれば、ガイド画像も左側臥位で表示されるので、被検体とガイド画像とを対比しやすく、術者はガイド画像がわかりやすい。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の各実施例を説明する。
【実施例１】
【００１３】
図１から図２１を参照して本発明の実施例１を説明する。図１は本発明の実施例１の体腔内プローブ装置の構成を示し、図２は体表検出用コイルを使用例で示し、図３は体腔内接触プローブを示し、図４は画像処理装置の構成を示し、図５は参照画像記憶部内に記憶される参照画像データを示す。
図６は、ボクセル空間を示し、図７は位置・配向データを表すために送信アンテナ上に原点を設定した直交基底を示し、図８は被検体側の超音波断層像の中心をボクセル空間へ写像する説明図を示し、図９は被検体側の体腔内特徴点をボクセル空間へ写像する説明図を示し、図１０は画像指標作成回路により画像指標データが作成される様子を示す。
【００１４】
図１１は挿入形状作成回路により作成される挿入形状データが作成される様子を示し、図１２は３次元人体画像データを示し、図１３は合成回路により画像指標データと挿入形状データとが合成メモリ内のボクセル空間に埋められていく様子を示し、図１４は被検体の腹側から観察した場合の３次元ガイド画像データを示し、図１５は被検体の足側から観察した場合の３次元ガイド画像データを示す。
図１６は表示装置に表示される３次元ガイド画像及び超音波断層像を示し、図１７は本実施例の全体的な処理内容をフローチャートで示し、図１８は図１７における参照画像上での体表特徴点、体腔内特徴点指定処理の具体的な処理内容をフローチャートで示し、図１９は図１７における補正値算出処理の具体的な処理内容をフローチャートで示し、図２０は図１９における処理の説明図を示し、図２１は図１７における超音波断層像・３次元ガイド画像作成／表示処理の具体的な処理内容をフローチャートで示す。
【００１５】
まず、本発明の実施例１に係る体腔内プローブ装置１の構成を説明する。
図１に示すように実施例１の体腔内プローブ装置１は、体腔内プローブとしての電子ラジアル走査型の超音波内視鏡２と、光学観察装置３と、超音波観測装置４と、位置配向算出装置５と、送信アンテナ６と、体表検出用コイル７と、体腔内接触プローブ８と、Ａ／Ｄユニット部９と、画像処理装置１１と、マウス１２と、キーボード１３と、表示装置１４とからなり、これらは信号線で接続されている。
体腔内プローブ装置１の外部にはＸ線３次元ヘリカルＣＴ装置(X-ray 3 dimentional computer tomography system)１５、３次元ＭＲＩ装置(3 dimentional magnetic resonance imaging system)１６と、それらを接続した光通信やＡＤＳＬ等の高速のネットワーク１７がある。Ｘ線３次元ヘリカルＣＴ装置１５、３次元ＭＲＩ装置１６とは、ネットワーク１７経由で本体腔内プローブ装置１の画像処理装置１１と接続している。
【００１６】
超音波内視鏡２は、食道、胃、十二指腸などの体腔内に挿入できるよう、先端のステンレス等の硬質な材料で構成された硬性部２１と、硬性部２１より後端側に可撓性のある材料で構成された長尺の可撓部２２と、可撓部２２より後端側（手前側）に硬質な材料で構成された操作部２３とを有する。なお、硬性部２１と可撓部２２は、体腔内に挿入される挿入部を形成する。
硬性部２１には、以下のように光学的に撮像して画像信号を取得する画像信号取得手段が、硬性部２１に固定して設けてある。
硬性部２１には、カバーガラスで形成された光学観察窓２４が設けてあり、この光学観察窓２４の内側に光学像を結ぶ対物レンズ２５と、その結像位置に配置された撮像素子として、例えばＣＣＤ(charge coupled device)カメラ２６とが設けてある。また、この光学観察窓２４に隣接して、体腔内に照明光を照射する図示しない照明光照射窓（照明窓）が設けられている。
【００１７】
ＣＣＤカメラ２６は、光学観察装置３と信号線２７で接続されている。図示しない照明光照射窓は照明光を照射し、体腔内を照明するよう構成されている。体腔表面の像は、光学観察窓２４から対物レンズ２５を経由してＣＣＤカメラ２６に結像され、ＣＣＤカメラ２６からのＣＣＤ信号は信号線２７を経由して光学像のリアルタイム画像を生成する画像作成手段としての光学観察装置３へ出力される。
また、この硬性部２１には音響的に撮像して画像信号としてエコー信号を取得する画像信号取得手段も、硬性部２１に固定して設けてある。
硬性部２１における例えば円柱状の先端部分は、短冊状に細かく切断され、挿入軸の周囲に環状でアレイ状に配列させた超音波振動子群が設けてあり、この超音波振動子群で超音波振動子アレイ２９が形成されている。
超音波振動子アレイ２９を構成する各超音波振動子２９ａはそれぞれ信号線３０を介して操作部２３経由で超音波によるリアルタイム画像を生成する画像作成手段としての超音波観測装置４と接続されている。超音波振動子アレイ２９の環の中心は、後述するラジアル走査による超音波ビームの旋回中心である。
【００１８】
ここで、硬性部２１に固定された正規直交基底(各方向の単位ベクトル)Ｖ、Ｖ3、Ｖ12を図１のように定義する。
つまり、Ｖは硬性部２１の長手方向（挿入軸方向）と平行で、後述するように、このＶは超音波断層像の法線方向ベクトルとなる。このベクトルＶに直交するＶ3は、３時方向ベクトル、そしてＶ12は、１２時方向ベクトルである。
硬性部２１内には、超音波振動子アレイ２９に対する画像位置配向検出用素子としての画像位置配向検出用コイル３１が超音波振動子アレイ２９の環の中心のごく近傍に固定して設けてある。画像位置配向検出用コイル３１は、ベクトルＶ及びＶ3の２つの方向（軸）を指向するように、２軸方向に巻かれたコイルが一体に形成され、ベクトルＶ及びＶ3の両方向を検出できるように設定されている。
【００１９】
可撓部２２内には、超音波内視鏡２における挿入部を構成するこの可撓部２２の挿入形状を検出するため、挿入軸に沿って、例えば一定間隔で複数の挿入形状検出用コイル３２が設けてある。
図１に示すように、挿入形状検出用コイル３２は、１軸方向に巻かれたコイルで、その巻線軸方向が可撓部２２の挿入軸方向と一致するよう可撓部２２内部に固定されている。なお、硬性部２１は、上記画像位置配向検出用コイル３１の位置から検出できる。
従って、挿入形状検出用素子は、より正確には硬性部２１内に設けた画像位置配向検出用コイル３１と可撓部２２内に設けられた挿入形状検出用コイル３２とから構成される。 なお、挿入形状を検出するための挿入形状検出用素子としての複数の挿入形状検出用コイル３２は、例えば可撓部２２の先端側部分のみに設け、超音波内視鏡２の挿入部の先端側部分の挿入形状を検出するようにしても良い。
【００２０】
本実施例においては、挿入形状検出用素子として複数の挿入形状検出用コイル３２を採用することにより、磁場を利用して挿入形状の検出を行う。これにより、挿入形状検出のために、術者及び患者（被検体）が放射線被爆を受けないようにできる。
可撓部２２の先端付近には、湾曲自在の湾曲部が設けられることが多く、この湾曲部付近のみに複数の挿入形状検出用コイル３２を設けるようにしても良い。
画像位置配向検出用コイル３１の位置及び配向等を検出する検出手段を構成する位置配向算出装置５は、送信アンテナ６と、Ａ／Ｄユニット部９を構成する複数のＡ／Ｄユニット９ａ、９ｂ、９ｃと、挿入形状作成手段、３次元画像作成手段、合成手段、画像指標作成手段等を内蔵した画像処理装置１１と信号線で接続されている。
このうち、位置配向算出装置５と画像処理装置１１とは、例えばRS-232C規格のケーブル３３で接続されている。
送信アンテナ６は、巻線軸の配向の異なる複数の図示しない送信コイルにより構成され、これらの送信コイルは例えば直方体の筐体の中に一体に収納されている。複数の送信コイルは、それぞれ位置配向算出装置５に接続されている。
【００２１】
Ａ／Ｄユニット９ｉ（ｉ＝ａ〜ｃ）は、入力されるアナログ信号を増幅する図示しないアンプと、増幅された信号をサンプリングしてデジタルデータへ変換する図示しないアナログデジタル変換回路とからなる。
Ａ／Ｄユニット９ａは、画像位置配向検出用コイル３１と、複数の挿入形状検出用コイル３２の各々と、個別に信号線３４で接続されている。
Ａ／Ｄユニット９ｂは、長尺の体腔内接触プローブ８と信号線３５で接続されている。 Ａ／Ｄユニット９ｃは、複数の体表検出用コイル７の各々と個別に信号線３６で接続されている。
なお、図１及び後述する図４の各矢印線は以下の通りの信号、データの流れを示す。
【００２２】
（ａ）第１：点線は光学像に関わる信号・データの流れ、
（ｂ）第２：破線は超音波断層像に関わる信号・データの流れ、
（ｃ）第３：実線は位置に関わる信号・データやそれを加工して作成されたデータの流れ、
（ｄ）第４：一点鎖線は参照画像データやそれを加工して作成されたデータの流れ、
（ｅ）第５：太線は超音波断層像データ(後述)と、３次元ガイド画像データ(後述)とを合成した最終的な表示画面に関わる信号・データの流れ、
（ｆ）第６：流曲線はそれ以外の制御に関わる信号・データの流れ。
図２は被検体検出用素子を形成する体表検出用コイル７を示す。
【００２３】
体表検出用コイル７は、各々１軸方向に巻かれた４個のコイルからなり、各々のコイルがテープ、ベルト、バンドなどで、被検体３７の体表、具体的には腹部体表の特徴のある点(以下、単に体表特徴点)に着脱可能に固定され、その体表特徴点の磁場を用いた位置検出に利用される。
通常の上部内視鏡検査では、被検体３７は左側を下にしてベッド３８上で横になるいわゆる左側臥位の姿勢をとって、内視鏡を口から挿入されるので、図２もその姿勢で描いている。
本実施例では体表特徴点を、骨格上の特徴のある箇所「剣状突起」(xiphoid process)、骨盤(pelvis)の左側の「左上前腸骨棘」(left anterior superior iliac spine)、骨盤の右側の「右上前腸骨棘」(right anterior superior iliac spine)、左右の上前腸骨棘の中間で脊椎上の「腰椎椎体棘突起」(spinous process of vertebral body)の４点にとって説明する。
【００２４】
この４点は術者が触診で位置を特定できる。また、この４点は同一平面状になく、剣状突起を原点として他の特徴点へ向かう３本のベクトルを基本ベクトルとする斜交座標系(un-orthogonal reference frame)を形成する。この斜交座標系を図２に太い線で示す。
図３は体腔内接触プローブ８を示す。体腔内接触プローブ８は、可撓性のある材料で構成された外筒４１を有する。この外筒４１内におけるその先端には体腔内検出用コイル４２が固定して設けられ、この外筒４１の後端にはコネクタ４３が設けてある。
図３に示すように、体腔内検出用コイル４２は、１軸方向に巻かれたコイルで、体腔内接触プローブ８の先端に固定されている。体腔内検出用コイル４２は、その巻線軸方向が体腔内接触プローブ８の挿入軸方向と一致するよう固定されている。そして、この体腔内検出用コイル４２は、体腔内接触プローブ８の先端が接触された体腔内の関心部位等の位置検出に利用される。
【００２５】
図１に示すように、超音波内視鏡２は、操作部２３から可撓部２２を経て硬性部２１にかけて、操作部２３に第１の開口として、鉗子等を挿入する処置具挿入口（以下では、簡単化のため鉗子口と略記）４４を備え、硬性部２１に第２の開口としての突出口４５を備えた、管状の処置具チャンネル４６が設けてある。
この処置具チャンネル４６は、体腔内接触プローブ８を鉗子口４４から挿通し、突出口４５から突出できるよう構成されている。突出口４５の開口方向は、体腔内接触プローブ８が突出口４５から突出したときに、体腔内接触プローブ８が光学観察窓２４の光学視野範囲の内に入るよう向けられている。
図４は挿入形状作成手段、３次元画像作成手段、合成手段、画像指標作成手段等を内蔵した画像処理装置１１を示す。
【００２６】
画像処理装置１１は、マッチング回路５１と、画像指標作成回路５２と、挿入形状作成回路５３と、通信回路５４と、参照画像記憶部５５と、補間回路５６と、３次元人体画像作成回路５７と、合成回路５８と、回転変換回路５９と、異なる２つの視線方向の３次元ガイド画像を作成する３次元画像作成回路６０(以下、３次元ガイド画像作成回路Ａと３次元ガイド画像作成回路Bと記載)、混合回路６１と、表示回路６２と、制御回路６３とを有する。
マッチング回路５１には、挿入形状検出用素子等の位置及び配向を検出する検出手段を構成する位置配向算出装置５から出力される位置・配向データが入力される。
そして、このマッチング回路５１は、後述するように直交座標軸O-xyzにおいて算出された位置・配向データを、所定の変換式に従って写像し、直交座標軸O'-x'y'z'における新たな位置・配向データを算出する。
【００２７】
そして、マッチング回路５１は、この新たな位置・配向データを、位置・配向写像データとして、画像指標データを作成する画像指標作成回路５２と、挿入形状データを作成する挿入形状作成回路５３とへ出力する。
通信回路５４は、大容量で高速の通信モデムを内部に設けており、人体の３次元データを生成するＸ線３次元ヘリカルＣＴ装置１５と、３次元ＭＲＩ装置１６とネットワーク１７経由で接続されている。
参照画像記憶部５５は、大容量のデータを保存できるハードディスクドライブ等からなる。参照画像記憶部５５は、解剖学的な画像情報として、複数の参照画像データを記憶している。
【００２８】
図５に示すように、参照画像データは、Ｘ線３次元ヘリカルＣＴ装置１５と、３次元ＭＲＩ装置１６からネットワーク１７経由で得られた被検体３７の断層像のデータである。 本実施例では、以下、参照画像データを、被検体３７の体軸(頭から足に抜ける軸)に垂直、０．５ｍｍ〜数ｍｍピッチ、一辺数十ｃｍの正方形の断層像のデータとする。
被検体３７の断層像を得る場合、Ｘ線３次元ヘリカルＣＴ装置１５よりも３次元ＭＲＩ装置１６を多用することにより、被検体３７が受けるＸ線の被爆を低減ないしは解消できる。
図５の参照画像記憶部５５内の参照画像データには説明の都合上、１番からＮ番までの番号が付されている。
ここで、図５のように、複数の参照画像データに対して固定した直交座標軸O’-x’y’z’とその正規直交基底(各軸方向の単位ベクトル)i’、j’、k’を、原点O’を１番の参照画像データの最も左下に定義して、参照画像データ上に定義する。
【００２９】
図４に示すように補間回路５６と合成回路５８とは、それぞれボリュームメモリＶＭを内蔵している。説明の都合上、以下、補間回路５６に設けられたボリュームメモリＶＭを補間メモリ５６ａ、合成回路５８に設けられたボリュームメモリを合成メモリ５８ａと呼ぶ。
ボリュームメモリＶＭは、大容量のデータを格納することができるよう構成されている。ボリュームメモリＶＭの一部の記憶領域にはボクセル空間が割り当てられている。図６に示すように、ボクセル空間は、直交座標軸O’-x’y’z’に対応したアドレスを持つメモリセル(以下、ボクセル)からなっている。
図４に示す３次元人体画像を作成する３次元人体画像作成回路５７と回転変換を行う回転変換回路５９は、輝度によるボクセルや画素の抽出、回転変換、相似変換、平行移動等の画像処理を高速に行う図示しない高速プロセッサを内蔵している。
【００３０】
表示回路６２は、その入力を切り替えるスイッチ６２ａを有する。スイッチ６２ａは、入力端子αと、入力端子βと、入力端子γと、１個の出力端子を有する。入力端子αは、参照画像記憶部５５と接続されている。入力端子βは、光学観察装置３の図示しない出力端子と接続している。入力端子γは、混合回路６１と接続している。出力端子は、光学像、超音波断層像及び３次元ガイド画像等を表示する表示装置１４と接続されている。
制御回路６３は、画像処理装置１１内の各部、各回路に指令が出力できるよう、各部、各回路とは図示しない信号線で接続されている。制御回路６３は、超音波観測装置４、マウス１２、キーボード１３と制御線で直接接続されている。
図１に示すように、キーボード１３は、体腔内特徴点指定キー６５と、走査制御キー６６と、表示切換キー１３αと、表示切換キー１３βと、表示切換キー１３γとが設けてある。
【００３１】
表示切換キー１３αもしくは１３βもしくは１３γが押されると、制御回路６３は、表示回路６２へスイッチ６２ａを入力端子αもしくはβもしくはγへ切り換えるよう指令を出力する。スイッチ６２ａは、表示切換キー１３αが押されたときには入力端子αへ、表示切換キー１３βが押されたときには入力端子βへ、表示切換キー１３γが押されたときには入力端子γへ切り換える。
上述した（ａ）第１：から（ｆ）第６：までの信号、データに関して、順次説明する。（ａ）点線で示す第１の光学像に関わる信号・データの流れに沿って、本実施例の作用を説明する。
硬性部２１の図示しない照明光照射窓は、光学視野範囲側に照明光を照射する。ＣＣＤカメラ２６は、光学視野範囲の物体を撮像し、光電変換してＣＣＤ信号を光学観察装置３に出力する。
【００３２】
光学観察装置３は、入力されたＣＣＤ信号を基にして光学視野範囲のリアルタイム画像のデータを作成し、このデータを光学像データとして画像処理装置１１内の表示回路６２のスイッチ６２ａの入力端子βへ出力する。
（ｂ）第２の超音波断層像に関わる信号・データの流れに沿って、本実施例の作用を説明する。
術者が走査制御キー６６を押すと、制御回路６３は後述するラジアル走査のON/OFF制御を指令するための走査制御信号を超音波観測装置４へ出力する。
超音波観測装置４は、超音波振動子アレイ２９を構成する超音波振動子２９ａのうち、一部かつ複数の超音波振動子２９ａを選択して、パルス電圧状の励起信号を送信する。 この一部かつ複数の超音波振動子２９ａは、励起信号を受け取って媒体の疎密波である超音波に変換する。
【００３３】
この際、超音波観測装置４は、各励起信号が各超音波振動子２９ａに到着する時刻が異なるよう、各励起信号に遅延をかけている。この遅延は、各超音波振動子２９ａが励起する超音波が被検体３７内で重ね合わせられたときに一本の超音波ビームを形成するようにその値（遅延量）が調整されている。
超音波ビームは、超音波内視鏡２外部へと照射され、被検体３７内からの反射波が超音波ビームとは逆の経路を辿って各超音波振動子２９ａへ戻る。
各超音波振動子２９ａは反射波を電気的なエコー信号に変換して励起信号とは逆の経路で超音波観測装置４へ伝達する。
超音波観測装置４は、超音波ビームが、超音波振動子アレイ２９の環の中心を含み、硬性部２１および可撓部２２に垂直な平面(以下、ラジアル走査面)内で旋回するよう、超音波ビームの形成に関与する複数の超音波振動子２９ａを選択し直し、再び励起信号を送信する。このようにして超音波ビームの送信角度が変わっていく。これを反復的に繰り返すことにより、いわゆるラジアル走査が実現する。
【００３４】
この際、超音波観測装置４は、超音波振動子２９ａが反射波から変換したエコー信号から、超音波振動子アレイ２９の１回のラジアル走査に対し、硬性部２１の挿入軸に垂直な１枚のデジタル化した超音波断層像データをリアルタイム画像として作成し、画像処理装置１１の混合回路６１へ出力する。この際、超音波観測装置４は、超音波断層像データを正方形に加工して作成する。
このように本実施例においては、超音波観測装置４が超音波ビームの形成に関与する複数の超音波振動子２９ａを選択し直し、再び励起信号を送信するため、正方形の超音波断層像の例えば１２時方向は、超音波観測装置４が１２時方向としてどの超音波振動子２９ａを選択して励起信号を送信するかで決定される。
こうして、超音波断層像の法線方向ベクトルＶ、３時方向ベクトルＶ3、１２時方向ベクトルＶ12が定義される。さらに、超音波観測装置４は、超音波断層像データを、法線方向ベクトルＶの反対方向−Ｖから観察した方向で作成する。
【００３５】
超音波振動子アレイ２９によるラジアル走査と、超音波観測装置４による超音波断層像データの作成と混合回路６１への出力はリアルタイムに行われる。本実施例では、超音波断層像がリアルタイム画像として生成される。
（ｃ）次に、第３の位置に関わる信号・データやそれを加工して作成されたデータの流れに沿って、本実施例の作用を説明する。
位置配向算出装置５は、送信アンテナ６の図示しない送信コイルを励磁する。送信アンテナ６は、空間に交番磁場を張る。超音波による画像信号取得手段の位置及び配向（方向）を検出する画像位置配向検出用コイル３１を構成するベクトルＶとＶ3との方向に巻かれた巻線軸が互いに直交する２個のコイル及び可撓部２２の挿入形状を検出する複数個の挿入形状検出用コイル３２と、被検体検出用素子としての体腔内検出用コイル４２及び体表検出用コイル７とは、それぞれ交番磁場を検出し、交番磁場を各々の位置電気信号に変換してＡ／Ｄユニット９ａ、９ｂ、９ｃへ出力する。
【００３６】
Ａ／Ｄユニット９ａ、９ｂ、９ｃは、位置電気信号をアンプで増幅し、アナログデジタル変換回路でサンプリングしてデジタルデータへ変換し、デジタルデータを位置配向算出装置５へ出力する。
次に、位置配向算出装置５は、Ａ／Ｄユニット９ａからのデジタルデータを基にして、画像位置配向検出用コイル３１の位置とその直交する巻線軸の方向、つまりベクトルＶとＶ3とを算出する。次に、位置配向算出装置５は、直交する巻線軸の方向のベクトルＶとＶ3の外積Ｖ×Ｖ3を算出することで、残りの直交方向である１２時方向のベクトルＶ12を算出する。このようにして、位置配向算出装置５は直交する３方向、つまりベクトルＶ、Ｖ3、Ｖ12を算出する。
次に、位置配向算出装置５は、Ａ／Ｄユニット９ａ〜９ｃからのデジタルデータを基にして、複数個の挿入形状検出用コイル３２の各々の位置と、体表検出用コイル７の各々の位置と、体腔内検出用コイル４２の位置とを算出する。
【００３７】
次に、位置配向算出装置５は、画像位置配向検出用コイル３１の位置及び配向と、複数個の挿入形状検出用コイル３２の各々の位置と、４個の体表検出用コイル７の各々の位置と、体腔内検出用コイル４２の位置と、を位置・配向データとして画像処理装置１１のマッチング回路５１へ出力する。
次に位置・配向データの詳細を以下に述べる。
本実施例では図７のように原点Oを送信アンテナ６上に定義して、術者が被検体３７を検査する実際の空間上に直交座標軸O-xyzとその正規直交基底(各軸方向の単位ベクトル)i、j、kを定義する。
画像位置配向検出用コイル３１の位置をO"とする。画像位置配向検出用コイル３１は超音波振動子アレイ２９の環の中心のごく近傍に固定されているので位置O"は、ラジアル走査の中心かつ超音波断層像の中心に一致する。
【００３８】
ここで、位置・配向データを以下のように定義する。
直交座標軸O-xyzにおける画像位置配向検出用コイル３１の位置O"の位置ベクトルOO"の各方向成分：
(x0,y0,z0)
直交座標軸O-xyzに対する画像位置配向検出用コイル３１の配向を示すオイラー角(後述)の各角度成分：
(ψ,θ,φ)
直交座標軸O-xyzにおける複数個の挿入形状検出用コイル３２の各々の位置ベクトルの各方向成分：
(xi,yi,zi) (iは１から挿入形状検出用コイル３２の総数までの自然数)
直交座標軸O-xyzにおける4個の体表検出用コイル７の各々の位置ベクトルの各方向成分：
(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)
直交座標軸O-xyzにおける体腔内検出用コイル４２の位置ベクトルの各方向成分：
(xp,yp,zp)
ここで、オイラー角とは、図７の直交座標軸O-xyzに、z軸の周りの回転、y軸の周りの回転、再びz軸の周りの回転をこの順で加えて、以下の通りに各軸の方向が一致するような角度である。
【００３９】
回転後のi ＝ Ｖ3、回転後のj ＝ Ｖ12、回転後のk ＝ Ｖ
ψは、最初のz軸の周りの回転角度、θはy軸の周りの回転角度、φは再びのz軸の周りの回転角度である。
図７のＨは、位置O"からxy平面へ下ろした垂線と、xy平面との交点である。このオイラー角の各角度成分(ψ,θ,φ)が画像位置配向検出用コイル３１の配向、すなわち超音波断層像データの配向に相当する。
マッチング回路５１は、以下の第１と第２と第３と第４とのデータ群から、直交座標軸O-xyz上で表現された位置・配向を、直交座標軸O'-x'y'z'上で表現されたボクセル空間内の位置・配向へ写像する変換式を算出する。
この算出の方法は後述する。また、下記第１と第２で説明する位置・配向データは、被検体３７の体動によって変化が生じる。変換式も被検体３７の体動の変化とともに新たに作成される。この変換式の新たな作成も後述する。
【００４０】
第１のデータ群は、位置・配向データのうち、被検体３７の剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起の各々に取り付けた体表検出用コイル７の直交座標軸O-xyzにおける位置ベクトルの各方向成分(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)。
図８は、これらに取り付けられた体表検出用コイル７を示す。
第２のデータ群は、位置・配向データのうち、直交座標軸O-xyzにおける体腔内検出用コイル４２の位置ベクトルの各方向成分(xp,yp,zp)。
図９において体腔内検出用コイル４２を先端に固定して内蔵した体腔内接触プローブ８を太い点線で示す。
第３のデータ群は、1〜Ｎ番までの参照画像データのいずれかの上の、剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起の各々について、これら各々から最も体表に近い画素の直交座標軸O'-x'y'z'における座標(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')、(xd',yd',zd')。
【００４１】
これらの画素は、予め術者が1〜Ｎ番までの参照画像データのいずれかの上で指定する。この指定の方法は後述する。
図９は、これらの画素を黒丸●と白丸○とで示す。(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')、(xd',yd',zd')は、図４に示すように体表特徴点座標として、参照画像記憶部５５からマッチング回路５１へ読み出される。
第４のデータ群は、1〜Ｎ番までの参照画像データのいずれかの上の、十二指腸乳頭に相当する画素の直交座標軸O'-x'y'z'における座標(xp",yp",zp")。
これらの画素は、予め術者が1〜Ｎ番までの参照画像データのいずれかの上で指定する。
【００４２】
この指定の方法は後述する。図９において、この画素をP"で示す。第４の画素の座標(xp",yp",zp")は、図４に示すように体腔内特徴点座標として、参照画像記憶部５５からマッチング回路５１へ読み出される。
次に、マッチング回路５１は、直交座標軸O-xyzにおいて算出された位置・配向データを、上記変換式に従って写像し、直交座標軸O'-x'y'z'における新たな位置・配向データを算出する。
次に、マッチング回路５１は、この新たな位置・配向データを、位置・配向写像データとして、画像指標作成回路５２と挿入形状作成回路５３とへ出力する。
画像指標作成回路５２は、直交座標軸O-xyzにおける画像位置配向検出用コイル３１の位置O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzに対する画像位置配向検出用コイル３１の配向を示すオイラー角の各角度成分(ψ,θ,φ)との計６自由度の位置・配向写像データから画像指標データを作成し、合成回路５８へ出力する。
【００４３】
この様子を図１０に示す。つまり、図１０の上側の位置・配向写像データから、図１０の下側に示すように画像指標データが作成される。
この画像指標データは、平行四辺形の超音波断層像マーカＭｕに、例えば青色の先端方向マーカＭｄ（図１０中で青と表記）と黄緑色の矢印状の６時方向マーカＭｔ（図１０中に黄緑と表記）とを合成した直交座標軸O'-x'y'z'上における画像データである。
挿入形状作成回路５３は、画像位置配向検出用コイル３１の位置O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzにおける複数個の挿入形状検出用コイル３２の各々の位置ベクトルの各方向成分(xi,yi,zi) との位置・配向写像データから、（補間及びマーカ作成処理により）挿入形状データを作成し、合成回路５８へ出力する。
この様子を図１１に示す。挿入形状データは、画像位置配向検出用コイル３１と複数個の挿入形状検出用コイル３２の各々の位置を順につないで補間したひも状の挿入形状マーカＭｓと、各コイル位置を示すコイル位置マーカＭｃとを合成した直交座標軸O'-x'y'z'上における画像データである。
【００４４】
（ｄ）次に第４の参照画像データやそれを加工して作成されたデータの流れに沿って、本実施例の作用を説明する。
術者は事前に被検体３７にＸ線３次元ヘリカルＣＴ装置１５や３次元ＭＲＩ装置１６で、被検体３７の腹部全体にわたる参照画像データを取得する。
術者は、キーボード１３の所定のキーを押すか、画面上のメニューをマウス１２で選択して、参照画像データの取得を指示する。このとき同時に術者は、入手先も指示する。この指示により、制御回路６３は、通信回路５４に対して参照画像データの取り込みとその入手先を指令する。
例えば、入手先がＸ線３次元ヘリカルＣＴ装置１５であった場合には、通信回路５４は、参照画像データとしてネットワーク１７から複数枚の２次元ＣＴ画像を取り込み、参照画像記憶部５５へ記憶させる。
【００４５】
Ｘ線３次元ヘリカルＣＴ装置１５で撮像する際には撮像前にＸ線造影剤を被検体３７の血管から注入し、大動脈(aorta)、上腸間膜静脈(superior mesenteric vein)等の血管（広義には脈管）や、血管を多く含む器官が２次元ＣＴ画像上、高輝度や中輝度で表示されるようにし、周囲の組織とは輝度差がつきやすくしておく。
また、例えば、入手先が３次元ＭＲＩ装置１６であった場合には、通信回路５４は、参照画像データとしてネットワーク１７から複数枚の２次元ＭＲＩ画像を取り込み、参照画像記憶部５５へ記憶させる。
３次元ＭＲＩ装置１６で撮像する際には撮像前に核磁気共鳴の感度の高いＭＲＩ用造影剤を被検体３７の血管から注入し、大動脈、上腸間膜静脈等の血管や、血管を多く含む器官が２次元ＭＲＩ画像上、高輝度や中輝度で表示されるようにし、周囲の組織とは輝度差がつきやすくしておく。
【００４６】
以下、術者が入手先としてＸ線３次元ヘリカルＣＴ装置１５を選択した場合と３次元ＭＲＩ装置１６を選択した場合とは作用が同様であるので、入手先としてＸ線３次元ヘリカルＣＴ装置１５を選択し、通信回路５４が参照画像データとして複数枚の２次元ＣＴ画像を取り込んだ場合についてのみの作用を説明する。
図５は参照画像記憶部５５へ記憶された参照画像データの例を示す。Ｘ線造影剤の作用により、大動脈、上腸間膜静脈等の血管は高輝度に、膵臓(pancreas)等の末梢血管を多く含む器官は中輝度に、十二指腸(duodenum)等は低輝度に造影されている。
補間回路５６は、参照画像記憶部５５より１番からＮ番までの全ての参照画像データを読み出す。次に補間回路５６は、読み出した参照画像データを補間メモリ５６ａのボクセル空間へ埋めていく。
【００４７】
具体的には、参照画像データの各画素の輝度を、画素に対応するアドレスを持つボクセルへ出力していく。次に補間回路５６は、隣接する参照画像データの輝度値を基に補間して、空いているボクセルをデータで埋めていく。このようにして、ボクセル空間内の全てのボクセルが参照画像データを基にしたデータ(以下、ボクセルデータ)で満たされる。 ３次元人体画像作成回路５７は、補間回路５６から高輝度値のボクセル(主に血管)、中輝度値のボクセル(主に膵臓など末梢血管を多く含む器官)をそれぞれ輝度値域別に抽出し、輝度別に分類して着色する。
次に、３次元人体画像作成回路５７は、抽出したボクセルを３次元人体画像データとして合成回路５８の合成メモリ５８ａのボクセル空間へ埋めていく。このとき、３次元人体画像作成回路５７は、抽出したボクセルの補間メモリ５６ａ内のボクセル空間のアドレスと、合成メモリ５８ａ内のボクセル空間のアドレスとが同じになるように埋めていく。
【００４８】
図１２は３次元人体画像データの例を示す。図１２に示す例では３次元人体画像データは、高輝度の血管である大動脈と上腸間膜静脈、中輝度の器官である膵臓とが抽出されたものであり、血管は赤、膵臓は緑で着色され、被検体３７の頭側を右側に足側を左側にして腹側から観察した３次元データとして示されている。
３次元人体画像作成回路５７は、臓器や血管等を抽出する抽出手段の機能も持つ。なお、この抽出手段を３次元ガイド画像作成回路Ａ、Ｂ側に設けるようにしても良い。そして、３次元ガイド画像作成回路Ａ、Ｂ側においても３次元ガイド画像を作成する際、臓器や血管を選択できるようにしても良い。
【００４９】
合成回路５８は、画像指標データと、挿入形状データとを合成メモリ５８ａ内のボクセル空間に埋めていく。この様子は図１３に示してある。
図１３においては説明の都合上、ボクセル空間に存在する３次元人体画像データを省略している（３次元人体画像データを省略しない場合は図１４等で示す）。このようにして、合成回路５８は、同じボクセル空間内に３次元人体画像データと、画像指標データと、挿入形状データとを同じ合成メモリ内に埋めていくことで、これらを一組のデータ(以下、合成３次元データ)として合成する。
【００５０】
回転変換回路５９は、合成３次元データを読み出し、制御回路６３からの回転指示信号に従って、合成３次元データに対して回転処理を施す。
３次元ガイド画像作成回路Ａは、合成３次元データに陰面消去、陰影付け等のレンダリング処理を施し、画面に出力可能な画像データ(以下、３次元ガイド画像データ)を作成する。
３次元ガイド画像データのデフォルトの向きは、人体の腹側からの向きとする。従って、３次元ガイド画像作成回路Ａは、被検体３７の腹側からの方向で観察した３次元ガイド画像データを作成する。なお、３次元ガイド画像データのデフォルトの向きとしては、人体の腹側からの向きとしているが、背側からの向きの３次元ガイド画像データを作成するようにしても良い。また、その他の方向からの３次元ガイド画像データを作成するようにしても良い。
この３次元ガイド画像作成回路Ａは、被検体腹側から観察した３次元ガイド画像データを混合回路６１へ出力する。この３次元ガイド画像データを図１４に示す。図１４の右側が被検体頭側、左側が被検体足側である。
【００５１】
図１４の３次元ガイド画像データでは、画像指標データのうちの超音波断層像マーカＭｕを半透明にして、画像指標データの６時方向マーカＭｔと先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓとコイル位置マーカＭｃとが透けて見えるようにしている。
その他の臓器に対しては超音波断層像マーカＭｕを不透明にして超音波断層像マーカＭｕの裏側の部分は見えないようにしている。図１４では、超音波断層像マーカＭｕの裏側にあり、かつ超音波断層像マーカＭｕと重なる各マーカは破線で示してある。
３次元ガイド画像作成回路Ｂは、回転処理を加えられた合成３次元データに陰面消去、陰影付け等のレンダリング処理を施し、画面に出力可能な３次元ガイド画像データを作成する。
【００５２】
本実施例では１例として、術者のマウス１２、キーボード１３からの入力により、制御回路６３からの回転指示信号が３次元ガイド画像データを９０度回転させ、足側から観察する指示内容になっていたものとする。
従って、３次元ガイド画像作成回路Ｂは被検体足側からの方向で観察した３次元ガイド画像データを作成する。
３次元ガイド画像作成回路Ｂは、被検体足側から観察した３次元ガイド画像データを混合回路６１へ出力する。この３次元ガイド画像データを図１５に示す。図１５の右側が被検体右側、左側が被検体左側である。
図１５の３次元ガイド画像データでは、画像指標データのうちの超音波断層像マーカＭｕを半透明にして、画像指標データの６時方向マーカＭｔと先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓとコイル位置マーカＭｃとが透けて見えるようにしている。
【００５３】
その他の臓器に対しては超音波断層像マーカＭｕを不透明にして超音波断層像マーカＭｕの裏側の部分は見えないようにしている。図１５では、超音波断層像マーカＭｕの裏側にあり、かつ超音波断層像マーカＭｕと重なる各マーカは破線で示してある。
なお、図１５における超音波断層像マーカＭｕの表示は、超音波断層像マーカＭｕの法線が観察視線すなわち表示装置１４の画面法線と一致するように正対させる場合でない、つまり非正対の表示である。
（ｅ）次に第５の超音波断層像データと、３次元ガイド画像データとを合成した最終的な表示画面に関わる信号・データの流れに沿って、本実施例の作用を説明する。
図４の混合回路６１は、超音波観測装置４からの超音波断層像データと、３次元ガイド画像作成回路Ａからの被検体３７を腹側から観察した３次元ガイド画像データと、３次元ガイド画像作成回路Ｂからの被検体３７を足側から観察した３次元ガイド画像データとを並べて表示用の混合データを作成する。
【００５４】
表示回路６２は、この混合データをアナログビデオ信号に変換して、表示装置１４に出力するする。
表示装置１４は、このアナログビデオ信号を基に超音波断層像と被検体３７を足側から観察した３次元ガイド画像と腹側から観察した３次元ガイド画像とを並べて対比可能に表示する。
図１６に示すように、表示装置１４は、３次元ガイド画像上で表現される各器官を、もともと参照画像データ上の輝度値に応じた色で器官別に色分けして表示する。
図１６の表示例では、膵臓は緑、大動脈、上腸間膜静脈は赤で表示されている。図１６では、超音波断層像マーカＭｕの裏側にあり、かつ超音波断層像マーカＭｕと重なる各マーカは破線で示してある。
また、図１６で白抜きの矢印で示すように２つの３次元ガイド画像は、ラジアル走査面の移動に連動して移動する。
【００５５】
（ｆ）次に第６に制御に関わる信号・データの流れに沿って、本実施例の作用を説明する。
図４の画像処理装置１１内のマッチング回路５１と、画像指標作成回路５２と、挿入形状作成回路５３と、通信回路５４と、参照画像記憶部５５と、補間回路５６と、３次元人体画像作成回路５７と、合成回路５８と、回転変換回路５９と、３次元ガイド画像作成回路Ａと、３次元ガイド画像作成回路Ｂと、混合回路６１と、表示回路６２とは、制御回路６３からの指令により制御される。
制御の詳細は後述する。
以下、術者の使用形態に沿って、本実施例の画像処理装置１１、キーボード１３、マウス１２、表示装置１４の作用の全体を説明する。図１７はその全体のフローチャートであり、ステップＳ１〜Ｓ４の各処理はこの順序で実行される。
【００５６】
最初のステップＳ１は参照画像データ上での体表特徴点、体腔内特徴点指定処理である。つまり、このステップＳ１において参照画像データ上で、体表特徴点と体腔内特徴点とを指定する処理が行われる。
次のステップＳ２において術者は、被検体３７に体表検出用コイル７を固定する。術者は、被検体３７をその左側を臥せた体位、所謂、左側臥位にする。術者は、被検体３７を触診し、４つの体表特徴点である剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起に最も近い体表上の位置に体表検出用コイル７を固定する。
次のステップＳ３は補正値算出処理である。
このステップＳ３において画像処理装置１１は、体腔内特徴点の位置・配向データを取得し、直交座標軸O-xyz上で表現された位置・配向データを直交座標軸O'-x'y'z'上で表現されたボクセル空間内の位置・配向写像データへ写像する変換式を算出し、さらに体腔内特徴点の位置・配向データから変換式の補正値を算出する処理を行う。
【００５７】
次のステップＳ４において超音波断層像・３次元ガイド画像作成/表示処理が行われる。このステップＳ４は、超音波断層像と３次元ガイド画像を作成し、表示する処理である。
次に図１７のステップＳ１の処理、つまり参照画像データ上での体表特徴点、体腔内特徴点指定処理を具体的に説明する。
図１８は、図１７のステップＳ１の参照画像データ上で、体表特徴点と体腔内特徴点とを指定する処理の詳細を示す。
最初のステップＳ１-１において、術者は表示切換キー１３αを押す。制御回路６３は表示回路６２に指令を出す。表示回路６２のスイッチ６２ａは指令により入力端子αに切り換わる。
次のステップＳ１-２において、術者は、マウス１２、キーボード１３を用い、１〜Ｎ番までのいずれかの参照画像データを指定する。
【００５８】
次のステップＳ１-３において、制御回路６３は、表示回路６２に参照画像記憶部５５に記憶された１〜Ｎ番までのいずれかの参照画像データのうち、指定された参照画像データを読み出させる。
表示回路６２は、参照画像記憶部５５からの参照画像データをアナログビデオ信号に変換し、参照画像データを表示装置１４に出力する。表示装置１４は参照画像データを表示する。
次のステップＳ１-４において、術者は、マウス１２、キーボード１３を用い、参照画像データ上で体表特徴点を指定する。具体的には以下の通りである。
術者は表示された参照画像データに被検体３７の４つの体表特徴点である剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起のいずれかが写っているようにする。いずれも写っていなければステップＳ１-２へ戻り、術者は他の参照画像データを指定し直し、ステップＳ１-３で写っている参照画像データを表示させるまで、異なる参照画像データの表示を繰り返す。
【００５９】
術者は、マウス１２、キーボード１３を用い、表示された参照画像データ上で被検体３７の体表面上の４点である剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起に最も近い体表上の点に相当する画素を指定する。
指定した点を図８と図９の黒丸●と白丸○とで示す。本実施例では説明の都合上、剣状突起○がn１番(1≦n1≦N)の参照画像データ上に写っており、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起●がn2番(1≦n2≦N)の参照画像データ上に写っているものとして説明する。
図８と図９では説明の都合上、n2番の参照画像データ上の剣状突起に相当する位置に○で剣状突起を示している。
【００６０】
次のステップＳ１-５において、術者は、マウス１２、キーボード１３を用い、体腔内特徴点P"を指定する。本実施例では体腔内特徴点P"として十二指腸乳頭(総胆管の十二指腸への開口部：duodenal papilla)を例にあげて説明する。具体的には以下の通りである。
術者は、マウス１２、キーボード１３を用い、１〜Ｎ番までのいずれかの参照画像データを指定する。
制御回路６３は、表示回路６２に図示しない信号線を経由して参照画像記憶部５５に記憶された１〜Ｎ番までのいずれかの参照画像データのうち、指定された参照画像データを読み出させる。
表示回路６２は、読み出した参照画像データを表示装置１４へ出力する。表示装置１４はこの参照画像データを表示する。術者は表示された参照画像データに被検体３７の体腔内特徴点である十二指腸乳頭が写っていなければ、他の参照画像データを指定し直し、写っている参照画像データを表示させるまで、異なる参照画像データの表示を繰り返す。
【００６１】
術者は、マウス１２、キーボード１３を用い、表示された参照画像データ上で被検体３７の体腔内の点である十二指腸乳頭に相当する画素を指定する。
指定した点を図９のP"で示す。本実施例では説明の都合上、十二指腸乳頭P"がn2番(1≦n2≦N)の参照画像データ上に写っているものとして説明する。
次のステップＳ１-６において、制御回路６３は、ステップＳ１-４で指定された各体表特徴点に相当する各画素とステップＳ１-５で指定された体腔内特徴点P"に相当する画素とについて、参照画像データ上でのアドレスからボクセル空間に張られた直交座標軸O’-x’y’z’での座標を算出し、マッチング回路５１へ出力する。
【００６２】
ステップＳ１-４で指定された各体表特徴点に相当する各画素の直交座標軸O’-x’y’z’での座標の算出値を(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')、(xd',yd',zd')とする。
ステップＳ１-５で指定された体腔内特徴点に相当する画素直交座標軸O’-x’y’z’での各座標の算出値を(xp",yp",zp")とする。
マッチング回路５１はこの座標を記憶する。このステップＳ１-６の終了後、図１７のステップＳ２に進む。そして、このステップＳ２の処理の後、図１７のステップＳ３の補正値算出処理に進む。
図１９は、ステップＳ３の補正値算出処理の詳細を示す。上述したようにこのステップＳ３は、体腔内特徴点の位置・配向データを取得し、直交座標軸O-xyz上で表現された位置・配向データを直交座標軸O'-x'y'z'上で表現されたボクセル空間内の位置・配向写像データへ写像する変換式を算出し、さらに体腔内特徴点の位置・配向データから変換式の補正値を算出する処理である。
【００６３】
ステップＳ３の補正値算出処理が開始すると、最初のステップＳ３-１において、術者は、表示切換キー１３βを押す。この指示に対応して制御回路６３は表示回路６２に指令を出す。表示回路６２のスイッチ６２ａは指令により入力端子βに切り換わる。
次にステップＳ３-２において、表示回路６２は、光学観察装置３からの光学像データをアナログビデオ信号に変換し、光学像を表示装置１４に出力する。表示装置１４は、光学像を表示する。
次のステップＳ３-３において、術者は、被検体３７に超音波内視鏡２の硬性部２１と可撓部２２とを体腔内へ挿入する。
次のステップＳ３-４において、術者は、光学像を観察しながら硬性部２１を動かして体腔内特徴点を探す。術者は、体腔内特徴点が見つかった後、硬性部２１を体腔内特徴点近傍へ移動する。
【００６４】
次のステップＳ３-５において、術者は、光学像を観察しながら、体腔内接触プローブ８を鉗子口４４から挿入し、突出口４５から突出させる。そして、術者は、光学像視野下で体腔内接触プローブ８の先端を体腔内特徴点に接触させる。
この様子を図２０に示す。図２０では表示画面に光学像が表示されている。光学像には体腔内特徴点の例として十二指腸乳頭Pと体腔内接触プローブ８とが表示されている。
次のステップＳ３-６において、術者は、体腔内特徴点指定キー６５を押す。
次のステップＳ３-７において、制御回路６３は、マッチング回路５１に指令を出す。マッチング回路５１は、指令により位置配向算出装置５から位置・配向データを取り込み、記憶する。この位置・配向データには、前述の通り以下の２種類のデータが含まれている。
【００６５】
直交座標軸O-xyzにおける４個の体表検出用コイル７の各々の位置ベクトルの各方向成分、すなわち、この場合は４個の体表特徴点の直交座標軸O-xyzでの座標：(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)。
直交座標軸O-xyzにおける体腔内検出用コイル４２の位置ベクトルの各方向成分、すなわち、この場合は体腔内特徴点の直交座標軸O-xyzでの座標：(xp,yp,zp)。
次のステップＳ３-８において、マッチング回路５１は体表特徴点の座標から第１の写像を表現する第１変換式を作成する。具体的には以下の通りである。
まず、マッチング回路５１は、以下の内容を記憶している。
【００６６】
第１にステップＳ１で指定された各体表特徴点に相当する各画素のボクセル空間内の直交座標軸O’-x’y’z’での各座標：
(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')、(xd',yd',zd')
第２にステップＳ１)で指定された体腔内特徴点に相当する画素のボクセル空間内の直交座標軸O’-x’y’z’での座標：
(xp",yp",zp")
第３にステップＳ３-７で取り込まれた体表特徴点の直交座標軸O-xyzでの各座標：
(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)
第４にステップＳ３-７で取り込まれた体腔内特徴点の直交座標軸O-xyzでの座標：
(xp,yp,zp)
マッチング回路５１は、このうち、第３の各座標(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)と第１の各座標(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')、(xd',yd',zd')とから、直交座標軸O-xyz上の任意の点をボクセル空間内の直交座標軸O’-x’y’z’の点への第１の写像を表現する第１変換式を作成する。この第１の写像と第１変換式とは以下の通り定義される。
【００６７】
図８に示すように、体表特徴点である剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起を用い、剣状突起から他の点へ向かう３本のベクトルを基本ベクトルとする、２つの斜交座標系を被検体３７上とボクセル空間内(図８では参照画像データとして表現されているが、これを補間して得たデータ空間内)とを仮想（設定）する。
第１の写像とは、「直交座標軸O-xyzにおける任意点の、被検体３７上の斜交座標系で表現される座標」と、「直交座標軸O'-x'y'z'におけるこの任意点の写像後の点の、ボクセル空間内の斜交座標系で表現される座標」とが同じになるような、被検体３７からボクセル空間への写像である。
また、第１変換式とは「任意点の直交座標軸O-xyzにおける座標」を「ボクセル空間内の第１の写像後の点の直交座標軸O'-x'y'z'における座標」へ変換する式である。
【００６８】
例えば、図８に示すように、画像位置配向検出用コイル３１の位置、すなわちラジアル走査の中心かつ超音波断層像の中心O"の第１の写像による写像後の点をQ'とする。
点Q'の直交座標軸O'-x'y'z'における座標を(x0',y0',z0')とする。第１変換式を用いると、点O"の直交座標軸O-xyzにおける座標(x0,y0,z0)は、点Q'の直交座標軸O'-x'y'z'における座標(x0',y0',z0')へ変換される。
次のステップＳ３-９において、マッチング回路５１は、図９に示すように、第１変換式により、体腔内特徴点Pをボクセル空間内の点P'へ写像する。体腔内特徴点Pの直交座標軸O-xyzでの座標は(xp,yp,zp)である。第１の写像後の点P'の直交座標軸O’-x’y’z’での座標を(xp',yp',zp')と定義する。
次のステップＳ３-１０において、マッチング回路５１は、点P'のボクセル空間内の直交座標軸O’-x’y’z’での座標を(xp',yp',zp')と、ステップＳ１で指定された体腔内特徴点に相当する点P"のボクセル空間内の直交座標軸O’-x’y’z’での座標(xp",yp",zp")とから、以下のようにベクトルP'P"を算出する。
【００６９】
P'P" ＝(xp",yp",zp")−(xp',yp',zp') ＝ (xp"−xp',yp"−yp',zp"−zp')
次のステップＳ３-１１において、マッチング回路５１は、ベクトルP'P"を記憶する。 ベクトルP'P"は後述する処理で第１変換式を補正して第２の変換式を作成するための補正値として作用する。このステップＳ３-１１の終了後、次のステップＳ４に進む。
次にこのステップＳ４の超音波断層像・３次元ガイド画像作成/表示処理を説明する。 図２１は、ステップＳ４の被検体３７の実際の超音波断層像・３次元ガイド画像を作成し、表示する処理の詳細を示す。
ステップＳ４の処理が開始すると、最初のステップＳ４-１において、術者は表示切換キー１３γを押す。制御回路６３は表示回路６２に指令を出す。表示回路６２のスイッチ６２ａは、この指令により入力端子γに切り換わる。
次のステップＳ４-２において、術者は走査制御キー６６を押す。
【００７０】
次のステップＳ４-３において、制御回路６３は走査制御信号を超音波観測装置４へ出力する。そして、超音波振動子アレイ２９は、ラジアル走査を開始する。
次のステップＳ４-４において、制御回路６３は混合回路６１に指令を出す。混合回路６１は、この指令により超音波観測装置４からのラジアル走査に応じて入力される超音波断層像データを逐次、取り込む。
次のステップＳ４-５において、制御回路６３はマッチング回路５１に指令を出す。マッチング回路５１は、指令により位置配向算出装置５から位置・配向データを取り込み、記憶する。この取り込みは、瞬時に行われる。そのため、マッチング回路５１は、ステップＳ４-４で混合回路６１が超音波断層像データを取り込んだ瞬間の、以下のデータを含む、位置・配向データを取り込むことになる。
【００７１】
直交座標軸O-xyzにおける画像位置配向検出用コイル３１の位置、すなわちラジアル走査の中心かつ超音波断層像の中心O"の位置ベクトルOO"の各方向成分：
(x0,y0,z0)
直交座標軸O-xyzに対する画像位置配向検出用コイル３１の配向、すなわち超音波断層像の配向を示すオイラー角の各角度成分：
(ψ,θ,φ)
直交座標軸O-xyzにおける複数個の挿入形状検出用コイル３２の各々の位置ベクトルの各方向成分：
(xi,yi,zi) (iは1から挿入形状検出用コイル３２の総数までの自然数)
直交座標軸O-xyzにおける4個の体表検出用コイル７の各々の位置ベクトルの各方向成分：
(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)
次のステップＳ４-６において、マッチング回路５１は、ステップＳ４-５で取り込んだ位置・配向データのうち、直交座標軸O-xyzにおける４個の体表検出用コイル７の各々の位置ベクトルの各方向成分(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)を用い、ステップＳ３)で記憶した第１変換式を更新する。
【００７２】
次にマッチング回路５１は、更新した第１変換式にステップＳ３で記憶したベクトルP'P"による平行移動とを合わせて、第２の写像を表現する第２変換式を新たに作成する。 マッチング回路５１は、第１変換式とベクトルP'P"による平行移動とを合わせて第２の写像を表現する第２変換式を作成する。第２の写像の概念は、以下の通りである。
第２の写像＝第１の写像＋ベクトルP'P"による平行移動
ベクトルP'P"による平行移動には以下に示す補正効果がある。ベクトルP'P"は補正値として作用する。
第１の写像を「直交座標軸O-xyzにおける任意点の、被検体３７上の斜交座標系で表現される座標」と、「直交座標軸O'-x'y'z'におけるこの任意点の写像後の点の、ボクセル空間内の斜交座標系で表現される座標」とが同じになるような、被検体３７からボクセル空間への写像とした。
【００７３】
理想的には、体腔内特徴点Pのボクセル空間内への第１の写像による写像点P'と、ステップＳ１)で指定された体腔内特徴点に相当する点P"とは一致することが望ましい。しかし、実際には正確に一致させることが難しい。
この理由は、「直交座標軸O-xyzにおける任意点と、被検体３７上の斜交座標系との空間的な位置関係」と「任意点に解剖学的に相当する直交座標軸O'-x'y'z'における点と、ボクセル空間内の斜交座標系との空間的な位置関係」とが種々の要因で完全に一致しないことにある。
本実施例で説明すると、第１の写像と第１変換式とを骨格上の特徴のある体表特徴点の各座標から求めたが、体腔内特徴点である十二指腸乳頭Pは骨格上の体表特徴点と常に同じ位置関係にあるとは限らないためである。
【００７４】
この原因は主に、Ｘ線３次元ヘリカルＣＴ装置１５と３次元ＭＲＩ装置１６とは、通常仰臥位で撮像され、左側臥位での超音波内視鏡２検査の時とは体位が異なるため、被検体３７内の諸器官は重力に従って変位することがあげられる。
そのため、第１の写像に補正値としてのベクトルP'P"による平行移動を合わせて第２の写像とすることにより、体腔内特徴点Pの写像点はボクセル空間内で体腔内特徴点に相当する点P"に一致する。さらに、被検体３７の他の点、例えば超音波断層像の中心O"も第２の写像により解剖学的に一層正確な一致をするのである。
次のステップＳ４-７において、マッチング回路５１は、ステップＳ４-５で取り込んだ位置・配向データのうち、直交座標軸O-xyzにおける超音波断層像の中心O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzに対する画像位置配向検出用コイル３１の配向を示すオイラー角の各角度成分(ψ,θ,φ)と、直交座標軸O-xyzにおける複数個の挿入形状検出用コイル３２の各々の位置ベクトルの各方向成分(xi,yi,zi) (iは１から挿入形状検出用コイル３２の総数までの自然数)とを新たに作成した第２変換式を用いて、位置・配向写像データへ変換する。
【００７５】
図８に示すように第１変換式では超音波断層像の中心O"はボクセル空間上の点Q'へ写像されるが、本ステップで新たに作成した第２変換式を用いることにより、図９に示すように超音波断層像の中心O"はボクセル空間上の点Q"へ写像される。Q'とQ"との差異を示すベクトルQ'Q"は第２の写像における平行移動による補正分と一致するのでベクトルP'P"と同じである。すなわち、以下の式が成立する。
Q'Q" ＝P'P"
次のステップＳ４-８において、画像指標作成回路５２は、画像指標データを作成する。挿入形状作成回路５３は、挿入形状データを作成する。
合成回路５８は、３次元人体画像データと、画像指標データと、挿入形状データを合成し、合成３次元データを作成する。
回転変換回路５９は合成３次元データに回転処理を施す。
【００７６】
３次元ガイド画像作成回路Ａと３次元ガイド画像作成回路Ｂとは、それぞれ３次元ガイド画像データを作成する。
上記それぞれの処理は前述の通りである。
次のステップＳ４-９において、混合回路６１は、超音波断層像データと３次元ガイド画像データとを並べて表示用の混合データを作成する。
表示回路６２はこの混合データをアナログビデオ信号に変換する。
表示装置１４は、このアナログビデオ信号を基に超音波断層像と被検体３７を腹側から観察した３次元ガイド画像と足側から観察した３次元ガイド画像とを並べて図１６のように表示する。
上記それぞれの処理は前述の通りである。
次のステップＳ４-１０において、制御回路６３は、ステップＳ４-４からステップＳ４-９の間、術者が再び走査制御キー６６を押すか否かを確認している。
【００７７】
術者が再び走査制御キー６６を押していた場合には、制御回路６３は、ここで上記の処理を終了させ、ラジアル走査の制御OFFを指令するための走査制御信号を超音波観測装置４へ出力する。超音波振動子アレイ２９はラジアル走査を終了する。
術者が再び走査制御キー６６を押していなかった場合には、処理はステップＳ４-４へジャンプする。
このようにして、ステップＳ４-４からステップＳ４-９で述べた処理を繰り返すことで、超音波振動子アレイ２９が１回のラジアル走査をして超音波観測装置４が超音波断層像データを作成し、超音波断層像データが超音波観測装置４から混合回路６１に入力するたびに、２つの新たな３次元ガイド画像が作成され、新たな超音波断層像とともに表示装置１４の表示画面にリアルタイムに更新されつつ表示される。
【００７８】
すなわち、図１６に示すように、術者の可撓部２２、硬性部２１の用手的な操作に伴うラジアル走査面の移動に連動して、画像指標データ上の超音波断層像マーカＭｕと先端方向マーカＭｄと６時方向マーカＭｔと、挿入形状データ上の挿入形状マーカＭｓとコイル位置マーカＭｃとが３次元人体画像データ上を移動もしくは変形していく。
本実施例は以下の効果を有する。
本実施例は、超音波内視鏡２が、体腔内への挿入側に被検体３７内の超音波断層像を作成するための信号を取得する超音波振動子アレイ２９を固定して設けた硬性部２１と、硬性部２１より手前側に可撓部２２とを設け、超音波振動子２９ａが取得したエコー信号から被検体３７内の超音波断層像を作成する超音波観測装置４を設け、画像位置配向検出用コイル３１を硬性部２１に対して空間的に位置を固定して設け、挿入形状検出用コイル３２を可撓部２２に沿って複数個設け、被検体３７に接触可能な体表検出用コイル７を複数個設け、画像位置配向検出用コイル３１の位置及び配向との６自由度と、複数個の挿入形状検出用コイル３２の各位置と、体表検出用コイル７の位置もしくは配向とを検出し、位置・配向データとして出力する送信アンテナ６と位置配向算出装置５とを設け、超音波観測装置４が作成した被検体３７内の超音波断層像の位置と配向とを示す超音波断層像マーカＭｕを作成する画像指標作成回路５２を設け、合成回路５８が、位置配向算出装置５が出力した位置・配向データを基に、可撓部２２の先端側の挿入形状と超音波断層像マーカＭｕと３次元人体画像データとを合成し、被検体３７に対する可撓部２２と超音波断層像の位置および配向をガイドする３次元ガイド画像作成回路Ａ，Ｂを設けた。
【００７９】
そのため、本実施例は、超音波内視鏡２の硬性部２１と可撓部２２の挿入形状と超音波断層像の方向とを放射線被曝の侵襲を少なく検出でき、両者を含んだ３次元ガイド画像を作成することができる。
また、本実施例においては、画像指標作成回路５２が、超音波断層像マーカＭｕに青色の先端方向マーカＭｄと黄緑色の矢印状の６時方向マーカＭｔとを合成した画像指標データを作成し、合成回路５８が、同じボクセル空間内に３次元人体画像データと、画像指標データと、挿入形状データとを合成し、混合回路６１が超音波観測装置４からの超音波断層像データと、３次元ガイド画像データとを並べて表示するための表示用の混合データを作成し、表示回路６２はこの混合データをアナログビデオ信号に変換し、表示装置１４はこのアナログビデオ信号を基に超音波断層像と３次元ガイド画像とを並べて表示するような構成及び作用をする。
【００８０】
そのため、本実施例は、超音波断層像と膵臓などの関心領域との位置関係をガイドすることができるとともに、消化管等の体腔壁に対して超音波内視鏡２のラジアル走査面と可撓部２２と硬性部２１とがどのような配向や形状になっているのかをガイドすることができる。
従って、術者はこれらの関係を視覚的に把握でき、関心領域に対する診断、処置等を容易に行うことが可能となる。
また、本実施例においては、マッチング回路５１がステップＳ４-４からステップＳ４-９で述べた処理を繰り返し、混合回路６１が超音波断層像データを取り込んだ瞬間の、位置・配向データを取り込み、第１変換式とベクトルP'P"による平行移動とを合わせて第２の写像を表現する第２変換式を新たに作成し、直交座標軸O-xyzにおける超音波断層像の中心O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzに対する画像位置配向検出用コイル３１の配向を示すオイラー角の各角度成分(ψ,θ,φ)と、直交座標軸O-xyzにおける複数個の挿入形状検出用コイル３２の各々の位置ベクトルの各方向成分(xi,yi,zi) (iは１から挿入形状検出用コイル３２の総数までの自然数)とを、位置・配向写像データへ変換する処理を繰り返すような構成及び作用する。
【００８１】
そのため、本実施例は、超音波内視鏡２での検査中に被検体３７の体位に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、超音波断層像、可撓部２２、硬性部２１と、３次元ガイド画像上の超音波断層像マーカＭｕ、先端方向マーカＭｄ、６時方向マーカＭｔ、挿入形状マーカＭｓとはそれぞれ解剖学的により正確に一致をするという効果がある。
また、Ｘ線３次元ヘリカルＣＴ装置１５と３次元ＭＲＩ装置１６とは、通常仰臥位で撮像され、左側臥位での超音波内視鏡検査の時とは体位が異なるが、本実施例は、マッチング回路５１が、第１の写像に補正値としてのベクトルP'P"による平行移動を合わせて第２の写像を表現する第２変換式を作成するような構成及び作用する。
従って、本実施例は、被検体３７内の諸器官がＸ線３次元ヘリカルＣＴ装置１５と３次元ＭＲＩ装置１６に比して左側臥位での超音波内視鏡検査の時に重力に従って変位しても、被検体３７の点、例えば超音波断層像の中心O"に第２の写像により解剖学的に一層正確な一致をする。そのため、３次元ガイド画像が超音波断層像を一層正確にガイドすることができる。
【００８２】
また、本実施例においては、３次元ガイド画像作成回路Ａが、右側が被検体頭側、左側が被検体足側で、被検体３７の腹側からの方向で観察した３次元ガイド画像データを作成するよう構成、作用する。被検体３７は、超音波内視鏡検査では通常左側臥位での体位で検査される。
【００８３】
本実施例では３次元ガイド画像も左側臥位で表示されるので、被検体３７と３次元ガイド画像とを対比しやすく、術者は３次元ガイド画像がわかりやすい。従って、本実施例は術者による診断、処置等際の操作性を向上或いは適切に支援することができる。
【００８４】
また、本実施例によれば、３次元ガイド画像作成回路Ａ と３次元ガイド画像作成回路Ｂとが互いに異なる方向に視線を設定した３次元ガイド画像を作成したため、超音波断層像と膵臓などの関心領域との位置関係を複数の方向から、ガイドすることができるとともに、消化管等の体腔壁に対して、超音波断層像と超音波内視鏡２の可撓部２２と硬性部２１とがどのような配向や形状になっているのかを複数の方向からガイドすることができ、術者にはわかりやすい。
【００８５】
（変形例）
本実施例では、処置具チャンネル４６を備えた超音波内視鏡２と、処置具チャンネル４６に挿通する体腔内接触プローブ８を設けて構成したが、構成はこれに限定されるものでない。
体腔内特徴点に対して光学観察窓２４を経由して対物レンズ２５の焦点が合い、体腔内接触プローブ８を用いずに硬性部２１自体を体腔内特徴点に正確に接触できれば、硬性部２１に固定して設けた画像位置配向検出用コイル３１を体腔内接触プローブ８の体腔内検出用コイル４２の代用にしても良い。
このとき、画像位置配向検出用コイル３１は画像位置配向検出用素子としてだけでなく体腔内検出用素子としても作用する。
また、本実施例では、超音波プローブとして電子ラジアル走査型超音波内視鏡２を用いたが、従来技術の特開２００４−１１３６２９号公報で開示されている体腔内プローブ装置のように、機械走査型超音波内視鏡でも、挿入軸の一方に超音波振動子群を扇状に設けた電子コンベックス走査型超音波内視鏡でも、カプセル型の超音波ゾンデでも良く、超音波の走査方式には限定されない。また光学観察窓２４の無い超音波プローブでも良い。
【００８６】
また、本実施例では、超音波内視鏡２の硬性部２１において超音波振動子を短冊状に細かく切断し、挿入軸の周囲に環状アレイとして配列させたが、超音波振動子アレイ２９は、３６０°全周に設けても、それより一部が欠けても良い。例えば２７０°や１８０°にわたる部分に超音波振動子アレイ２９が形成されるようにしても良い。
また、本実施例では位置検出手段として送信アンテナ６と受信コイルとを用い、磁場で位置と配向とを検出するよう構成、作用させたが、送受は逆でも良い。磁場を利用して位置及び配向を検出することにより、簡単な構成で位置（配向）検出手段を形成できると共に、低コスト化、小型化することができる。
しかし、位置（配向）検出手段は、磁場を利用したものに限定されるものでなく、加速度や他の手段で位置と配向とを検出するような構成及び作用をさせても良い。
また、本実施例では、原点Oを送信アンテナ６上の特定の位置に設定するよう構成したが、送信アンテナ６と位置関係の変わらない他の場所に設定するよう構成しても良い。
【００８７】
また、本実施例では、画像位置配向検出用コイル３１を硬性部２１に固定して設けているが、硬性部２１と位置が固定（確定）されるのであれば、硬性部２１の内部でなくとも良い。
また、本実施例では、３次元ガイド画像データ上の各器官を、器官別に色分けして表示されるよう構成したが、色分け（表示色の変更）の態様に限らず、輝度、明度、彩度等、他の態様を採用しても良い。例えば、器官別に輝度の値を変化させる等しても良い。
また、本実施例では、参照画像データとして、Ｘ線３次元ヘリカルＣＴ装置１５、３次元ＭＲＩ装置１６で撮像された複数枚の2次元ＣＴ画像や２次元ＭＲＩ画像を用いるよう構成、作用させたが、PET(Positoron Emission Tomography)のような他のモダリティーを用いて事前に取得した３次元画像データを用いても良い。また、体外から超音波を照射する方式の所謂、体外式の体腔内プローブ装置で事前に取得した３次元画像データを用いても良い。
また、本実施例では、参照画像データとして、被検体３７からＸ線３次元ヘリカルＣＴ装置１５等により撮像した画像データを用いるよう構成・作用したが、あらかじめ体格の似た性別の同じ他人の画像データを用いても良い。
【００８８】
また、本実施例では、１軸方向に巻かれた４個のコイルからなる体表検出用コイル７を設け、各々を被検体体表にテープ、ベルト、バンドなどで、複数の体表特徴点に着脱可能に固定し、体表特徴点の位置・配向データを同時に得るよう構成したが、１個のコイル、例えば体腔内検出用コイル４２に代えて、超音波内視鏡２による検査に先立ち、被検体３７を左側臥位にした後、体腔内接触プローブ８の先端を複数の体表特徴点に順次接触させて体表特徴点の位置・配向データを順次に得るような構成及び作用にしても良い。
また、本実施例では、位置配向算出手段が、位置・配向データとして、体表検出用コイル７に関してはその位置を算出したが、位置の代わりに巻線軸の方向を算出してもよい。また、位置と巻線軸の方向との両方を算出しても良い。１個の体表検出用コイル７に関して位置配向算出装置５が算出する自由度が増えることで、体表検出用コイル７の個数を減らすことができ、被検体３７に体表検出用コイル７を固定する際や超音波内視鏡検査中の術者や被検体３７の負担を減らすことができる。
【００８９】
また、本実施例では、体表特徴点を腹部体表の剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起とし、体腔内特徴点を十二指腸乳頭として説明したが、この例に限らず、胸部体表や胸部体腔内の特徴点や他の例でも良い。一般に、体表特徴点は骨格と関連のある点にとった方が、超音波断層像マーカＭｕの配向についての精度が良い。
また、本実施例では、術者のマウス１２、キーボード１３からの入力により、制御回路６３からの回転指示信号が３次元ガイド画像データを９０度回転させ、足側から観察する指示内容になっており、３次元ガイド画像作成回路Ｂは被検体足側からの方向で観察した３次元ガイド画像データを作成したが、この例に限らず、術者によるマウス１２、キーボード１３からの入力により、任意の軸、任意の角度で入力に対し３次元ガイド画像をリアルタイムに回転できるようにしても良い。
【実施例２】
【００９０】
次に本発明の実施例２を説明する。本実施例の構成は実施例１と同じである。但し、実施例１とは３次元ガイド画像作成回路Ｂの作用のみが異なる。
次に本実施例の作用を説明する。
上述のように本実施例は、実施例１と３次元ガイド画像作成回路Ｂの作用のみが異なる。
実施例１では、図１５に示すように、３次元ガイド画像作成回路Ｂは被検体足側からの方向で観察した３次元ガイド画像データを作成し、混合回路６１へ出力した。
そして、術者による可撓部２２、硬性部２１の用手的な操作に伴うラジアル走査面の移動とともに、画像指標データ上の超音波断層像マーカＭｕと先端方向マーカＭｄと６時方向マーカＭｔと、挿入形状データ上の挿入形状マーカＭｓとコイル位置マーカＭｃとが３次元人体画像データ上を移動もしくは変形していった。
【００９１】
本実施例では、図２２に示すように、３次元ガイド画像作成回路Ｂは、位置・配向写像データを基にして、超音波断層像マーカＭｕの法線を観察視線すなわち表示装置１４の画面法線と一致するよう画面に正対させ、かつ６時方向マーカＭｔが表示装置１４の画面の下方向に向くように設定されたガイド画像を作成する。
図２２の３次元ガイド画像データは、術者の可撓部２２、硬性部２１の用手的な操作に伴うラジアル走査面の移動とともに、画像指標データ上の超音波断層像マーカＭｕと先端方向マーカＭｄと６時方向マーカＭｔと、挿入形状データ上の挿入形状マーカＭｓとコイル位置マーカＭｃとは表示装置１４の画面上で固定され、３次元人体画像データが表示装置１４の画面上を移動していく。
図２２の３次元ガイド画像データでは、画像指標データのうちの超音波断層像マーカＭｕを半透明にして、画像指標データの６時方向マーカＭｔと先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓとコイル位置マーカＭｃとが透けて見えるようにしている。
【００９２】
その他の臓器に対しては超音波断層像マーカＭｕを不透明にして超音波断層像マーカＭｕの裏側の部分は見えないようにしている。
その他の作用は実施例１と同じである。
本実施例は以下の効果を有する。
本実施例によれば、３次元ガイド画像作成回路Ｂが、位置・配向写像データを基にして、超音波断層像マーカＭｕの法線を観察視線すなわち表示装置１４の画面法線と一致するよう画面に正対させ、かつ６時方向マーカＭｔが表示装置１４の画面の下方向に向くように設定された３次元ガイド画像を作成するよう構成、作用させたため、この３次元ガイド画像と表示装置１４の画面に並べてリアルタイムに表示される超音波断層像との方向が一致する。そのため術者は両者を対比しやすく、超音波断層像の解剖学的な解釈をしやすい。
その他の効果は実施例１と同じである。
（変形例）
本実施例の変形例として、実施例１で説明した変形例を適用できる。
【実施例３】
【００９３】
次に本発明の実施例３を説明する。
本実施例の構成は実施例２と同じである。本実施例は、実施例２とは３次元ガイド画像作成回路Ｂの作用のみが異なる。
次に本実施例の作用を説明する。
【００９４】
上述のように本実施例の作用は、実施例２とは３次元ガイド画像作成回路Ｂの作用のみが異なる。
実施例２では、図２２に示すように、３次元ガイド画像作成回路Ｂは、画像指標データのうちの超音波断層像マーカＭｕを半透明にし、画像指標データの６時方向マーカＭｔと先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓとコイル位置マーカＭｃとが透けて見えるようにし、その他の臓器に対しては超音波断層像マーカＭｕを不透明にして超音波断層像マーカＭｕの裏側の部分は見えないようにした３次元ガイド画像データを作成し、混合回路６１へ出力した。
【００９５】
本実施例では、図２３に示すように、３次元ガイド画像作成回路Ｂは、画像指標データのうちの超音波断層像マーカＭｕを半透明にする。また、３次元ガイド画像作成回路Ｂは、画像指標データの６時方向マーカＭｔと先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓとコイル位置マーカＭｃとだけでなく、その他の臓器の超音波断層像マーカＭｕの裏側の部分も透けて見えるようにし、それぞれ、超音波断層像マーカＭｕの表側と裏側にある部分の輝度を変化させて３次元ガイド画像データを作成し、混合回路６１へ出力する。
膵臓であれば、超音波断層像マーカＭｕより表側(手前側)にある部分は濃緑、裏側にある部分は薄緑で作成する。血管であれば、超音波断層像マーカＭｕより表側(手前側)にある部分は濃赤、裏側にある部分は薄赤で作成する。
図２３では、超音波断層像マーカＭｕの裏側にあり、かつ超音波断層像マーカＭｕと重なる各マーカと各器官とは破線で示してある。
その他の作用は実施例２と同じである。
【００９６】
本実施例は以下の効果を有する。
本実施例によれば、３次元ガイド画像作成回路Ｂが、画像指標データのうちの超音波断層像マーカＭｕを半透明にし、画像指標データの６時方向マーカＭｔと先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓとコイル位置マーカＭｃとだけでなく、その他の臓器の超音波断層像マーカＭｕの裏側の部分も透けて見えるようにし、それぞれ、超音波断層像マーカＭｕの表側と裏側にある部分の輝度を変化させて３次元ガイド画像データを作成するような構成及び作用する。
そのため、術者には、可撓部２２と硬性部２１とをさらにどう動かしたら、患部等の関心領域を超音波断層像上に表示できるかわかりやすく、術者には、超音波内視鏡２の可撓部２２と硬性部２１との操作をしやすい。
【００９７】
特に、胆嚢のように被検体３７内部で柔らかく動きやすい臓器は超音波断層像マーカＭｕ上には写っていながら、超音波断層像上には写らない可能性がある。本実施例の３次元ガイド画像は、術者がもう少し硬性部２１と可撓部２２とを動かせば胆嚢の超音波断層像上での描出ができるという目印になるため、術者には、超音波内視鏡２硬性部２１と可撓部２２との操作がしやすい。
その他の効果は実施例２と同じである。
（変形例）
本実施例では、画像指標データのうちの超音波断層像マーカＭｕを半透明にし、画像指標データの６時方向マーカＭｔと先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓとコイル位置マーカＭｃとだけでなく、その他の臓器の超音波断層像マーカＭｕの裏側の部分も透けて見えるように構成及び作用させたが、その変形例として術者は、透明度をマウス１２やキーボード１３からの選択入力で自由に変更させることができるようにしても良い。
その他の変形例として、実施例２の変形例を適用できる。
【実施例４】
【００９８】
次に本発明の実施例４を説明する。本実施例は実施例３と同じ構成である。本実施例は、実施例３とは３次元ガイド画像作成回路Ｂの作用のみが異なる。
次に本実施例の作用を説明する。
上述のように本実施例の作用は、実施例３とは３次元ガイド画像作成回路Ｂの作用のみが異なる。
実施例３では、図２３に示すように、３次元ガイド画像作成回路Ｂは、画像指標データのうちの超音波断層像マーカＭｕを半透明にし、画像指標データの６時方向マーカＭｔと先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓとコイル位置マーカＭｃとだけでなく、その他の臓器の超音波断層像マーカＭｕの裏側の部分も透けて見えるようにし、それぞれ、超音波断層像マーカＭｕの表側と裏側にある部分の輝度を変化させて３次元ガイド画像データを作成し、混合回路６１へ出力した。
【００９９】
膵臓であれば、超音波断層像マーカＭｕより表側(手前側)にある部分は濃緑、裏側にある部分は薄緑で作成した。血管であれば、超音波断層像マーカＭｕより表側(手前側)にある部分は濃赤、裏側にある部分は薄赤で作成した。
本実施例では、図２４に示すように、３次元ガイド画像作成回路Ｂは、画像指標データのうちの超音波断層像マーカＭｕによって分けられる２つの領域のうち、可撓部２２の先端側すなわち表示装置１４の画面手前側を非表示にし、超音波断層像マーカＭｕ上の部分と、裏側の部分の輝度を変化させた３次元ガイド画像データを作成して、混合回路６１へ出力する。
膵臓であれば、超音波断層像マーカＭｕ上にある部分は濃緑、裏側にある部分は薄緑で作成する。血管であれば、超音波断層像マーカＭｕ上にある部分は濃赤、裏側にある部分は薄赤で作成する。
【０１００】
その他の作用は実施例３と同じである。
本実施例は以下の効果を有する。
本実施例においては、３次元ガイド画像作成回路Ｂが、画像指標データのうちの超音波断層像マーカＭｕによって分けられる２つの領域のうち、可撓部２２の先端側すなわち表示装置１４の画面手前側を非表示にし、超音波断層像マーカＭｕ上の部分と、裏側の部分の輝度を変化させた３次元ガイド画像データを作成するよう構成、作用させた。
そのため、本実施例によれば、手前側の臓器が術者の３次元ガイド画像の観察の邪魔になることなく、この３次元ガイド画像と表示装置１４の画面に並べてリアルタイムに表示される超音波断層像との対比を一層しやすく、超音波断層像の解剖学的な解釈をしやすい。
その他の効果は、実施例３と同じである。
（変形例）
本実施例の変形例は、実施例３の変形例を適用できる。
【実施例５】
【０１０１】
次に本発明の実施例５を説明する。本実施例の構成は実施例１と同じである。本実施例は、実施例１とは３次元ガイド画像作成回路Ｂの作用のみが異なる。
次に本実施例の作用を説明する。
本実施例の作用は、上述したように実施例１とは３次元ガイド画像作成回路Ｂの作用のみが異なる。
実施例１では、図１５に示すように、３次元ガイド画像作成回路Ｂは、画像指標データのうちの超音波断層像マーカＭｕを半透明にして、画像指標データの６時方向マーカＭｔと先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓとコイル位置マーカＭｃとが透けて見えるようにし、その他の臓器に対しては超音波断層像マーカＭｕを不透明にして超音波断層像マーカＭｕの裏側の部分は見えないようにした３次元ガイド画像データを作成し、混合回路６１へ出力した。
【０１０２】
本実施例では、図２５に示すように、３次元ガイド画像作成回路Ｂは、画像指標データのうちの超音波断層像マーカＭｕを半透明にし、画像指標データの６時方向マーカＭｔと先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓとコイル位置マーカＭｃとだけでなく、その他の臓器の超音波断層像マーカＭｕの裏側の部分も透けて見えるようにし、それぞれ、超音波断層像マーカＭｕの表側と裏側にある部分の輝度を変化させて３次元ガイド画像データを作成し、混合回路６１へ出力する。
膵臓であれば、超音波断層像マーカＭｕより先端方向マーカＭｄ側にある部分は濃緑、反対側にある部分は薄緑で作成する。血管であれば、超音波断層像マーカＭｕより先端方向マーカＭｄ側にある部分は濃赤、反対側にある部分は薄赤で作成する。
その他の作用は実施例１と同じである。
本実施例は以下の効果を有する。
【０１０３】
本実施例によれば、３次元ガイド画像作成回路Ｂが、画像指標データのうちの超音波断層像マーカＭｕを半透明にし、画像指標データの６時方向マーカＭｔと先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓとコイル位置マーカＭｃとだけでなく、その他の臓器の超音波断層像マーカＭｕの裏側の部分も透けて見えるようにし、それぞれ、超音波断層像マーカＭｕの表側と裏側にある部分の輝度を変化させて３次元ガイド画像データを作成するよう構成、作用させた。
そのため、術者には、可撓部２２と硬性部２１とをさらにどう動かしたら、患部等の関心領域を超音波断層像上に表示できるかわかりやすく、超音波内視鏡２の操作をしやすい。
特に、胆嚢のように被検体３７内部で柔らかく動きやすい臓器は超音波断層像マーカＭｕ上には写っていながら、超音波断層像上には写らない可能性がある。本実施例の３次元ガイド画像は、術者がもう少し硬性部２１と可撓部２２とを動かせば胆嚢の超音波断層像上での描出ができる目印になるため、術者には、超音波内視鏡２の操作をしやすい。
その他の効果は実施例１と同じである。
【０１０４】
（変形例）
本実施例では、画像指標データのうちの超音波断層像マーカＭｕを半透明にし、画像指標データの６時方向マーカＭｔと先端方向マーカＭｄと、挿入形状データの挿入形状マーカＭｓとコイル位置マーカＭｃとだけでなく、その他の臓器の超音波断層像マーカＭｕの裏側の部分も透けて見えるように構成、作用させたが、その変形例として術者は、透明度をマウス１２やキーボード１３で自由に変更させることができるようにしても良い。
その他の変形例として実施例１の変形例を適用できる。
【実施例６】
【０１０５】
次に本発明の実施例６を説明する。実施例１と異なる箇所のみ説明する。
実施例１の画像処理装置１１では、硬性部２１は、画像位置配向検出用コイル３１を超音波振動子アレイ２９の環の中心のごく近傍に固定して設けていた。
本実施例においては、硬性部２１には、画像位置配向検出用コイル３１がＣＣＤカメラ２６のごく近傍に固定して設けている。
画像位置配向検出用コイル３１の固定されている向きは、実施例１と同じである。ＣＣＤカメラ２６の光軸は、図１のＶとＶ12とを含む平面内で、Ｖに対し既知の角度に向いている。
図２６は本実施例の画像処理装置１１を示す。実施例１の画像処理装置１１では、混合回路６１は超音波観測装置４と接続されていた。本実施例では、混合回路６１は、超音波観測装置４の代わりに、光学観察装置３と接続されている。
【０１０６】
その他の構成は実施例１と同じである。
次に本実施例の作用を説明する。
実施例１の画像処理装置１１では、術者が入手先としてＸ線３次元ヘリカルＣＴ装置１５を選択し、通信回路５４が参照画像データとして複数枚の2次元ＣＴ画像を取り込み、図５に示すような参照画像データが参照画像記憶部５５へ記憶された場合についての作用を説明した。例としてＸ線造影剤の作用により、大動脈、上腸間膜静脈等の血管は高輝度に、膵臓(pancreas)等の末梢血管を多く含む器官は中輝度に、十二指腸(duodenum)等は低輝度に造影されていた。
本実施例では、Ｘ線３次元ヘリカルＣＴ装置１５で胸部、特に気管、気管支、気管分枝を非造影で撮像した例で、気管支が2本の気管分枝、気管分枝aと気管分枝bとに分岐する箇所で超音波内視鏡２を気管分枝aへ挿入する例を説明する。
【０１０７】
光学観察装置３は、光学像の１２時方向(上方向)を図１のＶとＶ12とを含む平面へＶ12の射影した方向と反対の方向にして光学像データを作成する。
３次元人体画像作成回路５７は、補間回路５６から高輝度値のボクセル(主に気管、気管支、気管分枝の壁)、を抽出して着色する。次に、３次元人体画像作成回路５７は、抽出したボクセルを３次元人体画像データとして合成回路５８の合成メモリ５８ａのボクセル空間へ埋めていく。
このとき、３次元人体画像作成回路５７は、抽出したボクセルの補間メモリ５６ａ内のボクセル空間のアドレスと、合成メモリ内のボクセル空間のアドレスとが同じになるように埋めていく。３次元人体画像データは、高輝度の気管壁と気管支壁と気管分枝壁とが抽出され、各壁は肌色で着色され、被検体頭側を右側に足側を左側にして腹側から観察した３次元データである。
【０１０８】
画像指標作成回路５２は、直交座標軸O-xyzにおける画像位置配向検出用コイル３１の位置O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzに対する画像位置配向検出用コイル３１の配向を示すオイラー角の各角度成分(ψ,θ,φ)との計６自由度の位置・配向写像データから画像指標データを作成し、合成回路５８へ出力する。
画像指標データは、光軸の方向を示すオレンジ色の光学像視野方向マーカと、光学像の１２時方向を示す黄緑色の光学像up方向マーカとを合成した直交座標軸O'-x'y'z'上における画像データである。
挿入形状作成回路５３は、実施例１と同様に、画像位置配向検出用コイル３１の位置O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzにおける複数個の挿入形状検出用コイル３２の各々の位置ベクトルの各方向成分(xi,yi,zi) との位置・配向写像データから、挿入形状データを作成し、合成回路５８へ出力する。
【０１０９】
この様子を図１１に示す。挿入形状データは、画像位置配向検出用コイル３１と複数個の挿入形状検出用コイル３２の各々の位置を順につないで補間したひも状の挿入形状マーカＭｓと各コイル位置を示すコイル位置マーカＭｃとを合成した直交座標軸O'-x'y'z'上における画像データである。
合成回路５８は、画像指標データと、挿入形状データとを合成メモリ５８ａ内のボクセル空間に埋めていく。このようにして、合成回路５８は、同じボクセル空間内に３次元人体画像データと、画像指標データと、挿入形状データとを同じ合成メモリ５８ａ内に埋めていくことで、これらを一組の合成３次元データとして合成する。
回転変換回路５９は、合成３次元データを読み出し、制御回路６３からの回転指示信号に従って、合成３次元データに回転処理を施す。
【０１１０】
３次元ガイド画像作成回路Ａは、合成３次元データに陰面消去、陰影付け等のレンダリング処理を施し、画面に出力可能な３次元ガイド画像データを作成する。３次元ガイド画像データのデフォルトの向きは人体の腹側からの向きとする。
従って、３次元ガイド画像作成回路Ａは、被検体３７の腹側からの方向で観察した３次元ガイド画像データを作成する。３次元ガイド画像作成回路Ａは、被検体腹側から観察した３次元ガイド画像データを混合回路６１へ出力する。この３次元ガイド画像データを図２７に示す。図２７の右側が被検体頭側、左側が被検体足側である。
図２７の３次元ガイド画像データでは、気管支の壁と、その先の気管分枝aと気管分枝bとの壁とを半透明にして、画像指標データの光学像視野方向マーカと光学像up方向マーカと、挿入形状データの挿入形状マーカＭｓとコイル位置マーカＭｃとが見えるようにしている。
【０１１１】
３次元ガイド画像作成回路Ｂは、回転処理を加えられた合成３次元データに陰面消去、陰影付け等のレンダリング処理を施し、画面に出力可能な３次元ガイド画像データを作成する。
本実施例では１例として、術者によるマウス１２、キーボード１３からの入力により、制御回路６３からの回転指示信号が３次元ガイド画像データを９０度回転させ、足側から観察する指示内容になっていたものとする。
従って、３次元ガイド画像作成回路Ｂは、被検体足側からの方向で観察した３次元ガイド画像データを作成する。３次元ガイド画像作成回路Ｂは被検体足側から観察した３次元ガイド画像データを混合回路６１へ出力する。この３次元ガイド画像データを図２８に示す。図２８の右側が被検体右側、左側が被検体左側である。
【０１１２】
図２８の３次元ガイド画像データでは、気管支の壁と、その先の気管分枝aと気管分枝bとの壁とを半透明にして、画像指標データの光学像視野方向マーカと光学像up方向マーカと、挿入形状データの挿入形状マーカＭｓとコイル位置マーカＭｃとが見えるようにしている。
混合回路６１は、光学観察装置３からの光学像データと、３次元ガイド画像作成回路Ａからの被検体３７を腹側から観察した３次元ガイド画像データと、３次元ガイド画像作成回路Ｂからの被検体３７を足側から観察した３次元ガイド画像データとを並べて表示用の混合データを作成する。
表示回路６２はこの混合データをアナログビデオ信号に変換する。
表示装置１４は、このアナログビデオ信号を基に光学像と被検体３７を足側から観察した３次元ガイド画像と腹側から観察した３次元ガイド画像とを並べて表示する。
【０１１３】
図２９に示すように、表示装置１４は、３次元ガイド画像上で表現される気管支の壁と、気管分枝の壁とを肌色で表示する。
本実施例では、光学像がリアルタイム画像として処理される。
実施例１と同様、本実施例では、２つの新たな３次元ガイド画像が作成され、新たな光学像とともに表示装置１４の表示画面にリアルタイムに更新されつつ表示される。すなわち、図２９に示すように術者の可撓部２２、硬性部２１の用手的な操作に伴う光軸の移動に連動して、画像指標データの光学像視野方向マーカと光学像up方向マーカと、挿入形状データの挿入形状マーカＭｓとコイル位置マーカＭｃとが３次元人体画像データ上を移動もしくは変形していく。
その他の作用は実施例１と同じである。
本実施例は以下の効果を有する。
【０１１４】
本実施例によれば、気管支の壁と、その先の気管分枝aと気管分枝bとの壁とを半透明にして、画像指標データの光学像視野方向マーカと光学像up方向マーカと、挿入形状データの挿入形状マーカＭｓとコイル位置マーカＭｃとが見えるようにした３次元ガイド画像データを作成し、混合回路６１と表示装置１４とが、光学像と被検体３７を腹側から観察した３次元ガイド画像と足側から観察した３次元ガイド画像とを並べて表示するよう構成、作用させた。
そのため、本実施例は、超音波内視鏡２（或いは以下の変形例で説明するように内視鏡）を気管分枝aへ挿入する際に誤って気管分枝bへ挿入することを防ぐことができる。
その他の効果は実施例１と同じである。
【０１１５】
ここでは、気管支の深部側に挿入する場合で説明したが、他の場合においても画像指標データの光学像視野方向マーカと光学像up方向マーカと、挿入形状データの挿入形状マーカＭｓとコイル位置マーカＭｃとが見えるように合成された３次元ガイド画像データを作成しているので、術者は体腔内プローブを体腔内に挿入して円滑な診断、処置を行うことができる。従って、術者が診断、処置を円滑に行い易い体腔内プローブ装置を実現できる。
【０１１６】
（変形例）
本実施例によれば、実施例１と同じく体腔内プローブとして光学観察系(光学観察窓２４と、対物レンズ２５と、ＣＣＤカメラ２６と、図示しない照明光照射窓)を設けた電子ラジアル走査型の超音波内視鏡２を用いたが、体腔内プローブとして、超音波内視鏡２ではなく単に光学観察系を設けた内視鏡を用いても良い。
その他の変形例は実施例１における変形例を適用することができる。
なお、上述した各実施例等を部分的に組み合わせる等して構成される実施例等も本発明に属する。また、図４等において示した画像処理装置１１のブロック構成を変更しても良い。
【０１１７】
［付記］
１．被検体の体腔内へ挿入される体腔内プローブと、
前記体腔内プローブの挿入形状を作成する挿入形状作成手段と、
人体の３次元データから前記人体の３次元画像を作成する３次元画像作成手段と、
前記挿入形状と、前記３次元画像とを合成する合成手段と、
を備えた体腔内プローブ装置において、
前記体腔内プローブは、前記体腔内への挿入側に前記被検体内の画像を作成するための信号を取得する画像信号取得手段を固定して設けた硬性部と、前記硬性部より手前側の可撓部とを具備し、
前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、
前記硬性部に対して位置が固定された画像位置配向検出用素子と、
前記可撓部に沿って複数個設けられた挿入形状検出用素子と、
前記被検体に接触可能な被検体検出用素子と、
前記画像位置配向検出用素子の位置と配向との６自由度と、前記複数個の挿入形状検出用素子の各位置と、前記被検体検出用素子の位置もしくは配向とを検出し、検出値として出力する検出手段と、
前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段と、
を具備し、
前記合成手段が、前記検出手段が出力した検出値を基に、前記挿入形状と前記画像指標と前記３次元画像とを合成し、前記被検体に対する前記可撓部と前記リアルタイム画像の位置および配向をガイドする３次元ガイド画像を作成することを特徴とする体腔内プローブ装置。
【０１１８】
（付記１の効果）
体腔内プローブの挿入形状とリアルタイム画像の方向とを侵襲を少なく検出でき、両者を含んだガイド画像を作成することができる。
また、リアルタイム画像と膵臓などの関心領域との位置関係をガイドすることができるとともに、消化管や気管等の体腔壁に対して、リアルタイム画像と体腔内プローブと可撓部２２と硬性部２１とがどのような配向や形状になっているのかをガイドすることができる。
また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の体位に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の３次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。
【０１１９】
８．被検体の体腔内へ挿入され、前記体腔内への挿入側先端に前記被検体内の画像を作成するための信号を取得する画像信号取得手段を設けた体腔内プローブと、
人体の３次元データから前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、
を備えた体腔内プローブ装置において、
前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、
前記画像信号取得手段に対して位置が固定された画像位置配向検出用素子と、
前記被検体体表に接触可能な体表検出用素子と、前記被検体体腔内に接触可能な体腔内検出用素子と、からなる被検体検出用素子と、
前記画像位置配向検出用素子の位置及び配向と、前記体表検出用素子の位置もしくは配向と、前記体腔内検出用素子の位置と、を検出し、検出値として出力する検出手段と、
前記ガイド画像作成手段が、前記検出手段が出力した前記画像位置配向検出用素子の位置及び配向と、前記体表検出用素子の位置もしくは配向の検出値を基に前記ガイド画像を作成する際、前記体腔内検出用素子の位置の検出値により前記ガイド画像に補正処理を施す補正手段と、
を具備することを特徴とする体腔内プローブ装置。
【０１２０】
（付記８の効果）
補正Ｘ線３次元ヘリカルＣＴ装置と３次元ＭＲＩ装置とは、通常仰臥位で撮像するように設定され、左側臥位での内視鏡検査の時とは体位が異なる。ガイド画像に体表検出用素子の位置もしくは配向の検出値を基にガイド画像を作成する際、体腔内検出用素子の位置の検出値によりガイド画像に補正処理を施したため、被検体内の諸器官がＸ線３次元ヘリカルＣＴ装置と３次元ＭＲＩ装置に比して左側臥位での内視鏡検査の時に重力に従って変位しても、被検体内の点の写像も解剖学的に一層正確な一致をする。そのため、ガイド画像は、リアルタイム画像を一層正確にガイドすることができる。
また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の体位に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の３次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。
【０１２１】
９．前記補正手段による前記補正処理は、前記３次元データ内での平行移動処理であることを特徴とする付記８に記載の体腔内プローブ装置。
１０．前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置及び配向を示す画像指標を作成する画像指標作成手段を有し、
前記ガイド画像作成手段は、前記検出手段が出力した前記画像位置配向検出用素子の位置及び配向と、前記体表検出用素子の位置もしくは配向の検出値を基に、前記画像指標を合成したガイド画像を作成し、
前記補正手段による前記補正処理が、前記体腔内検出用素子の位置の検出値により前記画像指標を前記３次元データ内もしくは前記ガイド画像内で平行移動した位置で合成することで前記ガイド画像を作成する処理であることを特徴とする付記８に記載の体腔内プローブ装置。
【０１２２】
１１．前記体腔内プローブは管状のチャンネルを有し、
前記体腔内検出用素子を固定して内蔵した接触手段を有し、
前記接触手段は、前記チャンネルに挿通して前記被検体の前記体腔内の所定の位置に接触することを特徴とする付記８に記載の体腔内プローブ装置。
【０１２３】
１２．前記画像位置配向検出用素子は、前記体腔内検出用素子を兼ね、
前記補正手段は、前記画像位置配向検出用素子の位置もしくは配向の検出値により前記ガイド画像に補正処理を施すことを特徴とする付記８に記載の体腔内プローブ装置。
【０１２４】
１３．前記ガイド画像作成手段は、前記被検体から撮像された３次元データから臓器もしくは脈管を抽出する抽出手段を有し、
前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する３次元画像を作成し、前記３次元画像を基に前記ガイド画像を作成することを特徴とする付記８に記載の体腔内プローブ装置。
【０１２５】
１４．前記画像信号取得手段は、前記被検体内を撮像して映像信号を出力する撮像素子であり、
前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする付記８に記載の体腔内プローブ装置。
【０１２６】
１５．前記画像信号取得手段は、前記被検体内に超音波を送受信してエコー信号を出力する超音波振動子であり、
前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする付記８に記載の体腔内プローブ装置。
【０１２７】
１６．前記画像位置配向検出用素子と前記被検体検出用素子とは磁場発生器もしくは磁場検出器であり、
前記検出手段は、磁場を用いて前記検出を行うことを特徴とする付記８に記載の体腔内プローブ装置。
【０１２８】
１７．被検体の体腔内へ挿入され、前記体腔内への挿入側先端に前記被検体内の画像を作成するための信号を取得する画像信号取得手段を設けた体腔内プローブと、
人体の３次元データから前記人体の３次元画像を作成する３次元画像作成手段と、
前記３次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、
を備えた体腔内プローブ装置において、
前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、
前記画像信号取得手段と位置関係を固定された画像位置配向検出用素子と、
前記被検体に接触可能な被検体検出用素子と、
前記画像位置配向検出用素子の位置と配向と、前記被検体検出用素子の位置もしくは配向とを検出し、検出値として出力する検出手段と、
前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段と、
前記画像作成手段が作成した前記被検体内の前記リアルタイム画像と、前記ガイド画像作成手段が作成した前記ガイド画像とを、対比可能に表示する表示手段と、
を具備し、
前記表示手段は、前記人体の前記３次元画像の頭側が右に、足側が左に、腹側が前記表示手段の画面手前の法線方向になるよう、前記ガイド画像を表示することを特徴とする体腔内プローブ装置。
【０１２９】
（付記１７の効果）
被検体は内視鏡検査では通常左側臥位での体位で検査される。ガイド画像も左側臥位で表示されるので、被検体とガイド画像とを対比しやすく、術者はガイド画像がわかりやすい。
また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の体位に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の３次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。
【０１３０】
１８．前記ガイド画像作成手段は、前記被検体から撮像された３次元データから臓器もしくは脈管を抽出する抽出手段を有し、
前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する３次元画像を作成し、前記３次元画像を基に前記ガイド画像を作成することを特徴とする付記１７に記載の体腔内プローブ装置。
【０１３１】
１９．前記画像信号取得手段は、前記被検体内を撮像して映像信号を出力する撮像素子であり、
前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする付記１７に記載の体腔内プローブ装置。
【０１３２】
２０．前記画像信号取得手段は、前記被検体内に超音波を送受信してエコー信号を出力する超音波振動子であり、
前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする付記１７に記載の体腔内プローブ装置。
【０１３３】
２１．前記画像位置配向検出用素子と前記被検体検出用素子とは磁場発生器もしくは磁場検出器であり、
前記検出手段は、磁場を用いて前記検出を行うことを特徴とする付記１７に記載の体腔内プローブ装置。
【０１３４】
２２．被検体の体腔内へ挿入され、前記体腔内への挿入側先端に前記被検体内の画像を作成するための信号を取得する画像信号取得手段を設けた体腔内プローブと、
人体の３次元データから前記人体の３次元画像を作成する３次元画像作成手段と、
前記３次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、
を備えた体腔内プローブ装置において、
前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、
前記画像信号取得手段と位置関係を固定された画像位置配向検出用素子と、
前記被検体に接触可能な被検体検出用素子と、
前記画像位置配向検出用素子の位置と配向と、前記被検体検出用素子の位置もしくは配向とを検出し、検出値として出力する検出手段と、
前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段と、
を具備し、
前記ガイド画像作成手段は、前記検出手段が出力した検出値を基に、前記３次元画像と前記画像指標とを合成し、少なくとも２つの互いに異なる方向に視線を設定したガイド画像を作成することを特徴とする体腔内プローブ装置。
【０１３５】
（付記２２の効果）
２つの互いに異なる方向に視線を設定したガイド画像を作成したため、リアルタイム画像と膵臓などの関心領域との位置関係を複数の方向から、ガイドすることができるとともに、消化管等の体腔壁に対して、リアルタイム画像と体腔内プローブの可撓部と硬性部とがどのような配向や形状になっているのかを複数の方向からガイドすることができ、術者にはわかりやすい。
また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の体位に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の３次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。
【０１３６】
２３．前記ガイド画像作成手段は、少なくとも２つの互いに異なる方向に視線を設定したガイド画像を作成し、
かつ、少なくとも前記２つのガイド画像のうち１つの視線を被検体の腹側もしくは背側からの方向に設定し、
かつ、少なくとも前記２つのガイド画像のうち１つの視線を被検体の頭側もしくは足側からの方向に設定することを特徴とする付記２２に記載の体腔内プローブ装置。
【０１３７】
２４．前記ガイド画像作成手段は、少なくとも２つの互いに異なる方向に視線を設定したガイド画像を作成し、
かつ、少なくとも２つの前記ガイド画像のうち、少なくとも１つのガイド画像の視線方向を変更するガイド画像回転手段を設けたことを特徴とする付記２２に記載の体腔内プローブ装置。
【０１３８】
２５．前記ガイド画像作成手段は、前記被検体から撮像された３次元データから臓器もしくは脈管を抽出する抽出手段を有し、
前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する３次元画像を作成し、前記３次元画像を基に前記ガイド画像を作成することを特徴とする付記２２ないし付記２４のいずれか１つの付記に記載の体腔内プローブ装置。
【０１３９】
２６．前記画像信号取得手段は、前記被検体内を撮像して映像信号を出力する撮像素子であり、
前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする付記２２ないし２４のいずれか１つの付記に記載の体腔内プローブ装置。
【０１４０】
２７．前記画像信号取得手段は、前記被検体内に超音波を送受信してエコー信号を出力する超音波振動子であり、
前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする付記２２ないし２４のいずれか１つの付記に記載の体腔内プローブ装置。
【０１４１】
２８．前記画像位置配向検出用素子と前記被検体検出用素子とは磁場発生器もしくは磁場検出器であり、
前記検出手段は、磁場を用いて前記検出を行うことを特徴とする付記２２ないし２４のいずれか１つの付記に記載の体腔内プローブ装置。
【０１４２】
２９．被検体の体腔内へ挿入され、前記体腔内への挿入側先端に前記被検体内の画像を作成するための信号を取得する画像信号取得手段を設けた体腔内プローブと、
人体の３次元データから前記人体の３次元画像を作成する３次元画像作成手段と、
前記３次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、
を備えた体腔内プローブ装置において、
前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、
前記画像信号取得手段と位置関係を固定された画像位置配向検出用素子と、
前記被検体に接触可能な被検体検出用素子と、
前記画像位置配向検出用素子の位置と配向と、前記被検体検出用素子の位置もしくは配向とを検出し、検出値として出力する検出手段と、
前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段と、
を具備し、
前記ガイド画像作成手段は、前記検出手段が出力した検出値を基に前記３次元画像と前記画像指標とを合成し、視線を前記画像指標の法線と一致する方向になるよう設定された第１のガイド画像を作成することを特徴とする体腔内プローブ装置。
（付記２９の効果）
第１のガイド画像とリアルタイム画像との方向が一致するため、術者は両者を対比しやすく、リアルタイム画像の解剖学的な解釈をしやすい。
また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の体位に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の３次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。
【０１４３】
３０．前記ガイド画像作成手段は、前記第１のガイド画像の他に、視線を被検体の腹側もしくは背側からの方向、または、
被検体の頭側もしくは足側からの方向に設定された第２のガイド画像を作成することを特徴とする付記２９に記載の体腔内プローブ装置。
【０１４４】
３１．前記画像作成手段が作成した前記被検体内の前記リアルタイム画像と、前記ガイド画像作成手段が作成した前記第１のガイド画像とを、対比可能に表示する表示手段を有し、
前記表示手段は、画面の法線と前記第１のガイド画像に合成された前記画像指標の法線とを一致させ、前記第１のガイド画像と前記被検体内の前記リアルタイム画像とを対比可能に表示することを特徴とする付記２９に記載の体腔内プローブ装置。
【０１４５】
３２．前記画像作成手段が作成した前記被検体内の前記リアルタイム画像と、前記ガイド画像作成手段が作成した前記第１のガイド画像とを、対比可能に表示する表示手段を有し、
前記表示手段は、前記被検体内の前記リアルタイム画像と、前記ガイド画像作成手段が作成した前記第１のガイド画像の向きを一致させて対比可能に表示することを特徴とする付記３１に記載の体腔内プローブ装置。
【０１４６】
３３．前記ガイド画像作成手段は、前記３次元画像が前記画像指標によって分けられる２つの領域のうち、一方を非表示にして前記ガイド画像を作成することを特徴とする付記３１又は３２に記載の体腔内プローブ装置。
【０１４７】
３４．前記ガイド画像作成手段は、前記３次元画像のうち前記画像指標上の部分の輝度もしくは明度もしくは彩度もしくは表示色をそれ以外の表示部分とは変化させて前記ガイド画像を作成することを特徴とする付記３１又は３２に記載の体腔内プローブ装置。
【０１４８】
３５．前記ガイド画像作成手段は、前記第１のガイド画像の他に、視線を被検体の腹側もしくは背側からの方向、または、
被検体の頭側もしくは足側からの方向に設定された第２のガイド画像を作成し、
前記表示手段は、前記第１のガイド画像と前記第２のガイド画像とを同時もしくは順次もしくは切り替えて表示することを特徴とする付記３１又は３２に記載の体腔内プローブ装置。
【０１４９】
３６．前記ガイド画像作成手段は、前記被検体から撮像された３次元データから臓器もしくは脈管を抽出する抽出手段を有し、
前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する３次元画像を作成し、前記３次元画像を基に前記ガイド画像を作成したことを特徴とする付記２９ないし３５のいずれか１つの付記に記載の体腔内プローブ装置。
【０１５０】
３７．前記画像信号取得手段は、前記被検体内を撮像して映像信号を出力する撮像素子であり、
前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする付記２９ないし３５のいずれか１つの付記に記載の体腔内プローブ装置。
【０１５１】
３８．前記画像信号取得手段は、前記被検体内に超音波を送受信してエコー信号を出力する超音波振動子であり、
前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする付記２９ないし３５のいずれか１つの付記に記載の体腔内プローブ装置。
【０１５２】
３９．前記画像位置配向検出用素子と前記被検体検出用素子とは磁場発生器もしくは磁場検出器であり、
前記検出手段は、磁場を用いて前記検出を行うことを特徴とする付記２９ないし３５のいずれか１つの付記に記載の体腔内プローブ装置。
【０１５３】
４０．被検体の体腔内へ挿入され、前記体腔内への挿入側先端に前記被検体内の画像を作成するための信号を取得する画像信号取得手段を設けた体腔内プローブと、
人体の３次元データから前記人体の３次元画像を作成する３次元画像作成手段と、
前記３次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、
を備えた体腔内プローブ装置において、
前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、
前記画像信号取得手段と位置関係を固定された画像位置配向検出用素子と、
前記被検体に接触可能な被検体検出用素子と、
前記画像位置配向検出用素子の位置と配向と、前記被検体検出用素子の位置もしくは配向とを検出し、検出値として出力する検出手段と、
前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段と、
を具備し、
前記ガイド画像作成手段は、前記検出手段が出力した検出値を基に前記３次元画像と前記画像指標とを合成し、前記３次元画像が前記画像指標によって分けられる２つの領域を、互いに表示態様を変化させて前記ガイド画像を作成することを特徴とする体腔内プローブ装置。
【０１５４】
（付記４０の効果）
表示態様を変化させてガイド画像を作成するため、術者は、可撓部と硬性部とをさらにどう動かしたら、患部等の関心領域をリアルタイム画像上に表示できるかわかりやすく、体腔内プローブの可撓部と硬性部との操作をしやすい。
特に、胆嚢のように被検体内部で柔らかく動きやすい臓器は画像指標上には写っていながら、リアルタイム画像上には写らない可能性があるが、本構成によってガイド画像は、術者がもう少し硬性部と可撓部とを動かせば胆嚢のリアルタイム画像上での描出ができるという目印になるため、術者には、体腔内プローブの硬性部と可撓部との操作がしやすい。
また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の体位に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の３次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。
【０１５５】
４１．前記画像指標作成手段は、前記画像指標を透過可能にして作成することを特徴とする付記４０に記載の体腔内プローブ装置。
４２．前記ガイド画像作成手段は、前記３次元画像が前記画像指標によって分けられる前記２つの領域を、互いに輝度もしくは明度もしくは彩度もしくは表示色を変化させて前記ガイド画像を作成することを特徴とする付記４０又は４１に記載の体腔内プローブ装置。４３．前記ガイド画像作成手段は、前記被検体から撮像された３次元データから臓器もしくは脈管を抽出する抽出手段を有し、
前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する３次元画像を作成し、前記３次元画像を基に前記ガイド画像を作成することを特徴とする付記４０ないし４２のいずれか１つの付記に記載の体腔内プローブ装置。
【０１５６】
４４．前記画像信号取得手段は、前記被検体内を撮像して映像信号を出力する撮像素子であり、
前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする付記４０ないし４２のいずれか１つの付記に記載の体腔内プローブ装置。
【０１５７】
４５．前記画像信号取得手段は、前記被検体内に超音波を送受信してエコー信号を出力する超音波振動子であり、
前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする付記４０ないし４２のいずれか１つの付記に記載の体腔内プローブ装置。
【０１５８】
４６．前記画像位置配向検出用素子と前記被検体検出用素子とは磁場発生器もしくは磁場検出器であり、
前記検出手段は磁場を用いて前記検出を行うことを特徴とする付記４０ないし４２のいずれか１つの付記に記載の体腔内プローブ装置。
【０１５９】
４７．被検体の体腔内へ挿入され、前記体腔内への挿入側先端に前記被検体内の画像を作成するための信号を取得する画像信号取得手段を設けた体腔内プローブと、
人体の３次元データから前記人体の３次元画像を作成する３次元画像作成手段と、
前記３次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、
を備えた体腔内プローブ装置において、
前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、
前記画像信号取得手段と位置関係を固定された画像位置配向検出用素子と、
前記被検体に接触可能な被検体検出用素子と、
前記画像位置配向検出用素子の位置と配向と、前記被検体検出用素子の位置もしくは配向とを検出し、検出値として出力する検出手段と、
前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段と、
を具備し、
前記ガイド画像作成手段は、前記検出手段が出力した検出値を基に前記３次元画像と前記画像指標とを合成し、前記３次元画像が前記画像指標によって分けられる２つの領域のうち、一方を非表示にして前記ガイド画像を作成することを特徴とする体腔内プローブ装置。
（付記４７の効果）
画像指標によって分けられる２つの領域のうち、一方を非表示にしてガイド画像を作成したため、臓器が術者のガイド画像の観察の邪魔になることなく、このガイド画像とリアルタイム画像との対比を一層しやすい。
また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の体位に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の３次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。
【０１６０】
４８．前記ガイド画像作成手段は、前記３次元画像のうち前記画像指標上の部分の輝度もしくは明度もしくは彩度もしくは表示色をそれ以外の表示部分とは変化させて前記ガイド画像を作成することを特徴とする付記４７に記載の体腔内プローブ装置。
４９．前記ガイド画像作成手段は、前記被検体から撮像された３次元データから臓器もしくは脈管を抽出する抽出手段を有し、
前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する３次元画像を作成し、前記３次元画像を基に前記ガイド画像を作成することを特徴とする付記４７に記載の体腔内プローブ装置。
【０１６１】
５０．前記画像信号取得手段は、前記被検体内を撮像して映像信号を出力する撮像素子であり、
前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする付記４７に記載の体腔内プローブ装置。
５１．前記画像信号取得手段は、前記被検体内に超音波を送受信してエコー信号を出力する超音波振動子であり、
前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする付記４７に記載の体腔内プローブ装置。
【０１６２】
５２．前記画像位置配向検出用素子と前記被検体検出用素子とは磁場発生器もしくは磁場検出器であり、
前記検出手段は磁場を用いて前記検出を行うことを特徴とする付記４７に記載の体腔内プローブ装置。
【産業上の利用可能性】
【０１６３】
体腔内に屈曲自在に挿入される超音波内視鏡等の体腔内プローブにおける先端の硬性部に設けた画像信号取得手段により取得した画像をリアルタイム画像として表示する場合、そのリアルタイム画像の位置及び配向を表す３次元ガイド画像を、挿入形状と共に表示するようにして、術者が診断、治療を行い易くする。
【図面の簡単な説明】
【０１６４】
【図１】図１は本発明の実施例１の体腔内プローブ装置の全体構成図。
【図２】図２は体表検出用コイルを使用例で模式的に示す図。
【図３】図３は体腔内接触プローブを示す側面図。
【図４】図４は画像処理装置の構成を示すブロック図。
【図５】図５は参照画像記憶部内に記憶される参照画像データを示す説明図。
【図６】図６は、ボクセル空間を示す説明図。
【図７】図７は位置・配向データを表すために送信アンテナ上に原点を設定した直交基底を示す図。
【図８】図８は被検体側の超音波断層像の中心をボクセル空間へ写像する様子等を示す説明図。
【図９】図９は被検体側の体腔内特徴点をボクセル空間へ写像する様子等を示す説明図。
【図１０】図１０は画像指標作成回路により画像指標データが作成される様子を示す説明図。
【図１１】図１１は挿入形状作成回路により作成される挿入形状データが作成される様子を示す説明図。
【図１２】図１２は３次元人体画像データを示す説明図。
【図１３】図１３は合成回路により画像指標データと挿入形状データとが合成メモリ内のボクセル空間に埋められていく様子を示す説明図。
【図１４】図１４は被検体の腹側から観察した場合の３次元ガイド画像データを示す説明図。
【図１５】図１５は被検体の足側から観察した場合の３次元ガイド画像データを示す説明図。
【図１６】図１６は表示装置に表示される３次元ガイド画像及び超音波断層像を示す図。
【図１７】図１７は本実施例の全体的な処理内容を示すフローチャート。
【図１８】図１８は図１７における参照画像上での体表特徴点、体腔内特徴点指定処理の具体的な処理内容を示すフローチャート。
【図１９】図１９は図１７における補正値算出処理の具体的な処理内容を示すフローチャート。
【図２０】図２０は図１９における処理の説明図。
【図２１】図２１は図１７における超音波断層像・３次元ガイド画像作成／表示処理の具体的な処理内容を示すフローチャート。
【図２２】図２２は本発明の実施例２における３次元ガイド画像データを示す説明図。
【図２３】図２３は本発明の実施例３における３次元ガイド画像データを示す説明図。
【図２４】図２４は本発明の実施例４における３次元ガイド画像データを示す説明図。
【図２５】図２５は本発明の実施例５における３次元ガイド画像データを示す説明図。
【図２６】図２６は本発明の実施例６における画像処理装置の構成を示すブロック図。
【図２７】図２７は３次元ガイド画像作成回路Ａが生成する３次元ガイド画像データを示す説明図。
【図２８】図２８は３次元ガイド画像作成回路Ｂが生成する３次元ガイド画像データを示す説明図。
【図２９】図２９は表示装置に表示される３次元ガイド画像及び光学像を示す図。
【符号の説明】
【０１６５】
１…体腔内プローブ装置
２…超音波内視鏡
３…光学観察装置
４…超音波観測装置
５…位置配向算出装置
６…送信アンテナ
７…体表検出用コイル
８…体腔内接触プローブ
９…Ａ／Ｄ変換ユニット部
１１…画像処理装置
１４…表示装置
１５…Ｘ線３次元ヘリカルＣＴ装置
２１…硬性部
２２…可撓部
２６…ＣＣＤカメラ
２９…超音波振動子アレイ
３１…画像位置配向検出用コイル
３２…挿入形状検出用コイル
４２…体腔内検出用コイル
５１…マッチング回路
５２…画像指標作成回路
５３…挿入形状作成回路
５５…参照画像記憶部
５６…補間回路
５７…３次元人体画像作成回路
５８…合成回路
５９…回転変換回路
６０…３次元ガイド画像作成回路Ａ，Ｂ
６１…混合回路
６２…表示回路
６５…体腔内特徴点指定キー
６６…走査制御キー
【出願人】 【識別番号】３０４０５０９２３
【氏名又は名称】オリンパスメディカルシステムズ株式会社
【出願日】 平成１９年９月２１日（２００７．９．２１）
【代理人】 【識別番号】１０００７６２３３
【弁理士】
【氏名又は名称】伊藤 進
【公開番号】 特開２００８−６３０８（Ｐ２００８−６３０８Ａ）
【公開日】 平成２０年１月１７日（２００８．１．１７）
【出願番号】 特願２００７−２４５７８６（Ｐ２００７−２４５７８６）