【発明の名称】 |
医用ガイド装置 |
【発明者】 |
【氏名】川島 知直
【氏名】生熊 聡一
【氏名】小幡 里織
【氏名】小室 雅彦
|
【要約】 |
【課題】ガイド画像がもう少し硬性部と可撓部とを動かせば胆嚢等臓器のリアルタイム画像上での描出ができるという目印になり、術者がプローブの硬性部と可撓部との操作がしやすい医用ガイド装置を提供する。
【構成】体腔内に挿入される体腔内プローブとしての超音波内視鏡2の先端には超音波のエコー信号を取得する超音波振動子アレイ29が設けられている。エコー信号からリアルタイム画像としての超音波断層像が生成される。ガイド画像作成回路は、3次元画像とリアルタイム画像の位置及び配向を示す画像指標とを合成し、画像指標によって分けられる2つの領域の表示形態を変化させるガイド画像を生成する。 |
【特許請求の範囲】
【請求項1】 被検体内の画像を作成するための信号を取得する画像信号取得手段を設けたプローブと、 前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、 人体の3次元データから前記人体の3次元画像を作成する3次元画像作成手段と、 前記3次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、 を備えた医用ガイド装置において、 前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段、 を具備し、 前記ガイド画像作成手段は、前記3次元画像と前記画像指標とを合成し、前記画像指標によって分けられる前記3次元画像の2つの領域の表示態様を、互いに変化させて前記ガイド画像を作成することを特徴とする医用ガイド装置。 【請求項2】 前記表示態様は、輝度もしくは明度もしくは彩度もしくは表示色であることを特徴とする請求項1に記載の医用ガイド装置。 【請求項3】 被検体内の画像を作成するための信号を取得する画像信号取得手段を設けたプローブと、 前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、 人体の3次元データから前記人体の3次元画像を作成する3次元画像作成手段と、 前記3次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置若しくは配向をガイドするガイド画像を作成するガイド画像作成手段と、 を備えた医用ガイド装置において、 前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段を具備し、 前記ガイド画像作成手段は、前記3次元画像と前記画像指標とを合成し、前記画像指標によって分けられる前記3次元画像の2つの領域のうち、一方を非表示にして前記ガイド画像を作成することを特徴とする医用ガイド装置。 【請求項4】 前記ガイド画像作成手段は、前記3次元画像のうち前記画像指標上の部分の輝度若しくは明度若しくは彩度若しくは表示色をそれ以外の表示部分とは変化させて前記ガイド画像を作成することを特徴とする請求項3に記載の医用ガイド装置。 【請求項5】 前記画像信号取得手段と位置関係を固定された画像位置配向検出用素子と、 前記被検体に接触可能な被検体検出用素子と、 前記画像位置配向検出用素子の位置と配向と、前記被検体検出用素子の位置もしくは配向とを検出し、検出値として出力する検出手段と、 を設け、 前記ガイド画像作成手段は、前記検出手段が出力した検出値を基に前記ガイド画像を作成することを特徴とする請求項1から請求項4のいずれか1つの請求項に記載の医用ガイド装置。 【請求項6】 前記プローブは、前記被検体の体腔内へ挿入される体腔内プローブであることを特徴とする請求項1から請求項4のいずれか1つの請求項に記載の医用ガイド装置。 【請求項7】 前記画像指標作成手段は、前記画像指標を透過可能にして作成することを特徴とする請求項1から請求項4のいずれか1つの請求項に記載の医用ガイド装置。 【請求項8】 前記ガイド画像作成手段は、前記被検体から撮像された3次元データから臓器もしくは脈管を抽出する抽出手段を有し、 前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する3次元画像を作成し、前記3次元画像を基に前記ガイド画像を作成することを特徴とする請求項1から請求項4のいずれか1つの請求項に記載の医用ガイド装置。 【請求項9】 前記画像信号取得手段は、前記被検体内を撮像して映像信号を出力する撮像素子であり、 前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする請求項1から請求項4のいずれか1つの請求項に記載の医用ガイド装置。 【請求項10】 前記画像信号取得手段は、前記被検体内に超音波を送受信してエコー信号を出力する超音波振動子であり、 前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする請求項1から請求項4のいずれか1つの請求項に記載の医用ガイド装置。 【請求項11】 前記画像位置配向検出用素子と前記被検体検出用素子とは磁場発生器もしくは磁場検出器であり、 前記検出手段は、磁場を用いて前記検出を行うことを特徴とする請求項5に記載の医用ガイド装置。 【請求項12】 被検体の体腔内へ挿入され、前記体腔内への挿入側先端に前記被検体内の画像を作成するための信号を取得する画像信号取得手段を設けたプローブと、 人体の3次元データから前記人体の3次元画像を作成する3次元画像作成手段と、 前記3次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、 を備えた医用ガイド装置において、 前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、 前記画像信号取得手段と位置関係が固定された画像位置配向検出用素子と、 前記被検体に接触可能な被検体検出用素子と、 前記画像位置配向検出用素子の位置と配向と、前記被検体検出用素子の位置もしくは配向とを検出し、検出値として出力する検出手段と、 前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段と、 前記画像作成手段が作成した前記被検体内の前記リアルタイム画像と、前記ガイド画像作成手段が作成した前記ガイド画像とを、対比可能に表示する表示手段と、 を具備し、 前記表示手段は、前記人体の前記3次元画像の頭側が右に、足側が左に、腹側が前記表示手段の画面手前の法線方向になるよう、前記ガイド画像を表示することを特徴とする医用ガイド装置。 【請求項13】 前記ガイド画像作成手段は、前記被検体から撮像された3次元データから臓器もしくは脈管を抽出する抽出手段を有し、 前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する3次元画像を作成し、前記3次元画像を基に前記ガイド画像を作成することを特徴とする請求項12に記載の医用ガイド装置。 【請求項14】 前記画像信号取得手段は、前記被検体内を撮像して映像信号を出力する撮像素子であり、 前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする請求項12に記載の医用ガイド装置。 【請求項15】 前記画像信号取得手段は、前記被検体内に超音波を送受信してエコー信号を出力する超音波振動子であり、 前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする請求項12に記載の医用ガイド装置。 【請求項16】 前記画像位置配向検出用素子と前記被検体検出用素子とは磁場発生器もしくは磁場検出器であり、 前記検出手段は、磁場を用いて前記検出を行うことを特徴とする請求項12に記載の医用ガイド装置。
|
【発明の詳細な説明】【技術分野】 【0001】 本発明は、体腔内に挿入される体腔内プローブを用いて体腔内を診断等する医用ガイド装置に関する。 【背景技術】 【0002】 従来より、内視鏡、超音波内視鏡、細径超音波プローブなど、消化管、胆膵管、血管などの体腔内へ挿入して、診断、治療に用いる体腔内プローブが周知である。これら体腔内プローブは通常、先端にCCDカメラなどの撮像素子や超音波振動子を先端に設けている。 そして、これら体腔内プローブは、撮像素子や超音波振動子から得られた信号から光学像や超音波断層像を作成するプロセッサと一体となった体腔内プローブ装置として用いられることが通例である。 さらに、近年、これら体腔内プローブを目的部位まで容易に到達するよう補助するためにナビゲーション機能を備えた医用ガイド装置が公知である。 【0003】 このうち、第1の従来例としての特開2004−113629号公報で開示されている医用ガイド装置は、被検体に超音波を送受して得られる超音波信号により、超音波画像を生成する超音波診断装置であり、超音波を送受する部位の位置を検出するための超音波走査位置検出手段と、超音波信号を基に超音波画像を生成する超音波画像生成手段と、超音波走査位置検出手段により得られる位置情報に対応する被検体の部位の解剖学的な画像情報を、ガイド画像としての人体の模式図データを有する画像情報保持手段より取得し超音波画像と同一の画面に表示させる制御手段と、を備えている。 この医用ガイド装置では、超音波画像がリアルタイム画像として表示される。 【0004】 また、この医用ガイド装置では、実際の位置情報検出には磁場を発生する送信コイルと磁場を受信する受信コイルとが用いられており、このうち、あるコイルは体腔内プローブとしての超音波内視鏡の挿入端に設けられ、あるコイルは被検体に装着される。このため、この医用ガイド装置では被検体の姿勢を検出して、超音波を送受する被検体の部位の位置を検出することができる。 一方、第2の従来例としての特開2002−306403号公報で開示されている医用ガイド装置は、内視鏡の挿入形状を検出し、挿入形状を描出する映像信号を得る内視鏡装置であり、予め被検体のCTスキャンにて3次元領域の連続するスライス断層像から被検体の3次元画像を生成する画像生成手段と、挿入形状と挿入形の周囲の被検体の3次元画像とを合成して表示する表示手段と、を設けている。 【0005】 この医用ガイド装置では、内視鏡像がリアルタイム画像として表示される。 また、この医用ガイド装置では、実際の挿入形状検出には、内視鏡の可撓管に充填されたγ線を放射する放射性物質と、γ線吸収により発光するシンチレータと受光素子とを組み合わせた底部検出部と垂直検出部と、が用いられている。 【特許文献1】特開2004−113629号公報 【特許文献2】特開2002−306403号公報 【発明の開示】 【発明が解決しようとする課題】 【0006】 しかし、従来例においては、ガイド画像を作成するガイド画像作成手段が人体の3次元画像とプローブに設けられた画像信号取得手段によるリアルタイム画像の位置と配向とを示す画像指標とを合成し、この画像指標によって分けられる3次元画像の2つの領域の表示態様を、互いに変化させてガイド画像を作成することができなかった。 【0007】 そのため、術者は、可撓部と硬性部とをさらにどう動かしたら、患部等の関心領域をリアルタイム画像上に表示できるかわかりにくく、プローブの可撓部と硬性部との操作をしにくい。特に、胆嚢のように被検体内部で柔らかく動きやすい臓器は画像指標上には写っていながら、リアルタイム画像上には写らない可能性がある。 【0008】 (発明の目的) 本発明は、上述した点に鑑みてなされたもので、ガイド画像がもう少し硬性部と可撓部とを動かせば胆嚢等臓器のリアルタイム画像上での描出ができるという目印になり、術者がプローブの硬性部と可撓部との操作がしやすい医用ガイド装置を提供することを目的とする。 【課題を解決するための手段】 【0009】 本発明は、被検体内の画像を作成するための信号を取得する画像信号取得手段を設けたプローブと、 前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、 人体の3次元データから前記人体の3次元画像を作成する3次元画像作成手段と、 前記3次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、 を備えた医用ガイド装置において、 前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段と、 を具備し、 前記ガイド画像作成手段は、前記3次元画像と前記画像指標とを合成し、前記画像指標によって分けられる前記3次元画像の2つの領域の表示態様を、互いに変化させて前記ガイド画像を作成することを特徴とする。 【発明の効果】 【0010】 本発明によれば、表示態様を変化させてガイド画像を作成するため、術者は、可撓部と硬性部とをさらにどう動かしたら、患部等の関心領域をリアルタイム画像上に表示できるかわかりやすく、体腔内プローブの可撓部と硬性部との操作をしやすい。 特に、胆嚢のように被検体内部で柔らかく動きやすい臓器は画像指標上には写っていながら、リアルタイム画像上には写らない可能性があるが、本構成によってガイド画像は、術者がもう少し硬性部と可撓部とを動かせば胆嚢のリアルタイム画像上での描出ができるという目印になるため、術者には、体腔内プローブの硬性部と可撓部との操作がしやすい。 また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の体位に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の3次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。 【0011】 また、本発明によれば、画像指標によって分けられる2つの領域のうち、一方を非表示にしてガイド画像を作成したため、臓器が術者のガイド画像の観察の邪魔になることなく、このガイド画像とリアルタイム画像との対比を一層しやすい。 また、被検体は内視鏡検査では通常左側臥位での体位で検査される。本発明によれば、ガイド画像も左側臥位で表示されるので、被検体とガイド画像とを対比しやすく、術者はガイド画像がわかりやすい。 【発明を実施するための最良の形態】 【0012】 以下、図面を参照して本発明の各実施例を説明する。 【実施例1】 【0013】 図1から図21を参照して本発明の実施例1を説明する。図1は本発明の実施例1の体腔内プローブ装置の構成を示し、図2は体表検出用コイルを使用例で示し、図3は体腔内接触プローブを示し、図4は画像処理装置の構成を示し、図5は参照画像記憶部内に記憶される参照画像データを示す。 図6は、ボクセル空間を示し、図7は位置・配向データを表すために送信アンテナ上に原点を設定した直交基底を示し、図8は被検体側の超音波断層像の中心をボクセル空間へ写像する説明図を示し、図9は被検体側の体腔内特徴点をボクセル空間へ写像する説明図を示し、図10は画像指標作成回路により画像指標データが作成される様子を示す。 【0014】 図11は挿入形状作成回路により作成される挿入形状データが作成される様子を示し、図12は3次元人体画像データを示し、図13は合成回路により画像指標データと挿入形状データとが合成メモリ内のボクセル空間に埋められていく様子を示し、図14は被検体の腹側から観察した場合の3次元ガイド画像データを示し、図15は被検体の足側から観察した場合の3次元ガイド画像データを示す。 図16は表示装置に表示される3次元ガイド画像及び超音波断層像を示し、図17は本実施例の全体的な処理内容をフローチャートで示し、図18は図17における参照画像上での体表特徴点、体腔内特徴点指定処理の具体的な処理内容をフローチャートで示し、図19は図17における補正値算出処理の具体的な処理内容をフローチャートで示し、図20は図19における処理の説明図を示し、図21は図17における超音波断層像・3次元ガイド画像作成/表示処理の具体的な処理内容をフローチャートで示す。 【0015】 まず、本発明の実施例1に係る体腔内プローブ装置1の構成を説明する。 図1に示すように実施例1の体腔内プローブ装置1は、体腔内プローブとしての電子ラジアル走査型の超音波内視鏡2と、光学観察装置3と、超音波観測装置4と、位置配向算出装置5と、送信アンテナ6と、体表検出用コイル7と、体腔内接触プローブ8と、A/Dユニット部9と、画像処理装置11と、マウス12と、キーボード13と、表示装置14とからなり、これらは信号線で接続されている。 体腔内プローブ装置1の外部にはX線3次元ヘリカルCT装置(X-ray 3 dimentional computer tomography system)15、3次元MRI装置(3 dimentional magnetic resonance imaging system)16と、それらを接続した光通信やADSL等の高速のネットワーク17がある。X線3次元ヘリカルCT装置15、3次元MRI装置16とは、ネットワーク17経由で本体腔内プローブ装置1の画像処理装置11と接続している。 【0016】 超音波内視鏡2は、食道、胃、十二指腸などの体腔内に挿入できるよう、先端のステンレス等の硬質な材料で構成された硬性部21と、硬性部21より後端側に可撓性のある材料で構成された長尺の可撓部22と、可撓部22より後端側(手前側)に硬質な材料で構成された操作部23とを有する。なお、硬性部21と可撓部22は、体腔内に挿入される挿入部を形成する。 硬性部21には、以下のように光学的に撮像して画像信号を取得する画像信号取得手段が、硬性部21に固定して設けてある。 硬性部21には、カバーガラスで形成された光学観察窓24が設けてあり、この光学観察窓24の内側に光学像を結ぶ対物レンズ25と、その結像位置に配置された撮像素子として、例えばCCD(charge coupled device)カメラ26とが設けてある。また、この光学観察窓24に隣接して、体腔内に照明光を照射する図示しない照明光照射窓(照明窓)が設けられている。 【0017】 CCDカメラ26は、光学観察装置3と信号線27で接続されている。図示しない照明光照射窓は照明光を照射し、体腔内を照明するよう構成されている。体腔表面の像は、光学観察窓24から対物レンズ25を経由してCCDカメラ26に結像され、CCDカメラ26からのCCD信号は信号線27を経由して光学像のリアルタイム画像を生成する画像作成手段としての光学観察装置3へ出力される。 また、この硬性部21には音響的に撮像して画像信号としてエコー信号を取得する画像信号取得手段も、硬性部21に固定して設けてある。 硬性部21における例えば円柱状の先端部分は、短冊状に細かく切断され、挿入軸の周囲に環状でアレイ状に配列させた超音波振動子群が設けてあり、この超音波振動子群で超音波振動子アレイ29が形成されている。 超音波振動子アレイ29を構成する各超音波振動子29aはそれぞれ信号線30を介して操作部23経由で超音波によるリアルタイム画像を生成する画像作成手段としての超音波観測装置4と接続されている。超音波振動子アレイ29の環の中心は、後述するラジアル走査による超音波ビームの旋回中心である。 【0018】 ここで、硬性部21に固定された正規直交基底(各方向の単位ベクトル)V、V3、V12を図1のように定義する。 つまり、Vは硬性部21の長手方向(挿入軸方向)と平行で、後述するように、このVは超音波断層像の法線方向ベクトルとなる。このベクトルVに直交するV3は、3時方向ベクトル、そしてV12は、12時方向ベクトルである。 硬性部21内には、超音波振動子アレイ29に対する画像位置配向検出用素子としての画像位置配向検出用コイル31が超音波振動子アレイ29の環の中心のごく近傍に固定して設けてある。画像位置配向検出用コイル31は、ベクトルV及びV3の2つの方向(軸)を指向するように、2軸方向に巻かれたコイルが一体に形成され、ベクトルV及びV3の両方向を検出できるように設定されている。 【0019】 可撓部22内には、超音波内視鏡2における挿入部を構成するこの可撓部22の挿入形状を検出するため、挿入軸に沿って、例えば一定間隔で複数の挿入形状検出用コイル32が設けてある。 図1に示すように、挿入形状検出用コイル32は、1軸方向に巻かれたコイルで、その巻線軸方向が可撓部22の挿入軸方向と一致するよう可撓部22内部に固定されている。なお、硬性部21は、上記画像位置配向検出用コイル31の位置から検出できる。 従って、挿入形状検出用素子は、より正確には硬性部21内に設けた画像位置配向検出用コイル31と可撓部22内に設けられた挿入形状検出用コイル32とから構成される。 なお、挿入形状を検出するための挿入形状検出用素子としての複数の挿入形状検出用コイル32は、例えば可撓部22の先端側部分のみに設け、超音波内視鏡2の挿入部の先端側部分の挿入形状を検出するようにしても良い。 【0020】 本実施例においては、挿入形状検出用素子として複数の挿入形状検出用コイル32を採用することにより、磁場を利用して挿入形状の検出を行う。これにより、挿入形状検出のために、術者及び患者(被検体)が放射線被爆を受けないようにできる。 可撓部22の先端付近には、湾曲自在の湾曲部が設けられることが多く、この湾曲部付近のみに複数の挿入形状検出用コイル32を設けるようにしても良い。 画像位置配向検出用コイル31の位置及び配向等を検出する検出手段を構成する位置配向算出装置5は、送信アンテナ6と、A/Dユニット部9を構成する複数のA/Dユニット9a、9b、9cと、挿入形状作成手段、3次元画像作成手段、合成手段、画像指標作成手段等を内蔵した画像処理装置11と信号線で接続されている。 このうち、位置配向算出装置5と画像処理装置11とは、例えばRS-232C規格のケーブル33で接続されている。 送信アンテナ6は、巻線軸の配向の異なる複数の図示しない送信コイルにより構成され、これらの送信コイルは例えば直方体の筐体の中に一体に収納されている。複数の送信コイルは、それぞれ位置配向算出装置5に接続されている。 【0021】 A/Dユニット9i(i=a〜c)は、入力されるアナログ信号を増幅する図示しないアンプと、増幅された信号をサンプリングしてデジタルデータへ変換する図示しないアナログデジタル変換回路とからなる。 A/Dユニット9aは、画像位置配向検出用コイル31と、複数の挿入形状検出用コイル32の各々と、個別に信号線34で接続されている。 A/Dユニット9bは、長尺の体腔内接触プローブ8と信号線35で接続されている。 A/Dユニット9cは、複数の体表検出用コイル7の各々と個別に信号線36で接続されている。 なお、図1及び後述する図4の各矢印線は以下の通りの信号、データの流れを示す。 【0022】 (a)第1:点線は光学像に関わる信号・データの流れ、 (b)第2:破線は超音波断層像に関わる信号・データの流れ、 (c)第3:実線は位置に関わる信号・データやそれを加工して作成されたデータの流れ、 (d)第4:一点鎖線は参照画像データやそれを加工して作成されたデータの流れ、 (e)第5:太線は超音波断層像データ(後述)と、3次元ガイド画像データ(後述)とを合成した最終的な表示画面に関わる信号・データの流れ、 (f)第6:流曲線はそれ以外の制御に関わる信号・データの流れ。 図2は被検体検出用素子を形成する体表検出用コイル7を示す。 【0023】 体表検出用コイル7は、各々1軸方向に巻かれた4個のコイルからなり、各々のコイルがテープ、ベルト、バンドなどで、被検体37の体表、具体的には腹部体表の特徴のある点(以下、単に体表特徴点)に着脱可能に固定され、その体表特徴点の磁場を用いた位置検出に利用される。 通常の上部内視鏡検査では、被検体37は左側を下にしてベッド38上で横になるいわゆる左側臥位の姿勢をとって、内視鏡を口から挿入されるので、図2もその姿勢で描いている。 本実施例では体表特徴点を、骨格上の特徴のある箇所「剣状突起」(xiphoid process)、骨盤(pelvis)の左側の「左上前腸骨棘」(left anterior superior iliac spine)、骨盤の右側の「右上前腸骨棘」(right anterior superior iliac spine)、左右の上前腸骨棘の中間で脊椎上の「腰椎椎体棘突起」(spinous process of vertebral body)の4点にとって説明する。 【0024】 この4点は術者が触診で位置を特定できる。また、この4点は同一平面状になく、剣状突起を原点として他の特徴点へ向かう3本のベクトルを基本ベクトルとする斜交座標系(un-orthogonal reference frame)を形成する。この斜交座標系を図2に太い線で示す。 図3は体腔内接触プローブ8を示す。体腔内接触プローブ8は、可撓性のある材料で構成された外筒41を有する。この外筒41内におけるその先端には体腔内検出用コイル42が固定して設けられ、この外筒41の後端にはコネクタ43が設けてある。 図3に示すように、体腔内検出用コイル42は、1軸方向に巻かれたコイルで、体腔内接触プローブ8の先端に固定されている。体腔内検出用コイル42は、その巻線軸方向が体腔内接触プローブ8の挿入軸方向と一致するよう固定されている。そして、この体腔内検出用コイル42は、体腔内接触プローブ8の先端が接触された体腔内の関心部位等の位置検出に利用される。 【0025】 図1に示すように、超音波内視鏡2は、操作部23から可撓部22を経て硬性部21にかけて、操作部23に第1の開口として、鉗子等を挿入する処置具挿入口(以下では、簡単化のため鉗子口と略記)44を備え、硬性部21に第2の開口としての突出口45を備えた、管状の処置具チャンネル46が設けてある。 この処置具チャンネル46は、体腔内接触プローブ8を鉗子口44から挿通し、突出口45から突出できるよう構成されている。突出口45の開口方向は、体腔内接触プローブ8が突出口45から突出したときに、体腔内接触プローブ8が光学観察窓24の光学視野範囲の内に入るよう向けられている。 図4は挿入形状作成手段、3次元画像作成手段、合成手段、画像指標作成手段等を内蔵した画像処理装置11を示す。 【0026】 画像処理装置11は、マッチング回路51と、画像指標作成回路52と、挿入形状作成回路53と、通信回路54と、参照画像記憶部55と、補間回路56と、3次元人体画像作成回路57と、合成回路58と、回転変換回路59と、異なる2つの視線方向の3次元ガイド画像を作成する3次元画像作成回路60(以下、3次元ガイド画像作成回路Aと3次元ガイド画像作成回路Bと記載)、混合回路61と、表示回路62と、制御回路63とを有する。 マッチング回路51には、挿入形状検出用素子等の位置及び配向を検出する検出手段を構成する位置配向算出装置5から出力される位置・配向データが入力される。 そして、このマッチング回路51は、後述するように直交座標軸O-xyzにおいて算出された位置・配向データを、所定の変換式に従って写像し、直交座標軸O'-x'y'z'における新たな位置・配向データを算出する。 【0027】 そして、マッチング回路51は、この新たな位置・配向データを、位置・配向写像データとして、画像指標データを作成する画像指標作成回路52と、挿入形状データを作成する挿入形状作成回路53とへ出力する。 通信回路54は、大容量で高速の通信モデムを内部に設けており、人体の3次元データを生成するX線3次元ヘリカルCT装置15と、3次元MRI装置16とネットワーク17経由で接続されている。 参照画像記憶部55は、大容量のデータを保存できるハードディスクドライブ等からなる。参照画像記憶部55は、解剖学的な画像情報として、複数の参照画像データを記憶している。 【0028】 図5に示すように、参照画像データは、X線3次元ヘリカルCT装置15と、3次元MRI装置16からネットワーク17経由で得られた被検体37の断層像のデータである。 本実施例では、以下、参照画像データを、被検体37の体軸(頭から足に抜ける軸)に垂直、0.5mm〜数mmピッチ、一辺数十cmの正方形の断層像のデータとする。 被検体37の断層像を得る場合、X線3次元ヘリカルCT装置15よりも3次元MRI装置16を多用することにより、被検体37が受けるX線の被爆を低減ないしは解消できる。 図5の参照画像記憶部55内の参照画像データには説明の都合上、1番からN番までの番号が付されている。 ここで、図5のように、複数の参照画像データに対して固定した直交座標軸O’-x’y’z’とその正規直交基底(各軸方向の単位ベクトル)i’、j’、k’を、原点O’を1番の参照画像データの最も左下に定義して、参照画像データ上に定義する。 【0029】 図4に示すように補間回路56と合成回路58とは、それぞれボリュームメモリVMを内蔵している。説明の都合上、以下、補間回路56に設けられたボリュームメモリVMを補間メモリ56a、合成回路58に設けられたボリュームメモリを合成メモリ58aと呼ぶ。 ボリュームメモリVMは、大容量のデータを格納することができるよう構成されている。ボリュームメモリVMの一部の記憶領域にはボクセル空間が割り当てられている。図6に示すように、ボクセル空間は、直交座標軸O’-x’y’z’に対応したアドレスを持つメモリセル(以下、ボクセル)からなっている。 図4に示す3次元人体画像を作成する3次元人体画像作成回路57と回転変換を行う回転変換回路59は、輝度によるボクセルや画素の抽出、回転変換、相似変換、平行移動等の画像処理を高速に行う図示しない高速プロセッサを内蔵している。 【0030】 表示回路62は、その入力を切り替えるスイッチ62aを有する。スイッチ62aは、入力端子αと、入力端子βと、入力端子γと、1個の出力端子を有する。入力端子αは、参照画像記憶部55と接続されている。入力端子βは、光学観察装置3の図示しない出力端子と接続している。入力端子γは、混合回路61と接続している。出力端子は、光学像、超音波断層像及び3次元ガイド画像等を表示する表示装置14と接続されている。 制御回路63は、画像処理装置11内の各部、各回路に指令が出力できるよう、各部、各回路とは図示しない信号線で接続されている。制御回路63は、超音波観測装置4、マウス12、キーボード13と制御線で直接接続されている。 図1に示すように、キーボード13は、体腔内特徴点指定キー65と、走査制御キー66と、表示切換キー13αと、表示切換キー13βと、表示切換キー13γとが設けてある。 【0031】 表示切換キー13αもしくは13βもしくは13γが押されると、制御回路63は、表示回路62へスイッチ62aを入力端子αもしくはβもしくはγへ切り換えるよう指令を出力する。スイッチ62aは、表示切換キー13αが押されたときには入力端子αへ、表示切換キー13βが押されたときには入力端子βへ、表示切換キー13γが押されたときには入力端子γへ切り換える。 上述した(a)第1:から(f)第6:までの信号、データに関して、順次説明する。(a)点線で示す第1の光学像に関わる信号・データの流れに沿って、本実施例の作用を説明する。 硬性部21の図示しない照明光照射窓は、光学視野範囲側に照明光を照射する。CCDカメラ26は、光学視野範囲の物体を撮像し、光電変換してCCD信号を光学観察装置3に出力する。 【0032】 光学観察装置3は、入力されたCCD信号を基にして光学視野範囲のリアルタイム画像のデータを作成し、このデータを光学像データとして画像処理装置11内の表示回路62のスイッチ62aの入力端子βへ出力する。 (b)第2の超音波断層像に関わる信号・データの流れに沿って、本実施例の作用を説明する。 術者が走査制御キー66を押すと、制御回路63は後述するラジアル走査のON/OFF制御を指令するための走査制御信号を超音波観測装置4へ出力する。 超音波観測装置4は、超音波振動子アレイ29を構成する超音波振動子29aのうち、一部かつ複数の超音波振動子29aを選択して、パルス電圧状の励起信号を送信する。 この一部かつ複数の超音波振動子29aは、励起信号を受け取って媒体の疎密波である超音波に変換する。 【0033】 この際、超音波観測装置4は、各励起信号が各超音波振動子29aに到着する時刻が異なるよう、各励起信号に遅延をかけている。この遅延は、各超音波振動子29aが励起する超音波が被検体37内で重ね合わせられたときに一本の超音波ビームを形成するようにその値(遅延量)が調整されている。 超音波ビームは、超音波内視鏡2外部へと照射され、被検体37内からの反射波が超音波ビームとは逆の経路を辿って各超音波振動子29aへ戻る。 各超音波振動子29aは反射波を電気的なエコー信号に変換して励起信号とは逆の経路で超音波観測装置4へ伝達する。 超音波観測装置4は、超音波ビームが、超音波振動子アレイ29の環の中心を含み、硬性部21および可撓部22に垂直な平面(以下、ラジアル走査面)内で旋回するよう、超音波ビームの形成に関与する複数の超音波振動子29aを選択し直し、再び励起信号を送信する。このようにして超音波ビームの送信角度が変わっていく。これを反復的に繰り返すことにより、いわゆるラジアル走査が実現する。 【0034】 この際、超音波観測装置4は、超音波振動子29aが反射波から変換したエコー信号から、超音波振動子アレイ29の1回のラジアル走査に対し、硬性部21の挿入軸に垂直な1枚のデジタル化した超音波断層像データをリアルタイム画像として作成し、画像処理装置11の混合回路61へ出力する。この際、超音波観測装置4は、超音波断層像データを正方形に加工して作成する。 このように本実施例においては、超音波観測装置4が超音波ビームの形成に関与する複数の超音波振動子29aを選択し直し、再び励起信号を送信するため、正方形の超音波断層像の例えば12時方向は、超音波観測装置4が12時方向としてどの超音波振動子29aを選択して励起信号を送信するかで決定される。 こうして、超音波断層像の法線方向ベクトルV、3時方向ベクトルV3、12時方向ベクトルV12が定義される。さらに、超音波観測装置4は、超音波断層像データを、法線方向ベクトルVの反対方向−Vから観察した方向で作成する。 【0035】 超音波振動子アレイ29によるラジアル走査と、超音波観測装置4による超音波断層像データの作成と混合回路61への出力はリアルタイムに行われる。本実施例では、超音波断層像がリアルタイム画像として生成される。 (c)次に、第3の位置に関わる信号・データやそれを加工して作成されたデータの流れに沿って、本実施例の作用を説明する。 位置配向算出装置5は、送信アンテナ6の図示しない送信コイルを励磁する。送信アンテナ6は、空間に交番磁場を張る。超音波による画像信号取得手段の位置及び配向(方向)を検出する画像位置配向検出用コイル31を構成するベクトルVとV3との方向に巻かれた巻線軸が互いに直交する2個のコイル及び可撓部22の挿入形状を検出する複数個の挿入形状検出用コイル32と、被検体検出用素子としての体腔内検出用コイル42及び体表検出用コイル7とは、それぞれ交番磁場を検出し、交番磁場を各々の位置電気信号に変換してA/Dユニット9a、9b、9cへ出力する。 【0036】 A/Dユニット9a、9b、9cは、位置電気信号をアンプで増幅し、アナログデジタル変換回路でサンプリングしてデジタルデータへ変換し、デジタルデータを位置配向算出装置5へ出力する。 次に、位置配向算出装置5は、A/Dユニット9aからのデジタルデータを基にして、画像位置配向検出用コイル31の位置とその直交する巻線軸の方向、つまりベクトルVとV3とを算出する。次に、位置配向算出装置5は、直交する巻線軸の方向のベクトルVとV3の外積V×V3を算出することで、残りの直交方向である12時方向のベクトルV12を算出する。このようにして、位置配向算出装置5は直交する3方向、つまりベクトルV、V3、V12を算出する。 次に、位置配向算出装置5は、A/Dユニット9a〜9cからのデジタルデータを基にして、複数個の挿入形状検出用コイル32の各々の位置と、体表検出用コイル7の各々の位置と、体腔内検出用コイル42の位置とを算出する。 【0037】 次に、位置配向算出装置5は、画像位置配向検出用コイル31の位置及び配向と、複数個の挿入形状検出用コイル32の各々の位置と、4個の体表検出用コイル7の各々の位置と、体腔内検出用コイル42の位置と、を位置・配向データとして画像処理装置11のマッチング回路51へ出力する。 次に位置・配向データの詳細を以下に述べる。 本実施例では図7のように原点Oを送信アンテナ6上に定義して、術者が被検体37を検査する実際の空間上に直交座標軸O-xyzとその正規直交基底(各軸方向の単位ベクトル)i、j、kを定義する。 画像位置配向検出用コイル31の位置をO"とする。画像位置配向検出用コイル31は超音波振動子アレイ29の環の中心のごく近傍に固定されているので位置O"は、ラジアル走査の中心かつ超音波断層像の中心に一致する。 【0038】 ここで、位置・配向データを以下のように定義する。 直交座標軸O-xyzにおける画像位置配向検出用コイル31の位置O"の位置ベクトルOO"の各方向成分: (x0,y0,z0) 直交座標軸O-xyzに対する画像位置配向検出用コイル31の配向を示すオイラー角(後述)の各角度成分: (ψ,θ,φ) 直交座標軸O-xyzにおける複数個の挿入形状検出用コイル32の各々の位置ベクトルの各方向成分: (xi,yi,zi) (iは1から挿入形状検出用コイル32の総数までの自然数) 直交座標軸O-xyzにおける4個の体表検出用コイル7の各々の位置ベクトルの各方向成分: (xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd) 直交座標軸O-xyzにおける体腔内検出用コイル42の位置ベクトルの各方向成分: (xp,yp,zp) ここで、オイラー角とは、図7の直交座標軸O-xyzに、z軸の周りの回転、y軸の周りの回転、再びz軸の周りの回転をこの順で加えて、以下の通りに各軸の方向が一致するような角度である。 【0039】 回転後のi = V3、回転後のj = V12、回転後のk = V ψは、最初のz軸の周りの回転角度、θはy軸の周りの回転角度、φは再びのz軸の周りの回転角度である。 図7のHは、位置O"からxy平面へ下ろした垂線と、xy平面との交点である。このオイラー角の各角度成分(ψ,θ,φ)が画像位置配向検出用コイル31の配向、すなわち超音波断層像データの配向に相当する。 マッチング回路51は、以下の第1と第2と第3と第4とのデータ群から、直交座標軸O-xyz上で表現された位置・配向を、直交座標軸O'-x'y'z'上で表現されたボクセル空間内の位置・配向へ写像する変換式を算出する。 この算出の方法は後述する。また、下記第1と第2で説明する位置・配向データは、被検体37の体動によって変化が生じる。変換式も被検体37の体動の変化とともに新たに作成される。この変換式の新たな作成も後述する。 【0040】 第1のデータ群は、位置・配向データのうち、被検体37の剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起の各々に取り付けた体表検出用コイル7の直交座標軸O-xyzにおける位置ベクトルの各方向成分(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)。 図8は、これらに取り付けられた体表検出用コイル7を示す。 第2のデータ群は、位置・配向データのうち、直交座標軸O-xyzにおける体腔内検出用コイル42の位置ベクトルの各方向成分(xp,yp,zp)。 図9において体腔内検出用コイル42を先端に固定して内蔵した体腔内接触プローブ8を太い点線で示す。 第3のデータ群は、1〜N番までの参照画像データのいずれかの上の、剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起の各々について、これら各々から最も体表に近い画素の直交座標軸O'-x'y'z'における座標(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')、(xd',yd',zd')。 【0041】 これらの画素は、予め術者が1〜N番までの参照画像データのいずれかの上で指定する。この指定の方法は後述する。 図9は、これらの画素を黒丸●と白丸○とで示す。(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')、(xd',yd',zd')は、図4に示すように体表特徴点座標として、参照画像記憶部55からマッチング回路51へ読み出される。 第4のデータ群は、1〜N番までの参照画像データのいずれかの上の、十二指腸乳頭に相当する画素の直交座標軸O'-x'y'z'における座標(xp",yp",zp")。 これらの画素は、予め術者が1〜N番までの参照画像データのいずれかの上で指定する。 【0042】 この指定の方法は後述する。図9において、この画素をP"で示す。第4の画素の座標(xp",yp",zp")は、図4に示すように体腔内特徴点座標として、参照画像記憶部55からマッチング回路51へ読み出される。 次に、マッチング回路51は、直交座標軸O-xyzにおいて算出された位置・配向データを、上記変換式に従って写像し、直交座標軸O'-x'y'z'における新たな位置・配向データを算出する。 次に、マッチング回路51は、この新たな位置・配向データを、位置・配向写像データとして、画像指標作成回路52と挿入形状作成回路53とへ出力する。 画像指標作成回路52は、直交座標軸O-xyzにおける画像位置配向検出用コイル31の位置O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzに対する画像位置配向検出用コイル31の配向を示すオイラー角の各角度成分(ψ,θ,φ)との計6自由度の位置・配向写像データから画像指標データを作成し、合成回路58へ出力する。 【0043】 この様子を図10に示す。つまり、図10の上側の位置・配向写像データから、図10の下側に示すように画像指標データが作成される。 この画像指標データは、平行四辺形の超音波断層像マーカMuに、例えば青色の先端方向マーカMd(図10中で青と表記)と黄緑色の矢印状の6時方向マーカMt(図10中に黄緑と表記)とを合成した直交座標軸O'-x'y'z'上における画像データである。 挿入形状作成回路53は、画像位置配向検出用コイル31の位置O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzにおける複数個の挿入形状検出用コイル32の各々の位置ベクトルの各方向成分(xi,yi,zi) との位置・配向写像データから、(補間及びマーカ作成処理により)挿入形状データを作成し、合成回路58へ出力する。 この様子を図11に示す。挿入形状データは、画像位置配向検出用コイル31と複数個の挿入形状検出用コイル32の各々の位置を順につないで補間したひも状の挿入形状マーカMsと、各コイル位置を示すコイル位置マーカMcとを合成した直交座標軸O'-x'y'z'上における画像データである。 【0044】 (d)次に第4の参照画像データやそれを加工して作成されたデータの流れに沿って、本実施例の作用を説明する。 術者は事前に被検体37にX線3次元ヘリカルCT装置15や3次元MRI装置16で、被検体37の腹部全体にわたる参照画像データを取得する。 術者は、キーボード13の所定のキーを押すか、画面上のメニューをマウス12で選択して、参照画像データの取得を指示する。このとき同時に術者は、入手先も指示する。この指示により、制御回路63は、通信回路54に対して参照画像データの取り込みとその入手先を指令する。 例えば、入手先がX線3次元ヘリカルCT装置15であった場合には、通信回路54は、参照画像データとしてネットワーク17から複数枚の2次元CT画像を取り込み、参照画像記憶部55へ記憶させる。 【0045】 X線3次元ヘリカルCT装置15で撮像する際には撮像前にX線造影剤を被検体37の血管から注入し、大動脈(aorta)、上腸間膜静脈(superior mesenteric vein)等の血管(広義には脈管)や、血管を多く含む器官が2次元CT画像上、高輝度や中輝度で表示されるようにし、周囲の組織とは輝度差がつきやすくしておく。 また、例えば、入手先が3次元MRI装置16であった場合には、通信回路54は、参照画像データとしてネットワーク17から複数枚の2次元MRI画像を取り込み、参照画像記憶部55へ記憶させる。 3次元MRI装置16で撮像する際には撮像前に核磁気共鳴の感度の高いMRI用造影剤を被検体37の血管から注入し、大動脈、上腸間膜静脈等の血管や、血管を多く含む器官が2次元MRI画像上、高輝度や中輝度で表示されるようにし、周囲の組織とは輝度差がつきやすくしておく。 【0046】 以下、術者が入手先としてX線3次元ヘリカルCT装置15を選択した場合と3次元MRI装置16を選択した場合とは作用が同様であるので、入手先としてX線3次元ヘリカルCT装置15を選択し、通信回路54が参照画像データとして複数枚の2次元CT画像を取り込んだ場合についてのみの作用を説明する。 図5は参照画像記憶部55へ記憶された参照画像データの例を示す。X線造影剤の作用により、大動脈、上腸間膜静脈等の血管は高輝度に、膵臓(pancreas)等の末梢血管を多く含む器官は中輝度に、十二指腸(duodenum)等は低輝度に造影されている。 補間回路56は、参照画像記憶部55より1番からN番までの全ての参照画像データを読み出す。次に補間回路56は、読み出した参照画像データを補間メモリ56aのボクセル空間へ埋めていく。 【0047】 具体的には、参照画像データの各画素の輝度を、画素に対応するアドレスを持つボクセルへ出力していく。次に補間回路56は、隣接する参照画像データの輝度値を基に補間して、空いているボクセルをデータで埋めていく。このようにして、ボクセル空間内の全てのボクセルが参照画像データを基にしたデータ(以下、ボクセルデータ)で満たされる。 3次元人体画像作成回路57は、補間回路56から高輝度値のボクセル(主に血管)、中輝度値のボクセル(主に膵臓など末梢血管を多く含む器官)をそれぞれ輝度値域別に抽出し、輝度別に分類して着色する。 次に、3次元人体画像作成回路57は、抽出したボクセルを3次元人体画像データとして合成回路58の合成メモリ58aのボクセル空間へ埋めていく。このとき、3次元人体画像作成回路57は、抽出したボクセルの補間メモリ56a内のボクセル空間のアドレスと、合成メモリ58a内のボクセル空間のアドレスとが同じになるように埋めていく。 【0048】 図12は3次元人体画像データの例を示す。図12に示す例では3次元人体画像データは、高輝度の血管である大動脈と上腸間膜静脈、中輝度の器官である膵臓とが抽出されたものであり、血管は赤、膵臓は緑で着色され、被検体37の頭側を右側に足側を左側にして腹側から観察した3次元データとして示されている。 3次元人体画像作成回路57は、臓器や血管等を抽出する抽出手段の機能も持つ。なお、この抽出手段を3次元ガイド画像作成回路A、B側に設けるようにしても良い。そして、3次元ガイド画像作成回路A、B側においても3次元ガイド画像を作成する際、臓器や血管を選択できるようにしても良い。 【0049】 合成回路58は、画像指標データと、挿入形状データとを合成メモリ58a内のボクセル空間に埋めていく。この様子は図13に示してある。 図13においては説明の都合上、ボクセル空間に存在する3次元人体画像データを省略している(3次元人体画像データを省略しない場合は図14等で示す)。このようにして、合成回路58は、同じボクセル空間内に3次元人体画像データと、画像指標データと、挿入形状データとを同じ合成メモリ内に埋めていくことで、これらを一組のデータ(以下、合成3次元データ)として合成する。 【0050】 回転変換回路59は、合成3次元データを読み出し、制御回路63からの回転指示信号に従って、合成3次元データに対して回転処理を施す。 3次元ガイド画像作成回路Aは、合成3次元データに陰面消去、陰影付け等のレンダリング処理を施し、画面に出力可能な画像データ(以下、3次元ガイド画像データ)を作成する。 3次元ガイド画像データのデフォルトの向きは、人体の腹側からの向きとする。従って、3次元ガイド画像作成回路Aは、被検体37の腹側からの方向で観察した3次元ガイド画像データを作成する。なお、3次元ガイド画像データのデフォルトの向きとしては、人体の腹側からの向きとしているが、背側からの向きの3次元ガイド画像データを作成するようにしても良い。また、その他の方向からの3次元ガイド画像データを作成するようにしても良い。 この3次元ガイド画像作成回路Aは、被検体腹側から観察した3次元ガイド画像データを混合回路61へ出力する。この3次元ガイド画像データを図14に示す。図14の右側が被検体頭側、左側が被検体足側である。 【0051】 図14の3次元ガイド画像データでは、画像指標データのうちの超音波断層像マーカMuを半透明にして、画像指標データの6時方向マーカMtと先端方向マーカMdと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとが透けて見えるようにしている。 その他の臓器に対しては超音波断層像マーカMuを不透明にして超音波断層像マーカMuの裏側の部分は見えないようにしている。図14では、超音波断層像マーカMuの裏側にあり、かつ超音波断層像マーカMuと重なる各マーカは破線で示してある。 3次元ガイド画像作成回路Bは、回転処理を加えられた合成3次元データに陰面消去、陰影付け等のレンダリング処理を施し、画面に出力可能な3次元ガイド画像データを作成する。 【0052】 本実施例では1例として、術者のマウス12、キーボード13からの入力により、制御回路63からの回転指示信号が3次元ガイド画像データを90度回転させ、足側から観察する指示内容になっていたものとする。 従って、3次元ガイド画像作成回路Bは被検体足側からの方向で観察した3次元ガイド画像データを作成する。 3次元ガイド画像作成回路Bは、被検体足側から観察した3次元ガイド画像データを混合回路61へ出力する。この3次元ガイド画像データを図15に示す。図15の右側が被検体右側、左側が被検体左側である。 図15の3次元ガイド画像データでは、画像指標データのうちの超音波断層像マーカMuを半透明にして、画像指標データの6時方向マーカMtと先端方向マーカMdと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとが透けて見えるようにしている。 【0053】 その他の臓器に対しては超音波断層像マーカMuを不透明にして超音波断層像マーカMuの裏側の部分は見えないようにしている。図15では、超音波断層像マーカMuの裏側にあり、かつ超音波断層像マーカMuと重なる各マーカは破線で示してある。 なお、図15における超音波断層像マーカMuの表示は、超音波断層像マーカMuの法線が観察視線すなわち表示装置14の画面法線と一致するように正対させる場合でない、つまり非正対の表示である。 (e)次に第5の超音波断層像データと、3次元ガイド画像データとを合成した最終的な表示画面に関わる信号・データの流れに沿って、本実施例の作用を説明する。 図4の混合回路61は、超音波観測装置4からの超音波断層像データと、3次元ガイド画像作成回路Aからの被検体37を腹側から観察した3次元ガイド画像データと、3次元ガイド画像作成回路Bからの被検体37を足側から観察した3次元ガイド画像データとを並べて表示用の混合データを作成する。 【0054】 表示回路62は、この混合データをアナログビデオ信号に変換して、表示装置14に出力するする。 表示装置14は、このアナログビデオ信号を基に超音波断層像と被検体37を足側から観察した3次元ガイド画像と腹側から観察した3次元ガイド画像とを並べて対比可能に表示する。 図16に示すように、表示装置14は、3次元ガイド画像上で表現される各器官を、もともと参照画像データ上の輝度値に応じた色で器官別に色分けして表示する。 図16の表示例では、膵臓は緑、大動脈、上腸間膜静脈は赤で表示されている。図16では、超音波断層像マーカMuの裏側にあり、かつ超音波断層像マーカMuと重なる各マーカは破線で示してある。 また、図16で白抜きの矢印で示すように2つの3次元ガイド画像は、ラジアル走査面の移動に連動して移動する。 【0055】 (f)次に第6に制御に関わる信号・データの流れに沿って、本実施例の作用を説明する。 図4の画像処理装置11内のマッチング回路51と、画像指標作成回路52と、挿入形状作成回路53と、通信回路54と、参照画像記憶部55と、補間回路56と、3次元人体画像作成回路57と、合成回路58と、回転変換回路59と、3次元ガイド画像作成回路Aと、3次元ガイド画像作成回路Bと、混合回路61と、表示回路62とは、制御回路63からの指令により制御される。 制御の詳細は後述する。 以下、術者の使用形態に沿って、本実施例の画像処理装置11、キーボード13、マウス12、表示装置14の作用の全体を説明する。図17はその全体のフローチャートであり、ステップS1〜S4の各処理はこの順序で実行される。 【0056】 最初のステップS1は参照画像データ上での体表特徴点、体腔内特徴点指定処理である。つまり、このステップS1において参照画像データ上で、体表特徴点と体腔内特徴点とを指定する処理が行われる。 次のステップS2において術者は、被検体37に体表検出用コイル7を固定する。術者は、被検体37をその左側を臥せた体位、所謂、左側臥位にする。術者は、被検体37を触診し、4つの体表特徴点である剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起に最も近い体表上の位置に体表検出用コイル7を固定する。 次のステップS3は補正値算出処理である。 このステップS3において画像処理装置11は、体腔内特徴点の位置・配向データを取得し、直交座標軸O-xyz上で表現された位置・配向データを直交座標軸O'-x'y'z'上で表現されたボクセル空間内の位置・配向写像データへ写像する変換式を算出し、さらに体腔内特徴点の位置・配向データから変換式の補正値を算出する処理を行う。 【0057】 次のステップS4において超音波断層像・3次元ガイド画像作成/表示処理が行われる。このステップS4は、超音波断層像と3次元ガイド画像を作成し、表示する処理である。 次に図17のステップS1の処理、つまり参照画像データ上での体表特徴点、体腔内特徴点指定処理を具体的に説明する。 図18は、図17のステップS1の参照画像データ上で、体表特徴点と体腔内特徴点とを指定する処理の詳細を示す。 最初のステップS1-1において、術者は表示切換キー13αを押す。制御回路63は表示回路62に指令を出す。表示回路62のスイッチ62aは指令により入力端子αに切り換わる。 次のステップS1-2において、術者は、マウス12、キーボード13を用い、1〜N番までのいずれかの参照画像データを指定する。 【0058】 次のステップS1-3において、制御回路63は、表示回路62に参照画像記憶部55に記憶された1〜N番までのいずれかの参照画像データのうち、指定された参照画像データを読み出させる。 表示回路62は、参照画像記憶部55からの参照画像データをアナログビデオ信号に変換し、参照画像データを表示装置14に出力する。表示装置14は参照画像データを表示する。 次のステップS1-4において、術者は、マウス12、キーボード13を用い、参照画像データ上で体表特徴点を指定する。具体的には以下の通りである。 術者は表示された参照画像データに被検体37の4つの体表特徴点である剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起のいずれかが写っているようにする。いずれも写っていなければステップS1-2へ戻り、術者は他の参照画像データを指定し直し、ステップS1-3で写っている参照画像データを表示させるまで、異なる参照画像データの表示を繰り返す。 【0059】 術者は、マウス12、キーボード13を用い、表示された参照画像データ上で被検体37の体表面上の4点である剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起に最も近い体表上の点に相当する画素を指定する。 指定した点を図8と図9の黒丸●と白丸○とで示す。本実施例では説明の都合上、剣状突起○がn1番(1≦n1≦N)の参照画像データ上に写っており、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起●がn2番(1≦n2≦N)の参照画像データ上に写っているものとして説明する。 図8と図9では説明の都合上、n2番の参照画像データ上の剣状突起に相当する位置に○で剣状突起を示している。 【0060】 次のステップS1-5において、術者は、マウス12、キーボード13を用い、体腔内特徴点P"を指定する。本実施例では体腔内特徴点P"として十二指腸乳頭(総胆管の十二指腸への開口部:duodenal papilla)を例にあげて説明する。具体的には以下の通りである。 術者は、マウス12、キーボード13を用い、1〜N番までのいずれかの参照画像データを指定する。 制御回路63は、表示回路62に図示しない信号線を経由して参照画像記憶部55に記憶された1〜N番までのいずれかの参照画像データのうち、指定された参照画像データを読み出させる。 表示回路62は、読み出した参照画像データを表示装置14へ出力する。表示装置14はこの参照画像データを表示する。術者は表示された参照画像データに被検体37の体腔内特徴点である十二指腸乳頭が写っていなければ、他の参照画像データを指定し直し、写っている参照画像データを表示させるまで、異なる参照画像データの表示を繰り返す。 【0061】 術者は、マウス12、キーボード13を用い、表示された参照画像データ上で被検体37の体腔内の点である十二指腸乳頭に相当する画素を指定する。 指定した点を図9のP"で示す。本実施例では説明の都合上、十二指腸乳頭P"がn2番(1≦n2≦N)の参照画像データ上に写っているものとして説明する。 次のステップS1-6において、制御回路63は、ステップS1-4で指定された各体表特徴点に相当する各画素とステップS1-5で指定された体腔内特徴点P"に相当する画素とについて、参照画像データ上でのアドレスからボクセル空間に張られた直交座標軸O’-x’y’z’での座標を算出し、マッチング回路51へ出力する。 【0062】 ステップS1-4で指定された各体表特徴点に相当する各画素の直交座標軸O’-x’y’z’での座標の算出値を(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')、(xd',yd',zd')とする。 ステップS1-5で指定された体腔内特徴点に相当する画素直交座標軸O’-x’y’z’での各座標の算出値を(xp",yp",zp")とする。 マッチング回路51はこの座標を記憶する。このステップS1-6の終了後、図17のステップS2に進む。そして、このステップS2の処理の後、図17のステップS3の補正値算出処理に進む。 図19は、ステップS3の補正値算出処理の詳細を示す。上述したようにこのステップS3は、体腔内特徴点の位置・配向データを取得し、直交座標軸O-xyz上で表現された位置・配向データを直交座標軸O'-x'y'z'上で表現されたボクセル空間内の位置・配向写像データへ写像する変換式を算出し、さらに体腔内特徴点の位置・配向データから変換式の補正値を算出する処理である。 【0063】 ステップS3の補正値算出処理が開始すると、最初のステップS3-1において、術者は、表示切換キー13βを押す。この指示に対応して制御回路63は表示回路62に指令を出す。表示回路62のスイッチ62aは指令により入力端子βに切り換わる。 次にステップS3-2において、表示回路62は、光学観察装置3からの光学像データをアナログビデオ信号に変換し、光学像を表示装置14に出力する。表示装置14は、光学像を表示する。 次のステップS3-3において、術者は、被検体37に超音波内視鏡2の硬性部21と可撓部22とを体腔内へ挿入する。 次のステップS3-4において、術者は、光学像を観察しながら硬性部21を動かして体腔内特徴点を探す。術者は、体腔内特徴点が見つかった後、硬性部21を体腔内特徴点近傍へ移動する。 【0064】 次のステップS3-5において、術者は、光学像を観察しながら、体腔内接触プローブ8を鉗子口44から挿入し、突出口45から突出させる。そして、術者は、光学像視野下で体腔内接触プローブ8の先端を体腔内特徴点に接触させる。 この様子を図20に示す。図20では表示画面に光学像が表示されている。光学像には体腔内特徴点の例として十二指腸乳頭Pと体腔内接触プローブ8とが表示されている。 次のステップS3-6において、術者は、体腔内特徴点指定キー65を押す。 次のステップS3-7において、制御回路63は、マッチング回路51に指令を出す。マッチング回路51は、指令により位置配向算出装置5から位置・配向データを取り込み、記憶する。この位置・配向データには、前述の通り以下の2種類のデータが含まれている。 【0065】 直交座標軸O-xyzにおける4個の体表検出用コイル7の各々の位置ベクトルの各方向成分、すなわち、この場合は4個の体表特徴点の直交座標軸O-xyzでの座標:(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)。 直交座標軸O-xyzにおける体腔内検出用コイル42の位置ベクトルの各方向成分、すなわち、この場合は体腔内特徴点の直交座標軸O-xyzでの座標:(xp,yp,zp)。 次のステップS3-8において、マッチング回路51は体表特徴点の座標から第1の写像を表現する第1変換式を作成する。具体的には以下の通りである。 まず、マッチング回路51は、以下の内容を記憶している。 【0066】 第1にステップS1で指定された各体表特徴点に相当する各画素のボクセル空間内の直交座標軸O’-x’y’z’での各座標: (xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')、(xd',yd',zd') 第2にステップS1)で指定された体腔内特徴点に相当する画素のボクセル空間内の直交座標軸O’-x’y’z’での座標: (xp",yp",zp") 第3にステップS3-7で取り込まれた体表特徴点の直交座標軸O-xyzでの各座標: (xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd) 第4にステップS3-7で取り込まれた体腔内特徴点の直交座標軸O-xyzでの座標: (xp,yp,zp) マッチング回路51は、このうち、第3の各座標(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)と第1の各座標(xa',ya',za')、(xb',yb',zb')、(xc',yc',zc')、(xd',yd',zd')とから、直交座標軸O-xyz上の任意の点をボクセル空間内の直交座標軸O’-x’y’z’の点への第1の写像を表現する第1変換式を作成する。この第1の写像と第1変換式とは以下の通り定義される。 【0067】 図8に示すように、体表特徴点である剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起を用い、剣状突起から他の点へ向かう3本のベクトルを基本ベクトルとする、2つの斜交座標系を被検体37上とボクセル空間内(図8では参照画像データとして表現されているが、これを補間して得たデータ空間内)とを仮想(設定)する。 第1の写像とは、「直交座標軸O-xyzにおける任意点の、被検体37上の斜交座標系で表現される座標」と、「直交座標軸O'-x'y'z'におけるこの任意点の写像後の点の、ボクセル空間内の斜交座標系で表現される座標」とが同じになるような、被検体37からボクセル空間への写像である。 また、第1変換式とは「任意点の直交座標軸O-xyzにおける座標」を「ボクセル空間内の第1の写像後の点の直交座標軸O'-x'y'z'における座標」へ変換する式である。 【0068】 例えば、図8に示すように、画像位置配向検出用コイル31の位置、すなわちラジアル走査の中心かつ超音波断層像の中心O"の第1の写像による写像後の点をQ'とする。 点Q'の直交座標軸O'-x'y'z'における座標を(x0',y0',z0')とする。第1変換式を用いると、点O"の直交座標軸O-xyzにおける座標(x0,y0,z0)は、点Q'の直交座標軸O'-x'y'z'における座標(x0',y0',z0')へ変換される。 次のステップS3-9において、マッチング回路51は、図9に示すように、第1変換式により、体腔内特徴点Pをボクセル空間内の点P'へ写像する。体腔内特徴点Pの直交座標軸O-xyzでの座標は(xp,yp,zp)である。第1の写像後の点P'の直交座標軸O’-x’y’z’での座標を(xp',yp',zp')と定義する。 次のステップS3-10において、マッチング回路51は、点P'のボクセル空間内の直交座標軸O’-x’y’z’での座標を(xp',yp',zp')と、ステップS1で指定された体腔内特徴点に相当する点P"のボクセル空間内の直交座標軸O’-x’y’z’での座標(xp",yp",zp")とから、以下のようにベクトルP'P"を算出する。 【0069】 P'P" =(xp",yp",zp")−(xp',yp',zp') = (xp"−xp',yp"−yp',zp"−zp') 次のステップS3-11において、マッチング回路51は、ベクトルP'P"を記憶する。 ベクトルP'P"は後述する処理で第1変換式を補正して第2の変換式を作成するための補正値として作用する。このステップS3-11の終了後、次のステップS4に進む。 次にこのステップS4の超音波断層像・3次元ガイド画像作成/表示処理を説明する。 図21は、ステップS4の被検体37の実際の超音波断層像・3次元ガイド画像を作成し、表示する処理の詳細を示す。 ステップS4の処理が開始すると、最初のステップS4-1において、術者は表示切換キー13γを押す。制御回路63は表示回路62に指令を出す。表示回路62のスイッチ62aは、この指令により入力端子γに切り換わる。 次のステップS4-2において、術者は走査制御キー66を押す。 【0070】 次のステップS4-3において、制御回路63は走査制御信号を超音波観測装置4へ出力する。そして、超音波振動子アレイ29は、ラジアル走査を開始する。 次のステップS4-4において、制御回路63は混合回路61に指令を出す。混合回路61は、この指令により超音波観測装置4からのラジアル走査に応じて入力される超音波断層像データを逐次、取り込む。 次のステップS4-5において、制御回路63はマッチング回路51に指令を出す。マッチング回路51は、指令により位置配向算出装置5から位置・配向データを取り込み、記憶する。この取り込みは、瞬時に行われる。そのため、マッチング回路51は、ステップS4-4で混合回路61が超音波断層像データを取り込んだ瞬間の、以下のデータを含む、位置・配向データを取り込むことになる。 【0071】 直交座標軸O-xyzにおける画像位置配向検出用コイル31の位置、すなわちラジアル走査の中心かつ超音波断層像の中心O"の位置ベクトルOO"の各方向成分: (x0,y0,z0) 直交座標軸O-xyzに対する画像位置配向検出用コイル31の配向、すなわち超音波断層像の配向を示すオイラー角の各角度成分: (ψ,θ,φ) 直交座標軸O-xyzにおける複数個の挿入形状検出用コイル32の各々の位置ベクトルの各方向成分: (xi,yi,zi) (iは1から挿入形状検出用コイル32の総数までの自然数) 直交座標軸O-xyzにおける4個の体表検出用コイル7の各々の位置ベクトルの各方向成分: (xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd) 次のステップS4-6において、マッチング回路51は、ステップS4-5で取り込んだ位置・配向データのうち、直交座標軸O-xyzにおける4個の体表検出用コイル7の各々の位置ベクトルの各方向成分(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)、(xd,yd,zd)を用い、ステップS3)で記憶した第1変換式を更新する。 【0072】 次にマッチング回路51は、更新した第1変換式にステップS3で記憶したベクトルP'P"による平行移動とを合わせて、第2の写像を表現する第2変換式を新たに作成する。 マッチング回路51は、第1変換式とベクトルP'P"による平行移動とを合わせて第2の写像を表現する第2変換式を作成する。第2の写像の概念は、以下の通りである。 第2の写像=第1の写像+ベクトルP'P"による平行移動 ベクトルP'P"による平行移動には以下に示す補正効果がある。ベクトルP'P"は補正値として作用する。 第1の写像を「直交座標軸O-xyzにおける任意点の、被検体37上の斜交座標系で表現される座標」と、「直交座標軸O'-x'y'z'におけるこの任意点の写像後の点の、ボクセル空間内の斜交座標系で表現される座標」とが同じになるような、被検体37からボクセル空間への写像とした。 【0073】 理想的には、体腔内特徴点Pのボクセル空間内への第1の写像による写像点P'と、ステップS1)で指定された体腔内特徴点に相当する点P"とは一致することが望ましい。しかし、実際には正確に一致させることが難しい。 この理由は、「直交座標軸O-xyzにおける任意点と、被検体37上の斜交座標系との空間的な位置関係」と「任意点に解剖学的に相当する直交座標軸O'-x'y'z'における点と、ボクセル空間内の斜交座標系との空間的な位置関係」とが種々の要因で完全に一致しないことにある。 本実施例で説明すると、第1の写像と第1変換式とを骨格上の特徴のある体表特徴点の各座標から求めたが、体腔内特徴点である十二指腸乳頭Pは骨格上の体表特徴点と常に同じ位置関係にあるとは限らないためである。 【0074】 この原因は主に、X線3次元ヘリカルCT装置15と3次元MRI装置16とは、通常仰臥位で撮像され、左側臥位での超音波内視鏡2検査の時とは体位が異なるため、被検体37内の諸器官は重力に従って変位することがあげられる。 そのため、第1の写像に補正値としてのベクトルP'P"による平行移動を合わせて第2の写像とすることにより、体腔内特徴点Pの写像点はボクセル空間内で体腔内特徴点に相当する点P"に一致する。さらに、被検体37の他の点、例えば超音波断層像の中心O"も第2の写像により解剖学的に一層正確な一致をするのである。 次のステップS4-7において、マッチング回路51は、ステップS4-5で取り込んだ位置・配向データのうち、直交座標軸O-xyzにおける超音波断層像の中心O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzに対する画像位置配向検出用コイル31の配向を示すオイラー角の各角度成分(ψ,θ,φ)と、直交座標軸O-xyzにおける複数個の挿入形状検出用コイル32の各々の位置ベクトルの各方向成分(xi,yi,zi) (iは1から挿入形状検出用コイル32の総数までの自然数)とを新たに作成した第2変換式を用いて、位置・配向写像データへ変換する。 【0075】 図8に示すように第1変換式では超音波断層像の中心O"はボクセル空間上の点Q'へ写像されるが、本ステップで新たに作成した第2変換式を用いることにより、図9に示すように超音波断層像の中心O"はボクセル空間上の点Q"へ写像される。Q'とQ"との差異を示すベクトルQ'Q"は第2の写像における平行移動による補正分と一致するのでベクトルP'P"と同じである。すなわち、以下の式が成立する。 Q'Q" =P'P" 次のステップS4-8において、画像指標作成回路52は、画像指標データを作成する。挿入形状作成回路53は、挿入形状データを作成する。 合成回路58は、3次元人体画像データと、画像指標データと、挿入形状データを合成し、合成3次元データを作成する。 回転変換回路59は合成3次元データに回転処理を施す。 【0076】 3次元ガイド画像作成回路Aと3次元ガイド画像作成回路Bとは、それぞれ3次元ガイド画像データを作成する。 上記それぞれの処理は前述の通りである。 次のステップS4-9において、混合回路61は、超音波断層像データと3次元ガイド画像データとを並べて表示用の混合データを作成する。 表示回路62はこの混合データをアナログビデオ信号に変換する。 表示装置14は、このアナログビデオ信号を基に超音波断層像と被検体37を腹側から観察した3次元ガイド画像と足側から観察した3次元ガイド画像とを並べて図16のように表示する。 上記それぞれの処理は前述の通りである。 次のステップS4-10において、制御回路63は、ステップS4-4からステップS4-9の間、術者が再び走査制御キー66を押すか否かを確認している。 【0077】 術者が再び走査制御キー66を押していた場合には、制御回路63は、ここで上記の処理を終了させ、ラジアル走査の制御OFFを指令するための走査制御信号を超音波観測装置4へ出力する。超音波振動子アレイ29はラジアル走査を終了する。 術者が再び走査制御キー66を押していなかった場合には、処理はステップS4-4へジャンプする。 このようにして、ステップS4-4からステップS4-9で述べた処理を繰り返すことで、超音波振動子アレイ29が1回のラジアル走査をして超音波観測装置4が超音波断層像データを作成し、超音波断層像データが超音波観測装置4から混合回路61に入力するたびに、2つの新たな3次元ガイド画像が作成され、新たな超音波断層像とともに表示装置14の表示画面にリアルタイムに更新されつつ表示される。 【0078】 すなわち、図16に示すように、術者の可撓部22、硬性部21の用手的な操作に伴うラジアル走査面の移動に連動して、画像指標データ上の超音波断層像マーカMuと先端方向マーカMdと6時方向マーカMtと、挿入形状データ上の挿入形状マーカMsとコイル位置マーカMcとが3次元人体画像データ上を移動もしくは変形していく。 本実施例は以下の効果を有する。 本実施例は、超音波内視鏡2が、体腔内への挿入側に被検体37内の超音波断層像を作成するための信号を取得する超音波振動子アレイ29を固定して設けた硬性部21と、硬性部21より手前側に可撓部22とを設け、超音波振動子29aが取得したエコー信号から被検体37内の超音波断層像を作成する超音波観測装置4を設け、画像位置配向検出用コイル31を硬性部21に対して空間的に位置を固定して設け、挿入形状検出用コイル32を可撓部22に沿って複数個設け、被検体37に接触可能な体表検出用コイル7を複数個設け、画像位置配向検出用コイル31の位置及び配向との6自由度と、複数個の挿入形状検出用コイル32の各位置と、体表検出用コイル7の位置もしくは配向とを検出し、位置・配向データとして出力する送信アンテナ6と位置配向算出装置5とを設け、超音波観測装置4が作成した被検体37内の超音波断層像の位置と配向とを示す超音波断層像マーカMuを作成する画像指標作成回路52を設け、合成回路58が、位置配向算出装置5が出力した位置・配向データを基に、可撓部22の先端側の挿入形状と超音波断層像マーカMuと3次元人体画像データとを合成し、被検体37に対する可撓部22と超音波断層像の位置および配向をガイドする3次元ガイド画像作成回路A,Bを設けた。 【0079】 そのため、本実施例は、超音波内視鏡2の硬性部21と可撓部22の挿入形状と超音波断層像の方向とを放射線被曝の侵襲を少なく検出でき、両者を含んだ3次元ガイド画像を作成することができる。 また、本実施例においては、画像指標作成回路52が、超音波断層像マーカMuに青色の先端方向マーカMdと黄緑色の矢印状の6時方向マーカMtとを合成した画像指標データを作成し、合成回路58が、同じボクセル空間内に3次元人体画像データと、画像指標データと、挿入形状データとを合成し、混合回路61が超音波観測装置4からの超音波断層像データと、3次元ガイド画像データとを並べて表示するための表示用の混合データを作成し、表示回路62はこの混合データをアナログビデオ信号に変換し、表示装置14はこのアナログビデオ信号を基に超音波断層像と3次元ガイド画像とを並べて表示するような構成及び作用をする。 【0080】 そのため、本実施例は、超音波断層像と膵臓などの関心領域との位置関係をガイドすることができるとともに、消化管等の体腔壁に対して超音波内視鏡2のラジアル走査面と可撓部22と硬性部21とがどのような配向や形状になっているのかをガイドすることができる。 従って、術者はこれらの関係を視覚的に把握でき、関心領域に対する診断、処置等を容易に行うことが可能となる。 また、本実施例においては、マッチング回路51がステップS4-4からステップS4-9で述べた処理を繰り返し、混合回路61が超音波断層像データを取り込んだ瞬間の、位置・配向データを取り込み、第1変換式とベクトルP'P"による平行移動とを合わせて第2の写像を表現する第2変換式を新たに作成し、直交座標軸O-xyzにおける超音波断層像の中心O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzに対する画像位置配向検出用コイル31の配向を示すオイラー角の各角度成分(ψ,θ,φ)と、直交座標軸O-xyzにおける複数個の挿入形状検出用コイル32の各々の位置ベクトルの各方向成分(xi,yi,zi) (iは1から挿入形状検出用コイル32の総数までの自然数)とを、位置・配向写像データへ変換する処理を繰り返すような構成及び作用する。 【0081】 そのため、本実施例は、超音波内視鏡2での検査中に被検体37の体位に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、超音波断層像、可撓部22、硬性部21と、3次元ガイド画像上の超音波断層像マーカMu、先端方向マーカMd、6時方向マーカMt、挿入形状マーカMsとはそれぞれ解剖学的により正確に一致をするという効果がある。 また、X線3次元ヘリカルCT装置15と3次元MRI装置16とは、通常仰臥位で撮像され、左側臥位での超音波内視鏡検査の時とは体位が異なるが、本実施例は、マッチング回路51が、第1の写像に補正値としてのベクトルP'P"による平行移動を合わせて第2の写像を表現する第2変換式を作成するような構成及び作用する。 従って、本実施例は、被検体37内の諸器官がX線3次元ヘリカルCT装置15と3次元MRI装置16に比して左側臥位での超音波内視鏡検査の時に重力に従って変位しても、被検体37の点、例えば超音波断層像の中心O"に第2の写像により解剖学的に一層正確な一致をする。そのため、3次元ガイド画像が超音波断層像を一層正確にガイドすることができる。 【0082】 また、本実施例においては、3次元ガイド画像作成回路Aが、右側が被検体頭側、左側が被検体足側で、被検体37の腹側からの方向で観察した3次元ガイド画像データを作成するよう構成、作用する。被検体37は、超音波内視鏡検査では通常左側臥位での体位で検査される。 【0083】 本実施例では3次元ガイド画像も左側臥位で表示されるので、被検体37と3次元ガイド画像とを対比しやすく、術者は3次元ガイド画像がわかりやすい。従って、本実施例は術者による診断、処置等際の操作性を向上或いは適切に支援することができる。 【0084】 また、本実施例によれば、3次元ガイド画像作成回路A と3次元ガイド画像作成回路Bとが互いに異なる方向に視線を設定した3次元ガイド画像を作成したため、超音波断層像と膵臓などの関心領域との位置関係を複数の方向から、ガイドすることができるとともに、消化管等の体腔壁に対して、超音波断層像と超音波内視鏡2の可撓部22と硬性部21とがどのような配向や形状になっているのかを複数の方向からガイドすることができ、術者にはわかりやすい。 【0085】 (変形例) 本実施例では、処置具チャンネル46を備えた超音波内視鏡2と、処置具チャンネル46に挿通する体腔内接触プローブ8を設けて構成したが、構成はこれに限定されるものでない。 体腔内特徴点に対して光学観察窓24を経由して対物レンズ25の焦点が合い、体腔内接触プローブ8を用いずに硬性部21自体を体腔内特徴点に正確に接触できれば、硬性部21に固定して設けた画像位置配向検出用コイル31を体腔内接触プローブ8の体腔内検出用コイル42の代用にしても良い。 このとき、画像位置配向検出用コイル31は画像位置配向検出用素子としてだけでなく体腔内検出用素子としても作用する。 また、本実施例では、超音波プローブとして電子ラジアル走査型超音波内視鏡2を用いたが、従来技術の特開2004−113629号公報で開示されている体腔内プローブ装置のように、機械走査型超音波内視鏡でも、挿入軸の一方に超音波振動子群を扇状に設けた電子コンベックス走査型超音波内視鏡でも、カプセル型の超音波ゾンデでも良く、超音波の走査方式には限定されない。また光学観察窓24の無い超音波プローブでも良い。 【0086】 また、本実施例では、超音波内視鏡2の硬性部21において超音波振動子を短冊状に細かく切断し、挿入軸の周囲に環状アレイとして配列させたが、超音波振動子アレイ29は、360°全周に設けても、それより一部が欠けても良い。例えば270°や180°にわたる部分に超音波振動子アレイ29が形成されるようにしても良い。 また、本実施例では位置検出手段として送信アンテナ6と受信コイルとを用い、磁場で位置と配向とを検出するよう構成、作用させたが、送受は逆でも良い。磁場を利用して位置及び配向を検出することにより、簡単な構成で位置(配向)検出手段を形成できると共に、低コスト化、小型化することができる。 しかし、位置(配向)検出手段は、磁場を利用したものに限定されるものでなく、加速度や他の手段で位置と配向とを検出するような構成及び作用をさせても良い。 また、本実施例では、原点Oを送信アンテナ6上の特定の位置に設定するよう構成したが、送信アンテナ6と位置関係の変わらない他の場所に設定するよう構成しても良い。 【0087】 また、本実施例では、画像位置配向検出用コイル31を硬性部21に固定して設けているが、硬性部21と位置が固定(確定)されるのであれば、硬性部21の内部でなくとも良い。 また、本実施例では、3次元ガイド画像データ上の各器官を、器官別に色分けして表示されるよう構成したが、色分け(表示色の変更)の態様に限らず、輝度、明度、彩度等、他の態様を採用しても良い。例えば、器官別に輝度の値を変化させる等しても良い。 また、本実施例では、参照画像データとして、X線3次元ヘリカルCT装置15、3次元MRI装置16で撮像された複数枚の2次元CT画像や2次元MRI画像を用いるよう構成、作用させたが、PET(Positoron Emission Tomography)のような他のモダリティーを用いて事前に取得した3次元画像データを用いても良い。また、体外から超音波を照射する方式の所謂、体外式の体腔内プローブ装置で事前に取得した3次元画像データを用いても良い。 また、本実施例では、参照画像データとして、被検体37からX線3次元ヘリカルCT装置15等により撮像した画像データを用いるよう構成・作用したが、あらかじめ体格の似た性別の同じ他人の画像データを用いても良い。 【0088】 また、本実施例では、1軸方向に巻かれた4個のコイルからなる体表検出用コイル7を設け、各々を被検体体表にテープ、ベルト、バンドなどで、複数の体表特徴点に着脱可能に固定し、体表特徴点の位置・配向データを同時に得るよう構成したが、1個のコイル、例えば体腔内検出用コイル42に代えて、超音波内視鏡2による検査に先立ち、被検体37を左側臥位にした後、体腔内接触プローブ8の先端を複数の体表特徴点に順次接触させて体表特徴点の位置・配向データを順次に得るような構成及び作用にしても良い。 また、本実施例では、位置配向算出手段が、位置・配向データとして、体表検出用コイル7に関してはその位置を算出したが、位置の代わりに巻線軸の方向を算出してもよい。また、位置と巻線軸の方向との両方を算出しても良い。1個の体表検出用コイル7に関して位置配向算出装置5が算出する自由度が増えることで、体表検出用コイル7の個数を減らすことができ、被検体37に体表検出用コイル7を固定する際や超音波内視鏡検査中の術者や被検体37の負担を減らすことができる。 【0089】 また、本実施例では、体表特徴点を腹部体表の剣状突起、左上前腸骨棘、右上前腸骨棘、腰椎椎体棘突起とし、体腔内特徴点を十二指腸乳頭として説明したが、この例に限らず、胸部体表や胸部体腔内の特徴点や他の例でも良い。一般に、体表特徴点は骨格と関連のある点にとった方が、超音波断層像マーカMuの配向についての精度が良い。 また、本実施例では、術者のマウス12、キーボード13からの入力により、制御回路63からの回転指示信号が3次元ガイド画像データを90度回転させ、足側から観察する指示内容になっており、3次元ガイド画像作成回路Bは被検体足側からの方向で観察した3次元ガイド画像データを作成したが、この例に限らず、術者によるマウス12、キーボード13からの入力により、任意の軸、任意の角度で入力に対し3次元ガイド画像をリアルタイムに回転できるようにしても良い。 【実施例2】 【0090】 次に本発明の実施例2を説明する。本実施例の構成は実施例1と同じである。但し、実施例1とは3次元ガイド画像作成回路Bの作用のみが異なる。 次に本実施例の作用を説明する。 上述のように本実施例は、実施例1と3次元ガイド画像作成回路Bの作用のみが異なる。 実施例1では、図15に示すように、3次元ガイド画像作成回路Bは被検体足側からの方向で観察した3次元ガイド画像データを作成し、混合回路61へ出力した。 そして、術者による可撓部22、硬性部21の用手的な操作に伴うラジアル走査面の移動とともに、画像指標データ上の超音波断層像マーカMuと先端方向マーカMdと6時方向マーカMtと、挿入形状データ上の挿入形状マーカMsとコイル位置マーカMcとが3次元人体画像データ上を移動もしくは変形していった。 【0091】 本実施例では、図22に示すように、3次元ガイド画像作成回路Bは、位置・配向写像データを基にして、超音波断層像マーカMuの法線を観察視線すなわち表示装置14の画面法線と一致するよう画面に正対させ、かつ6時方向マーカMtが表示装置14の画面の下方向に向くように設定されたガイド画像を作成する。 図22の3次元ガイド画像データは、術者の可撓部22、硬性部21の用手的な操作に伴うラジアル走査面の移動とともに、画像指標データ上の超音波断層像マーカMuと先端方向マーカMdと6時方向マーカMtと、挿入形状データ上の挿入形状マーカMsとコイル位置マーカMcとは表示装置14の画面上で固定され、3次元人体画像データが表示装置14の画面上を移動していく。 図22の3次元ガイド画像データでは、画像指標データのうちの超音波断層像マーカMuを半透明にして、画像指標データの6時方向マーカMtと先端方向マーカMdと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとが透けて見えるようにしている。 【0092】 その他の臓器に対しては超音波断層像マーカMuを不透明にして超音波断層像マーカMuの裏側の部分は見えないようにしている。 その他の作用は実施例1と同じである。 本実施例は以下の効果を有する。 本実施例によれば、3次元ガイド画像作成回路Bが、位置・配向写像データを基にして、超音波断層像マーカMuの法線を観察視線すなわち表示装置14の画面法線と一致するよう画面に正対させ、かつ6時方向マーカMtが表示装置14の画面の下方向に向くように設定された3次元ガイド画像を作成するよう構成、作用させたため、この3次元ガイド画像と表示装置14の画面に並べてリアルタイムに表示される超音波断層像との方向が一致する。そのため術者は両者を対比しやすく、超音波断層像の解剖学的な解釈をしやすい。 その他の効果は実施例1と同じである。 (変形例) 本実施例の変形例として、実施例1で説明した変形例を適用できる。 【実施例3】 【0093】 次に本発明の実施例3を説明する。 本実施例の構成は実施例2と同じである。本実施例は、実施例2とは3次元ガイド画像作成回路Bの作用のみが異なる。 次に本実施例の作用を説明する。 【0094】 上述のように本実施例の作用は、実施例2とは3次元ガイド画像作成回路Bの作用のみが異なる。 実施例2では、図22に示すように、3次元ガイド画像作成回路Bは、画像指標データのうちの超音波断層像マーカMuを半透明にし、画像指標データの6時方向マーカMtと先端方向マーカMdと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとが透けて見えるようにし、その他の臓器に対しては超音波断層像マーカMuを不透明にして超音波断層像マーカMuの裏側の部分は見えないようにした3次元ガイド画像データを作成し、混合回路61へ出力した。 【0095】 本実施例では、図23に示すように、3次元ガイド画像作成回路Bは、画像指標データのうちの超音波断層像マーカMuを半透明にする。また、3次元ガイド画像作成回路Bは、画像指標データの6時方向マーカMtと先端方向マーカMdと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとだけでなく、その他の臓器の超音波断層像マーカMuの裏側の部分も透けて見えるようにし、それぞれ、超音波断層像マーカMuの表側と裏側にある部分の輝度を変化させて3次元ガイド画像データを作成し、混合回路61へ出力する。 膵臓であれば、超音波断層像マーカMuより表側(手前側)にある部分は濃緑、裏側にある部分は薄緑で作成する。血管であれば、超音波断層像マーカMuより表側(手前側)にある部分は濃赤、裏側にある部分は薄赤で作成する。 図23では、超音波断層像マーカMuの裏側にあり、かつ超音波断層像マーカMuと重なる各マーカと各器官とは破線で示してある。 その他の作用は実施例2と同じである。 【0096】 本実施例は以下の効果を有する。 本実施例によれば、3次元ガイド画像作成回路Bが、画像指標データのうちの超音波断層像マーカMuを半透明にし、画像指標データの6時方向マーカMtと先端方向マーカMdと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとだけでなく、その他の臓器の超音波断層像マーカMuの裏側の部分も透けて見えるようにし、それぞれ、超音波断層像マーカMuの表側と裏側にある部分の輝度を変化させて3次元ガイド画像データを作成するような構成及び作用する。 そのため、術者には、可撓部22と硬性部21とをさらにどう動かしたら、患部等の関心領域を超音波断層像上に表示できるかわかりやすく、術者には、超音波内視鏡2の可撓部22と硬性部21との操作をしやすい。 【0097】 特に、胆嚢のように被検体37内部で柔らかく動きやすい臓器は超音波断層像マーカMu上には写っていながら、超音波断層像上には写らない可能性がある。本実施例の3次元ガイド画像は、術者がもう少し硬性部21と可撓部22とを動かせば胆嚢の超音波断層像上での描出ができるという目印になるため、術者には、超音波内視鏡2硬性部21と可撓部22との操作がしやすい。 その他の効果は実施例2と同じである。 (変形例) 本実施例では、画像指標データのうちの超音波断層像マーカMuを半透明にし、画像指標データの6時方向マーカMtと先端方向マーカMdと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとだけでなく、その他の臓器の超音波断層像マーカMuの裏側の部分も透けて見えるように構成及び作用させたが、その変形例として術者は、透明度をマウス12やキーボード13からの選択入力で自由に変更させることができるようにしても良い。 その他の変形例として、実施例2の変形例を適用できる。 【実施例4】 【0098】 次に本発明の実施例4を説明する。本実施例は実施例3と同じ構成である。本実施例は、実施例3とは3次元ガイド画像作成回路Bの作用のみが異なる。 次に本実施例の作用を説明する。 上述のように本実施例の作用は、実施例3とは3次元ガイド画像作成回路Bの作用のみが異なる。 実施例3では、図23に示すように、3次元ガイド画像作成回路Bは、画像指標データのうちの超音波断層像マーカMuを半透明にし、画像指標データの6時方向マーカMtと先端方向マーカMdと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとだけでなく、その他の臓器の超音波断層像マーカMuの裏側の部分も透けて見えるようにし、それぞれ、超音波断層像マーカMuの表側と裏側にある部分の輝度を変化させて3次元ガイド画像データを作成し、混合回路61へ出力した。 【0099】 膵臓であれば、超音波断層像マーカMuより表側(手前側)にある部分は濃緑、裏側にある部分は薄緑で作成した。血管であれば、超音波断層像マーカMuより表側(手前側)にある部分は濃赤、裏側にある部分は薄赤で作成した。 本実施例では、図24に示すように、3次元ガイド画像作成回路Bは、画像指標データのうちの超音波断層像マーカMuによって分けられる2つの領域のうち、可撓部22の先端側すなわち表示装置14の画面手前側を非表示にし、超音波断層像マーカMu上の部分と、裏側の部分の輝度を変化させた3次元ガイド画像データを作成して、混合回路61へ出力する。 膵臓であれば、超音波断層像マーカMu上にある部分は濃緑、裏側にある部分は薄緑で作成する。血管であれば、超音波断層像マーカMu上にある部分は濃赤、裏側にある部分は薄赤で作成する。 【0100】 その他の作用は実施例3と同じである。 本実施例は以下の効果を有する。 本実施例においては、3次元ガイド画像作成回路Bが、画像指標データのうちの超音波断層像マーカMuによって分けられる2つの領域のうち、可撓部22の先端側すなわち表示装置14の画面手前側を非表示にし、超音波断層像マーカMu上の部分と、裏側の部分の輝度を変化させた3次元ガイド画像データを作成するよう構成、作用させた。 そのため、本実施例によれば、手前側の臓器が術者の3次元ガイド画像の観察の邪魔になることなく、この3次元ガイド画像と表示装置14の画面に並べてリアルタイムに表示される超音波断層像との対比を一層しやすく、超音波断層像の解剖学的な解釈をしやすい。 その他の効果は、実施例3と同じである。 (変形例) 本実施例の変形例は、実施例3の変形例を適用できる。 【実施例5】 【0101】 次に本発明の実施例5を説明する。本実施例の構成は実施例1と同じである。本実施例は、実施例1とは3次元ガイド画像作成回路Bの作用のみが異なる。 次に本実施例の作用を説明する。 本実施例の作用は、上述したように実施例1とは3次元ガイド画像作成回路Bの作用のみが異なる。 実施例1では、図15に示すように、3次元ガイド画像作成回路Bは、画像指標データのうちの超音波断層像マーカMuを半透明にして、画像指標データの6時方向マーカMtと先端方向マーカMdと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとが透けて見えるようにし、その他の臓器に対しては超音波断層像マーカMuを不透明にして超音波断層像マーカMuの裏側の部分は見えないようにした3次元ガイド画像データを作成し、混合回路61へ出力した。 【0102】 本実施例では、図25に示すように、3次元ガイド画像作成回路Bは、画像指標データのうちの超音波断層像マーカMuを半透明にし、画像指標データの6時方向マーカMtと先端方向マーカMdと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとだけでなく、その他の臓器の超音波断層像マーカMuの裏側の部分も透けて見えるようにし、それぞれ、超音波断層像マーカMuの表側と裏側にある部分の輝度を変化させて3次元ガイド画像データを作成し、混合回路61へ出力する。 膵臓であれば、超音波断層像マーカMuより先端方向マーカMd側にある部分は濃緑、反対側にある部分は薄緑で作成する。血管であれば、超音波断層像マーカMuより先端方向マーカMd側にある部分は濃赤、反対側にある部分は薄赤で作成する。 その他の作用は実施例1と同じである。 本実施例は以下の効果を有する。 【0103】 本実施例によれば、3次元ガイド画像作成回路Bが、画像指標データのうちの超音波断層像マーカMuを半透明にし、画像指標データの6時方向マーカMtと先端方向マーカMdと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとだけでなく、その他の臓器の超音波断層像マーカMuの裏側の部分も透けて見えるようにし、それぞれ、超音波断層像マーカMuの表側と裏側にある部分の輝度を変化させて3次元ガイド画像データを作成するよう構成、作用させた。 そのため、術者には、可撓部22と硬性部21とをさらにどう動かしたら、患部等の関心領域を超音波断層像上に表示できるかわかりやすく、超音波内視鏡2の操作をしやすい。 特に、胆嚢のように被検体37内部で柔らかく動きやすい臓器は超音波断層像マーカMu上には写っていながら、超音波断層像上には写らない可能性がある。本実施例の3次元ガイド画像は、術者がもう少し硬性部21と可撓部22とを動かせば胆嚢の超音波断層像上での描出ができる目印になるため、術者には、超音波内視鏡2の操作をしやすい。 その他の効果は実施例1と同じである。 【0104】 (変形例) 本実施例では、画像指標データのうちの超音波断層像マーカMuを半透明にし、画像指標データの6時方向マーカMtと先端方向マーカMdと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとだけでなく、その他の臓器の超音波断層像マーカMuの裏側の部分も透けて見えるように構成、作用させたが、その変形例として術者は、透明度をマウス12やキーボード13で自由に変更させることができるようにしても良い。 その他の変形例として実施例1の変形例を適用できる。 【実施例6】 【0105】 次に本発明の実施例6を説明する。実施例1と異なる箇所のみ説明する。 実施例1の画像処理装置11では、硬性部21は、画像位置配向検出用コイル31を超音波振動子アレイ29の環の中心のごく近傍に固定して設けていた。 本実施例においては、硬性部21には、画像位置配向検出用コイル31がCCDカメラ26のごく近傍に固定して設けている。 画像位置配向検出用コイル31の固定されている向きは、実施例1と同じである。CCDカメラ26の光軸は、図1のVとV12とを含む平面内で、Vに対し既知の角度に向いている。 図26は本実施例の画像処理装置11を示す。実施例1の画像処理装置11では、混合回路61は超音波観測装置4と接続されていた。本実施例では、混合回路61は、超音波観測装置4の代わりに、光学観察装置3と接続されている。 【0106】 その他の構成は実施例1と同じである。 次に本実施例の作用を説明する。 実施例1の画像処理装置11では、術者が入手先としてX線3次元ヘリカルCT装置15を選択し、通信回路54が参照画像データとして複数枚の2次元CT画像を取り込み、図5に示すような参照画像データが参照画像記憶部55へ記憶された場合についての作用を説明した。例としてX線造影剤の作用により、大動脈、上腸間膜静脈等の血管は高輝度に、膵臓(pancreas)等の末梢血管を多く含む器官は中輝度に、十二指腸(duodenum)等は低輝度に造影されていた。 本実施例では、X線3次元ヘリカルCT装置15で胸部、特に気管、気管支、気管分枝を非造影で撮像した例で、気管支が2本の気管分枝、気管分枝aと気管分枝bとに分岐する箇所で超音波内視鏡2を気管分枝aへ挿入する例を説明する。 【0107】 光学観察装置3は、光学像の12時方向(上方向)を図1のVとV12とを含む平面へV12の射影した方向と反対の方向にして光学像データを作成する。 3次元人体画像作成回路57は、補間回路56から高輝度値のボクセル(主に気管、気管支、気管分枝の壁)、を抽出して着色する。次に、3次元人体画像作成回路57は、抽出したボクセルを3次元人体画像データとして合成回路58の合成メモリ58aのボクセル空間へ埋めていく。 このとき、3次元人体画像作成回路57は、抽出したボクセルの補間メモリ56a内のボクセル空間のアドレスと、合成メモリ内のボクセル空間のアドレスとが同じになるように埋めていく。3次元人体画像データは、高輝度の気管壁と気管支壁と気管分枝壁とが抽出され、各壁は肌色で着色され、被検体頭側を右側に足側を左側にして腹側から観察した3次元データである。 【0108】 画像指標作成回路52は、直交座標軸O-xyzにおける画像位置配向検出用コイル31の位置O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzに対する画像位置配向検出用コイル31の配向を示すオイラー角の各角度成分(ψ,θ,φ)との計6自由度の位置・配向写像データから画像指標データを作成し、合成回路58へ出力する。 画像指標データは、光軸の方向を示すオレンジ色の光学像視野方向マーカと、光学像の12時方向を示す黄緑色の光学像up方向マーカとを合成した直交座標軸O'-x'y'z'上における画像データである。 挿入形状作成回路53は、実施例1と同様に、画像位置配向検出用コイル31の位置O"の位置ベクトルOO"の各方向成分(x0,y0,z0)と、直交座標軸O-xyzにおける複数個の挿入形状検出用コイル32の各々の位置ベクトルの各方向成分(xi,yi,zi) との位置・配向写像データから、挿入形状データを作成し、合成回路58へ出力する。 【0109】 この様子を図11に示す。挿入形状データは、画像位置配向検出用コイル31と複数個の挿入形状検出用コイル32の各々の位置を順につないで補間したひも状の挿入形状マーカMsと各コイル位置を示すコイル位置マーカMcとを合成した直交座標軸O'-x'y'z'上における画像データである。 合成回路58は、画像指標データと、挿入形状データとを合成メモリ58a内のボクセル空間に埋めていく。このようにして、合成回路58は、同じボクセル空間内に3次元人体画像データと、画像指標データと、挿入形状データとを同じ合成メモリ58a内に埋めていくことで、これらを一組の合成3次元データとして合成する。 回転変換回路59は、合成3次元データを読み出し、制御回路63からの回転指示信号に従って、合成3次元データに回転処理を施す。 【0110】 3次元ガイド画像作成回路Aは、合成3次元データに陰面消去、陰影付け等のレンダリング処理を施し、画面に出力可能な3次元ガイド画像データを作成する。3次元ガイド画像データのデフォルトの向きは人体の腹側からの向きとする。 従って、3次元ガイド画像作成回路Aは、被検体37の腹側からの方向で観察した3次元ガイド画像データを作成する。3次元ガイド画像作成回路Aは、被検体腹側から観察した3次元ガイド画像データを混合回路61へ出力する。この3次元ガイド画像データを図27に示す。図27の右側が被検体頭側、左側が被検体足側である。 図27の3次元ガイド画像データでは、気管支の壁と、その先の気管分枝aと気管分枝bとの壁とを半透明にして、画像指標データの光学像視野方向マーカと光学像up方向マーカと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとが見えるようにしている。 【0111】 3次元ガイド画像作成回路Bは、回転処理を加えられた合成3次元データに陰面消去、陰影付け等のレンダリング処理を施し、画面に出力可能な3次元ガイド画像データを作成する。 本実施例では1例として、術者によるマウス12、キーボード13からの入力により、制御回路63からの回転指示信号が3次元ガイド画像データを90度回転させ、足側から観察する指示内容になっていたものとする。 従って、3次元ガイド画像作成回路Bは、被検体足側からの方向で観察した3次元ガイド画像データを作成する。3次元ガイド画像作成回路Bは被検体足側から観察した3次元ガイド画像データを混合回路61へ出力する。この3次元ガイド画像データを図28に示す。図28の右側が被検体右側、左側が被検体左側である。 【0112】 図28の3次元ガイド画像データでは、気管支の壁と、その先の気管分枝aと気管分枝bとの壁とを半透明にして、画像指標データの光学像視野方向マーカと光学像up方向マーカと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとが見えるようにしている。 混合回路61は、光学観察装置3からの光学像データと、3次元ガイド画像作成回路Aからの被検体37を腹側から観察した3次元ガイド画像データと、3次元ガイド画像作成回路Bからの被検体37を足側から観察した3次元ガイド画像データとを並べて表示用の混合データを作成する。 表示回路62はこの混合データをアナログビデオ信号に変換する。 表示装置14は、このアナログビデオ信号を基に光学像と被検体37を足側から観察した3次元ガイド画像と腹側から観察した3次元ガイド画像とを並べて表示する。 【0113】 図29に示すように、表示装置14は、3次元ガイド画像上で表現される気管支の壁と、気管分枝の壁とを肌色で表示する。 本実施例では、光学像がリアルタイム画像として処理される。 実施例1と同様、本実施例では、2つの新たな3次元ガイド画像が作成され、新たな光学像とともに表示装置14の表示画面にリアルタイムに更新されつつ表示される。すなわち、図29に示すように術者の可撓部22、硬性部21の用手的な操作に伴う光軸の移動に連動して、画像指標データの光学像視野方向マーカと光学像up方向マーカと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとが3次元人体画像データ上を移動もしくは変形していく。 その他の作用は実施例1と同じである。 本実施例は以下の効果を有する。 【0114】 本実施例によれば、気管支の壁と、その先の気管分枝aと気管分枝bとの壁とを半透明にして、画像指標データの光学像視野方向マーカと光学像up方向マーカと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとが見えるようにした3次元ガイド画像データを作成し、混合回路61と表示装置14とが、光学像と被検体37を腹側から観察した3次元ガイド画像と足側から観察した3次元ガイド画像とを並べて表示するよう構成、作用させた。 そのため、本実施例は、超音波内視鏡2(或いは以下の変形例で説明するように内視鏡)を気管分枝aへ挿入する際に誤って気管分枝bへ挿入することを防ぐことができる。 その他の効果は実施例1と同じである。 【0115】 ここでは、気管支の深部側に挿入する場合で説明したが、他の場合においても画像指標データの光学像視野方向マーカと光学像up方向マーカと、挿入形状データの挿入形状マーカMsとコイル位置マーカMcとが見えるように合成された3次元ガイド画像データを作成しているので、術者は体腔内プローブを体腔内に挿入して円滑な診断、処置を行うことができる。従って、術者が診断、処置を円滑に行い易い体腔内プローブ装置を実現できる。 【0116】 (変形例) 本実施例によれば、実施例1と同じく体腔内プローブとして光学観察系(光学観察窓24と、対物レンズ25と、CCDカメラ26と、図示しない照明光照射窓)を設けた電子ラジアル走査型の超音波内視鏡2を用いたが、体腔内プローブとして、超音波内視鏡2ではなく単に光学観察系を設けた内視鏡を用いても良い。 その他の変形例は実施例1における変形例を適用することができる。 なお、上述した各実施例等を部分的に組み合わせる等して構成される実施例等も本発明に属する。また、図4等において示した画像処理装置11のブロック構成を変更しても良い。 【0117】 [付記] 1.被検体の体腔内へ挿入される体腔内プローブと、 前記体腔内プローブの挿入形状を作成する挿入形状作成手段と、 人体の3次元データから前記人体の3次元画像を作成する3次元画像作成手段と、 前記挿入形状と、前記3次元画像とを合成する合成手段と、 を備えた体腔内プローブ装置において、 前記体腔内プローブは、前記体腔内への挿入側に前記被検体内の画像を作成するための信号を取得する画像信号取得手段を固定して設けた硬性部と、前記硬性部より手前側の可撓部とを具備し、 前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、 前記硬性部に対して位置が固定された画像位置配向検出用素子と、 前記可撓部に沿って複数個設けられた挿入形状検出用素子と、 前記被検体に接触可能な被検体検出用素子と、 前記画像位置配向検出用素子の位置と配向との6自由度と、前記複数個の挿入形状検出用素子の各位置と、前記被検体検出用素子の位置もしくは配向とを検出し、検出値として出力する検出手段と、 前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段と、 を具備し、 前記合成手段が、前記検出手段が出力した検出値を基に、前記挿入形状と前記画像指標と前記3次元画像とを合成し、前記被検体に対する前記可撓部と前記リアルタイム画像の位置および配向をガイドする3次元ガイド画像を作成することを特徴とする体腔内プローブ装置。 【0118】 (付記1の効果) 体腔内プローブの挿入形状とリアルタイム画像の方向とを侵襲を少なく検出でき、両者を含んだガイド画像を作成することができる。 また、リアルタイム画像と膵臓などの関心領域との位置関係をガイドすることができるとともに、消化管や気管等の体腔壁に対して、リアルタイム画像と体腔内プローブと可撓部22と硬性部21とがどのような配向や形状になっているのかをガイドすることができる。 また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の体位に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の3次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。 【0119】 8.被検体の体腔内へ挿入され、前記体腔内への挿入側先端に前記被検体内の画像を作成するための信号を取得する画像信号取得手段を設けた体腔内プローブと、 人体の3次元データから前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、 を備えた体腔内プローブ装置において、 前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、 前記画像信号取得手段に対して位置が固定された画像位置配向検出用素子と、 前記被検体体表に接触可能な体表検出用素子と、前記被検体体腔内に接触可能な体腔内検出用素子と、からなる被検体検出用素子と、 前記画像位置配向検出用素子の位置及び配向と、前記体表検出用素子の位置もしくは配向と、前記体腔内検出用素子の位置と、を検出し、検出値として出力する検出手段と、 前記ガイド画像作成手段が、前記検出手段が出力した前記画像位置配向検出用素子の位置及び配向と、前記体表検出用素子の位置もしくは配向の検出値を基に前記ガイド画像を作成する際、前記体腔内検出用素子の位置の検出値により前記ガイド画像に補正処理を施す補正手段と、 を具備することを特徴とする体腔内プローブ装置。 【0120】 (付記8の効果) 補正X線3次元ヘリカルCT装置と3次元MRI装置とは、通常仰臥位で撮像するように設定され、左側臥位での内視鏡検査の時とは体位が異なる。ガイド画像に体表検出用素子の位置もしくは配向の検出値を基にガイド画像を作成する際、体腔内検出用素子の位置の検出値によりガイド画像に補正処理を施したため、被検体内の諸器官がX線3次元ヘリカルCT装置と3次元MRI装置に比して左側臥位での内視鏡検査の時に重力に従って変位しても、被検体内の点の写像も解剖学的に一層正確な一致をする。そのため、ガイド画像は、リアルタイム画像を一層正確にガイドすることができる。 また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の体位に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の3次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。 【0121】 9.前記補正手段による前記補正処理は、前記3次元データ内での平行移動処理であることを特徴とする付記8に記載の体腔内プローブ装置。 10.前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置及び配向を示す画像指標を作成する画像指標作成手段を有し、 前記ガイド画像作成手段は、前記検出手段が出力した前記画像位置配向検出用素子の位置及び配向と、前記体表検出用素子の位置もしくは配向の検出値を基に、前記画像指標を合成したガイド画像を作成し、 前記補正手段による前記補正処理が、前記体腔内検出用素子の位置の検出値により前記画像指標を前記3次元データ内もしくは前記ガイド画像内で平行移動した位置で合成することで前記ガイド画像を作成する処理であることを特徴とする付記8に記載の体腔内プローブ装置。 【0122】 11.前記体腔内プローブは管状のチャンネルを有し、 前記体腔内検出用素子を固定して内蔵した接触手段を有し、 前記接触手段は、前記チャンネルに挿通して前記被検体の前記体腔内の所定の位置に接触することを特徴とする付記8に記載の体腔内プローブ装置。 【0123】 12.前記画像位置配向検出用素子は、前記体腔内検出用素子を兼ね、 前記補正手段は、前記画像位置配向検出用素子の位置もしくは配向の検出値により前記ガイド画像に補正処理を施すことを特徴とする付記8に記載の体腔内プローブ装置。 【0124】 13.前記ガイド画像作成手段は、前記被検体から撮像された3次元データから臓器もしくは脈管を抽出する抽出手段を有し、 前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する3次元画像を作成し、前記3次元画像を基に前記ガイド画像を作成することを特徴とする付記8に記載の体腔内プローブ装置。 【0125】 14.前記画像信号取得手段は、前記被検体内を撮像して映像信号を出力する撮像素子であり、 前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする付記8に記載の体腔内プローブ装置。 【0126】 15.前記画像信号取得手段は、前記被検体内に超音波を送受信してエコー信号を出力する超音波振動子であり、 前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする付記8に記載の体腔内プローブ装置。 【0127】 16.前記画像位置配向検出用素子と前記被検体検出用素子とは磁場発生器もしくは磁場検出器であり、 前記検出手段は、磁場を用いて前記検出を行うことを特徴とする付記8に記載の体腔内プローブ装置。 【0128】 17.被検体の体腔内へ挿入され、前記体腔内への挿入側先端に前記被検体内の画像を作成するための信号を取得する画像信号取得手段を設けた体腔内プローブと、 人体の3次元データから前記人体の3次元画像を作成する3次元画像作成手段と、 前記3次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、 を備えた体腔内プローブ装置において、 前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、 前記画像信号取得手段と位置関係を固定された画像位置配向検出用素子と、 前記被検体に接触可能な被検体検出用素子と、 前記画像位置配向検出用素子の位置と配向と、前記被検体検出用素子の位置もしくは配向とを検出し、検出値として出力する検出手段と、 前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段と、 前記画像作成手段が作成した前記被検体内の前記リアルタイム画像と、前記ガイド画像作成手段が作成した前記ガイド画像とを、対比可能に表示する表示手段と、 を具備し、 前記表示手段は、前記人体の前記3次元画像の頭側が右に、足側が左に、腹側が前記表示手段の画面手前の法線方向になるよう、前記ガイド画像を表示することを特徴とする体腔内プローブ装置。 【0129】 (付記17の効果) 被検体は内視鏡検査では通常左側臥位での体位で検査される。ガイド画像も左側臥位で表示されるので、被検体とガイド画像とを対比しやすく、術者はガイド画像がわかりやすい。 また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の体位に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の3次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。 【0130】 18.前記ガイド画像作成手段は、前記被検体から撮像された3次元データから臓器もしくは脈管を抽出する抽出手段を有し、 前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する3次元画像を作成し、前記3次元画像を基に前記ガイド画像を作成することを特徴とする付記17に記載の体腔内プローブ装置。 【0131】 19.前記画像信号取得手段は、前記被検体内を撮像して映像信号を出力する撮像素子であり、 前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする付記17に記載の体腔内プローブ装置。 【0132】 20.前記画像信号取得手段は、前記被検体内に超音波を送受信してエコー信号を出力する超音波振動子であり、 前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする付記17に記載の体腔内プローブ装置。 【0133】 21.前記画像位置配向検出用素子と前記被検体検出用素子とは磁場発生器もしくは磁場検出器であり、 前記検出手段は、磁場を用いて前記検出を行うことを特徴とする付記17に記載の体腔内プローブ装置。 【0134】 22.被検体の体腔内へ挿入され、前記体腔内への挿入側先端に前記被検体内の画像を作成するための信号を取得する画像信号取得手段を設けた体腔内プローブと、 人体の3次元データから前記人体の3次元画像を作成する3次元画像作成手段と、 前記3次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、 を備えた体腔内プローブ装置において、 前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、 前記画像信号取得手段と位置関係を固定された画像位置配向検出用素子と、 前記被検体に接触可能な被検体検出用素子と、 前記画像位置配向検出用素子の位置と配向と、前記被検体検出用素子の位置もしくは配向とを検出し、検出値として出力する検出手段と、 前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段と、 を具備し、 前記ガイド画像作成手段は、前記検出手段が出力した検出値を基に、前記3次元画像と前記画像指標とを合成し、少なくとも2つの互いに異なる方向に視線を設定したガイド画像を作成することを特徴とする体腔内プローブ装置。 【0135】 (付記22の効果) 2つの互いに異なる方向に視線を設定したガイド画像を作成したため、リアルタイム画像と膵臓などの関心領域との位置関係を複数の方向から、ガイドすることができるとともに、消化管等の体腔壁に対して、リアルタイム画像と体腔内プローブの可撓部と硬性部とがどのような配向や形状になっているのかを複数の方向からガイドすることができ、術者にはわかりやすい。 また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の体位に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の3次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。 【0136】 23.前記ガイド画像作成手段は、少なくとも2つの互いに異なる方向に視線を設定したガイド画像を作成し、 かつ、少なくとも前記2つのガイド画像のうち1つの視線を被検体の腹側もしくは背側からの方向に設定し、 かつ、少なくとも前記2つのガイド画像のうち1つの視線を被検体の頭側もしくは足側からの方向に設定することを特徴とする付記22に記載の体腔内プローブ装置。 【0137】 24.前記ガイド画像作成手段は、少なくとも2つの互いに異なる方向に視線を設定したガイド画像を作成し、 かつ、少なくとも2つの前記ガイド画像のうち、少なくとも1つのガイド画像の視線方向を変更するガイド画像回転手段を設けたことを特徴とする付記22に記載の体腔内プローブ装置。 【0138】 25.前記ガイド画像作成手段は、前記被検体から撮像された3次元データから臓器もしくは脈管を抽出する抽出手段を有し、 前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する3次元画像を作成し、前記3次元画像を基に前記ガイド画像を作成することを特徴とする付記22ないし付記24のいずれか1つの付記に記載の体腔内プローブ装置。 【0139】 26.前記画像信号取得手段は、前記被検体内を撮像して映像信号を出力する撮像素子であり、 前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする付記22ないし24のいずれか1つの付記に記載の体腔内プローブ装置。 【0140】 27.前記画像信号取得手段は、前記被検体内に超音波を送受信してエコー信号を出力する超音波振動子であり、 前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする付記22ないし24のいずれか1つの付記に記載の体腔内プローブ装置。 【0141】 28.前記画像位置配向検出用素子と前記被検体検出用素子とは磁場発生器もしくは磁場検出器であり、 前記検出手段は、磁場を用いて前記検出を行うことを特徴とする付記22ないし24のいずれか1つの付記に記載の体腔内プローブ装置。 【0142】 29.被検体の体腔内へ挿入され、前記体腔内への挿入側先端に前記被検体内の画像を作成するための信号を取得する画像信号取得手段を設けた体腔内プローブと、 人体の3次元データから前記人体の3次元画像を作成する3次元画像作成手段と、 前記3次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、 を備えた体腔内プローブ装置において、 前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、 前記画像信号取得手段と位置関係を固定された画像位置配向検出用素子と、 前記被検体に接触可能な被検体検出用素子と、 前記画像位置配向検出用素子の位置と配向と、前記被検体検出用素子の位置もしくは配向とを検出し、検出値として出力する検出手段と、 前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段と、 を具備し、 前記ガイド画像作成手段は、前記検出手段が出力した検出値を基に前記3次元画像と前記画像指標とを合成し、視線を前記画像指標の法線と一致する方向になるよう設定された第1のガイド画像を作成することを特徴とする体腔内プローブ装置。 (付記29の効果) 第1のガイド画像とリアルタイム画像との方向が一致するため、術者は両者を対比しやすく、リアルタイム画像の解剖学的な解釈をしやすい。 また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の体位に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の3次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。 【0143】 30.前記ガイド画像作成手段は、前記第1のガイド画像の他に、視線を被検体の腹側もしくは背側からの方向、または、 被検体の頭側もしくは足側からの方向に設定された第2のガイド画像を作成することを特徴とする付記29に記載の体腔内プローブ装置。 【0144】 31.前記画像作成手段が作成した前記被検体内の前記リアルタイム画像と、前記ガイド画像作成手段が作成した前記第1のガイド画像とを、対比可能に表示する表示手段を有し、 前記表示手段は、画面の法線と前記第1のガイド画像に合成された前記画像指標の法線とを一致させ、前記第1のガイド画像と前記被検体内の前記リアルタイム画像とを対比可能に表示することを特徴とする付記29に記載の体腔内プローブ装置。 【0145】 32.前記画像作成手段が作成した前記被検体内の前記リアルタイム画像と、前記ガイド画像作成手段が作成した前記第1のガイド画像とを、対比可能に表示する表示手段を有し、 前記表示手段は、前記被検体内の前記リアルタイム画像と、前記ガイド画像作成手段が作成した前記第1のガイド画像の向きを一致させて対比可能に表示することを特徴とする付記31に記載の体腔内プローブ装置。 【0146】 33.前記ガイド画像作成手段は、前記3次元画像が前記画像指標によって分けられる2つの領域のうち、一方を非表示にして前記ガイド画像を作成することを特徴とする付記31又は32に記載の体腔内プローブ装置。 【0147】 34.前記ガイド画像作成手段は、前記3次元画像のうち前記画像指標上の部分の輝度もしくは明度もしくは彩度もしくは表示色をそれ以外の表示部分とは変化させて前記ガイド画像を作成することを特徴とする付記31又は32に記載の体腔内プローブ装置。 【0148】 35.前記ガイド画像作成手段は、前記第1のガイド画像の他に、視線を被検体の腹側もしくは背側からの方向、または、 被検体の頭側もしくは足側からの方向に設定された第2のガイド画像を作成し、 前記表示手段は、前記第1のガイド画像と前記第2のガイド画像とを同時もしくは順次もしくは切り替えて表示することを特徴とする付記31又は32に記載の体腔内プローブ装置。 【0149】 36.前記ガイド画像作成手段は、前記被検体から撮像された3次元データから臓器もしくは脈管を抽出する抽出手段を有し、 前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する3次元画像を作成し、前記3次元画像を基に前記ガイド画像を作成したことを特徴とする付記29ないし35のいずれか1つの付記に記載の体腔内プローブ装置。 【0150】 37.前記画像信号取得手段は、前記被検体内を撮像して映像信号を出力する撮像素子であり、 前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする付記29ないし35のいずれか1つの付記に記載の体腔内プローブ装置。 【0151】 38.前記画像信号取得手段は、前記被検体内に超音波を送受信してエコー信号を出力する超音波振動子であり、 前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする付記29ないし35のいずれか1つの付記に記載の体腔内プローブ装置。 【0152】 39.前記画像位置配向検出用素子と前記被検体検出用素子とは磁場発生器もしくは磁場検出器であり、 前記検出手段は、磁場を用いて前記検出を行うことを特徴とする付記29ないし35のいずれか1つの付記に記載の体腔内プローブ装置。 【0153】 40.被検体の体腔内へ挿入され、前記体腔内への挿入側先端に前記被検体内の画像を作成するための信号を取得する画像信号取得手段を設けた体腔内プローブと、 人体の3次元データから前記人体の3次元画像を作成する3次元画像作成手段と、 前記3次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、 を備えた体腔内プローブ装置において、 前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、 前記画像信号取得手段と位置関係を固定された画像位置配向検出用素子と、 前記被検体に接触可能な被検体検出用素子と、 前記画像位置配向検出用素子の位置と配向と、前記被検体検出用素子の位置もしくは配向とを検出し、検出値として出力する検出手段と、 前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段と、 を具備し、 前記ガイド画像作成手段は、前記検出手段が出力した検出値を基に前記3次元画像と前記画像指標とを合成し、前記3次元画像が前記画像指標によって分けられる2つの領域を、互いに表示態様を変化させて前記ガイド画像を作成することを特徴とする体腔内プローブ装置。 【0154】 (付記40の効果) 表示態様を変化させてガイド画像を作成するため、術者は、可撓部と硬性部とをさらにどう動かしたら、患部等の関心領域をリアルタイム画像上に表示できるかわかりやすく、体腔内プローブの可撓部と硬性部との操作をしやすい。 特に、胆嚢のように被検体内部で柔らかく動きやすい臓器は画像指標上には写っていながら、リアルタイム画像上には写らない可能性があるが、本構成によってガイド画像は、術者がもう少し硬性部と可撓部とを動かせば胆嚢のリアルタイム画像上での描出ができるという目印になるため、術者には、体腔内プローブの硬性部と可撓部との操作がしやすい。 また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の体位に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の3次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。 【0155】 41.前記画像指標作成手段は、前記画像指標を透過可能にして作成することを特徴とする付記40に記載の体腔内プローブ装置。 42.前記ガイド画像作成手段は、前記3次元画像が前記画像指標によって分けられる前記2つの領域を、互いに輝度もしくは明度もしくは彩度もしくは表示色を変化させて前記ガイド画像を作成することを特徴とする付記40又は41に記載の体腔内プローブ装置。43.前記ガイド画像作成手段は、前記被検体から撮像された3次元データから臓器もしくは脈管を抽出する抽出手段を有し、 前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する3次元画像を作成し、前記3次元画像を基に前記ガイド画像を作成することを特徴とする付記40ないし42のいずれか1つの付記に記載の体腔内プローブ装置。 【0156】 44.前記画像信号取得手段は、前記被検体内を撮像して映像信号を出力する撮像素子であり、 前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする付記40ないし42のいずれか1つの付記に記載の体腔内プローブ装置。 【0157】 45.前記画像信号取得手段は、前記被検体内に超音波を送受信してエコー信号を出力する超音波振動子であり、 前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする付記40ないし42のいずれか1つの付記に記載の体腔内プローブ装置。 【0158】 46.前記画像位置配向検出用素子と前記被検体検出用素子とは磁場発生器もしくは磁場検出器であり、 前記検出手段は磁場を用いて前記検出を行うことを特徴とする付記40ないし42のいずれか1つの付記に記載の体腔内プローブ装置。 【0159】 47.被検体の体腔内へ挿入され、前記体腔内への挿入側先端に前記被検体内の画像を作成するための信号を取得する画像信号取得手段を設けた体腔内プローブと、 人体の3次元データから前記人体の3次元画像を作成する3次元画像作成手段と、 前記3次元画像を基に前記被検体内の前記リアルタイム画像の前記被検体に対する位置もしくは配向をガイドするガイド画像を作成するガイド画像作成手段と、 を備えた体腔内プローブ装置において、 前記画像信号取得手段が取得した信号から前記被検体内のリアルタイム画像を作成する画像作成手段と、 前記画像信号取得手段と位置関係を固定された画像位置配向検出用素子と、 前記被検体に接触可能な被検体検出用素子と、 前記画像位置配向検出用素子の位置と配向と、前記被検体検出用素子の位置もしくは配向とを検出し、検出値として出力する検出手段と、 前記画像作成手段が作成した前記被検体内の前記リアルタイム画像の位置と配向とを示す画像指標を作成する画像指標作成手段と、 を具備し、 前記ガイド画像作成手段は、前記検出手段が出力した検出値を基に前記3次元画像と前記画像指標とを合成し、前記3次元画像が前記画像指標によって分けられる2つの領域のうち、一方を非表示にして前記ガイド画像を作成することを特徴とする体腔内プローブ装置。 (付記47の効果) 画像指標によって分けられる2つの領域のうち、一方を非表示にしてガイド画像を作成したため、臓器が術者のガイド画像の観察の邪魔になることなく、このガイド画像とリアルタイム画像との対比を一層しやすい。 また、被検体に接触可能な被検体検出用素子を設けたため、体腔内プローブでの検査中に被検体の体位に変化が生じても、体表特徴点と臓器との位置関係が変化しない限り、リアルタイム画像もしくは可撓部もしくは硬性部と、人体の3次元画像上の画像指標もしくは挿入形状とは解剖学的により正確に一致するようにできる。 【0160】 48.前記ガイド画像作成手段は、前記3次元画像のうち前記画像指標上の部分の輝度もしくは明度もしくは彩度もしくは表示色をそれ以外の表示部分とは変化させて前記ガイド画像を作成することを特徴とする付記47に記載の体腔内プローブ装置。 49.前記ガイド画像作成手段は、前記被検体から撮像された3次元データから臓器もしくは脈管を抽出する抽出手段を有し、 前記ガイド画像作成手段は、前記抽出手段が抽出した前記被検体の前記臓器もしくは前記脈管から、前記臓器もしくは前記脈管の形状と配置とを表現する3次元画像を作成し、前記3次元画像を基に前記ガイド画像を作成することを特徴とする付記47に記載の体腔内プローブ装置。 【0161】 50.前記画像信号取得手段は、前記被検体内を撮像して映像信号を出力する撮像素子であり、 前記画像作成手段は、前記映像信号から前記リアルタイム画像として光学像を作成することを特徴とする付記47に記載の体腔内プローブ装置。 51.前記画像信号取得手段は、前記被検体内に超音波を送受信してエコー信号を出力する超音波振動子であり、 前記画像作成手段は、前記エコー信号から前記リアルタイム画像として超音波断層像を作成することを特徴とする付記47に記載の体腔内プローブ装置。 【0162】 52.前記画像位置配向検出用素子と前記被検体検出用素子とは磁場発生器もしくは磁場検出器であり、 前記検出手段は磁場を用いて前記検出を行うことを特徴とする付記47に記載の体腔内プローブ装置。 【産業上の利用可能性】 【0163】 体腔内に屈曲自在に挿入される超音波内視鏡等の体腔内プローブにおける先端の硬性部に設けた画像信号取得手段により取得した画像をリアルタイム画像として表示する場合、そのリアルタイム画像の位置及び配向を表す3次元ガイド画像を、挿入形状と共に表示するようにして、術者が診断、治療を行い易くする。 【図面の簡単な説明】 【0164】 【図1】図1は本発明の実施例1の体腔内プローブ装置の全体構成図。 【図2】図2は体表検出用コイルを使用例で模式的に示す図。 【図3】図3は体腔内接触プローブを示す側面図。 【図4】図4は画像処理装置の構成を示すブロック図。 【図5】図5は参照画像記憶部内に記憶される参照画像データを示す説明図。 【図6】図6は、ボクセル空間を示す説明図。 【図7】図7は位置・配向データを表すために送信アンテナ上に原点を設定した直交基底を示す図。 【図8】図8は被検体側の超音波断層像の中心をボクセル空間へ写像する様子等を示す説明図。 【図9】図9は被検体側の体腔内特徴点をボクセル空間へ写像する様子等を示す説明図。 【図10】図10は画像指標作成回路により画像指標データが作成される様子を示す説明図。 【図11】図11は挿入形状作成回路により作成される挿入形状データが作成される様子を示す説明図。 【図12】図12は3次元人体画像データを示す説明図。 【図13】図13は合成回路により画像指標データと挿入形状データとが合成メモリ内のボクセル空間に埋められていく様子を示す説明図。 【図14】図14は被検体の腹側から観察した場合の3次元ガイド画像データを示す説明図。 【図15】図15は被検体の足側から観察した場合の3次元ガイド画像データを示す説明図。 【図16】図16は表示装置に表示される3次元ガイド画像及び超音波断層像を示す図。 【図17】図17は本実施例の全体的な処理内容を示すフローチャート。 【図18】図18は図17における参照画像上での体表特徴点、体腔内特徴点指定処理の具体的な処理内容を示すフローチャート。 【図19】図19は図17における補正値算出処理の具体的な処理内容を示すフローチャート。 【図20】図20は図19における処理の説明図。 【図21】図21は図17における超音波断層像・3次元ガイド画像作成/表示処理の具体的な処理内容を示すフローチャート。 【図22】図22は本発明の実施例2における3次元ガイド画像データを示す説明図。 【図23】図23は本発明の実施例3における3次元ガイド画像データを示す説明図。 【図24】図24は本発明の実施例4における3次元ガイド画像データを示す説明図。 【図25】図25は本発明の実施例5における3次元ガイド画像データを示す説明図。 【図26】図26は本発明の実施例6における画像処理装置の構成を示すブロック図。 【図27】図27は3次元ガイド画像作成回路Aが生成する3次元ガイド画像データを示す説明図。 【図28】図28は3次元ガイド画像作成回路Bが生成する3次元ガイド画像データを示す説明図。 【図29】図29は表示装置に表示される3次元ガイド画像及び光学像を示す図。 【符号の説明】 【0165】 1…体腔内プローブ装置 2…超音波内視鏡 3…光学観察装置 4…超音波観測装置 5…位置配向算出装置 6…送信アンテナ 7…体表検出用コイル 8…体腔内接触プローブ 9…A/D変換ユニット部 11…画像処理装置 14…表示装置 15…X線3次元ヘリカルCT装置 21…硬性部 22…可撓部 26…CCDカメラ 29…超音波振動子アレイ 31…画像位置配向検出用コイル 32…挿入形状検出用コイル 42…体腔内検出用コイル 51…マッチング回路 52…画像指標作成回路 53…挿入形状作成回路 55…参照画像記憶部 56…補間回路 57…3次元人体画像作成回路 58…合成回路 59…回転変換回路 60…3次元ガイド画像作成回路A,B 61…混合回路 62…表示回路 65…体腔内特徴点指定キー 66…走査制御キー
|
【出願人】 |
【識別番号】304050923 【氏名又は名称】オリンパスメディカルシステムズ株式会社
|
【出願日】 |
平成19年9月21日(2007.9.21) |
【代理人】 |
【識別番号】100076233 【弁理士】 【氏名又は名称】伊藤 進
|
【公開番号】 |
特開2008−6308(P2008−6308A) |
【公開日】 |
平成20年1月17日(2008.1.17) |
【出願番号】 |
特願2007−245786(P2007−245786) |
|