トップ :: A 生活必需品 :: A61 医学または獣医学;衛生学




【発明の名称】 医療支援システム
【発明者】 【氏名】郭 清蓮

【氏名】中島 義和

【氏名】大須賀 美恵子

【氏名】前田 満雄

【氏名】室井 克信
【要約】 【課題】自然でリアルな三次元画像を提供できなかった。

【解決手段】所定の情報を入力する入力手段２０と、臓器の形状を測定したデータおよび上記臓器の内面を撮影した画像に基づき仮想空間内に、上記入力手段により入力された情報に応じた上記臓器の三次元画像を生成する演算手段１０とを備えたものである。
【特許請求の範囲】
【請求項１】 所定の情報を入力する入力手段と、臓器の形状を測定したデータおよび上記臓器の内面を撮影した画像に基づき仮想空間内に、上記入力手段により入力された情報に応じた上記臓器の三次元画像を生成する演算手段とを備えたことを特徴とする医療支援システム。
【請求項２】 演算手段は臓器の内面を撮影した画像から複数の視方向からの画像を抽出する手段と、上記抽出した複数の視方向からの画像に基づき、入力手段により入力された視方向から見たときの上記臓器の画像を算出する手段とを備えたことを特徴とする請求項１に記載の医療支援システム。
【請求項３】 演算手段は仮想空間内に上記臓器の形状を構成する手段と、上記仮想空間内に構成された臓器の形状に、入力手段により入力された視方向から見たときの上記臓器の画像をマッピングする手段とを備えたことを特徴とする請求項２に記載の医療支援システム。
【請求項４】 マッピングする手段は、特徴点抽出、曲面分割／モザイク処理を行うことを特徴とする請求項３に記載の医療支援システム。
【請求項５】 演算手段は臓器の形状を測定したデータおよび上記臓器の内面を撮影した画像に基づきボリュ−ムデータを構成する手段と、上記ボリュームデータを構成する手段の出力に対しボリュームレンダリングを行う手段とを備えたことを特徴とする請求項１に記載の医療支援システム。
【請求項６】 ボリュームデータを構成する手段は、ＣＴ装置、ＭＲＩ装置または超音波内視鏡により得られる断層像を積み上げてボリュームデータを構成することを特徴とする請求項５に記載の医療支援システム。
【請求項７】 演算手段は臓器の形状を測定したデータおよび上記臓器の内面を撮影した画像に基づきサーフェースデータを構成する手段と、入力手段により入力された視方向から見たときの上記臓器の画像を上記サーフェースデータにマッピングする手段と、上記マッピング手段の出力に対しサーフェースレンダリングを行う手段とを備えたことを特徴とする請求項１に記載の医療支援システム。
【請求項８】 サーフェースデータを構成する手段は、臓器の内面を撮影した画像からシェープドフロムシェーディング（shaped from shading）の手法によりサーフェースデータを構成するか、臓器のボリュームデータからゼグメンテーション（segmentation）によりサーフェースデータを構成するかまたはレーザ光でモアレもしくは格子もしくはチェックもしくはチェックと類似するパターンを上記臓器内部に投影しその画像を計測することによるサーフェースデータを構成することを特徴とする請求項７に記載の医療支援システム。
【請求項９】 サーフェースデータを構成する手段は、対象のボリュームデータからゼグメンテーション（segmentation）によりサーフェースデータを構成するとき、上記ボリュームデータの表面を再分割したことを特徴とする請求項８に記載の医療支援システム。
【請求項１０】 演算手段はボリュームレンダリングを行う手段により生成されるボリュームレンダリング画像と、サーフェースレンダリングを行う手段により生成されるサーフェースレンダリング画像の少なくとも一部を半透明にした画像とを重ねて表示する手段とを備えたことを特徴とする請求項７に記載の医療支援システム。
【請求項１１】 演算手段は臓器の形状を測定したデータから上記臓器の形状の特徴量を算出する手段と、上記臓器の内面を撮影した画像から上記臓器の色調の特徴量を算出する手段と、臓器の内面の画像をテクスチャ画像として捉え、このテクスチャの特徴量を算出する手段と、臓器の形状を測定したデータ、上記臓器の内面を撮影した画像、上記形状の特徴量を算出する手段の出力、色調の特徴量を算出する手段の出力およびテクスチャの特徴量を算出する手段の出力を保存する手段と、上記形状の特徴量を算出する手段の出力および色調の特徴量を算出する手段の出力の変化を解析する手段とを備えたことを特徴とする請求項１に記載の医療支援システム。
【請求項１２】 形状の特徴量を算出する手段は、臓器の表面の曲率変化、対象の体積、対象の断面面積、対象の半径などの形状を算出することを特徴とする請求項１１に記載の医療支援システム。
【請求項１３】 色調の特徴量を算出する手段は、臓器の表面輝度の平均、分散、対象の表面の色分布、色湿度を算出することを特徴とする請求項１１に記載の医療支援システム。
【請求項１４】 テクスチャの特徴量を算出する手段は、臓器のテクスチャのフラクラル次元または局所高次相関を算出することを特徴とする請求項１１に記載の医療支援システム。
【請求項１５】 演算手段は、既存の癌病変の臓器の画像を保存する癌病変画像データベースを備え、上記癌病変の臓器の画像に対し特徴量抽出に基づく分類処理を行い上記癌病変画像データベースに保存するように構成したことを特徴とする請求項１１に記載の医療支援システム。
【請求項１６】 演算手段は、診断の対象となる臓器において、診断中領域または診断済み領域または未診断領域のいずれであるのかを区分して表示する手段と、上記臓器内の生検箇所と治療箇所との三次元位置関係を表示する手段と、上記臓器内において病変部の可能性が高い領域をマーキングする手段とを備えたことを特徴とする請求項１に記載の医療支援システム。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】この発明は、内視鏡、腹腔鏡といった人間の臓器に関する情報を取り出して病変があるかどうかを判断する医療支援システムに関するものである。特に診断の対象である臓器の形状と臓器の内面の画像と組み合わせ、仮想空間内にこの臓器の三次元画像を生成し、生成した三次元画像を任意の視点方向から表示できるようにした医療支援システムに関するものである。
【０００２】
【従来の技術】内視鏡装置には胃カメラ（腹腔鏡）、ファイバースコープ、電子スコープのような構造の異なった機種が存在する。従来この種の装置には、例えば特開昭６３−２６７３２８号公報及び特開昭６２−２６６０３１号公報に示されたもののように生体内へ挿入自在な内視鏡スコープを具備し、内臓内壁など特定部の観察、診断、治療に利用されている。内視鏡スコープの視野方向には、４方向アングルが設けられており、固体撮影素子やレンズより得られたカラー撮影情報より、粘膜の微小な色調変化、構造変化を捉えることができる。
【０００３】しかしながら、従来の内視鏡により得られる画像は二次元情報であるため、それのみから病変部の立体的な構造を正確に捉えることは非常に困難である。そこで、病変部の三次元情報を得るための装置が考案されている。
【０００４】例えば特開平２−１１６３４７号公報のように内視鏡のカメラを二眼２カメラ式または一眼２カメラ式とし、この内視鏡を用いてステレオ撮影した後、適切な画像処理技術を施すことにより、立体感のある画像を得る電子内視鏡装置がある。この装置により、内視鏡より得られる像から病変があるかどうかを判断する医師は、立体感（奥行き情報）を容易に知覚しながら、医療行為を行うことが可能となる。
【０００５】また、特開昭６３ー３０２８３５号公報に示すように超音波探触子により特定する部位のみをビーム照射する照明手段を内視鏡の挿入先端部に設けた超音波内視鏡がある。超音波内視鏡では、通常の内視鏡画像に加えて、病変部位の大きさ、病変の辺縁の性状、内部エコーのパターン、などの情報が得られる。また、超音波内視鏡で得られる画像は病変部の断層像である。病変部の立体像を構成するために、断層画像から立体像を構成する処理が必要である。例えば、平３ー５００７２６号公報は、人の臓器の内部から超音波を発信することにより、臓器の内部の形状情報を３次元で視覚表示する装置である。
【０００６】また、特開平２ー２９７５１５号公報に示された立体電子内視鏡は内視鏡のライトチャンネルの先端部にグリッド投影装置を備え、臓器内壁にグリッドを投影して得た縞模様画像をコンピュータに取り込むとともに、三角測量法を用いて縞模様の変形具合か対象となる臓器内壁の凸部の高さや凹部の深さなど情報を求め、臓器内壁の表面形状を生成するものである。
【０００７】さらに、仮想気管支内視鏡検査システムとして、胸部Ｘ線とＣＴ像から気管支の三次元ポリゴンレンダリング画像（３次元画像の表面を３角形に分割するとともに、このそれぞれの３角形に対応する色をつけること。）を構築、管腔臓器の内視的表示を行うシステムがある。管腔臓器内の視点の移動はマウスあるいはそれに類似したデバイスで操作し、臓器内部をリアルタイムでウォークスルーすることができる。
【０００８】
【発明が解決しようとする課題】以下に、従来の技術で解決できない問題点を示す。一般的な内視鏡では、臓器の内部をカメラなどにより撮影した画像（すなわち色調／テクスチャデータ）を単に表示するだけのものであるため、表示される画像には奥行きに関する情報が不足している。このため、診断する医師等が必要とする病変部の形状に関する情報（特に奥行き距離情報）を得ることができないといった問題があった。
【０００９】上述の問題を解決した内視鏡として、二眼式内視鏡やステレオ内視鏡などがある。また、赤外線レンジファインダを内視鏡の先端に組み込み、三次元の形状に関する情報を得る内視鏡も開発されている。しかしながら、これらの内視鏡は、先端が太くなるため患者に与える苦痛が増すといった問題がある。さらに取り扱える画像は色調／テクスチャデータまたは形状データのどちらか一方しか取り扱えないといった問題があった。
【００１０】病変部を動的に観察するには、周辺を含めた病変部の遠景や全体像、接近して病変部の微細な性状を詳細に分析する必要がある。しかし、内視鏡は少ないとはいえ侵襲的であるから、手際よく検査を行うことが望ましい。従来の内視鏡では、観察視野の位置／方向に制限があり、必ずしも病変候補を最適視野で検査できていない。病変部症状を正確に捉える手法の開発は重要な課題であり、本発明は、三次元形状データとそれに位置対応した色調／テクスチャデータを計測することにより、病変部位の最適視野を医師に提示する。
【００１１】三次元形状データとそれに位置対応した色調／テクスチャデータとは、時間／空間的に変化していく内視鏡画像を融合して作成する。任意視点で観察を可能とするものに、仮想気管支内視鏡システムがあるが、この情報は形状のみであり、表面の色調／テクスチャデータは実際のものではない。
【００１２】正常組織と病変部は、三次元形状、色調／テクスチャともに違いが認められる。従来ではこれらの情報を別個のものとしてそれぞれ独立に扱っていたが、本発明では統合して扱うことにより、新たな臨床に役立つ情報の定量化手法、表示手法を提案する。
【００１３】従来の内視鏡では、カメラ画像をそのまま表示するだけであり、臓器に対する、現在の診断領域／診断済み領域／未診断領域の位置関係、および治療個所の位置関係を示すような表示をしていない。このため診断する医師は、未診断領域や未治療個所が生じないよう注意を払いながら診断／治療を行う必要があった。
【００１４】本発明は、実画像を用いて仮想空間に三次元臓器を生成し表示することが可能な医療支援システムを得ることを目的とする。さらには、臓器内での内視鏡の位置／姿勢の表示、臓器と診断領域／診断済み領域／未診断領域の位置関係表示、および臓器と治療個所の位置関係表示／記録を行うことにより、未診断領域発生の防止、医師の負荷軽減、診断時間の短縮による患者の負荷を軽減することが可能な医療支援システムを得ることを目的とする。
【００１５】
【課題を解決するための手段】この発明に係る医療支援システムは、所定の情報を入力する入力手段と、臓器の形状を測定したデータおよび上記臓器の内面を撮影した画像に基づき仮想空間内に、上記入力手段により入力された情報に応じた上記臓器の三次元画像を生成する演算手段とを備えたことを特徴とするものである。
【００１６】この発明に係る医療支援システムは、演算手段は臓器の内面を撮影した画像から複数の視方向からの画像を抽出する手段と、上記抽出した複数の視方向からの画像に基づき、入力手段により入力された視方向から見たときの上記臓器の画像を算出する手段とを備えたことを特徴とするものである。
【００１７】この発明に係る医療支援システムは、演算手段は仮想空間内に上記臓器の形状を構成する手段と、上記仮想空間内に構成された臓器の形状に、入力手段により入力された視方向から見たときの上記臓器の画像をマッピングする手段とを備えたことを特徴とするものである。
【００１８】この発明に係る医療支援システムは、マッピングする手段は、特徴点抽出、曲面分割／モザイク処理を行うことを特徴とするものである。
【００１９】この発明に係る医療支援システムは、演算手段は臓器の形状を測定したデータおよび上記臓器の内面を撮影した画像に基づきボリュ−ムデータを構成する手段と、上記ボリュームデータを構成する手段の出力に対しボリュームレンダリングを行う手段とを備えたことを特徴とするものである。
【００２０】この発明に係る医療支援システムは、ボリュームデータを構成する手段は、ＣＴ装置、ＭＲＩ装置または超音波内視鏡により得られる断層像を積み上げてボリュームデータを構成することを特徴とするものである。
【００２１】この発明に係る医療支援システムは、演算手段は臓器の形状を測定したデータおよび上記臓器の内面を撮影した画像に基づきサーフェースデータを構成する手段と、入力手段により入力された視方向から見たときの上記臓器の画像を上記サーフェースデータにマッピングする手段と、上記マッピング手段の出力に対しサーフェースレンダリングを行う手段とを備えたことを特徴とするものである。
【００２２】この発明に係る医療支援システムは、サーフェースデータを構成する手段は、臓器の内面を撮影した画像からシェープドフロムシェーディング（shaped from shading）の手法によりサーフェースデータを構成するか、臓器のボリュームデータからゼグメンテーション（segmentation）によりサーフェースデータを構成するかまたはレーザ光でモアレもしくは格子もしくはチェックもしくはチェックと類似するパターンを上記臓器内部に投影しその画像を計測することによるサーフェースデータを構成することを特徴とするものである。
【００２３】この発明に係る医療支援システムは、サーフェースデータを構成する手段は、対象のボリュームデータからゼグメンテーション（segmentation）によりサーフェースデータを構成するとき、上記ボリュームデータの表面を再分割したことを特徴とするものである。
【００２４】この発明に係る医療支援システムは、演算手段は、ボリュームレンダリングを行う手段により生成されるボリュームレンダリング画像と、サーフェースレンダリングを行う手段により生成されるサーフェースレンダリング画像の少なくとも一部を半透明にした画像とを重ねて表示する手段とを備えたことを特徴とするものである。
【００２５】この発明に係る医療支援システムは、演算手段は臓器の形状を測定したデータから上記臓器の形状の特徴量を算出する手段と、上記臓器の内面を撮影した画像から上記臓器の色調の特徴量を算出する手段と、臓器の内面の画像をテクスチャ画像として捉え、このテクスチャの特徴量を算出する手段と、臓器の形状を測定したデータ、上記臓器の内面を撮影した画像、上記形状の特徴量を算出する手段の出力、色調の特徴量を算出する手段の出力およびテクスチャの特徴量を算出する手段の出力を保存する手段と、上記形状の特徴量を算出する手段の出力および色調の特徴量を算出する手段の出力の変化を解析する手段とを備えたことを特徴とするものである。
【００２６】この発明に係る医療支援システムは、形状の特徴量を算出する手段は、臓器の表面の曲率変化、対象の体積、対象の断面面積、対象の半径などの形状を算出することを特徴とするものである。
【００２７】この発明に係る医療支援システムは、色調の特徴量を算出する手段は、臓器の表面輝度の平均、分散、対象の表面の色分布、色湿度を算出することを特徴とするものである。
【００２８】この発明に係る医療支援システムは、テクスチャの特徴量を算出する手段は、臓器のテクスチャのフラクラル次元または局所高次相関を算出することを特徴とするものである。
【００２９】この発明に係る医療支援システムは、演算手段は、既存の癌病変の臓器の画像を保存する癌病変画像データベースを備え、上記癌病変の臓器の画像に対し特徴量抽出に基づく分類処理を行い上記癌病変画像データベースに保存するように構成したことを特徴とするものである。
【００３０】この発明に係る医療支援システムは、演算手段は、診断の対象となる臓器において、診断中領域または診断済み領域または未診断領域のいずれであるのかを区分して表示する手段と、上記臓器内の生検箇所と治療箇所との三次元位置関係を表示する手段と、上記臓器内において病変部の可能性が高い領域をマーキングする手段とを備えたことを特徴とするものである。
【００３１】
【発明の実施の形態】
実施の形態１．本発明の医療支援システムを図１〜図６に基づいて説明する。図１は実施の形態１の医療支援システムを示すブロック図である。図１において、１０は演算手段に対応する演算部、２０は入力手段に対応するユーザーインターフェース入力部、３０は出力手段に対応するユーザーインターフェース出力部である。
【００３２】ユーザーインターフェース入力部２０は例えば操作パネルを有する。ユーザーインターフェース出力部３０は例えばマルチ表示ウィンドウを有するものである。演算部２０により得られた演算結果は、ユーザーインターフェース入力部２０により入力された情報に応じてユーザーインターフェース出力部３０に出力される。
【００３３】１００は対象となる人間の臓器の内壁の画像を例えばカメラなどを用いて取得する臓器内壁画像取得手段に対応する内視鏡装置である。内視鏡装置１００は例えばその先端に３次元位置センサ、姿勢センサが設けてあり、カメラの撮影位置および撮影方向を制御することが可能となる。内視鏡装置１００の代わりに腹腔鏡装置を用いても良い。内視鏡装置１００を所定の方向にそって複数の視点から臓器の内壁を撮影することにより、例えば臓器の内壁の色のデータ、テクスチャデータといった画像情報を得るためのものである。内視鏡装置１００から得られた内壁の画像はユーザインターフェース入力部１０を経由して演算部（詳しくは内視鏡画像生成／表示部４０）に伝送される。
【００３４】１１０は臓器の内面の形状に関する情報を取得する臓器形状情報取得手段および臓器の内面の画像を取得する臓器内面画像取得手段に対応する超音波内視鏡装置である。超音波内視鏡装置１１０により、対象となる臓器、対象となる臓器において超音波探索を行う方向を決定することにより、対象となる臓器の形状に関するＣＴ像（ＣＴ（Computed Tomography）装置を用いて取得した像）、ＭＲＩ像（ＭＲＩ（Magnetic Resonance Imaging）装置を用いて取得した像）またはＸ線像（Ｘ線装置を用いて取得した像）と、対象となる臓器の超音波内視鏡画像（あるいはＣＴ像、ＭＲＩ像）を得ることが可能となる。
【００３５】１２０は使用者が必要に応じて入力するべきデータであり、ここでは使用者がユーザーインターフェース入力部２０に入力するべきデータである。入力するべきデータは例えば、診断の対象となる臓器の種類（または観察対象）、視方向（または観察方向）、表示する臓器を拡大／縮小するための命令、画像表示モードの選択／指定などである。
【００３６】１３０は臓器の形状をとり出す臓器形状情報取得手段である。臓器形状情報取得手段１２０は例えば、ＣＴ装置、ＭＲＩ装置、Ｘ線装置などである。ＣＴ装置、ＭＲＩ装置は対象となる臓器を複数に分割し、対象となる臓器の形状を計測し、これを再び合わせることにより、対象となる臓器の形状を表示するものである。
【００３７】９０は使用者が入力した対象となる臓器の情報をもとに仮想空間内に三次元の臓器のモデルを形成する三次元臓器モデル形成手段に対応する三次元モデル構成／表示部である。４０は内視鏡装置１００より得られる内視鏡装置より得られる内視鏡画像を入力とし、この画像を仮想空間内の三次元画像に投影するための画像に変換する内視鏡画像変換手段に対応する内視鏡画像生成／表示部である。５０は内視鏡画像生成／表示部４０から得られる画像を三次元モデル形成手段９０により形成された仮想空間内の三次元臓器の所定の箇所にマッピングして表示するマッピング表示手段に対応するマッピング表示部である。
【００３８】６０は内視鏡画像生成／表示部４０、マッピング表示部５０の情報から仮想空間内に対象となる臓器の三次元の実画像を生成し、表示する三次元画像生成表示手段に対応する三次元画像生成表示手段に対応する三次元画像生成／表示部である。７０は対象の三次元画像データから対象の特徴量を表示し、患者の病変部を認知する病変部認知手段に対応する病変部認知支援部である。８０は入力されたデータ、ＣＴ画像、ＭＲＩ画像、演算部１０で演算した結果などを表示、記憶、保存するデータ表示／保存部である。
【００３９】入力データ／画像として、先端部に三次元位置センサを装備した内視鏡／腹腔鏡装置による記録画像（静止像とビデオ画像）と、ユーザの選択／指定した画像表示モード、観察対象、観察方向と、臓器の形状に関するＣＴ像（あるいはＭＲＩ 像、Ｘ線像）と、観察対象に関する超音波内視鏡画像（あるいはＣＴ像、ＭＲＩ像）が可能である。ユーザインターフェース入力部２０の操作パネルに、これらの入力データ／画像を選択し、入力するための操作をインターラクティブにサポートする機能が含まれている。
【００４０】また、ユーザインターフェース出力部３０には、演算部１０で処理した結果を、ユーザ選択したモードに従い、マルチ表示ウィンドウで表示する。演算部１０は、任意の視方向からの観察対象の内視鏡画像生成／表示部４０と、観察対象の内視鏡画像の三次元臓器画像へのマッピング表示部５０と、対象の三次元画像生成／表示部６０と、対象の三次元画像データに基づく、対象の特徴量表示による病変部認知支援部７０と、内視鏡検査／診断／治療データ表示／保存部８０と、三次元臓器モデル構成／表示部からなる。
【００４１】そして、様々な出力データ／画像を、ユーザ選択の表示モードに併せて提供することが可能である。出力データ／画像として、観察対象の任意指定方向の内視鏡画像、三次元臓器に内視鏡画像をマッピングした画像、観察対象のボリュームレンダリング画像、対象の内視鏡画像マッピングを施したサーフェースレンダリング画像、対象のオーバーレイ（overlay）画像、観察対象の特徴量データ、観察対象の時経変化データ、内視鏡診断領域表示画像または内視鏡生検領域表示画像などを出力することが可能となる。
【００４２】この実施形態に係るシステムは、内視鏡／腹腔鏡の病変部診断支援システムとして、内視鏡／腹腔鏡を用いる医療行為に利用でき、検査／治療時間の短縮、および病変の正確の診断／治療に役立つ。また、従来は限られていた視方向を、任意に設定した画像が得ることができ、観察情報を著しく増やすことができる。任意の視点からの画像を得られることにより、実際には正面からの観察が困難な位置にある病変部の正面視画像、任意の拡大／縮小率を持つ画像、他の形態（様式）の画像との統合画像など、診断に効果的な画像を施術者または医師に提示することができる。これは医学応用のみならず、工業用内視鏡が用いられる各分野にも応用できる。さらに、臓器の三次元形状モデルと、臨床上重要な情報である患部の色調やテクスチャなどを同時に得ることができるので、バーチャル内視鏡と低侵襲手術シミュレーションなどの目的で構成される教育訓練用VRシステムの開発にも応用できる。
【００４３】また、このview morphing画像生成手段より、対象を観察する限られた幾つの視方向の内視鏡画像から、任意の視方向から見た対象の仮想内視鏡画像が得られるため、観察情報を著しく増やすと同時に、診断あたりに必要とする撮影コマ数を適当に低減させることを可能にする。病変部三次元画像の生成／保存、あるいは臓器内部における治療個所の獲得／保存により、ファイリング保管と画像の遠隔転送においても、データ量と転送時間を減少することが可能となり、従来ビデオなどで経時的に保存していた診断／治療データの保存を効率化できる。
【００４４】図２は内視鏡画像生成／表示部４０の具体的な構成を示すブロック図である。図において、４１は先端部に三次元位置センサを装備した内視鏡／腹腔鏡装置による記録画像を入力とし、ユーザが指定した観察対象に対して、この観察対象に関する複数の視方向からの内視鏡画像を抽出する内視鏡画像抽出部である。４２は内視鏡画像抽出部４１で抽出した複数の内視鏡画像を入力とし、この複数の内視鏡画像をもとに所定の方向（ここでは三次元位置センサを動かした方向）に動かしたとき、これに伴い内視鏡画像がどのように連続的に変化するかを計算する（ヴューモーフィング（view morphing）と称す）view morphing処理部である。
【００４５】view morphing処理部４２を有することにより内視鏡／腹腔鏡装置による内視鏡画像は異なる視方向から撮像した複数の画像から、任意の視方向から見たときの画像を生成し表示することが可能となる。よって、医師が観察できる情報を著しく増やすと同時に、診断あたりに必要とする撮影コマ数を低減させることを可能にする。これは検査時間を短縮させ、患者にとって侵襲性の大きい長時間検査や重複検査を避けられる効果がある。
【００４６】view morphing処理部４２に、病変部全体をカバーする最も効率的なmorphingpaths自動設定アルゴリズムを備える。また、view morphingの技術を用いることにより、二つの視方向から撮影した臓器の内面の画像から、これらの視方向間で撮影したときの画像を仮想空間内に生成できるため、臓器の内面を新しい視点から見たときの自然でリアルな画像が提供できるようになる。
【００４７】図３マッピング表示部５０の具体的な構成を示す図である。図において、５２はview morphing処理部４２により処理された画像を入力とし、この画像を三次元臓器モデル構成表示部９０により仮想空間内に形成された３次元臓器モデルにマッピングする曲面ヴューディペンデントテクスチャーマッピング（view-depnedent texture mapping）処理部である。曲面view-depnedent texture mapping処理部５２は、内視鏡画像の局所性の欠点を補助するための機能で、三次元空間における臓器と病変部の位置関係を分かりやすくするための表示である。
【００４８】また、仮想空間において、視点の移動や拡大（縮小）操作により、融合した立体を自由に表示することもできる。三次元空間における臓器と病変の位置関係、解剖学的な構造に対する理解を助け、安全な治療計画が実現できる。
【００４９】従来のＣＴやＭＲＩなどからの三次元処理画像は、形状情報のみを持ち、臓器内壁の色調／テクスチャ情報を持たなかった。曲面view-dependent texture mapping処理部５２有することより、三次元形状情報に表面の色調／テクスチャ情報を持たせることが可能となり、仮想空間における三次元画像を臨床レベルにまで高める。このような表面色調、テクスチャ情報を持つ臓器モデルは、バーチャル内視鏡システムと低侵襲手術シミュレーションシステムと医療教育訓練用VR内視鏡システムに適用することも可能である。
【００５０】曲面view-depend mapping処理部５２は、従来view-depend mappingを拡張したもので、平面ベースの物体だけではなく、特徴点抽出と、曲面分割／モザイクなどの処理によって、内臓のような曲面物体にも適用できる。
【００５１】図４は三次元画像生成／表示部６０の具体的な構成を示すブロック図である。図において６１は超音波内視鏡装置１１０より取得した画像を入力とし、対象となる臓器のボリュームデータ（仮想空間内の臓器の３次元画像を構成する最小単位の立体要素（例えば立方体（boxel cubic））を構成するボリュームデータ構成部である。６２はボリュームデータ構成部６１により構成されたボリュームデータにボリュームレンダリング処理（立体要素を所定の色で塗りつぶす処理）を行い表示するボリュームレンダリング表示部である。６３はボリュームデータ構成部６１により算出された情報から対象となる臓器のサーフェースデータ（仮想空間内の臓器の３次元画像の表面を構成する最小単位の平面要素（例えば三角形）を構成するサーフェースデータ構成部である。サーフェースデータ構成部６３により構成されたサーフェースデータと、viewmorphing処理部４２により出力された画像とは、曲面view-depend mapping処理部５２により組み合わされることにより、サーフェースデータの上に画像がマッピングされる。
【００５２】６４は曲面view-depend mapping処理部５２により処理された情報を表示するサーフェースレンダリング表示部である。６５はボリュームレンダリング表示部６２により出力されるボリュームレンダリング画像とサーフェースレンダリング表示部６４により出力される画像とを同時に表示する三次元画像同時表示部である。対象の３次元画像を生成する手段より、２眼式内視鏡を利用せずに、対象を立体的に観察できる。内視鏡の口径は小さくなり、太い内視鏡による患者への侵襲と苦痛を低減する効果がある。
【００５３】対象のボリュームデータ構成部６１は、ＣＴ、ＭＲＩ、超音波あるいは超音波内視鏡に基づいて、対象のボリュームデータの断層像を積み上げる方法を利用して構成する。対象のボリュームレンダリング表示部６２は、対象のボリュームデータ構成部６１からの入力データを用いて、対象のボリュームレンダリングを行う。この超音波内視鏡から対象の三次元データを構築する手段は、３次元ボリュームデータに深さ情報を融合させ、病変部の辺縁と臓器壁層の関係、粘膜下腫瘍の形態をビジュアルに表示する効果がある。
【００５４】対象の三次元サーフェースデータ（表面形状）構成部６３は、内視鏡画像からshaped from shadingの手法（画素の濃淡から物体の形状を特定する手法）による表面形状の構成方式、あるいは対象のボリュームデータからsegmentationによる表面形状の構成方式、あるいはレーザ光でモアレあるいは格子あるいはチェックあるいはチェックと類似するパターンを対象内部に投影しその画像を計測することによる表面形状の構成方式を利用して、対象のサーフェースデータを構成する。
【００５５】サーフェースデータ構成部６３は、対象のボリュームデータからのsegmentationの際に、ポリゴンsubdivision技術（物体の表面を構成するポリゴンを細分割する技術）を応用することにより、間隔の大きい断層像から精密かつ滑らかなサーフェースデータを生成することが可能で、入力する超音波断層像のデータ量を低減する効果がある。
【００５６】サーフェースレンダリング表示部６４は、サーフェースデータ構成部６３で構成された対象の三次元表面形状に、対象の各方向に対応する内視鏡画像（任意視方向から対象の仮想内視鏡画像生成／表示部による仮想内視鏡画像も含め）を、マッピングしながらレンダリングを行う。ここでも、曲面view-dependent texture mapping処理部５２が用いられる。そして、対象の三次元形状、表面の性状（色調、血管分布、わずかに凹んだ不整形の発赤）を忠実に表わす三次元画像が得られる。病変部の立体的な構造を正確に捉えると同時に、三次元的に病変部の形状、色、テクスチャなどを定量化することもできる。リアルかつ正確な臓器内壁の色調とテクスチャを持つ三次元画像を生成／表示できる。仮想視点からの画像を任意に得られることにより、実際には正面からの観察が困難な位置にある病変部の正面視画像、任意の拡大／縮小率を持つ画像、他の形態の画像との統合画像など、診断に効果的な画像を医師に提示することができる。
【００５７】対象の三次元画像同時表示部６５には、二つのウィンドウ（window）にそれぞれ対象のボリュームレンダリング画像と内視鏡画像のマッピングを施したサーフェースレンダリング画像を表示する方式と、一つのウィンドウに対象のボリュームレンダリング画像とサーフェースレンダリング画像の少なくともその一部を半透明的に表示した画像とを重ね合せた形で表示するオーバーレイ（overlay）表示方式が可能である。このような三次元画像同時表示不６５により、多くの画像情報をより効果的に術者に提供することができる。また、臓器の内面特に病変部の内部情報と表面情報を立体的に対応付けしながら、観察することができ、臓器の病変部を正確に把握するために非常に有効である。
【００５８】図５は病変部認知支援部７０の具体的な構成を示す図である。図において７１は対象となる臓器の形状の特徴量を算出する形状特徴量算出部である。７２は対象となる臓器の色調の特徴量を算出する色調特徴量算出部である。７３は対象となる臓器をテクスチャ画像としてとらえたときの特徴量を算出するテクスチャ特徴量算出部である。７４は入力された画像のデータを保存するとともに、形状特徴量算出部７１、色調特徴量算出部７２、テクスチャ特徴量算出部で算出されたデータを保存する画像データ／特徴量データ保存部である。
【００５９】７５は形状特徴量算出部７１、色調特徴量算出部７２、テクスチャ特徴量算出部で算出されたデータから対象となる臓器が時間的にどのように変化しているかを解析する経時変化解析部である。７６は対象となる臓器が癌に犯されたときの画像が蓄えられた癌病変画像データベースである。
【００６０】病変部認知支援部７０は、対象となる臓器各種の特徴量データと対象となる臓器の時間経過変化データを算出し、出力する。このような特徴量を計算する手段、あるいはそれらを効率よく医師に提示する手段より、医師は、定量化された特徴量を用いて、客観的かつ正確に病変部の状態を把握できる。また、これらのデータを経時的に解析することにより、病変部の経時変化も診断に利用できる。
【００６１】対象となる臓器の形状の特徴量を算出する特徴量算出部７１では、例えば対象の表面の曲率変化、対象の体積、対象の断面面積、対象の半径などの形状を表わす特徴量を算出し、出力する。また、対象となる臓器の色調のデータを算出する特徴量算出部７２では、例えば対象の表面輝度の平均、分散、対象の表面の色分布、色湿度などの色調を表わす特徴量を算出し、出力する。さらに、対象となる臓器のテクスチャの情報を算出する特徴量算出部７３では、対象表面のテクスチャのフラクラル次元、局所高次相関などのテクスチャを表わす特徴量を算出し、出力する。
【００６２】画像データ／特徴量データ保存部７４に保存されたデータを、時経変化解析部７６により処理することによって、同一対象の臓器の時間経過に伴う変化を判別することができる。 そして、医師が長期に渡って、病変の疑いのある部分について、定量的に観察、診断することを支援する。
【００６３】既存の癌病変の内視鏡資料に対して、特徴量抽出に基づく分類処理を行い、癌病変画像データベース７６を構成することができる。このデータベースは３次元形状と色彩／テクスチャ情報を統合した癌診断支援システムの基礎要素となる。
【００６４】図６はデータ表示／保存部８０の具体的な構成を示すブロック図である。図において、８１は対象となる臓器を内視鏡により診断中の領域、診断済みの領域または未診断の領域に区分して表示する区分表示部である。８２は対象となる臓器の生検箇所／治療箇所の三次元的な位置関係を表示する三次元位置関係表示部である。８３は対象となる臓器の病変部をマーキングして表示するマーキング表示部である。８４は内視鏡により診断したデータ、治療したデータを保存する内視鏡診断／治療データ保存部である。
【００６５】従来のＣＴ像、ＭＲＩ像、Ｘ線像からの三次元臓器形状データの生成する方法と従来のボリュームレンダリング方法を用いた三次元臓器モデル構成／表示部９０から、臓器の三次元データ／画像から得られ、内視鏡診断領域表示画像と内視鏡生検領域表示画像を出力する。このような臓器形状データと内視鏡の位置姿勢データを用いて臓器内の検査領域あるいは治療個所を表示／保存する手段より、検査領域の忘れ／重複などを防止し、診断／治療の信頼性向上、時間短縮、コスト低減、低侵襲化、医師の負荷軽減などの効果が期待できる。
【００６６】今回開示した実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【００６７】
【発明の効果】この発明に係る医療支援システムは、所定の情報を入力する入力手段と、臓器の形状を測定したデータおよび上記臓器の内面を撮影した画像に基づき仮想空間内に、上記入力手段により入力された情報に応じた上記臓器の三次元画像を生成する演算手段とを備えたので、よりリアルな画像を施術者または医師に提供できるため、施術者または医師はより的確な判断を行うことが可能となる。
【００６８】この発明に係る医療支援システムは、演算手段は臓器の内面を撮影した画像から複数の視方向からの画像を抽出する手段と、上記抽出した複数の視方向からの画像に基づき、入力手段により入力された視方向から見たときの上記臓器の画像を算出する手段とを備えたので、任意の視方向から見た三次元画像を得ることができ、診断の対象となる臓器の情報が著しく増える同時に、診断あたりに必要とする撮影コマ数を低減させることを可能にする。よって、臓器の内面を撮影するための検査時間の短縮ができ、患者にとって侵襲性の大きい長時間検査や重複検査を避けることができる。
【００６９】この発明に係る医療支援システムは、演算手段は仮想空間内に上記臓器の形状を構成する手段と、上記仮想空間内に構成された臓器の形状に、入力手段により入力された視方向から見たときの上記臓器の画像をマッピングする手段とを備えたので、三次元空間における臓器と病変部の位置関係を分かりやすなる。さらに、仮想（またはバーチャル）空間において、視点の移動や拡大（縮小）操作により、融合した立体を自由に表示することもできる。さらに３D空間に置ける臓器と病変の位置関係、解剖学的な構造に対する理解を助け、安全な治療計画が実現できる。
【００７０】この発明に係る医療支援システムは、マッピングする手段は、特徴点抽出、曲面分割／モザイク処理を行うので、臓器のような曲面物体にマッピングすることが可能となる。
【００７１】この発明に係る医療支援システムは、演算手段は臓器の形状を測定したデータおよび上記臓器の内面を撮影した画像に基づきボリュ−ムデータを構成する手段と、上記ボリュームデータを構成する手段の出力に対しボリュームレンダリングを行う手段とを備えたので、ボリュームデータに臓器の内面からの深さの情報を融合さることにより、病変部の辺縁と臓器壁層の関係、粘膜下腫瘍の形態をビジュアルに表示することが可能となる。
【００７２】この発明に係る医療支援システムは、ボリュームデータを構成する手段は、ＣＴ装置、ＭＲＩ装置または超音波内視鏡により得られる断層像を積み上げてボリュームデータを構成するので、ボリュームデータに臓器の内面からの深さの情報を融合さることにより、病変部の辺縁と臓器壁層の関係、粘膜下腫瘍の形態をビジュアルに表示することが可能となる。
【００７３】この発明に係る医療支援システムは、演算手段は臓器の形状を測定したデータおよび上記臓器の内面を撮影した画像に基づきサーフェースデータを構成する手段と、入力手段により入力された視方向から見たときの上記臓器の画像を上記サーフェースデータにマッピングする手段と、上記マッピング手段の出力に対しサーフェースレンダリングを行う手段とを備えたので、対象となる臓器の三次元形状、表面の形状（色調、血管分布、わずかに凹んだ不整形の発赤）を忠実に表わす三次元画像が得られる。さらには、病変部の立体的な構造を正確に捉えるとともに、三次元的に病変部の形状、色、テクスチャなどを定量化することもでき、リアルかつ正確な臓器内壁の色調とテクスチャを持つ三次元画像を生成／表示できる。
【００７４】この発明に係る医療支援システムは、サーフェースデータを構成する手段は、臓器の内面を撮影した画像からシェープドフロムシェーディング（shaped from shading）の手法によりサーフェースデータを構成するか、臓器のボリュームデータからゼグメンテーション（segmentation）によりサーフェースデータを構成するかまたはレーザ光でモアレもしくは格子もしくはチェックもしくはチェックと類似するパターンを上記臓器内部に投影しその画像を計測することによるサーフェースデータを構成するので、対象となる臓器の三次元形状、表面の形状（色調、血管分布、わずかに凹んだ不整形の発赤）を忠実に表わす三次元画像が得られる。
【００７５】この発明に係る医療支援システムによれば、サーフェースデータを構成する手段は、対象のボリュームデータからゼグメンテーション（segmentation）によりサーフェースデータを構成するとき、上記ボリュームデータの表面を再分割したので、間隔の大きい断層像から精密かつ滑らかなサーフェースデータを生成することが可能で、臓器の形状のデータのデータ量を低減すことが可能となる。
【００７６】この発明に係る医療支援システムによれば、演算手段は、ボリュームレンダリングを行う手段により生成されるボリュームレンダリング画像と、サーフェースレンダリングを行う手段により生成されるサーフェースレンダリング画像の少なくとも一部を半透明にした画像とを重ねて表示する手段とを備えたので、オーバーレイ（over lay）画像を施術者または医師に提供することが可能となる。これにより、多くの画像情報を施術者または医師により効果的に提供することができるとともに、対象の内部情報と表面情報を立体的に対応付けしながら、観察することができ、病変部を正確に把握することが可能となる。
【００７７】この発明に係る医療支援システムによれば、演算手段は臓器の形状を測定したデータから上記臓器の形状の特徴量を算出する手段と、上記臓器の内面を撮影した画像から上記臓器の色調の特徴量を算出する手段と、臓器の内面の画像をテクスチャ画像として捉え、このテクスチャの特徴量を算出する手段と、臓器の形状を測定したデータ、上記臓器の内面を撮影した画像、上記形状の特徴量を算出する手段の出力、色調の特徴量を算出する手段の出力およびテクスチャの特徴量を算出する手段の出力を保存する手段と、上記形状の特徴量を算出する手段の出力および色調の特徴量を算出する手段の出力の変化を解析する手段とを備えたので、施術者または医師は、定量化された特徴量を用いて、客観的かつ正確に臓器の状態を把握することができる。また、これらのデータを経時的に解析することにより、病変部の経時変化も診断に利用できる。
【００７８】この発明に係る医療支援システムによれば、形状の特徴量を算出する手段は、臓器の表面の曲率変化、対象の体積、対象の断面面積、対象の半径などの形状を算出するので、施術者または医師は、臓器の形状の情報を正確に把握することができる。
【００７９】この発明に係る医療支援システムによれば、色調の特徴量を算出する手段は、臓器の表面輝度の平均、分散、対象の表面の色分布、色湿度を算出するこので、施術者または医師は、臓器の色調に関する情報を正確に把握することができる。
【００８０】この発明に係る医療支援システムによれば、テクスチャの特徴量を算出する手段は、臓器のテクスチャのフラクラル次元または局所高次相関を算出するので、臓器のフラクラル次元または局所高次相関に関する情報を正確に把握することができる。
【００８１】この発明に係る医療支援システムによれば、演算手段は、既存の癌病変の臓器の画像を保存する癌病変画像データベースを備え、上記癌病変の臓器の画像に対し特徴量抽出に基づく分類処理を行い上記癌病変画像データベースに保存するように構成したので、施術者または医者は対象となる臓器が癌細胞に犯されているかどうかをより客観的に判断することが可能となる。
【００８２】この発明に係る医療支援システムによれば、演算手段は、診断の対象となる臓器において、診断中領域または診断済み領域または未診断領域のいずれであるのかを区分して表示する手段と、上記臓器内の生検箇所と治療箇所との三次元位置関係を表示する手段と、上記臓器内において病変部の可能性が高い領域をマーキングする手段とを備えたので、検査領域の忘れ／重複などを防止し、診断／治療の信頼性が向上する。
【出願人】 【識別番号】０００００６０１３
【氏名又は名称】三菱電機株式会社
【出願日】 平成９年（１９９７）１０月３日
【代理人】 【弁理士】
【氏名又は名称】宮田 金雄 （外２名）
【公開番号】 特開平１１−１０４０７２
【公開日】 平成１１年（１９９９）４月２０日
【出願番号】 特願平９−２７１４５６