トップ :: A 生活必需品 :: A61 医学または獣医学;衛生学

【発明の名称】 医療用画像処理装置及び医療用画像処理方法
【発明者】 【氏名】田中 秀樹

【氏名】西村 博一

【氏名】沢 美穂

【氏名】中村 健次

【氏名】井上 涼子

【要約】 【課題】局所的な隆起形状を有する病変を検出する場合の検出精度を、従来に比べて向上させることのできる医療用画像処理装置及び医療用画像処理方法を提供する。

【構成】本発明の医療用画像処理装置は、生体組織の三次元モデルを推定する三次元モデル推定部と、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定部と、検出対象領域に含まれる各ボクセルの凹凸の状態を示す形状特徴量を算出する形状特徴量算出部と、隆起形状を有する第1のボクセル及び凹型形状を有する第2のボクセルを検出する三次元形状検出部と、第1のボクセルと第2のボクセルとが互いに近接し、かつ、第1のボクセルと第2のボクセルとの間に、陥凹部位を形成するボクセル群が存在することを検出した場合、第1のボクセルの隆起形状を、病変に由来する隆起形状ではないと判別する隆起形状判別部とを有する。
【特許請求の範囲】
【請求項1】
医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定部と、
前記三次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定部と、
前記検出対象領域に含まれる各ボクセルの凹凸の状態を示す第1の形状特徴量を算出する形状特徴量算出部と、
前記第1の形状特徴量に基づき、前記検出対象領域に存在する、隆起形状を有する第1のボクセル及び凹型形状を有する第2のボクセルを検出する三次元形状検出部と、
前記第1のボクセルから前記第2のボクセルに至るまでの距離が所定の距離より短く、かつ、前記第1のボクセルから前記第2のボクセルに至るまでの間に、陥凹部位を形成するボクセル群が存在することを検出した場合に、前記第1のボクセルの隆起形状を、病変に由来する隆起形状ではないと判別する隆起形状判別部と、
を有することを特徴とする医療用画像処理装置。
【請求項2】
前記陥凹部位を形成するボクセル群に含まれる各ボクセルは、凹型形状または溝型形状のうち、少なくともいずれか一方の形状を有していることを特徴とする請求項1に記載の医療用画像処理装置。
【請求項3】
さらに、前記形状特徴量算出部は、前記検出対象領域に含まれる各ボクセルの曲率を示す第2の形状特徴量を算出し、
前記隆起形状判別部は、前記第1のボクセルから前記第2のボクセルに至るまでの間に存在する各ボクセルを順次トレースするとともに、前記第1の形状特徴量及び前記第2の形状特徴量に基づき、前記第2の形状特徴量が初めて所定の閾値以上となる第3のボクセルから前記第2のボクセルに至るまでの間に存在する各ボクセルが、凹型形状または溝型形状のうち、少なくともいずれか一方の形状を有していることを検出した場合に、前記第3のボクセルから前記第2のボクセルに至るまでの間に存在する各ボクセルを、前記陥凹部位を形成するボクセル群であるとして検出することを特徴とする請求項2に記載の医療用画像処理装置。
【請求項4】
医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定部と、
前記三次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定部と、
前記検出対象領域に含まれる各ボクセルの形状を示す形状特徴量を算出する形状特徴量算出部と、
前記形状特徴量に基づき、前記検出対象領域に存在する、隆起形状を有するボクセル群を検出する三次元形状検出部と、
前記隆起形状を有するボクセル群のうち、相互に近接する各ボクセルを一のボクセル群とするクラスタリング処理部と、
前記一のボクセル群に含まれるボクセルの数に基づき、前記一のボクセル群が所定の病変の存在を示すものであるか否かを判別する病変判別部と、
を有することを特徴とする医療用画像処理装置。
【請求項5】
前記三次元形状検出部は、前記形状特徴量として、前記検出対象領域に含まれる各ボクセルの凹凸の状態を示す第1の形状特徴量、及び、前記検出対象領域に含まれる各ボクセルの曲率を示す第2の形状特徴量を算出することを特徴とする請求項4に記載の医療用画像処理装置。
【請求項6】
医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定ステップと、
前記三次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定ステップと、
前記検出対象領域に含まれる各ボクセルの凹凸の状態を示す第1の形状特徴量を算出する形状特徴量算出ステップと、
前記第1の形状特徴量に基づき、前記検出対象領域に存在する、隆起形状を有する第1のボクセル及び凹型形状を有する第2のボクセルを検出する三次元形状検出ステップと、
前記第1のボクセルから前記第2のボクセルに至るまでの距離が所定の距離より短く、かつ、前記第1のボクセルから前記第2のボクセルに至るまでの間に、陥凹部位を形成するボクセル群が存在することを検出した場合に、前記第1のボクセルの隆起形状を、病変に由来する隆起形状ではないと判別する隆起形状判別ステップと、
を有することを特徴とする医療用画像処理方法。
【請求項7】
前記陥凹部位を形成するボクセル群に含まれる各ボクセルは、凹型形状または溝型形状のうち、少なくともいずれか一方の形状を有していることを特徴とする請求項6に記載の医療用画像処理方法。
【請求項8】
さらに、前記形状特徴量算出ステップは、前記検出対象領域に含まれる各ボクセルの曲率を示す第2の形状特徴量を算出し、
前記隆起形状判別ステップは、前記第1のボクセルから前記第2のボクセルに至るまでの間に存在する各ボクセルを順次トレースするとともに、前記第1の形状特徴量及び前記第2の形状特徴量に基づき、前記第2の形状特徴量が初めて所定の閾値以上となる第3のボクセルから前記第2のボクセルに至るまでの間に存在する各ボクセルが、凹型形状または溝型形状のうち、少なくともいずれか一方の形状を有していることを検出した場合に、前記第3のボクセルから前記第2のボクセルに至るまでの間に存在する各ボクセルを、前記陥凹部位を形成するボクセル群であるとして検出することを特徴とする請求項7に記載の医療用画像処理方法。
【請求項9】
医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定ステップと、
前記三次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定ステップと、
前記検出対象領域に含まれる各ボクセルの形状を示す形状特徴量を算出する形状特徴量算出ステップと、
前記形状特徴量に基づき、前記検出対象領域に存在する、隆起形状を有するボクセル群を検出する三次元形状検出ステップと、
前記隆起形状を有するボクセル群のうち、相互に近接する各ボクセルを一のボクセル群とするクラスタリング処理ステップと、
前記一のボクセル群に含まれるボクセルの数に基づき、前記一のボクセル群が所定の病変の存在を示すものであるか否かを判別する病変判別ステップと、
を有することを特徴とする医療用画像処理方法。
【請求項10】
前記三次元形状検出ステップは、前記形状特徴量として、前記検出対象領域に含まれる各ボクセルの凹凸の状態を示す第1の形状特徴量、及び、前記検出対象領域に含まれる各ボクセルの曲率を示す第2の形状特徴量を算出することを特徴とする請求項9に記載の医療用画像処理方法。
【発明の詳細な説明】【技術分野】
【0001】
本発明は、医療用画像処理装置及び医療用画像処理方法に関し、特に、生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する医療用画像処理装置及び医療用画像処理方法に関するものである。
【背景技術】
【0002】
従来、医療分野において、X線診断装置、CT、MRI、超音波観測装置及び内視鏡装置等の画像撮像機器を用いた観察が広く行われている。このような画像撮像機器のうち、内視鏡装置は、例えば、体腔内に挿入可能な挿入部を有し、該挿入部の先端部に配置された対物光学系により結像した体腔内の像を固体撮像素子等の撮像手段により撮像して撮像信号として出力し、該撮像信号に基づいてモニタ等の表示手段に体腔内の像の画像を表示するという作用及び構成を有する。そして、ユーザは、モニタ等の表示手段に表示された体腔内の像の画像に基づき、例えば、体腔内における臓器等の観察を行う。
【0003】
また、内視鏡装置は、消化管粘膜の像を直接的に撮像することが可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等を総合的に観察することができる。
【0004】
さらに、内視鏡装置は、局所的な隆起形状を有する病変が存在する所定の画像を検出可能な画像処理方法として、例えば、特許文献1に記載されている画像処理方法を用いることにより、ポリープ等の病変部位が含まれる画像を検出することもまた可能である。
【0005】
特許文献1に記載されている画像処理方法は、入力された画像が有する輪郭を抽出するとともに、該輪郭の形状に基づき、該画像における局所的な隆起形状を有する病変を検出することができる。
【特許文献1】特開2005−192880号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
一般的に、一の画像内において、憩室等の陥凹部位が存在する周辺の部位が盛り上がることにより、局所的な隆起形状が生じる場合がある。しかし、特許文献1に記載されている画像処理方法は、一の画像内において検出した局所的な隆起形状各々が、病変に由来するものであるか、または、陥凹部位が存在する周辺部位の盛り上がりに由来するものであるかを判別することができない。その結果、特許文献1に記載されている画像処理方法は、局所的な隆起形状を有する病変を検出する場合における、検出精度の低下及び誤検出の発生といった課題を有している。
【0007】
本発明は、前述した点に鑑みてなされたものであり、局所的な隆起形状を有する病変を検出する場合の検出精度を、従来に比べて向上させることができる医療用画像処理装置及び医療用画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【0008】
本発明における第1の医療用画像処理装置は、医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定部と、前記三次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定部と、前記検出対象領域に含まれる各ボクセルの凹凸の状態を示す第1の形状特徴量を算出する形状特徴量算出部と、前記第1の形状特徴量に基づき、前記検出対象領域に存在する、隆起形状を有する第1のボクセル及び凹型形状を有する第2のボクセルを検出する三次元形状検出部と、前記第1のボクセルから前記第2のボクセルに至るまでの距離が所定の距離より短く、かつ、前記第1のボクセルから前記第2のボクセルに至るまでの間に、陥凹部位を形成するボクセル群が存在することを検出した場合に、前記第1のボクセルの隆起形状を、病変に由来する隆起形状ではないと判別する隆起形状判別部と、を有することを特徴とする。
【0009】
本発明における第2の医療用画像処理装置は、前記第1の医療用画像処理装置において、前記陥凹部位を形成するボクセル群に含まれる各ボクセルは、凹型形状または溝型形状のうち、少なくともいずれか一方の形状を有していることを特徴とする。
【0010】
本発明における第3の医療用画像処理装置は、前記第2の医療用画像処理装置において、さらに、前記形状特徴量算出部は、前記検出対象領域に含まれる各ボクセルの曲率を示す第2の形状特徴量を算出し、前記隆起形状判別部は、前記第1のボクセルから前記第2のボクセルに至るまでの間に存在する各ボクセルを順次トレースするとともに、前記第1の形状特徴量及び前記第2の形状特徴量に基づき、前記第2の形状特徴量が初めて所定の閾値以上となる第3のボクセルから前記第2のボクセルに至るまでの間に存在する各ボクセルが、凹型形状または溝型形状のうち、少なくともいずれか一方の形状を有していることを検出した場合に、前記第3のボクセルから前記第2のボクセルに至るまでの間に存在する各ボクセルを、前記陥凹部位を形成するボクセル群であるとして検出することを特徴とする。
【0011】
本発明における第4の医療用画像処理装置は、医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定部と、前記三次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定部と、前記検出対象領域に含まれる各ボクセルの形状を示す形状特徴量を算出する形状特徴量算出部と、前記形状特徴量に基づき、前記検出対象領域に存在する、隆起形状を有するボクセル群を検出する三次元形状検出部と、前記隆起形状を有するボクセル群のうち、相互に近接する各ボクセルを一のボクセル群とするクラスタリング処理部と、前記一のボクセル群に含まれるボクセルの数に基づき、前記一のボクセル群が所定の病変の存在を示すものであるか否かを判別する病変判別部と、を有することを特徴とする。
【0012】
本発明における第5の医療用画像処理装置は、前記第4の医療用画像処理装置において、前記三次元形状検出部は、前記形状特徴量として、前記検出対象領域に含まれる各ボクセルの凹凸の状態を示す第1の形状特徴量、及び、前記検出対象領域に含まれる各ボクセルの曲率を示す第2の形状特徴量を算出することを特徴とする。
【0013】
本発明における第1の医療用画像処理方法は、医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定ステップと、前記三次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定ステップと、前記検出対象領域に含まれる各ボクセルの凹凸の状態を示す第1の形状特徴量を算出する形状特徴量算出ステップと、前記第1の形状特徴量に基づき、前記検出対象領域に存在する、隆起形状を有する第1のボクセル及び凹型形状を有する第2のボクセルを検出する三次元形状検出ステップと、前記第1のボクセルから前記第2のボクセルに至るまでの距離が所定の距離より短く、かつ、前記第1のボクセルから前記第2のボクセルに至るまでの間に、陥凹部位を形成するボクセル群が存在することを検出した場合に、前記第1のボクセルの隆起形状を、病変に由来する隆起形状ではないと判別する隆起形状判別ステップと、を有することを特徴とする。
【0014】
本発明における第2の医療用画像処理方法は、前記第1の医療用画像処理方法において、前記陥凹部位を形成するボクセル群に含まれる各ボクセルは、凹型形状または溝型形状のうち、少なくともいずれか一方の形状を有していることを特徴とする。
【0015】
本発明における第3の医療用画像処理方法は、前記第2の医療用画像処理方法において、さらに、前記形状特徴量算出ステップは、前記検出対象領域に含まれる各ボクセルの曲率を示す第2の形状特徴量を算出し、前記隆起形状判別ステップは、前記第1のボクセルから前記第2のボクセルに至るまでの間に存在する各ボクセルを順次トレースするとともに、前記第1の形状特徴量及び前記第2の形状特徴量に基づき、前記第2の形状特徴量が初めて所定の閾値以上となる第3のボクセルから前記第2のボクセルに至るまでの間に存在する各ボクセルが、凹型形状または溝型形状のうち、少なくともいずれか一方の形状を有していることを検出した場合に、前記第3のボクセルから前記第2のボクセルに至るまでの間に存在する各ボクセルを、前記陥凹部位を形成するボクセル群であるとして検出することを特徴とする。
【0016】
本発明における第4の医療用画像処理方法は、医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定ステップと、前記三次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定ステップと、前記検出対象領域に含まれる各ボクセルの形状を示す形状特徴量を算出する形状特徴量算出ステップと、前記形状特徴量に基づき、前記検出対象領域に存在する、隆起形状を有するボクセル群を検出する三次元形状検出ステップと、前記隆起形状を有するボクセル群のうち、相互に近接する各ボクセルを一のボクセル群とするクラスタリング処理ステップと、前記一のボクセル群に含まれるボクセルの数に基づき、前記一のボクセル群が所定の病変の存在を示すものであるか否かを判別する病変判別ステップと、を有することを特徴とする。
【0017】
本発明における第5の医療用画像処理方法は、前記第4の医療用画像処理方法において、前記三次元形状検出ステップは、前記形状特徴量として、前記検出対象領域に含まれる各ボクセルの凹凸の状態を示す第1の形状特徴量、及び、前記検出対象領域に含まれる各ボクセルの曲率を示す第2の形状特徴量を算出することを特徴とする。
【発明の効果】
【0018】
本発明における医療用画像処理装置及び医療用画像処理方法によると、局所的な隆起形状を有する病変を検出する場合の検出精度を、従来に比べて向上させることができる。
【発明を実施するための最良の形態】
【0019】
以下、図面を参照して本発明の実施の形態を説明する。図1から図10は、本発明の実施形態に係るものである。図1は、本発明の実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図である。図2は、図1の医療用画像処理装置が本実施形態において行う処理の手順を示すフローチャートである。図3は、図1の医療用画像処理装置により推定される三次元モデルの一例を示す図である。図4は、図1の医療用画像処理装置が行う隆起形状判別処理の手順の一例を示すフローチャートである。図5は、図1の医療用画像処理装置が行う三次元データ点列設定処理の手順を示すフローチャートである。図6は、図3の三次元モデルにおいて、凹型形状を有するボクセル群が存在する位置の一例を示す図である。図7は、顆粒型LST(Laterally Spreading Tumor)の一例を示す模式図である。図8は、図1の医療用画像処理装置が行う隆起形状判別処理の手順の、図4とは異なる例を示すフローチャートである。図9は、図2のフローチャートに示す処理において、隆起形状を有するボクセル群として検出された各ボクセルの三次元座標の一例を示す図である。図10は、図9に示す各ボクセルがクラスタ化された状態を示す図である。
【0020】
内視鏡システム1は、図1に示すように、被写体を撮像するとともに、該被写体の像の二次元画像を出力する医療用観察装置2と、パーソナルコンピュータ等により構成され、医療用観察装置2から出力される二次元画像の映像信号に対して画像処理を行うとともに、該画像処理を行った後の映像信号を画像信号として出力する医療用画像処理装置3と、医療用画像処理装置3から出力される画像信号に基づく画像を表示するモニタ4とを有して要部が構成されている。
【0021】
また、医療用観察装置2は、被検体の体腔内に挿入されるとともに、該体腔内に存在する生体組織等の被写体を撮像して撮像信号として出力する内視鏡6と、内視鏡6により撮像される被写体を照明するための照明光を供給する光源装置7と、内視鏡6に対する各種制御を行うとともに、内視鏡6から出力される撮像信号に対して信号処理を行い、二次元画像の映像信号として出力するカメラコントロールユニット(以降、CCUと略記する)8と、CCU8から出力される二次元画像の映像信号に基づき、内視鏡6により撮像された被写体の像を画像表示するモニタ9とを有して要部が構成されている。
【0022】
内視鏡6は、体腔内に挿入される挿入部11と、挿入部11の基端側に設けられた操作部12とを有して構成されている。また、挿入部11内の基端側から、挿入部11内の先端側の先端部14にかけての部分には、光源装置7から供給される照明光を伝送するためのライトガイド13が挿通されている。
【0023】
ライトガイド13は、先端側が内視鏡6の先端部14に配置されるとともに、後端側が光源装置7に接続される。ライトガイド13がこのような構成を有することにより、光源装置7から供給される照明光は、ライトガイド13により伝送された後、挿入部11の先端部14の先端面に設けられた、図示しない照明窓から出射される。そして、図示しない照明窓から照明光が出射されることにより、被写体としての生体組織等が照明される。
【0024】
内視鏡6の先端部14には、図示しない照明窓に隣接する図示しない観察窓に取り付けられた対物光学系15と、対物光学系15の結像位置に配置され、例えば、CCD(電荷結合素子)等により構成される撮像素子16とを有する撮像部17が設けられている。このような構成により、対物光学系15により結像された被写体の像は、撮像素子16により撮像された後、撮像信号として出力される。
【0025】
撮像素子16は、信号線を介してCCU8に接続されている。そして、撮像素子16は、CCU8から出力される駆動信号に基づいて駆動するとともに、CCU8に対し、撮像した被写体の像に応じた撮像信号を出力する。
【0026】
また、CCU8に入力された撮像信号は、CCU8の内部に設けられた図示しない信号処理回路において信号処理されることにより、二次元画像の映像信号として変換されて出力される。CCU8から出力された二次元画像の映像信号は、モニタ9及び医療用画像処理装置3に対して出力される。これにより、モニタ9には、CCU8から出力される映像信号に基づく被写体の像が二次元画像として表示される。
【0027】
医療用画像処理装置3は、医療用観察装置2から出力される二次元画像の映像信号に対し、A/D変換を行って出力する画像入力部21と、画像入力部21から出力される映像信号に対して画像処理を行う、中央演算処理装置としてのCPU22と、該画像処理に関する処理プログラムが書き込まれた処理プログラム記憶部23と、画像入力部21から出力される映像信号等を記憶する画像記憶部24と、CPU22が行う画像処理における演算結果等を記憶する解析情報記憶部25とを有する。
【0028】
また、医療用画像処理装置3は、記憶装置インターフェース26と、記憶装置インターフェース26を介してCPU22の画像処理結果としての画像データ等を記憶する、記憶装置としてのハードディスク27と、CPU22の画像処理結果としての画像データに基づき、該画像データをモニタ4に画像表示するための表示処理を行うとともに、該表示処理を行った後の画像データを画像信号として出力する表示処理部28と、CPU22が行う画像処理におけるパラメータ及び医療用画像処理装置3に対する操作指示をユーザが入力可能な、キーボード等により構成される入力操作部29とを有する。そして、モニタ4は、表示処理部28から出力される画像信号に基づく画像を表示する。
【0029】
なお、医療用画像処理装置3の画像入力部21、CPU22、処理プログラム記憶部23、画像記憶部24、解析情報記憶部25、記憶装置インターフェース26、表示処理部28及び入力操作部29は、データバス30を介して相互に接続されている。
【0030】
次に、内視鏡システム1の作用について説明を行う。
【0031】
まず、ユーザは、内視鏡システム1が有する各部の電源を投入した後、被検体の体腔内に内視鏡6の挿入部11を挿入する。
【0032】
そして、ユーザにより挿入部11が被検体の体腔内に挿入されると、例えば、該体腔内に存在する生体組織等である被写体の像が、先端部14に設けられた撮像部17により撮像される。そして、撮像部17により撮像された被写体の像は、撮像信号としてCCU8に対して出力される。
【0033】
CCU8は、図示しない信号処理回路において、撮像部17の撮像素子16から出力される撮像信号に対して信号処理を行うことにより、該撮像信号を二次元画像の映像信号として変換して出力する。そして、モニタ9は、CCU8から出力される映像信号に基づき、撮像部17により撮像された被写体の像を二次元画像として表示する。また、CCU8は、撮像部17の撮像素子16から出力される撮像信号に対して信号処理を行うことにより得られた二次元画像の映像信号を、医療用画像処理装置3に対して出力する。
【0034】
医療用画像処理装置3に対して出力された二次元画像の映像信号は、画像入力部21においてA/D変換された後、CPU22に入力される。
【0035】
そして、三次元モデル推定部としてのCPU22は、画像入力部21から出力される二次元画像に対し、例えば、ShapeFromShading法等を用い、該二次元画像の輝度情報等に基づく幾何学的な変換等の処理を施すことにより、該二次元画像に応じた三次元モデルを推定する(図2のステップS1)。なお、本実施形態において、CPU22は、図2のステップS1に示す処理を画像入力部21から出力される二次元画像に対して行うことにより、例えば、図3に示すような三次元モデルを得るものであるとする。
【0036】
次に、検出対象領域設定部としてのCPU22は、画像入力部21から出力される二次元画像の色調変化と、図2のステップS1の処理により推定した三次元モデルの隆起性変化とを検出することにより、該三次元モデルにおける隆起形状を有する病変を検出するための処理の適用対象となる領域としての、処理対象領域を設定する(図2のステップS2)。具体的には、CPU22は、例えば、画像入力部21から出力される二次元画像を、R(赤)画像、G(緑)画像及びB(青)画像の各プレーン画像に分離した後、該R画像に応じて推定した三次元モデルのデータに基づいて隆起性変化を検出するとともに、該R画像及びG画像の色度に基づいて色調変化を検出する。そして、CPU22は、前記隆起性変化の検出結果及び前記色調変化の検出結果に基づき、前記隆起性変化及び前記色調変化の両方が検出された領域を、前記処理対象領域として設定する。
【0037】
その後、形状特徴量算出部としてのCPU22は、三次元モデルの処理対象領域に存在する各ボクセルに対し、(三次元形状)の形状特徴量として、ShapeIndex値及びCurvedness値を算出する処理を行う(図2のステップS3)。
【0038】
なお、前述したShapeIndex値は、三次元モデルが有する各ボクセルにおける凹凸の状態を示すための値であり、0以上1以下の範囲内の数値として示される。具体的には、三次元モデル内に存在する一のボクセル(または一のボクセル群)において、ShapeIndex値が0に近い場合には凹型形状の存在が示唆され、また、ShapeIndex値が1に近い場合には凸型形状の存在が示唆される。また、前述したCurvedness値は、三次元モデルが有する各ボクセルにおける曲率を示すための値である。具体的には、三次元モデル内に存在する一のボクセル(または一のボクセル群)において、Curvedness値が小さければ小さい程鋭く曲がった曲面の存在が示唆され、また、Curvedness値が大きければ大きい程鈍く曲がった曲面の存在が示唆される。さらに、ShapeIndex値及びCurvedness値は、例えば、US Patent Application No.20030223627に記載されている方法と同様の方法を用いることにより算出可能である。そのため、本実施形態においては、一のボクセル(または一のボクセル群)におけるShapeIndex値及びCurvedness値の算出方法に関しては、説明を省略する。
【0039】
三次元形状検出部としてのCPU22は、三次元モデルの処理対象領域に存在する各ボクセルにおいて、ShapeIndex値及びCurvedness値の各値と、該各値に応じた所定の閾値との比較処理を行うことにより、該各ボクセルのうち、隆起形状を有するボクセル群として、例えば、N個のボクセルを検出する(図2のステップS4)。具体的には、CPU22は、三次元モデルの処理対象領域に存在する各ボクセルのうち、例えば、ShapeIndex値が閾値T1より大きく、かつ、Curvedness値が閾値T2より大きいN個のボクセルを、隆起形状を有するボクセル群として検出する。
【0040】
そして、CPU22は、三次元モデルにおいて隆起形状を有するボクセル群として検出したN個のボクセル各々が、ポリープ等の病変に由来する隆起形状、または、陥凹部位が存在する周辺部位の盛り上がりに由来する隆起形状のうち、いずれに該当するボクセルであるかを判別するための処理として、以降に記す隆起形状判別処理を行う(図2のステップS5)。
【0041】
三次元形状検出部としてのCPU22は、図2のステップS4の処理を行った後、三次元モデルの処理対象領域に存在する各ボクセルにおいて、ShapeIndex値及びCurvedness値の各値と、該各値に応じた所定の閾値との比較処理を行うことにより、該各ボクセルのうち、M個のボクセルを、凹型形状を有するボクセル群として検出する(図4のステップS11)。これにより、CPU22は、例えば、図6に示す各位置に存在する各ボクセルを、凹型形状を有するボクセル群として検出する。
【0042】
次に、CPU22は、i=1(図4のステップS12)に設定した後、隆起形状が存在するボクセル群が有するN個のボクセルから、一のボクセルBi(i=1,2,・・・,N−1,N)を抽出する(図4のステップS13)とともに、凹型形状を有するボクセル群が有するM個のボクセルのうち、該ボクセルBiに最も近い位置に存在するボクセルRk(k=1,2,・・・,M−1,M)を検出する。具体的には、CPU22は、一のボクセルBiと、凹型形状を有するボクセル群が有するM個のボクセル各々との間の距離を算出するとともに、該距離が最小値DminとなるボクセルRkを検出する(図4のステップS14)。なお、図4のステップS14に示す処理において用いられる距離は、道のり距離であるとする。
【0043】
その後、隆起形状判別部としてのCPU22は、一のボクセルBiとボクセルRkとの間の距離Dminと、該距離に関する閾値Dthとの比較処理を行う。そして、CPU22は、距離Dminが閾値Dth以上であることを検出した場合(図4のステップS15)、一のボクセルBiにおける隆起形状を、陥凹部位が存在する周辺部位の盛り上がりに由来する隆起形状ではなく、ポリープ等の病変に由来する隆起形状であると判別した(図4のステップS22)後、後述する図4のステップS23に示す処理を行う。
【0044】
また、CPU22は、距離Dminが閾値Dthより小さいことを検出した場合(図4のステップS15)、さらに、一のボクセルBiからボクセルRkに至るまでの三次元データ点列を生成するための処理として、以降に記す三次元データ点列設定処理を行う(図4のステップS16)。
【0045】
CPU22は、前記三次元データ点列設定処理として、まず、一のボクセルBiからボクセルRkへの方向ベクトルV0を算出する(図5のステップS31)。
【0046】
次に、CPU22は、注目ボクセルとしての一のボクセルBiに接する各ボクセルのうち、ボクセルRkの方向に存在するP個のボクセルを抽出する(図5のステップS32)とともに、注目ボクセルとしての一のボクセルBiから該P個のボクセル各々への方向ベクトルVq(q=1,2,・・・,P−1,P)を算出する(図5のステップS33)。
【0047】
さらに、CPU22は、方向ベクトルV0と、各方向ベクトルVqとがなす角度θq(q=1,2,・・・,P−1,P)を算出した(図5のステップS34)後、該算出結果に基づき、P個のボクセルのうち、最小の角度θqminを与えるボクセルBqを検出する(図5のステップS35)。
【0048】
CPU22は、ボクセルBqを検出した後、該ボクセルBqがボクセルRkと同一であるか否かの判定を行う。そして、CPU22は、ボクセルBqがボクセルRkと同一でないことを検出した(図5のステップS36)場合、該ボクセルBqを次の注目ボクセルとして設定し(図5のステップS37)、さらに、該ボクセルBqに対して図5のステップS32からステップS36までの処理を行う。また、CPU22は、ボクセルBqがボクセルRkと同一であることを検出した(図5のステップS36)場合、一のボクセルBiからボクセルRkに至るまでに検出した各ボクセル(一のボクセルBi、ボクセルRk、及び前述した処理により得られた各注目ボクセル)を三次元データ点列として設定し(図5のステップS38)、三次元データ点列設定処理を終了する。
【0049】
その後、CPU22は、三次元データ点列として設定した各ボクセルのCurvedness値を算出する(図4のステップS17)。さらに、CPU22は、三次元データ点列として設定した各ボクセルを、一のボクセルBiからボクセルRkへと順次辿りつつ、初めてCurvedness値が閾値Cth以上となるボクセルBfを検出する(図4のステップS18)。換言すると、CPU22は、三次元データ点列が有する各ボクセルを一のボクセルBiからからボクセルRkへと順次トレースしつつ、Curvedness値が閾値Cth以上となる部位である、平坦部位の存在が初めて示唆されるボクセルBfを検出する。
【0050】
CPU22は、三次元データ点列のうち、ボクセルBfからボクセルRkまでに含まれる各ボクセルを抽出するとともに、該各ボクセルにおけるShapeIndex値を算出する(図4のステップS19)。
【0051】
さらに、CPU22は、ボクセルBfからボクセルRkまでに含まれる各ボクセルのShapeIndex値が全て閾値Sthより小さいか否かの判定を行う。なお、本実施形態においては、閾値Sthの値は0.4であるとする。
【0052】
そして、隆起形状判別部としてのCPU22は、ボクセルBfからボクセルRkまでに含まれる各ボクセルのShapeIndex値が全て閾値Sthより小さいことを検出した場合(図4のステップS20)、一のボクセルBiにおける隆起形状を、病変に由来する隆起形状ではなく、例えば、陥凹部位が存在する周辺部位の盛り上がりに由来する隆起形状であると判別する(図4のステップS21)。
【0053】
換言すると、隆起形状判別部としてのCPU22は、ボクセルBfからボクセルRkまでに含まれる各ボクセルが、凹型形状または溝型形状のうち、少なくともいずれか一方の形状を有していることを検出した場合、該各ボクセルを、陥凹部位を形成するボクセル群であるとする。そして、CPU22は、一のボクセルBiからボクセルRkに至るまでの間に、前記陥凹部位を形成するボクセル群が存在することを検出した場合、該一のボクセルBiの隆起形状を、病変に由来する隆起形状ではないと判別する。
【0054】
また、CPU22は、ボクセルBfからボクセルRkまでに含まれる各ボクセルのShapeIndex値のうち、閾値Sth以上となるものが1つ以上存在することを検出した場合、一のボクセルBiにおける隆起形状を、陥凹部位が存在する周辺部位の盛り上がりに由来する隆起形状ではなく、ポリープ等の病変に由来する隆起形状であると判別する(図4のステップS22)。
【0055】
その後、CPU22は、N個のボクセルBi全てに対して前述した処理が行われたか否か、すなわち、変数i=Nであるか否かの判定を行う。そして、CPU22は、i=Nではないことを検知した場合(図4のステップS23)、変数iに1を加える処理を行った(図4のステップS24)後、前述した、図4のステップS13からステップS23までに示す処理を再度行う。また、CPU22は、i=Nであることを検知した場合(図4のステップS23)、隆起形状判別処理を終了する。
【0056】
CPU22は、図4に示す隆起形状判別処理の処理結果に基づき、N個のボクセルのうち、ポリープ等の病変に由来する隆起形状の存在が示唆された各ボクセルの位置を示すための制御として、文字列または着色等を三次元モデルに重畳させる制御を表示処理部28に対して行った(図2のステップS6)後、以上に述べた一連の処理を終了する。
【0057】
これにより、モニタ4には、ポリープ等の病変に由来する隆起形状が存在する位置をユーザが容易に認識可能であるような、被写体の三次元モデルが画像表示される。
【0058】
本実施形態の医療用画像処理装置3は、以上に述べた、図2、図4及び図5に示す一連の処理を行うことにより、局所的な隆起形状を有する病変を検出する場合の検出精度を、従来に比べて向上させることができる。
【0059】
ところで、内視鏡を用いて大腸の観察を行う際に、病変として、例えば、顆粒型LSTの存在が確認される場合がある。具体的には、顆粒型LSTは、例えば、図7に示すように、比較的小さな隆起形状が狭い領域内に複数生じている状態として確認される。そのため、大腸内に顆粒型LSTを有する被検体に対して観察を行うユーザにとっては、例えば、各隆起形状の隆起径に関する情報が得られることよりも、該各隆起形状が、顆粒型LSTに由来するものであるか、または、非顆粒型LSTに由来するものであるかを判別するための情報が得られることの方が有益な場合がある。そこで、医療用画像処理装置3は、図2のステップS5に示す隆起形状判別処理として、以降に記すような、観察対象となる各隆起形状が、顆粒型LSTに由来するものであるか、または、非顆粒型LSTに由来するものであるかを判別するための処理を行うものであっても良い。
【0060】
CPU22は、隆起形状を有するボクセル群として、図2のステップS4の処理において検出したN個のボクセル各々の三次元座標を検出し(図8のステップS101)、解析情報記憶部25に記憶させる。そして、クラスタリング処理部としてのCPU22は、解析情報記憶部25に記憶されたN個のボクセル各々の三次元座標に基づき、相互に近接する距離に存在するボクセルを同一のクラスタに属するボクセルとしてクラスタ化する処理を行うことにより、A個のクラスタを得る(図8のステップS102)。なお、図8のステップS102に示す処理において用いられる距離は、ユークリッド距離であるとする。
【0061】
具体例を用いつつ換言すると、隆起形状を有するボクセル群として検出された、例えば、図9に示すような三次元座標に位置する各ボクセルに対し、図8のステップS102に示す処理が施されることにより、該各ボクセルは、図10に示すように、3つのクラスタとしてクラスタ化される。
【0062】
その後、CPU22は、j=1(図8のステップS103)に設定した後、クラスタjに属するボクセルの数bを算出し(図8のステップS104)、該ボクセルの数bと、閾値bthとの比較処理を行う。
【0063】
そして、病変判別部としてのCPU22は、クラスタjに属するボクセルの数bが閾値bthよりも大きいことを検出した場合(図8のステップS105)、該クラスタjに属する各ボクセルの隆起形状が顆粒型LSTに由来するものであるものであると判別し、該クラスタjを顆粒型クラスとして分類する(図8のステップS106)。また、CPU22は、クラスタjに属するボクセルの数bが閾値bth以下であることを検出した場合(図8のステップS105)、該クラスタjに属する各ボクセルの隆起形状が顆粒型LSTに由来するものではないと判別し、該クラスタjを非顆粒型クラスとして分類する(図8のステップS107)。
【0064】
その後、CPU22は、A個のクラスタ全てに対して前述した処理が行われたか否か、すなわち、変数j=Aであるか否かの判定を行う。そして、CPU22は、j=Aではないことを検知した場合(図8のステップS108)、変数jに1を加える処理を行った(図8のステップS109)後、前述した、図8のステップS104からステップS108までに示す処理を再度行う。また、CPU22は、j=Aであることを検知した場合(図8のステップS108)、隆起形状判別処理を終了する。
【0065】
具体例を用いつつ換言すると、図10に示す3つのクラスタに対し、図8のステップS103以降に示す処理が施された場合、例えば、属するボクセルの数が比較的多いクラスタ1が顆粒型クラスに分類されるとともに、属するボクセルの数が比較的少ないクラスタ2及びクラスタ3が非顆粒型クラスに分類される。
【0066】
そして、CPU22は、図8に示す隆起形状判別処理の処理結果に基づき、N個のボクセルのうち、顆粒型クラスに分類された各ボクセル、すなわち、顆粒型LSTに由来する隆起形状の存在が示唆された各ボクセルの位置を示すための制御として、文字列または着色等を三次元モデルに重畳させる制御を表示処理部28に対して行った(図2のステップS6)後、以上に述べた一連の処理を終了する。
【0067】
本実施形態の医療用画像処理装置3は、以上に述べた、図2及び図8に示す一連の処理を行うことにより、局所的な隆起形状を有する病変のうち、特に、顆粒型LSTの検出を行う場合の検出精度を、従来に比べて向上させることができる。
【0068】
なお、本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
【図面の簡単な説明】
【0069】
【図1】本発明の実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図。
【図2】図1の医療用画像処理装置が本実施形態において行う処理の手順を示すフローチャート。
【図3】図1の医療用画像処理装置により推定される三次元モデルの一例を示す図。
【図4】図1の医療用画像処理装置が行う隆起形状判別処理の手順の一例を示すフローチャート。
【図5】図1の医療用画像処理装置が行う三次元データ点列設定処理の手順を示すフローチャート。
【図6】図3の三次元モデルにおいて、凹型形状を有するボクセル群が存在する位置の一例を示す図。
【図7】顆粒型LSTの一例を示す模式図。
【図8】図1の医療用画像処理装置が行う隆起形状判別処理の手順の、図4とは異なる例を示すフローチャート。
【図9】図2のフローチャートに示す処理において、隆起形状を有するボクセル群として検出された各ボクセルの三次元座標の一例を示す図。
【図10】図9に示す各ボクセルがクラスタ化された状態を示す図。
【符号の説明】
【0070】
1・・・内視鏡システム、2・・・医療用観察装置、3・・・医療用画像処理装置、4・・・モニタ、6・・・内視鏡、7・・・光源装置、8・・・CCU、9・・・モニタ、11・・・挿入部、12・・・操作部、13・・・ライトガイド、14・・・先端部、15・・・対物光学系、16・・・撮像素子、17・・・撮像部、21・・・画像入力部、22・・・CPU、23・・・処理プログラム記憶部、24・・・画像記憶部、25・・・解析情報記憶部、26・・・記憶装置インターフェース、27・・・ハードディスク、28・・・表示処理部、29・・・入力操作部、30・・・データバス
【出願人】 【識別番号】304050923
【氏名又は名称】オリンパスメディカルシステムズ株式会社
【出願日】 平成18年7月25日(2006.7.25)
【代理人】 【識別番号】100076233
【弁理士】
【氏名又は名称】伊藤 進


【公開番号】 特開2008−23266(P2008−23266A)
【公開日】 平成20年2月7日(2008.2.7)
【出願番号】 特願2006−202492(P2006−202492)