トップ :: A 生活必需品 :: A61 医学または獣医学;衛生学

【発明の名称】 医療用画像処理装置及び医療用画像処理方法
【発明者】 【氏名】田中 秀樹

【氏名】西村 博一

【氏名】沢 美穂

【氏名】中村 健次

【氏名】井上 涼子

【要約】 【課題】対象の2次元画像の観察状態に適切に適応した処理を実行し、局所的な隆起形状を有する病変を検出する場合の検出精度を、従来に比べて向上させる。

【構成】本実施例の内視鏡システムは、医療用観察装置と、医療用画像処理装置と、モニタとを有して要部が構成されている。医療用画像処理装置のCPU22は、3次元モデル推定部22a、検出対象領域設定部22b、形状特徴量算出部22c、3次元形状検出部22d、閾値決定部22e、ポリープ決定部22fの各機能部からなる。
【特許請求の範囲】
【請求項1】
医療用撮像装置から入力される体腔内の生体組織の像の2次元画像に基づき、前記生体組織の3次元モデルを推定する3次元モデル推定手段と、
前記3次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定手段と、
前記検出対象領域に含まれる各データ点における形状の状態を示す形状特徴量の算出に用いる閾値を決定する閾値決定手段と、
前記閾値に基づき、前記形状特徴量を算出する形状特徴量算出手段と、
前記形状特徴量に基づき、前記検出対象領域に存在する、局所的な隆起形状の病変領域を検出する3次元形状検出手段と
を備えたことを特徴とする医療用画像処理装置。
【請求項2】
前記閾値決定手段は、
前記検出対象領域の前記2次元画像に対して垂直な軸方向の座標に基づき、前記形状特徴量の算出に用いる前記閾値を決定する
ことを特徴とする請求項1に記載の医療用画像処理装置。
【請求項3】
前記閾値決定手段は、
前記医療用撮像装置から入力される体腔内の生体組織の像の前記2次元画像の撮像位置を視点とし、前記検出対象領域上の一の点を注目点とした時の、前記視点から前記注目点に至る視線ベクトルと前記注目点の前記検出対象領域での法線ベクトルとのなす角に基づき、前記形状特徴量の算出に用いる前記閾値を決定する
ことを特徴とする請求項1に記載の医療用画像処理装置。
【請求項4】
前記形状特徴量算出手段は、
前記検出対象領域に含まれる各データ点のデータ密度分布に基づき、前記形状特徴量を算出し、
前記閾値決定手段は、
前記データ密度分布に基づき、前記形状特徴量の算出に用いる前記閾値を決定する
ことを特徴とする請求項1に記載の医療用画像処理装置。
【請求項5】
医療用撮像装置から入力される体腔内の生体組織の像の2次元画像に基づき、前記生体組織の3次元モデルを推定する3次元モデル推定ステップと、
前記3次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定ステップと、
前記検出対象領域に含まれる各データ点における形状の状態を示す形状特徴量の算出に用いる閾値を決定する閾値決定ステップと、
前記閾値に基づき、前記形状特徴量を算出する形状特徴量算出ステップと、
前記形状特徴量に基づき、前記検出対象領域に存在する、局所的な隆起形状の病変領域を検出する3次元形状検出ステップと
を備えたことを特徴とする医療用画像処理方法。
【請求項6】
前記閾値決定ステップは、
前記検出対象領域の前記2次元画像に対して垂直な軸方向の座標に基づき、前記形状特徴量の算出に用いる前記閾値を決定する
ことを特徴とする請求項5に記載の医療用画像処理方法。
【請求項7】
前記閾値決定ステップは、
前記医療用撮像装置から入力される体腔内の生体組織の像の前記2次元画像の撮像位置を視点とし、前記検出対象領域上の点を注目点とした時の、前記視点から前記注目点に至る視線ベクトルと前記注目点の前記検出対象領域での法線ベクトルとのなす角に基づき、前記形状特徴量の算出に用いる前記閾値を決定する
ことを特徴とする請求項5に記載の医療用画像処理方法。
【請求項8】
前記形状特徴量算出ステップは、
前記検出対象領域に含まれる各データ点のデータ密度分布に基づき、前記形状特徴量を算出し、
前記閾値決定ステップは、
前記データ密度分布に基づき、前記形状特徴量の算出に用いる前記閾値を決定する
ことを特徴とする請求項5に記載の医療用画像処理方法。
【発明の詳細な説明】【技術分野】
【0001】
本発明は、医療用画像処理装置及び医療用画像処理方法に関し、特に、生体組織の像の2次元画像に基づき、該生体組織の3次元モデルを推定する医療用画像処理装置及び医療用画像処理方法に関する。
【背景技術】
【0002】
従来、医療分野において、X線診断装置、CT、MRI、超音波観測装置及び内視鏡装置等の画像撮像機器を用いた観察が広く行われている。このような画像撮像機器のうち、内視鏡装置は、例えば、体腔内に挿入可能な挿入部を有し、該挿入部の先端部に配置された対物光学系により結像した体腔内の像を固体撮像素子等の撮像手段により撮像して撮像信号として出力し、該撮像信号に基づいてモニタ等の表示手段に体腔内の像の画像を表示するという作用及び構成を有する。そして、ユーザは、モニタ等の表示手段に表示された体腔内の像の画像に基づき、例えば、体腔内における臓器等の観察を行う。
【0003】
また、内視鏡装置は、消化管粘膜の像を直接的に撮像することが可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等を総合的に観察することができる。
【0004】
さらに、内視鏡装置は、局所的な隆起形状を有する病変が存在する所定の画像を検出可能な画像処理方法として、例えば、特開2005−192880号公報(特許文献1)等に記載されている画像処理方法を用いることにより、ポリープ等の病変部位が含まれる画像を検出することもまた可能である。
【0005】
この特許文献1に記載されている画像処理方法は、入力された画像が有する輪郭を抽出するとともに、該輪郭の形状に基づき、該画像における局所的な隆起形状を有する病変を検出することができる。
【0006】
また、従来、大腸ポリープ検出処理においては、2次元画像から3次元データを推定し、3次元特徴量(Shape Index/Curvedness)を用いて大腸ポリープを検出している(非特許文献1)。この3次元特徴量は、参照点における偏微分係数を3次元データから算出して、偏微分係数を使用して算出することにより実現する。そして、大腸ポリープ検出処理では、3次元特徴量を閾値処理することにより、ポリープ候補を検出する。
【特許文献1】特開2005−192880号公報
【非特許文献1】電子情報通信学会、信学技報(MI2003-102),形状情報に基づく3次元腹部CT像からの大腸ポリープ自動検出手法に関する検討 木村、林、北坂、森、末長 pp.29〜34,2004
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、従来より3次元データの推定手法として使用される”Shape From Shading“法は、対象の反射/散乱特性や対象への2次光による影響を受けるため、従来の大腸ポリープ検出処理は、検出精度の低下及び誤検出の発生といった課題を有している。
【0008】
また、この”Shape From Shading“法は、画像に応じて3次元データ密度の疎密が発生する。3次元特徴量の標準誤差(標本値が平均値に対してどの程度の範囲内に分布するかを示す統計指標)は、3次元データ密度の疎密による影響を受ける。この標準誤差によっても、従来の大腸ポリープ検出処理は、検出精度の低下及び誤検出の発生といった課題を有している。
【0009】
本発明は、上記事情に鑑みてなされたものであり、対象の2次元画像の観察状態に適切に適応した処理を実行し、局所的な隆起形状を有する病変を検出する場合の検出精度を、従来に比べて向上させることのできる医療用画像処理装置及び医療用画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【0010】
本発明の医療用画像処理装置は、
医療用撮像装置から入力される体腔内の生体組織の像の2次元画像に基づき、前記生体組織の3次元モデルを推定する3次元モデル推定手段と、
前記3次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定手段と、
前記検出対象領域に含まれる各データ点における形状の状態を示す形状特徴量の算出に用いる閾値を決定する閾値決定手段と、
前記閾値に基づき、前記形状特徴量を算出する形状特徴量算出手段と、
前記形状特徴量に基づき、前記検出対象領域に存在する、局所的な隆起形状の病変領域を検出する3次元形状検出手段と
とを備えて構成される。
【0011】
また、本発明の医療用画像処理方法は、
医療用撮像装置から入力される体腔内の生体組織の像の2次元画像に基づき、前記生体組織の3次元モデルを推定する3次元モデル推定ステップと、
前記3次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定ステップと、
前記検出対象領域に含まれる各データ点における形状の状態を示す形状特徴量の算出に用いる閾値を決定する閾値決定ステップと、
前記閾値に基づき、前記形状特徴量を算出する形状特徴量算出ステップと、
前記形状特徴量に基づき、前記検出対象領域に存在する、局所的な隆起形状の病変領域を検出する3次元形状検出ステップと
とを備えて構成される。
【発明の効果】
【0012】
本発明によれば、対象の2次元画像の観察状態に適切に適応した処理を実行し、局所的な隆起形状を有する病変を検出する場合の検出精度を、従来に比べて向上させることができるという効果がある。
【発明を実施するための最良の形態】
【0013】
以下、図面を参照しながら本発明の実施例について述べる。
【実施例1】
【0014】
図1ないし図6は本発明の実施例1に係わり、図1は医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図、図2は図1のCPUの機能構成を示す機能ブロック図、図3は図2のCPUの処理の流れを示すフローチャート、図4は図3の閾値T1,T2の決定処理の流れを示すフローチャート、図5は図4の処理で用いられる「Z座標−閾値T1,T2」閾値テーブルデータを示す図、図6は図4の処理を説明する図である。
【0015】
図1に示すように、本実施例の内視鏡システム1は、医療用観察装置2と、医療用画像処理装置3と、モニタ4とを有して要部が構成されている。
【0016】
前記医療用観察装置2は、被写体を撮像するとともに、該被写体の像の2次元画像を出力する観察装置である。また、医療用画像処理装置3は、パーソナルコンピュータ等により構成され、医療用観察装置2から出力される2次元画像の映像信号に対して画像処理を行うとともに、該画像処理を行った後の映像信号を画像信号として出力する画像処理装置である。さらにモニタ4は、医療用画像処理装置3から出力される画像信号に基づく画像を表示する表示装置である。
【0017】
前記医療用観察装置2は、内視鏡6と、光源装置7と、カメラコントロールユニット(以降、CCUと略記する)8と、モニタ9とを有して要部が構成されている。
【0018】
前記内視鏡6は、被検体の体腔内に挿入されるとともに、該体腔内に存在する生体組織等の被写体を撮像して撮像信号として出力するものである。前記光源装置7は、内視鏡6により撮像される被写体を照明するための照明光を供給するものである。前記CCU8は、内視鏡6に対する各種制御を行うとともに、内視鏡6から出力される撮像信号に対して信号処理を行い、2次元画像の映像信号として出力するものである。前記モニタ9は、CCU8から出力される2次元画像の映像信号に基づき、内視鏡6により撮像された被写体の像を画像表示するものである。
【0019】
前記内視鏡6は、体腔内に挿入される挿入部11と、挿入部11の基端側に設けられた操作部12とを有して構成されている。また、挿入部11内の基端側から、挿入部11内の先端側の先端部14にかけての部分には、光源装置7から供給される照明光を伝送するためのライトガイド13が挿通されている。
【0020】
前記ライトガイド13は、先端側が内視鏡6の先端部14に配置されるとともに、後端側が前記光源装置7に接続される。
【0021】
ライトガイド13がこのような構成を有することにより、光源装置7から供給される照明光は、ライトガイド13により伝送された後、挿入部11の先端部14の先端面に設けられた、図示しない照明窓から出射される。そして、図示しない照明窓から照明光が出射されることにより、被写体としての生体組織等が照明される。
【0022】
内視鏡6の先端部14には、図示しない照明窓に隣接する図示しない観察窓に取り付けられた対物光学系15と、対物光学系15の結像位置に配置され、例えば、CCD(電荷結合素子)等により構成される撮像素子16とを有する撮像部17が設けられている。このような構成により、対物光学系15により結像された被写体の像は、撮像素子16により撮像された後、撮像信号として出力される。なお、撮像素子16は、CCDに限らずC−MOSセンサにより構成してもよい。
【0023】
前記撮像素子16は、信号線を介してCCU8に接続されている。そして、撮像素子16は、CCU8から出力される駆動信号に基づいて駆動するとともに、CCU8に対し、撮像した被写体の像に応じた撮像信号を出力する。
【0024】
また、CCU8に入力された撮像信号は、CCU8の内部に設けられた図示しない信号処理回路において信号処理されることにより、2次元画像の映像信号として変換されて出力される。CCU8から出力された2次元画像の映像信号は、モニタ9及び医療用画像処理装置3に対して出力される。これにより、モニタ9は、CCU8から出力される映像信号に基づく被写体の像を2次元画像として表示する。
【0025】
医療用画像処理装置3は、医療用観察装置2から出力される2次元画像の映像信号に対し、A/D変換を行って出力する画像入力部21と、画像入力部21から出力される映像信号に対して画像処理を行う、中央演算処理装置としてのCPU22と、該画像処理に関する処理プログラムが書き込まれた処理プログラム記憶部23と、画像入力部21から出力される映像信号等を記憶する画像記憶部24と、CPU22が行う画像処理における演算結果等を記憶する解析情報記憶部25とを有して構成される。
【0026】
また、医療用画像処理装置3は、記憶装置インターフェース(I/F)26と、記憶装置I/F26を介してCPU22の画像処理結果としての画像データ、CPU22が画像処理にて使用する各種データ等を記憶する、記憶装置としてのハードディスク27と、CPU22の画像処理結果としての画像データに基づき、該画像データをモニタ4に画像表示するための表示処理を行うとともに、該表示処理を行った後の画像データを画像信号として出力する表示処理部28と、CPU22が行う画像処理におけるパラメータ及び医療用画像処理装置3に対する操作指示をユーザが入力可能な、キーボードあるいはマウス等のポインティングデバイス等により構成される入力操作部29とを有する。そして、モニタ4は、表示処理部28から出力される画像信号に基づく画像を表示する。
【0027】
なお、医療用画像処理装置3の画像入力部21、CPU22、処理プログラム記憶部23、画像記憶部24、解析情報記憶部25、記憶装置インターフェース26、表示処理部28及び入力操作部29のそれぞれは、データバス30を介して相互に接続されている。
【0028】
図2に示すように、CPU22は、3次元モデル推定手段としての3次元モデル推定部22a、検出対象領域設定手段としての検出対象領域設定部22b、形状特徴量算出手段としての形状特徴量算出部22c、3次元形状検出手段としての3次元形状検出部22d、閾値決定手段としての閾値決定部22e、ポリープ決定部22fの各機能部からなる。
【0029】
なお、本実施例では、これら機能部は、CPU22が行うソフトウエアにて実現される。また、これら機能部の詳細な作用については後述する。
【0030】
次に、このように構成された、本実施例の内視鏡システム1の作用について、図3及び図4のフローチャートを用い、図5及び図6を参照して説明する。
【0031】
まず、ユーザは、内視鏡システム1が有する各部の電源を投入した後、被検体の体腔内に内視鏡6の挿入部11を挿入する。
【0032】
そして、ユーザにより挿入部11が被検体の体腔内に挿入されると、例えば、該体腔内に存在する生体組織等である被写体の像が、先端部14に設けられた撮像部17により撮像される。そして、撮像部17により撮像された被写体の像は、撮像信号としてCCU8に対して出力される。
【0033】
CCU8は、図示しない信号処理回路において、撮像部17の撮像素子16から出力される撮像信号に対して信号処理を行うことにより、該撮像信号を2次元画像の映像信号として変換して出力する。そして、モニタ9は、CCU8から出力される映像信号に基づき、撮像部17により撮像された被写体の像を2次元画像として表示する。また、CCU8は、撮像部17の撮像素子16から出力される撮像信号に対して信号処理を行うことにより得られた2次元画像の映像信号を、医療用画像処理装置3に対して出力する。
【0034】
医療用画像処理装置3に対して出力された2次元画像の映像信号は、画像入力部21においてA/D変換された後、CPU22に入力される。
【0035】
そして、図3に示すように、CPU22の3次元モデル推定部22aは、ステップS1にて画像入力部21から出力される2次元画像に対し、例えば、“Shape From Shading“法等を用い、該2次元画像の輝度情報等に基づく幾何学的な変換等の処理を施すことにより、該2次元画像に応じた3次元モデルを推定し、3次元モデルの各データ点の座標を記憶装置I/F26を介してハードディスク27に格納する。
【0036】
次に、CPU22の検出対象領域設定部22bは、ステップS2にて画像入力部21から出力される2次元画像の色調変化と、図3のステップS1の処理により推定した3次元モデルの隆起性変化とを検出することにより、該3次元モデルにおける隆起形状を有する病変を検出するための処理の適用対象となる領域としての、検出対象領域である対象領域を設定する。
【0037】
具体的には、CPU22の検出対象領域設定部22bは、例えば、画像入力部21から出力される2次元画像を、R(赤)画像、G(緑)画像及びB(青)画像の各プレーン画像に分離した後、該R画像に応じて推定した3次元モデルのデータに基づいて隆起性変化を検出するとともに、該R画像及びG画像の色度に基づいて色調変化を検出する。そして、CPU22の検出対象領域設定部22bは、前記隆起性変化の検出結果及び前記色調変化の検出結果に基づき、前記隆起性変化及び前記色調変化の両方が検出された領域を、前記対象領域として設定する。
【0038】
その後、CPU22の形状特徴量算出部22cは、ステップS3にて対象領域の局所偏微分係数を算出する。具体的には、CPU22の形状特徴量算出部22cは、算出された3次元形状に対して、注目する3次元位置(x、y、z)を含む局所領域(曲面)におけるそのR画素値fにおける1階偏微分係数fx、fy、fz、及び2階偏微分係数fxx,fyy,fzz,fxy,fyz,fxzを算出する。
【0039】
さらに、CPU22の形状特徴量算出部22cは、ステップS4にて3次元モデルの処理対象領域に存在する各データ点に対し、(3次元形状)の形状特徴量として、局所偏微分係数に基づき、Shape Index値及びCurvedness値を算出する処理を行う。
【0040】
すなわち、これらの局所偏微分係数を用いて、CPU22の形状特徴量算出部22cは、ガウス曲率K,平均曲率Hを算出する。
【0041】
一方、曲面の主曲率k1,k2(k1≧k2)は、ガウス曲率Kと、平均曲率Hを用いて
k1=H+(H2−K)1/2 k2=H−(H2−K)1/2 (1)
と表される。
【0042】
また、この場合における曲面形状を表す特徴量であるShape IndexSI及びCurvednessCVは、それぞれ
SI=1/2−(1/π)arc tan[(k1+k2)/(k1−k2)] (2)
CV=((k12+k22)/2)1/2 (3)
となる。
【0043】
CPU22の形状特徴量算出部22cは、このようにして、3次元の各曲面におけるShape IndexSI及びCurvednessCVを3次元形状情報として算出し、解析情報記憶部25に格納する。
【0044】
前述したShape Index値は、3次元モデルが有する各データ点における凹凸の状態を示すための値であり、0以上1以下の範囲内の数値として示される。具体的には、3次元モデル内に存在する個々のデータ点において、Shape Index値が0に近い場合には凹型形状の存在が示唆され、また、Shape Index値が1に近い場合には凸型形状の存在が示唆される。
【0045】
また、前述したCurvedness値は、3次元モデルが有する各データ点における曲率を示すための値である。具体的には、3次元モデル内に存在する個々のデータ点において、Curvedness値が小さければ小さい程鋭く曲がった曲面の存在が示唆され、また、Curvedness値が大きければ大きい程鈍く曲がった曲面の存在が示唆される。
【0046】
次に、CPU22の閾値決定部22eは、ステップS5にて3次元モデルの対象領域に存在する各データにおいて、Shape Index値及びCurvedness値の各値と比較する閾値T1,T2の決定処理を行う。このステップS5の閾値T1,T2の決定処理の詳細は、後述する。
【0047】
また、CPU22の3次元形状検出部22dは、ステップS6にて3次元モデルの対象領域に存在する各データ点において、Shape Index値及びCurvedness値の各値と、閾値決定部22eが決定した閾値T1,T2との比較処理を行うことにより、該各データ点のうち、隆起形状を有するデータ群として検出する。具体的には、CPU22は、3次元モデルの処理対象領域に存在する各データ点のうち、例えば、Shape Index値が閾値T1より大きく、かつ、Curvedness値が閾値T2より大きい複数のデータ点を、隆起形状を有するデータ群として検出する。
【0048】
そして、CPU22のポリープ決定部22fは、ステップS7にて3次元モデルにおいて隆起形状を有するデータ群として検出した複数のデータ点各々が、ポリープ等の病変に由来する隆起形状に該当するデータ点であるかを判別する隆起形状判別処理を行う。
【0049】
その後、CPU22のポリープ決定部22fは、ステップS8にて病変に由来する隆起形状に該当するデータ点からなるデータ群を有する領域をポリープ領域として決定し、病変領域であるポリープを検出する。
【0050】
そして、CPU22は、その検出結果を、例えば図1のハードディスク27に検出対象の内視鏡画像と関連付けて格納すると共に、表示処理部28を経てモニタ4に、例えば検出対象の内視鏡画像と並べて表示する。
【0051】
これにより、モニタ4には、ポリープ等の病変に由来する隆起形状が存在する位置をユーザが容易に認識可能であるような、被写体の3次元モデルが画像表示される。
【0052】
次に、上記のステップS5の閾値T1,T2の決定処理について説明する。図4に示すように、CPU22の閾値決定部22eは、ステップS51にてパラメータiを1に設定し、ステップS52にて3次元モデルの対象領域内の第i番目のデータ点の3次元座標(xi,yi,zi)を解析情報記憶部25より取得する。
【0053】
そして、CPU22の閾値決定部22eは、ステップS53にて記憶装置I/F26を介して、ハードディスク27に格納されている、図5に示すような「Z座標−閾値T1,T2」閾値テーブルデータから、Z座標ziに基づき、閾値T1(i),T2(i)を読み出す。そして、CPU22の閾値決定部22eは、ステップS54にて第i番目のデータ点のShape Index値及びCurvedness値の閾値T1(i),T2(i)として解析情報記憶部25に格納する。
【0054】
そして、CPU22の閾値決定部22eは、ステップS55にてパラメータiが3次元モデルの対象領域内の全てのデータ点の数Nに達したかどうか判断し、i>NでないならばステップS56にてパラメータiをインクリメントしてステップS52に戻る。CPU22の閾値決定部22eは、ステップS55において3次元モデルの対象領域内の全てのデータ点での閾値T1(i),T2(i)を決定するまで、上記のステップS52〜S56の処理を繰り返す。
【0055】
なお、Z座標値とT1,T2との関係を、「Z座標−閾値T1,T2」閾値テーブル(図5参照)に示す値の1次または2次関数の当てはめにより数式化して、数式演算により求めるように構成してもよい。
【0056】
2次元画像において、光源から近いほど、粘膜下からの散乱光が増大し、他の位置の反射光(2次光)の入射量も増大する。また、大腸内視鏡画像は腸管の撮像画像であるため、腸管方向が画像内にある場合において奥行き方向の遠い位置での画像部分は、腸管壁を斜めからみたときの画像を撮像していることとなり、腸壁に対する正面視のときと比べて、反射光や散乱光の角度特性が異なってくる。すなわち、閾値判定点のZ座標に応じて、ポリープ候補検出のためのShape Index(凹凸性を示す指標)と、Curvedness(凹凸の鋭さを示す指標)の最適な閾値組み合わせが異なってくる。例えば図6は、同一の閾値組み合わせでポリープ候補検出を行った例であるが、手前の本来のポリープ250だけではなく、奥のほうのなだらかな凸部251や、峰状に近い凸部252を検出してしまっている。
【0057】
上述したように本実施例では、3次元データの着目点における位置(Z座標)を用いて閾値を補正するため、対象の反射/散乱特性や対象への2次光による影響を除外した閾値をポリープ検出処理に使用でき、ポリープ候補の検出精度を向上させることができる。よって、ユーザに対して、大腸内視鏡検査においてポリープ候補発見率の向上を促すことが可能となる。
【実施例2】
【0058】
図7ないし図11は本発明の実施例2に係わり、図7は閾値T1,T2の決定処理の流れを示すフローチャート、図8は図7の処理で用いられる「「なす角−乗算値」閾値テーブルデータを示す図、図9は図7の処理を説明する第1の図、図10は図7の処理を説明する第2の図、図11は図7の処理を説明する第3の図である。
【0059】
実施例2は、Shape Index値及びCurvedness値の各値と比較する閾値T1,T2の決定処理が実施例1と異なり、構成は実施例1と同じであるので、異なる点のみ説明する。
【0060】
本実施例のShape Index値及びCurvedness値の各値と比較する閾値T1,T2の決定処理では、図7に示すように、CPU22の閾値決定部22eは、ステップS51にてパラメータiを1に設定し、ステップS52にて3次元モデルの対象領域内の第i番目のデータ点の3次元座標(xi,yi,zi)を解析情報記憶部25より取得する。
【0061】
そして、CPU22の閾値決定部22eは、ステップS57にて視点座標と前記座標点の差分を計算して、視線ベクトルを生成する。視点位置の座標(x0,y0,z0)は、図3のステップS1において決定されており、この視線ベクトルV0(Vx0,Vy0,Vz0)は、(xi−x0,yi−y0,zi−z0)となる。
【0062】
次に、CPU22の閾値決定部22eは、ステップS58にて第i番目のデータ点における法線ベクトルルVi(Vxi,Vyi,Vzi)を算出する。この法線ベクトルViは、図3のステップS2において求めた2次曲面fについて、データ点における微分値(fx、fy、fz)を計算することにより求まる。また、CPU22の閾値決定部22eは、ステップS59にて視線ベクトルと法線ベクトルのなす角θiを算出する。このなす角θiは、ベクトルの内積公式により求める。
【0063】
なお、本実施例では、図8に示すような「なす角−乗算値」閾値テーブルデータ及び閾値のデフォルト値T1(0),T2(0)がハードディスク27に格納されている。
【0064】
次に、CPU22の閾値決定部22eは、ステップS60にて、ハードディスク27に格納されている「なす角−乗算値」閾値テーブルデータより、求めたなす角θiに対応する乗算値αi、βiを抽出すると共に、閾値のデフォルト値(T1(0),T2(0))をハードディスク27から取得し、閾値のデフォルト値T1,T2と乗算値αi、βiをそれぞれ乗算した値T1(i)(=αi×T1(0)),T2(i)(=βi×T2(0))を求める。
【0065】
そして、CPU22の閾値決定部22eは、ステップS54にて第i番目のデータ点のShape Index値及びCurvedness値の閾値T1(i),T2(i)として解析情報記憶部25に格納する。
【0066】
そして、CPU22の閾値決定部22eは、ステップS55にてパラメータiが3次元モデルの対象領域内の全てのデータ点の数Nに達したかどうか判断し、i>NでないならばステップS56にてパラメータiをインクリメントしてステップS52に戻る。CPU22の閾値決定部22eは、ステップS55において3次元モデルの対象領域内の全てのデータ点での閾値T1(i),T2(i)を決定するまで、上記の図7のステップS52、S57〜S60、S54〜S56の処理を繰り返す。
【0067】
この閾値T1(i),T2(i)により、図3に示したステップS6における、3次元モデルの対象領域に存在する各データ点においての、Shape Index値及びCurvedness値の各値と、閾値決定部22eが決定した閾値T1,T2との比較処理を実行する。
【0068】
大腸内視鏡画像は、腸壁に対する正面視/斜視により、反射光や散乱光の角度特性が異なるため、閾値判定点の腸壁の法線ベクトルと、視線角とがなす角度に応じて、ポリープ候補検出のためのShape Index値及びCurvedness値の最適な閾値組み合わせが異なってくる。
【0069】
例えば図9は、半球状のサンプル100を正面視により撮像した画像であるが、“Shape From Shading“法によって3次元データを生成すると、視点から見た画像が反射光や散乱光の角度特性により半楕円球状に伸びてしまうという問題がある。
【0070】
本実施例では、3次元データの着目点における位置、角度情報を用いて閾値を補正するため、実施例1と同様な効果に得ることができ、また、テーブル値とデフォルト値を掛け合わせる構成であるため、デフォルト値の変更に応じて、最適な閾値を求めることが可能となる。
【0071】
なお、例えば特開2003−93328号公報等に開示されている内視鏡画像の視野内管腔検出方法を用いることで、内視鏡画像の視野内管腔検出の有無により、画像全体における平均的な閾値を決定する構成も可能である。
【0072】
例えば、図10に示すように、視野内に管腔101全体を検出した場合には、腸管表面の法線ベクトルと視線角とのなす角は、画像全体の平均値として大きい値をとる。よって、例えば図8の閾値テーブルのなす角=60〜の値を使用して乗算値αi=1.03、βi=0.90を抽出し、閾値をT1=1.03×T1(0)、T2=0.90×T2(0)として決定する。
【0073】
また、図11に示すように、視野内に管腔101全体を検出しなかった場合には、腸管表面の法線ベクトルと視線角とのなす角度は、画像全体のへ閾値として、小さい値をとる。よって、例えば図8の閾値テーブルのなす角=20〜30の値を使用して乗算値αi=1.01、βi=0.98を抽出し、閾値をT1=1.01×T1(0)、T2=0.98×T2(0)として決定する。
【実施例3】
【0074】
図12ないし図16は本発明の実施例3に係わり、図12は局所偏微分係数の算出処理を説明する図、図13は図12の局所偏微分係数の算出処理の流れを示すフローチャート、図14は図13の処理の後段の閾値T1,T2の決定処理の流れを示すフローチャート、図15は図13の処理で用いられるデータ点数Miと閾値T1,T2との対応を示す閾値テーブルを示す図、図16は図13の局所偏微分係数の算出処理の変形例の流れを示すフローチャートである。
【0075】
実施例3は、局所偏微分係数の算出処理(図3のステップS3)及びShape Index値及びCurvedness値の各値と比較する閾値T1,T2の決定処理(図3のステップS5)が実施例1と異なり、構成は実施例1と同じであるので、異なる点のみ説明する。
【0076】
実施例1では、固定サイズの立方または球の範囲内に存在する3次元データ点を用いていた。このため、実施例1で適用した局所偏微分係数の算出処理(図3のステップS3)では、図12に示すように、3次元データ点の疎密が生じるため、推定される局所偏微分係数の標準誤差はデータが疎になると大きくなる。データが密である範囲を基準として閾値を設定した場合には、データが疎である範囲において取りこぼしが発生してしまう。また、データが疎である範囲を基準として閾値を設定した場合には、データが密である範囲において誤検出が増加してしまう。
【0077】
本実施例の局所偏微分係数の算出処理は、3次元データ点取得領域を決定する処理が加えられている点が実施例1と異なる。
【0078】
本実施例の局所偏微分係数の算出処理では、まず、図3のステップS2によって算出された腸管表面上の点のうちの着目する1つの点について、当該位置における腸管表面の2次曲面方程式の係数を推定算出し、2次曲面方程式を偏微分することにより局所偏微分係数を求める。2次曲面方程式は、着目する1つの点を中心とする立方または球の局所領域を設定し、局所領域内に存在する、自身を含めた3次元データ点の座標値から行列を作成し(9点以上の座標値が必要となる)、その擬似逆行列を生成することにより求める。
【0079】
具体的には、本実施例の局所偏微分係数の算出処理では、図13に示すように、CPU22の形状特徴量算出部22cは、ステップS31にてパラメータiを1に設定し、ステップS32にて第i番目の3次元データ点における局所偏微分係数を算出するにあたり、まず変数Lに初期値L0をセットする。
【0080】
続いて、CPU22の形状特徴量算出部22cは、ステップS33にて3次元モデルの対象領域内の第i番目のデータ点の3次元座標(xi,yi,zi)を解析情報記憶部25より取得する。
【0081】
そして、CPU22の形状特徴量算出部22cは、ステップS34にてハードディスク27に記憶している、腸管表面を示す3次元データ点列から、第i番目のデータ点の座標(xi,yi,zi)を中心とする立方範囲(xi±L,yi±L,zi±L)の範囲内に存在するデータ点情報を取得する。このデータ点情報の数niをカウントする。
【0082】
次に、CPU22の形状特徴量算出部22cは、ステップS35にてカウント数niと所定の値Kとを比較して、カウント数niがKよりも大きい場合には、ステップS36での2次元曲面方程式の係数算出処理、ステップS37での局所偏微分係数の算出処理をおこない、図3のステップS3のShapeIndex/Curvednessの算出処理へと進む。
【0083】
カウント数niが所定の値K以下の場合には、ステップS38にてLに対して所定の増分LSを加算して前記範囲を拡張した後、ステップS34に戻り、範囲内にあるデータ点情報をカウントしなおす。
【0084】
そして、CPU22の形状特徴量算出部22cは、ステップS39にてパラメータiが3次元モデルの対象領域内の全てのデータ点の数Nに達したかどうか判断し、i>NでないならばステップS56にてパラメータiをインクリメントしてステップS32に戻る。CPU22の形状特徴量算出部22cは、ステップS39において3次元モデルの対象領域内の全てのデータ点での2次元曲面方程式の係数算出、局所偏微分係数の算出が完了するまで、上記の図12のS32〜S39、S56の処理を繰り返す。
【0085】
以上の処理により、局所領域内に含まれる3次元データ点数が所定数以上になるように局所領域のサイズ変更を行う。
【0086】
また、本実施例のShape Index値及びCurvedness値の各値と比較する閾値T1,T2の決定処理では、図14に示すように、CPU22の閾値決定部22eは、ステップS51にてパラメータiを1に設定し、ステップS52にて3次元モデルの対象領域内の第i番目のデータ点の3次元座標(xi,yi,zi)を解析情報記憶部25より取得する。
【0087】
そして、CPU22の閾値決定部22eは、ステップS61にてこの3次元座標(xi,yi,zi)を中心とする立方領域を、所定の値Lを使用して設定する。すなわち、{(xi’,yi’,zi’)|xi−L≦xi’≦xi+L,yi−L≦yi’≦yi+L,zi−L≦zi’≦zi+L}と設定する。この立方領域内にあるデータ点数Miを、ハードディスク27に格納されている3次元データ点列を元にして数える。
【0088】
なお、ハードディスク27内には、図15に示す、データ点数Miと閾値T1,T2とが対応する閾値テーブルを記憶している。
【0089】
そして、CPU22の閾値決定部22eは、ステップS62にて前記のデータ点数Miを元にして、閾値テーブルからデータ点数Miに対応する閾値T1,T2を取得する。
【0090】
続いて、CPU22の閾値決定部22eは、ステップS54にて第i番目のデータ点のShape Index値及びCurvedness値の閾値T1(i),T2(i)として解析情報記憶部25に格納する。
【0091】
そして、CPU22の閾値決定部22eは、ステップS55にてパラメータiが3次元モデルの対象領域内の全てのデータ点の数Nに達したかどうか判断し、i>NでないならばステップS56にてパラメータiをインクリメントしてステップS52に戻る。CPU22の閾値決定部22eは、ステップS55において3次元モデルの対象領域内の全てのデータ点での閾値T1(i),T2(i)を決定するまで、上記の図14のステップS52、S61、S62、S54〜S56の処理を繰り返す。
【0092】
なお、データ点数Miが0〜8である場合には、閾値処理が無効であるため、閾値T1,T2は無効であることを示す値0が代入される。また、座標を中心とする立方領域内のデータ点数を数えるように構成しているが、xk'2+yk'2+zk'2<Lの条件を加えて、座標を中心とする球領域内のデータ点数を数えるように構成してもよい。
【0093】
このように本実施例では、局所領域内に含まれる3次元データ点数が所定数以上になるように局所領域のサイズ変更を行うと共に、3次元データの点密度に応じて3次元特徴量(Shape Index値及びCurvedness値)を求めるための閾値T1,T2を設定するので、3次元データの密度に応じて、ポリープ検出処理における処理パラメータを変更することにより、ポリープ候補の検出精度を向上させることができ、大腸内視鏡検査においてポリープ候補発見率の向上を促すことが可能となる。
【0094】
なお、範囲内に存在するデータ点数が多すぎる場合には、2次曲面方程式の係数算出時の処理時間が増大する。
【0095】
そこで、本実施形態の局所偏微分係数の算出処理の変形例である図16の処理フローに示すように、CPU22の形状特徴量算出部22cは、ステップS40にて、取得したデータ点数が所定の値J(K<J)よりも大きいかどうか判断し、大きい場合には、ステップS41にて2次曲面方程式の係数算出に用いるデータ点をK+1に抑えるように構成してもよい。
【0096】
この場合には、取得したデータ点数と所定の値Jとの比較により、カウント数niがJより大きい場合には、データ点情報のうちのK+2番目以降のデータを削除して、2次曲面方程式の係数を算出することにより実現する。
【0097】
本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【図面の簡単な説明】
【0098】
【図1】本発明の実施例1に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図
【図2】図1のCPUの機能構成を示す機能ブロック図
【図3】図2のCPUの処理の流れを示すフローチャート
【図4】図3の閾値T1,T2の決定処理の流れを示すフローチャート
【図5】図4の処理で用いられる「Z座標−閾値T1,T2」閾値テーブルデータを示す図
【図6】図4の処理を説明する図
【図7】本発明の実施例2に係る閾値T1,T2の決定処理の流れを示すフローチャート
【図8】図7の処理で用いられる「「なす角−乗算値」閾値テーブルデータを示す図
【図9】図7の処理を説明する第1の図
【図10】図7の処理を説明する第2の図
【図11】図7の処理を説明する第3の図
【図12】本発明の実施例3に係る局所偏微分係数の算出処理を説明する図
【図13】図12の局所偏微分係数の算出処理の流れを示すフローチャート
【図14】図13の処理の後段の閾値T1,T2の決定処理の流れを示すフローチャート
【図15】図13の処理で用いられるデータ点数Miと閾値T1,T2との対応を示す閾値テーブルを示す図
【図16】図12の局所偏微分係数の算出処理の変形例の流れを示すフローチャート
【符号の説明】
【0099】
1…内視鏡システム
2…医療用観察装置
3…医療用画像処理装置
4、9…モニタ
6…内視鏡
7…光源装置
8…CCU
11…挿入部
12…操作部
13…ライトガイド
14…先端部
15…対物光学系
16…撮像素子
17…撮像部
21…画像入力部
22…CPU
22a…3次元モデル推定部
22b…検出対象領域設定部
22c…形状特徴量算出部
22d…3次元形状検出部
22e…閾値決定部
22f…ポリープ決定部
23…処理プログラム記憶部
24…画像記憶部
25…解析情報記憶部
26…記憶装置I/F
27…ハードディスク
28…表示処理部
29…入力操作部
30…データバス
【出願人】 【識別番号】304050923
【氏名又は名称】オリンパスメディカルシステムズ株式会社
【出願日】 平成18年7月27日(2006.7.27)
【代理人】 【識別番号】100076233
【弁理士】
【氏名又は名称】伊藤 進


【公開番号】 特開2008−29520(P2008−29520A)
【公開日】 平成20年2月14日(2008.2.14)
【出願番号】 特願2006−205142(P2006−205142)