| 【発明の名称】 |
医療用画像処理装置及び医療用画像処理方法 |
| 【発明者】 |
【氏名】沢 美穂
【氏名】西村 博一
【氏名】中村 健次
【氏名】井上 涼子
【氏名】田中 秀樹
|
| 【要約】 |
【課題】三次元モデルにおける、局所的な隆起形状を有する病変の検出精度を従来に比べて向上させることができる医療用画像処理装置及び医療用画像処理方法を提供する。
【構成】本発明における医療用画像処理装置は、医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定部と、前記二次元画像を少なくとも１以上の画素からなる複数の領域に分割する画像分割部と、前記複数の領域各々において、一の領域が有する各画素の濃淡に応じた特徴量を算出する特徴量算出部と、前記濃淡に応じた特徴量に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定部と、を有する。 |
【特許請求の範囲】
【請求項１】
医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定部と、
前記二次元画像を少なくとも１以上の画素からなる複数の領域に分割する画像分割部と、
前記複数の領域各々において、一の領域が有する各画素の濃淡に応じた特徴量を算出する特徴量算出部と、
前記濃淡に応じた特徴量に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定部と、
を有することを特徴とする医療用画像処理装置。
【請求項２】
前記濃淡に応じた特徴量は、濃淡値の平均値であることを特徴とする請求項１に記載の医療用画像処理装置。
【請求項３】
前記濃淡に応じた特徴量は、濃淡値の分散であることを特徴とする請求項１または請求項２に記載の医療用画像処理装置。
【請求項４】
さらに、前記特徴量算出部は、前記複数の領域各々において、一の領域の周波数成分を算出し、
前記病変検出基準設定部は、前記濃淡に応じた特徴量及び前記周波数成分に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定することを特徴とする請求項１乃至請求項３のいずれか一に記載の医療用画像処理装置。
【請求項５】
医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定部と、
前記二次元画像が有する各画素の濃淡に応じた画像情報を抽出する画像情報抽出部と、
前記各画素の濃淡に応じた特徴量に基づき、前記二次元画像を複数の領域に分割する画像分割部と、
前記画像分割部により分割された前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定部と、
を有することを特徴とする医療用画像処理装置。
【請求項６】
前記各画素の濃淡に応じた画像情報は、前記各画素の濃淡値であることを特徴とする請求項５に記載の医療用画像処理装置。
【請求項７】
前記各画素の濃淡に応じた画像情報は、前記二次元画像のエッジであることを特徴とする請求項５に記載の医療用画像処理装置。
【請求項８】
前記画像分割部は、前記画像情報抽出部により抽出された前記エッジ各々を境界として前記二次元画像を複数の領域に分割することを特徴とする請求項７に記載の医療用画像処理装置。
【請求項９】
前記画像分割部は、前記画像情報抽出部により抽出された前記エッジ各々を囲む矩形領域を順次設定するとともに、設定した該矩形領域各々に基づき、前記二次元画像を複数の領域に分割することを特徴とする請求項７に記載の医療用画像処理装置。
【請求項１０】
前記画像分割部は、前記画像情報抽出部により抽出された前記エッジ各々を膨張させるとともに、膨張後の前記エッジ各々に基づき、前記二次元画像を複数の領域に分割することを特徴とする請求項７に記載の医療用画像処理装置。
【請求項１１】
前記病変検出基準は、前記三次元モデルにおいて二次曲面近似を行う際に用いられる立方領域のサイズであることを特徴とする請求項１乃至請求項１０のいずれか一に記載の医療用画像処理装置。
【請求項１２】
前記病変検出基準は、前記三次元モデルに存在する各ボクセルの凹凸の状態を示すための値に対応する第１の閾値、及び、前記三次元モデルに存在する各ボクセルの曲率を示すための値に対応する第２の閾値であることを特徴とする請求項１または請求項２に記載の医療用画像処理装置。
【請求項１３】
医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定部と、
前記二次元画像を少なくとも１以上の画素からなる複数の領域に分割する画像分割部と、
前記二次元画像上において前記複数の領域各々が存在する位置と、前記二次元画像上の所定の位置との位置関係を検出する画像位置検出部と、
前記画像位置検出部により検出された前記位置関係に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定部と、
を有することを特徴とする医療用画像処理装置。
【請求項１４】
前記二次元画像上の所定の位置は、前記二次元画像の中心座標であることを特徴とする請求項１３に記載の医療用画像処理装置。
【請求項１５】
前記二次元画像上の所定の位置は、前記二次元画像の縁部であることを特徴とする請求項１３に記載の医療用画像処理装置。
【請求項１６】
前記病変検出基準は、前記三次元モデルに存在する各ボクセルの凹凸の状態を示すための値に対応する第１の閾値、及び、前記三次元モデルに存在する各ボクセルの曲率を示すための値に対応する第２の閾値であることを特徴とする請求項１３乃至請求項１５のいずれか一に記載の医療用画像処理装置。
【請求項１７】
前記局所的な隆起形状を有する病変は、ポリープであることを特徴とする請求項１乃至請求項１６のいずれか一に記載の医療用画像処理装置。
【請求項１８】
医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定ステップと、
前記二次元画像を少なくとも１以上の画素からなる複数の領域に分割する画像分割ステップと、
前記複数の領域各々において、一の領域が有する各画素の濃淡に応じた特徴量を算出する特徴量算出ステップと、
前記濃淡に応じた特徴量に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定ステップと、
を有することを特徴とする医療用画像処理方法。
【請求項１９】
前記濃淡に応じた特徴量は、濃淡値の平均値であることを特徴とする請求項１８に記載の医療用画像処理方法。
【請求項２０】
前記濃淡に応じた特徴量は、濃淡値の分散であることを特徴とする請求項１８または請求項１９に記載の医療用画像処理方法。
【請求項２１】
さらに、前記特徴量算出ステップは、前記複数の領域各々において、一の領域の周波数成分を算出し、
前記病変検出基準設定ステップは、前記濃淡に応じた特徴量及び前記周波数成分に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定することを特徴とする請求項１８乃至請求項２０のいずれか一に記載の医療用画像処理方法。
【請求項２２】
医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定ステップと、
前記二次元画像が有する各画素の濃淡に応じた画像情報を抽出する画像情報抽出ステップと、
前記各画素の濃淡に応じた特徴量に基づき、前記二次元画像を複数の領域に分割する画像分割ステップと、
前記画像分割ステップにより分割された前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定ステップと、
を有することを特徴とする医療用画像処理方法。
【請求項２３】
前記各画素の濃淡に応じた画像情報は、前記各画素の濃淡値であることを特徴とする請求項２２に記載の医療用画像処理方法。
【請求項２４】
前記各画素の濃淡に応じた画像情報は、前記二次元画像のエッジであることを特徴とする請求項２２に記載の医療用画像処理方法。
【請求項２５】
前記画像分割ステップは、前記画像情報抽出ステップにより抽出された前記エッジ各々を境界として前記二次元画像を複数の領域に分割することを特徴とする請求項２４に記載の医療用画像処理方法。
【請求項２６】
前記画像分割ステップは、前記画像情報抽出ステップにより抽出された前記エッジ各々を囲む矩形領域を順次設定するとともに、設定した該矩形領域各々に基づき、前記二次元画像を複数の領域に分割することを特徴とする請求項２４に記載の医療用画像処理方法。
【請求項２７】
前記画像分割ステップは、前記画像情報抽出ステップにより抽出された前記エッジ各々を膨張させるとともに、膨張後の前記エッジ各々に基づき、前記二次元画像を複数の領域に分割することを特徴とする請求項２４に記載の医療用画像処理方法。
【請求項２８】
前記病変検出基準は、前記三次元モデルにおいて二次曲面近似を行う際に用いられる立方領域のサイズであることを特徴とする請求項１８乃至請求項２７のいずれか一に記載の医療用画像処理方法。
【請求項２９】
前記病変検出基準は、前記三次元モデルに存在する各ボクセルの凹凸の状態を示すための値に対応する第１の閾値、及び、前記三次元モデルに存在する各ボクセルの曲率を示すための値に対応する第２の閾値であることを特徴とする請求項１８または請求項１９に記載の医療用画像処理方法。
【請求項３０】
医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定ステップと、
前記二次元画像を少なくとも１以上の画素からなる複数の領域に分割する画像分割ステップと、
前記二次元画像上において前記複数の領域各々が存在する位置と、前記二次元画像上の所定の位置との位置関係を検出する画像位置検出ステップと、
前記画像位置検出ステップにより検出された前記位置関係に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定ステップと、
を有することを特徴とする医療用画像処理方法。
【請求項３１】
前記二次元画像上の所定の位置は、前記二次元画像の中心座標であることを特徴とする請求項３０に記載の医療用画像処理方法。
【請求項３２】
前記二次元画像上の所定の位置は、前記二次元画像の縁部であることを特徴とする請求項３０に記載の医療用画像処理方法。
【請求項３３】
前記病変検出基準は、前記三次元モデルに存在する各ボクセルの凹凸の状態を示すための値に対応する第１の閾値、及び、前記三次元モデルに存在する各ボクセルの曲率を示すための値に対応する第２の閾値であることを特徴とする請求項３０乃至請求項３２のいずれか一に記載の医療用画像処理方法。
【請求項３４】
前記局所的な隆起形状を有する病変は、ポリープであることを特徴とする請求項１８乃至請求項３３のいずれか一に記載の医療用画像処理方法。
|
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、医療用画像処理装置及び医療用画像処理方法に関し、特に、局所的な隆起形状を有する病変を検出可能な医療用画像処理装置及び医療用画像処理方法に関するものである。
【背景技術】
【０００２】
従来、医療分野において、Ｘ線診断装置、ＣＴ、ＭＲＩ、超音波観測装置及び内視鏡装置等の画像撮像機器を用いた観察が広く行われている。このような画像撮像機器のうち、内視鏡装置は、例えば、体腔内に挿入可能な挿入部を有し、該挿入部の先端部に配置された対物光学系により結像した体腔内の像を固体撮像素子等の撮像手段により撮像して撮像信号として出力し、該撮像信号に基づいてモニタ等の表示手段に体腔内の像の画像を表示するという作用及び構成を有する。そして、ユーザは、モニタ等の表示手段に表示された体腔内の像の画像に基づき、例えば、体腔内における臓器等の観察を行う。
【０００３】
内視鏡装置は、消化管粘膜の像を直接的に撮像することが可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等を総合的に観察することができる。そして、近年においては、撮像された体腔内の像に応じた二次元画像のデータに基づき、該体腔内の像の三次元モデルを推定可能な内視鏡装置が提案されている。
【０００４】
さらに、内視鏡装置は、局所的な隆起形状を有する病変が存在する所定の画像を検出可能な画像処理方法として、例えば、特許文献１に記載されている画像処理方法を用いることにより、ポリープ等の病変部位が含まれる画像を検出することもまた可能である。
【０００５】
特許文献１に記載されている画像処理方法は、入力された画像が有する輪郭を抽出するとともに、該輪郭の形状に基づき、該画像における局所的な隆起形状を有する病変を検出することができる。
【特許文献１】特開２００５−１９２８８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
一般的に、例えば、一の画像の比較的明るい部分においては、局所的な隆起形状を有する病変を検出する際に有用なデータが密な状態として存在し、また、該一の画像の比較的暗い部分においては、該病変を検出する際に有用なデータが疎な状態として存在する場合が多い。また、例えば、一の画像において、局所的な隆起形状を有する病変を検出する際に有用なデータの疎密の状態が、該一の画像に存在する各エッジを境界として変化する場合も多くある。
【０００７】
特に、三次元モデルにおいて局所的な隆起形状を有する病変を検出する場合には、該病変の誤検出及び検出漏れを防ぐために、該三次元モデルを推定する際に用いた二次元画像の明暗またはエッジの有無等から生じるデータの疎密の状態に応じ、病変検出基準が適宜設定されることが好ましい。しかし、特許文献１の画像処理方法においては、前記病変検出基準をデータの疎密の状態に応じて適宜変化させることに関する提案がなされていない。その結果、特許文献１の画像処理方法が用いられた場合、三次元モデルにおける、局所的な隆起形状を有する病変の検出精度が低下してしまうという課題が生じている。
【０００８】
本発明は、前述した点に鑑みてなされたものであり、三次元モデルにおける、局所的な隆起形状を有する病変の検出精度を従来に比べて向上させることができる医療用画像処理装置及び医療用画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
本発明における第１の医療用画像処理装置は、医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定部と、前記二次元画像を少なくとも１以上の画素からなる複数の領域に分割する画像分割部と、前記複数の領域各々において、一の領域が有する各画素の濃淡に応じた特徴量を算出する特徴量算出部と、前記濃淡に応じた特徴量に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定部と、を有することを特徴とする。
【００１０】
本発明における第２の医療用画像処理装置は、前記第１の医療用画像処理装置において、前記濃淡に応じた特徴量は、濃淡値の平均値であることを特徴とする。
【００１１】
本発明における第３の医療用画像処理装置は、前記第１または前記第２の医療用画像処理装置において、前記濃淡に応じた特徴量は、濃淡値の分散であることを特徴とする。
【００１２】
本発明における第４の医療用画像処理装置は、前記第１乃至前記第３の医療用画像処理装置において、さらに、前記特徴量算出部は、前記複数の領域各々において、一の領域の周波数成分を算出し、前記病変検出基準設定部は、前記濃淡に応じた特徴量及び前記周波数成分に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定することを特徴とする。
【００１３】
本発明における第５の医療用画像処理装置は、医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定部と、前記二次元画像が有する各画素の濃淡に応じた画像情報を抽出する画像情報抽出部と、前記各画素の濃淡に応じた特徴量に基づき、前記二次元画像を複数の領域に分割する画像分割部と、前記画像分割部により分割された前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定部と、を有することを特徴とする。
【００１４】
本発明における第６の医療用画像処理装置は、前記第５の医療用画像処理装置において、 前記各画素の濃淡に応じた画像情報は、前記各画素の濃淡値であることを特徴とする。
【００１５】
本発明における第７の医療用画像処理装置は、前記第５の医療用画像処理装置において、 前記各画素の濃淡に応じた画像情報は、前記二次元画像のエッジであることを特徴とする。
【００１６】
本発明における第８の医療用画像処理装置は、前記第７の医療用画像処理装置において、前記画像分割部は、前記画像情報抽出部により抽出された前記エッジ各々を境界として前記二次元画像を複数の領域に分割することを特徴とする。
【００１７】
本発明における第９の医療用画像処理装置は、前記第７の医療用画像処理装置において、前記画像分割部は、前記画像情報抽出部により抽出された前記エッジ各々を囲む矩形領域を順次設定するとともに、設定した該矩形領域各々に基づき、前記二次元画像を複数の領域に分割することを特徴とする。
【００１８】
本発明における第１０の医療用画像処理装置は、前記第７の医療用画像処理装置において、前記画像分割部は、前記画像情報抽出部により抽出された前記エッジ各々を膨張させるとともに、膨張後の前記エッジ各々に基づき、前記二次元画像を複数の領域に分割することを特徴とする。
【００１９】
本発明における第１１の医療用画像処理装置は、前記第１０の医療用画像処理装置において、前記病変検出基準は、前記三次元モデルにおいて二次曲面近似を行う際に用いられる立方領域のサイズであることを特徴とする。
【００２０】
本発明における第１２の医療用画像処理装置は、前記第１または前記第２の医療用画像処理装置において、前記病変検出基準は、前記三次元モデルに存在する各ボクセルの凹凸の状態を示すための値に対応する第１の閾値、及び、前記三次元モデルに存在する各ボクセルの曲率を示すための値に対応する第２の閾値であることを特徴とする。
【００２１】
本発明における第１３の医療用画像処理装置は、医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定部と、前記二次元画像を少なくとも１以上の画素からなる複数の領域に分割する画像分割部と、前記二次元画像上において前記複数の領域各々が存在する位置と、前記二次元画像上の所定の位置との位置関係を検出する画像位置検出部と、前記画像位置検出部により検出された前記位置関係に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定部と、を有することを特徴とする。
【００２２】
本発明における第１４の医療用画像処理装置は、前記第１３の医療用画像処理装置において、前記二次元画像上の所定の位置は、前記二次元画像の中心座標であることを特徴とする。
【００２３】
本発明における第１５の医療用画像処理装置は、前記第１３の医療用画像処理装置において、前記二次元画像上の所定の位置は、前記二次元画像の縁部であることを特徴とする。
【００２４】
本発明における第１６の医療用画像処理装置は、前記第１３乃至前記第１５の医療用画像処理装置において、前記病変検出基準は、前記三次元モデルに存在する各ボクセルの凹凸の状態を示すための値に対応する第１の閾値、及び、前記三次元モデルに存在する各ボクセルの曲率を示すための値に対応する第２の閾値であることを特徴とする。
【００２５】
本発明における第１７の医療用画像処理装置は、前記第１乃至前記第１６の医療用画像処理装置において、前記局所的な隆起形状を有する病変は、ポリープであることを特徴とする。
【００２６】
本発明における第１の医療用画像処理方法は、医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定ステップと、前記二次元画像を少なくとも１以上の画素からなる複数の領域に分割する画像分割ステップと、前記複数の領域各々において、一の領域が有する各画素の濃淡に応じた特徴量を算出する特徴量算出ステップと、前記濃淡に応じた特徴量に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定ステップと、を有することを特徴とする。
【００２７】
本発明における第２の医療用画像処理方法は、前記第１の医療用画像処理方法において、前記濃淡に応じた特徴量は、濃淡値の平均値であることを特徴とする。
【００２８】
本発明における第３の医療用画像処理方法は、前記第１または前記第２の医療用画像処理方法において、前記濃淡に応じた特徴量は、濃淡値の分散であることを特徴とする。
【００２９】
本発明における第４の医療用画像処理方法は、前記第１乃至前記第３の医療用画像処理方法において、さらに、前記特徴量算出ステップは、前記複数の領域各々において、一の領域の周波数成分を算出し、前記病変検出基準設定ステップは、前記濃淡に応じた特徴量及び前記周波数成分に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定することを特徴とする。
【００３０】
本発明における第５の医療用画像処理方法は、医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定ステップと、前記二次元画像が有する各画素の濃淡に応じた画像情報を抽出する画像情報抽出ステップと、前記各画素の濃淡に応じた特徴量に基づき、前記二次元画像を複数の領域に分割する画像分割ステップと、前記画像分割ステップにより分割された前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定ステップと、を有することを特徴とする。
【００３１】
本発明における第６の医療用画像処理方法は、前記第５の医療用画像処理方法において、前記各画素の濃淡に応じた画像情報は、前記各画素の濃淡値であることを特徴とする。
【００３２】
本発明における第７の医療用画像処理方法は、前記第５の医療用画像処理方法において、前記各画素の濃淡に応じた画像情報は、前記二次元画像のエッジであることを特徴とする。
【００３３】
本発明における第８の医療用画像処理方法は、前記第７の医療用画像処理方法において、前記画像分割ステップは、前記画像情報抽出ステップにより抽出された前記エッジ各々を境界として前記二次元画像を複数の領域に分割することを特徴とする。
【００３４】
本発明における第９の医療用画像処理方法は、前記第７の医療用画像処理方法において、前記画像分割ステップは、前記画像情報抽出ステップにより抽出された前記エッジ各々を囲む矩形領域を順次設定するとともに、設定した該矩形領域各々に基づき、前記二次元画像を複数の領域に分割することを特徴とする。
【００３５】
本発明における第１０の医療用画像処理方法は、前記第７の医療用画像処理方法において、前記画像分割ステップは、前記画像情報抽出ステップにより抽出された前記エッジ各々を膨張させるとともに、膨張後の前記エッジ各々に基づき、前記二次元画像を複数の領域に分割することを特徴とする。
【００３６】
本発明における第１１の医療用画像処理方法は、前記第１乃至前記第１０の医療用画像処理方法において、前記病変検出基準は、前記三次元モデルにおいて二次曲面近似を行う際に用いられる立方領域のサイズであることを特徴とする。
【００３７】
本発明における第１２の医療用画像処理方法は、前記第１または前記第２の医療用画像処理方法において、前記病変検出基準は、前記三次元モデルに存在する各ボクセルの凹凸の状態を示すための値に対応する第１の閾値、及び、前記三次元モデルに存在する各ボクセルの曲率を示すための値に対応する第２の閾値であることを特徴とする。
【００３８】
本発明における第１３の医療用画像処理方法は、医療用撮像装置から入力される被写体の像の二次元画像に基づき、該被写体の三次元モデルを推定する三次元モデル推定ステップと、前記二次元画像を少なくとも１以上の画素からなる複数の領域に分割する画像分割ステップと、前記二次元画像上において前記複数の領域各々が存在する位置と、前記二次元画像上の所定の位置との位置関係を検出する画像位置検出ステップと、前記画像位置検出ステップにより検出された前記位置関係に基づき、前記複数の領域各々に相応する前記三次元モデルの領域において局所的な隆起形状を有する病変を検出するための、病変検出基準を設定する病変検出基準設定ステップと、を有することを特徴とする。
【００３９】
本発明における第１４の医療用画像処理方法は、前記第１３の医療用画像処理方法において、前記二次元画像上の所定の位置は、前記二次元画像の中心座標であることを特徴とする。
【００４０】
本発明における第１５の医療用画像処理方法は、前記第１３の医療用画像処理方法において、前記二次元画像上の所定の位置は、前記二次元画像の縁部であることを特徴とする。
【００４１】
本発明における第１６の医療用画像処理方法は、前記第１３乃至前記第１５の医療用画像処理方法において、前記病変検出基準は、前記三次元モデルに存在する各ボクセルの凹凸の状態を示すための値に対応する第１の閾値、及び、前記三次元モデルに存在する各ボクセルの曲率を示すための値に対応する第２の閾値であることを特徴とする。
【００４２】
本発明における第１７の医療用画像処理方法は、前記第１乃至前記第１６の医療用画像処理方法において、前記局所的な隆起形状を有する病変は、ポリープであることを特徴とする。
【発明の効果】
【００４３】
本発明における医療用画像処理装置及び医療用画像処理方法によると、三次元モデルにおける、局所的な隆起形状を有する病変の検出精度を従来に比べて向上させることができる。
【発明を実施するための最良の形態】
【００４４】
以下、図面を参照して本発明の実施の形態を説明する。
【００４５】
（第１の実施形態）
図１から図７は、本発明の第１の実施形態に係るものである。図１は、本発明の実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図である。図２は、図１の内視鏡システムにより撮像された被写体の像の二次元画像の一例を示す図である。図３は、図１の医療用画像処理装置が第１の実施形態において行う処理の手順を示すフローチャートである。図４は、図３における病変検出基準設定処理として、第１の実施形態において行われる処理の一例を示すフローチャートである。図５は、図２に示す二次元画像が複数の領域に分割された場合の処理結果の一例を示す図である。図６は、図１の医療用画像処理装置により推定された三次元モデルに対し、図４の各処理により設定された病変検出基準が適用されている状態の一例を示す図である。図７は、図１の医療用画像処理装置により推定された三次元モデルに対し、図４の各処理により設定された病変検出基準が適用されている状態の、図６とは異なる例を示す図である。
【００４６】
内視鏡システム１は、図１に示すように、被写体を撮像するとともに、該被写体の像の二次元画像を出力する医療用観察装置２と、パーソナルコンピュータ等により構成され、医療用観察装置２から出力される二次元画像の映像信号に対して画像処理を行うとともに、該画像処理を行った後の映像信号を画像信号として出力する医療用画像処理装置３と、医療用画像処理装置３から出力される画像信号に基づく画像を表示するモニタ４とを有して要部が構成されている。
【００４７】
また、医療用観察装置２は、被検体の体腔内に挿入されるとともに、該体腔内に存在する生体組織等の被写体を撮像して撮像信号として出力する内視鏡６と、内視鏡６により撮像される被写体を照明するための照明光を供給する光源装置７と、内視鏡６に対する各種制御を行うとともに、内視鏡６から出力される撮像信号に対して信号処理を行い、二次元画像の映像信号として出力するカメラコントロールユニット（以降、ＣＣＵと略記する）８と、ＣＣＵ８から出力される二次元画像の映像信号に基づき、内視鏡６により撮像された被写体の像を画像表示するモニタ９とを有して要部が構成されている。
【００４８】
内視鏡６は、体腔内に挿入される挿入部１１と、挿入部１１の基端側に設けられた操作部１２とを有して構成されている。また、挿入部１１内の基端側から、挿入部１１内の先端側の先端部１４にかけての部分には、光源装置７から供給される照明光を伝送するためのライトガイド１３が挿通されている。
【００４９】
ライトガイド１３は、先端側が内視鏡６の先端部１４に配置されるとともに、後端側が光源装置７に接続される。ライトガイド１３がこのような構成を有することにより、光源装置７から供給される照明光は、ライトガイド１３により伝送された後、挿入部１１の先端部１４の先端面に設けられた、図示しない照明窓から出射される。そして、図示しない照明窓から照明光が出射されることにより、被写体としての生体組織等が照明される。
【００５０】
内視鏡６の先端部１４には、図示しない照明窓に隣接する図示しない観察窓に取り付けられた対物光学系１５と、対物光学系１５の結像位置に配置され、例えば、ＣＣＤ（電荷結合素子）等により構成される撮像素子１６とを有する撮像部１７が設けられている。このような構成により、対物光学系１５により結像された被写体の像は、撮像素子１６により撮像された後、撮像信号として出力される。
【００５１】
撮像素子１６は、信号線を介してＣＣＵ８に接続されている。そして、撮像素子１６は、ＣＣＵ８から出力される駆動信号に基づいて駆動するとともに、ＣＣＵ８に対し、撮像した被写体の像に応じた撮像信号を出力する。
【００５２】
また、ＣＣＵ８に入力された撮像信号は、ＣＣＵ８の内部に設けられた図示しない信号処理回路において信号処理されることにより、二次元画像の映像信号として変換されて出力される。ＣＣＵ８から出力された二次元画像の映像信号は、モニタ９及び医療用画像処理装置３に対して出力される。これにより、モニタ９には、ＣＣＵ８から出力される映像信号に基づく被写体の像が二次元の画像として表示される。
【００５３】
医療用画像処理装置３は、医療用観察装置２から出力される二次元画像の映像信号に対し、Ａ／Ｄ変換を行って出力する画像入力部２１と、画像入力部２１から出力される映像信号に対して画像処理を行う、中央演算処理装置としてのＣＰＵ２２と、該画像処理に関する処理プログラムが書き込まれた処理プログラム記憶部２３と、画像入力部２１から出力される映像信号等を記憶する画像記憶部２４と、ＣＰＵ２２が行う画像処理における演算結果等を記憶する解析情報記憶部２５とを有する。
【００５４】
また、医療用画像処理装置３は、記憶装置インターフェース２６と、記憶装置インターフェース２６を介してＣＰＵ２２の画像処理結果としての画像データ等を記憶する、記憶装置としてのハードディスク２７と、ＣＰＵ２２の画像処理結果としての画像データに基づき、該画像データをモニタ４に画像表示するための表示処理を行うとともに、該表示処理を行った後の画像データを画像信号として出力する表示処理部２８と、ＣＰＵ２２が行う画像処理におけるパラメータ及び医療用画像処理装置３に対する操作指示をユーザが入力可能な、キーボード等により構成される入力操作部２９とを有する。そして、モニタ４は、表示処理部２８から出力される画像信号に基づく画像を表示する。
【００５５】
なお、医療用画像処理装置３の画像入力部２１、ＣＰＵ２２、処理プログラム記憶部２３、画像記憶部２４、解析情報記憶部２５、記憶装置インターフェース２６、表示処理部２８及び入力操作部２９は、データバス３０を介して相互に接続されている。
【００５６】
次に、内視鏡システム１の作用について説明を行う。
【００５７】
まず、ユーザは、内視鏡システム１が有する各部の電源を投入した後、被検体の体腔内に内視鏡６の挿入部１１を挿入する。
【００５８】
そして、ユーザにより挿入部１１が被検体の体腔内に挿入されると、例えば、該体腔内に存在する生体組織等である被写体の像が、先端部１４に設けられた撮像部１７により撮像される。そして、撮像部１７により撮像された被写体の像は、撮像信号としてＣＣＵ８に対して出力される。
【００５９】
ＣＣＵ８は、図示しない信号処理回路において、撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を行うことにより、該撮像信号を二次元画像の映像信号として変換して出力する。そして、モニタ９は、ＣＣＵ８から出力される映像信号に基づき、撮像部１７により撮像された被写体の像を、例えば、図２に示すような二次元画像として表示する。また、ＣＣＵ８は、撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を行うことにより得られた二次元画像の映像信号を、医療用画像処理装置３に対して出力する。
【００６０】
医療用画像処理装置３に対して出力された二次元画像の映像信号は、画像入力部２１においてＡ／Ｄ変換された後、ＣＰＵ２２に入力される。
【００６１】
そして、三次元モデル推定部としてのＣＰＵ２２は、画像入力部２１から出力される二次元画像に対し、例えば、ＳｈａｐｅＦｒｏｍＳｈａｄｉｎｇ法等を用い、該二次元画像の輝度情報等に基づく幾何学的な変換等の処理を施すことにより、該二次元画像に応じた三次元モデルを推定する（図３のステップＳ１）。
【００６２】
次に、ＣＰＵ２２は、画像入力部２１から出力される二次元画像の色調変化と、図３のステップＳ１の処理により推定した三次元モデルの隆起性変化とを検出することにより、該三次元モデルにおける隆起形状を有する病変を検出するための処理の適用対象となる領域としての、処理対象領域を設定する（図３のステップＳ２）。具体的には、ＣＰＵ２２は、例えば、画像入力部２１から出力される二次元画像を、Ｒ（赤）画像、Ｇ（緑）画像及びＢ（青）画像の各プレーン画像に分離した後、該Ｒ画像に応じて推定した三次元モデルのデータに基づいて隆起性変化を検出するとともに、該Ｒ画像及びＧ画像の色度に基づいて色調変化を検出する。そして、ＣＰＵ２２は、前記隆起性変化の検出結果及び前記色調変化の検出結果に基づき、前記隆起性変化及び前記色調変化の両方が検出された領域を、前記処理対象領域として設定する。なお、以降においては、説明の簡単のため、図３のステップＳ２に示す処理により、図２に示す二次元画像に応じて推定された三次元モデル全域が前記処理対象領域として設定されたとする。
【００６３】
その後、ＣＰＵ２２は、三次元モデルにおいて、ポリープ等の局所的な隆起形状を有する病変を検出する際に用いる病変検出基準を設定するための処理として、以降に記す病変検出基準設定処理を行う（図２のステップＳ３）。
【００６４】
画像分割部としてのＣＰＵ２２は、病変検出基準設定処理として、まず、三次元モデル推定の際に用いた、例えば、図２に示す二次元画像を、図５に示すように、少なくとも１以上の画素からなるＬ個（２≦Ｌ）の領域Ｈｉ（１≦ｉ≦Ｌ）に分割する（図４のステップＳ１１）。
【００６５】
次に、特徴量算出部としてのＣＰＵ２２は、変数ｉ＝１と設定した（図４のステップＳ１２）後、領域Ｈｉにおける特徴量として、該領域Ｈｉが有する各画素の濃淡値の平均値Ｍｉ、該領域Ｈｉが有する各画素の濃淡値の分散Ｖｉ、及び該領域Ｈｉの周波数成分Ｓｉを算出する（図４のステップＳ１３）。なお、領域Ｈｉの周波数成分Ｓｉは、例えば、Ｓｏｂｅｌフィルタまたはラプラシアンフィルタ等を用いたフィルタ処理を該領域Ｈｉに対して行うことにより得られるものであるとする。
【００６６】
その後、ＣＰＵ２２は、二次元画像の領域Ｈｉに相応する三次元モデルの領域において二次曲面近似を行う際に用いられる立方領域のサイズの初期値をＮ×Ｎ×Ｎに設定する（図４のステップＳ１４）。
【００６７】
病変検出基準設定部としてのＣＰＵ２２は、図４のステップＳ１３に示す処理において算出した、領域Ｈｉにおける濃淡値の平均値Ｍｉに基づく比較処理を行う。そして、ＣＰＵ２２は、濃淡値の平均値Ｍｉが閾値ｔｈｒｅ１以下であることを検出した場合（図４のステップＳ１５）、Ｎの値に１を加えた（図４のステップＳ１７）後、後述する図４のステップＳ２０の処理を行う。また、ＣＰＵ２２は、濃淡値の平均値Ｍｉが閾値ｔｈｒｅ１より大きく、かつ、閾値ｔｈｒｅ２より小さいことを検出した場合（図４のステップＳ１６）、Ｎの値を変更することなく（図４のステップＳ１８）、後述する図４のステップＳ２０の処理を行う。さらに、ＣＰＵ２２は、濃淡値の平均値Ｍｉが閾値ｔｈｒｅ２以上であることを検出した場合（図４のステップＳ１６）、Ｎの値から１を減じた（図４のステップＳ１９）後、後述する図４のステップＳ２０の処理を行う。
【００６８】
すなわち、領域Ｈｉにおける濃淡値の平均値Ｍｉは、二次元画像上の明るい部分（明部領域）において比較的大きな値となる。そのため、二次元画像の明部領域に相応する三次元モデルの領域には、データが密な状態として存在する。そして、前述した、図４のステップＳ１５、図４のステップＳ１６及び図４のステップＳ１９に示す各処理を行うことにより、推定された三次元モデルのデータが密な状態として存在する領域において、二次曲面近似を行う際に用いられる立方領域のサイズを小さくすることができる。
【００６９】
また、領域Ｈｉにおける濃淡値の平均値Ｍｉは、二次元画像上の暗い部分（暗部領域）において比較的小さな値となる。そのため、二次元画像の暗部領域に相応する三次元モデルの領域には、データが疎な状態として存在する。そして、前述した、図４のステップＳ１５及び図４のステップＳ１７に示す各処理を行うことにより、推定された三次元モデルのデータが疎な状態として存在する領域において、二次曲面近似を行う際に用いられる立方領域のサイズを大きくすることができる。
【００７０】
ＣＰＵ２２は、図４のステップＳ１３に示す処理において算出した、領域Ｈｉにおける濃淡値の分散Ｖｉに基づく比較処理を行う。そして、ＣＰＵ２２は、濃淡値の分散Ｖｉが閾値ｔｈｒｅ３以下であることを検出した場合（図４のステップＳ２０）、Ｎの値から１を減じた（図４のステップＳ２２）後、後述する図４のステップＳ２５の処理を行う。また、ＣＰＵ２２は、濃淡値の分散Ｖｉが閾値ｔｈｒｅ３より大きく、かつ、閾値ｔｈｒｅ４より小さいことを検出した場合（図４のステップＳ２１）、Ｎの値を変更することなく（図４のステップＳ２３）、後述する図４のステップＳ２５の処理を行う。さらに、ＣＰＵ２２は、濃淡値の分散Ｖｉが閾値ｔｈｒｅ４以上であることを検出した場合（図４のステップＳ２１）、Ｎの値に１を加えた（図４のステップＳ２４）後、後述する図４のステップＳ２５の処理を行う。
【００７１】
すなわち、領域Ｈｉにおける濃淡値の分散Ｖｉは、二次元画像上のエッジが多く存在する部分において比較的大きな値となる。そのため、二次元画像のエッジが存在する領域に相応する三次元モデルの領域には、データが密な状態として存在する。そして、前述した、図４のステップＳ２０及び図４のステップＳ２２に示す各処理を行うことにより、推定された三次元モデルのデータが密な状態として存在する領域において、二次曲面近似を行う際に用いられる立方領域のサイズを小さくすることができる。
【００７２】
また、領域Ｈｉにおける濃淡値の分散Ｖｉは、二次元画像上のエッジが存在しない（またはエッジの数が少ない）部分において比較的小さな値となる。そのため、二次元画像のエッジが存在しない（またはエッジの数が少ない）領域に相応する三次元モデルの領域には、データが疎な状態として存在する。そして、前述した、図４のステップＳ２０、図４のステップＳ２１及び図４のステップＳ２４に示す各処理を行うことにより、推定された三次元モデルのデータが疎な状態として存在する領域において、二次曲面近似を行う際に用いられる立方領域のサイズを大きくすることができる。
【００７３】
ＣＰＵ２２は、図４のステップＳ１３に示す処理において算出した、領域Ｈｉにおける周波数成分Ｓｉに基づく比較処理を行う。そして、ＣＰＵ２２は、周波数成分Ｓｉが閾値ｔｈｒｅ５以下であることを検出した場合（図４のステップＳ２５）、Ｎの値から１を減じた（図４のステップＳ２７）後、後述する図４のステップＳ３０の処理を行う。また、ＣＰＵ２２は、周波数成分Ｓｉが閾値ｔｈｒｅ５より大きく、かつ、閾値ｔｈｒｅ６より小さいことを検出した場合（図４のステップＳ２６）、Ｎの値を変更することなく（図４のステップＳ２８）、後述する図４のステップＳ３０の処理を行う。さらに、ＣＰＵ２２は、周波数成分Ｓｉが閾値ｔｈｒｅ６以上であることを検出した場合（図４のステップＳ２６）、Ｎの値に１を加えた（図４のステップＳ２９）後、後述する図４のステップＳ３０の処理を行う。
【００７４】
すなわち、領域Ｈｉにおける周波数成分Ｓｉは、二次元画像上のエッジが（多く）存在する部分において比較的大きな値となる。そのため、二次元画像のエッジが（多く）存在する領域に相応する三次元モデルの領域には、データが密な状態として存在する。そして、前述した、図４のステップＳ２５及び図４のステップＳ２７に示す各処理を行うことにより、推定された三次元モデルのデータが密な状態として存在する領域において、二次曲面近似を行う際に用いられる立方領域のサイズを小さくすることができる。
【００７５】
また、領域Ｈｉにおける周波数成分Ｓｉは、二次元画像上のエッジが存在しない（またはエッジの数が少ない）部分において比較的小さな値となる。そのため、二次元画像のエッジが存在しない（またはエッジの数が少ない）領域に相応する三次元モデルの領域には、データが疎な状態として存在する。そして、前述した、図４のステップＳ２５、図４のステップＳ２６及び図４のステップＳ２９に示す各処理を行うことにより、推定された三次元モデルのデータが疎な状態として存在する領域において、二次曲面近似を行う際に用いられる立方領域のサイズを大きくすることができる。
【００７６】
ＣＰＵ２２は、二次元画像の領域Ｈｉに相応する三次元モデルの領域において二次曲面近似を行う際に用いられる立方領域のサイズを、前述した、図４のステップＳ１５からステップＳ２９までの処理を行うことにより変更されたサイズとして決定する（図４のステップＳ３０）。そして、ＣＰＵ２２は、図４のステップＳ３０において決定した立方領域のサイズを、二次元画像の領域Ｈｉに相応する三次元モデルの領域における、病変検出基準として設定する。
【００７７】
その後、ＣＰＵ２２は、Ｌ個の領域Ｈｉ全てに対して前述した処理が行われたか否か、すなわち、変数ｉ＝Ｌであるか否かの判定を行う。そして、ＣＰＵ２２は、ｉ＝Ｌではないことを検出した場合（図４のステップＳ３１）、変数ｉに１を加える処理を行った（図４のステップＳ３２）後、前述した、図４のステップＳ１３からステップＳ３１までに示す処理を再度行う。また、ＣＰＵ２２は、ｉ＝Ｌであることを検出した場合（図４のステップＳ３１）、病変検出基準設定処理を終了する。
【００７８】
ＣＰＵ２２は、図４に示す病変検出基準設定処理において設定した病変検出基準に基づき、図３のステップＳ２により設定した処理対象領域に存在する各ボクセルに対し、ＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値を算出する処理を行う（図３のステップＳ４）。
【００７９】
ここで、本実施形態における、図３のステップＳ４の処理の詳細を以降に記す。
【００８０】
ＣＰＵ２２は、図４に示す病変検出基準設定処理において設定した、病変検出基準としての立方領域のサイズに基づき、二次元画像の各領域Ｈｉに相応する三次元モデルの各領域における二次曲面近似を行う。
【００８１】
図２に示す二次元画像における暗部領域であって、かつ、エッジが存在しない領域に相応する三次元モデルの領域においては、局所的な隆起形状を有する病変を検出する際に有用なデータが疎な状態として存在する。そのため、ＣＰＵ２２は、三次元モデルのデータが疎な領域においては、例えば、図６に示すように、病変検出基準として、５×５×５のサイズの立方領域を用いつつ二次曲面近似を行う。
【００８２】
また、図２に示す二次元画像における、明部領域と暗部領域との境界の領域であって、かつ、エッジが存在する領域に相応する三次元モデルの領域においては、局所的な隆起形状を有する病変を検出する際に有用なデータが密な状態として存在する。そのため、ＣＰＵ２２は、三次元モデルのデータが密な領域においては、例えば、図７に示すように、病変検出基準として、３×３×３のサイズの立方領域を用いつつ二次曲面近似を行う。
【００８３】
そして、ＣＰＵ２２は、前述した二次曲面近似の結果に基づき、三次元モデルの各領域における局所偏微分係数を算出するとともに、該局所偏微分係数に基づき、該三次元モデルが有する各ボクセルにおける凹凸の状態を示すための値であるＳｈａｐｅＩｎｄｅｘ値、及び、該三次元モデルが有する各ボクセルにおける曲率を示すための値であるＣｕｒｖｅｄｎｅｓｓ値を算出する。なお、局所偏微分係数に基づいてＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値を算出する方法は、例えば、ＵＳ Ｐａｔｅｎｔ Ａｐｐｌｉｃａｔｉｏｎ Ｎｏ．２００３０２２３６２７に記載されている方法と同様の方法により算出可能である。そのため、本実施形態においては、ＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の詳細な算出方法に関しては、説明を省略する。
【００８４】
その後、ＣＰＵ２２は、図３のステップＳ４の処理により算出したＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値に基づく閾値処理等の処理を行うことにより、図３のステップＳ２により設定した処理対象領域に存在する各ボクセルのうち、局所的な隆起形状を有する病変が存在するボクセルを検出する（図３のステップＳ５）。
【００８５】
ＣＰＵ２２は、図３のステップＳ５の処理の検出結果に基づき、局所的な隆起形状を有する病変の存在が示唆された各ボクセルの位置を示すための制御として、文字列または着色等を三次元モデルに重畳させる制御を表示処理部２８に対して行った（図３のステップＳ６）後、以上に述べた一連の処理を終了する。
【００８６】
これにより、モニタ４には、ポリープ等の局所的な隆起形状が存在する位置をユーザが容易に認識可能であるような、被写体の三次元モデルが画像表示される。
【００８７】
本実施形態の医療用画像処理装置３は、以上に述べた、図３及び図４に示す一連の処理を行うことにより、三次元モデルにおける、局所的な隆起形状を有する病変の検出精度を従来に比べて向上させることができる。
【００８８】
（第２の実施形態）
図８から図２２は、本発明の第２の実施形態に係るものである。図８は、図３における病変検出基準設定処理として、第２の実施形態において行われる処理の一例を示すフローチャートである。図９は、図８における二次元画像分割処理の一例を示すフローチャートである。図１０は、図９の処理において用いられる二次元画像の一例を示す図である。図１１は、図９の処理により検出されたエッジの一例を示す図である。図１２は、図９の処理により検出されたエッジの、図１１とは異なる例を示す図である。図１３は、図１１の各エッジを、図１２のエッジに基づいて伸ばした状態を示す図である。図１４は、図９の処理により図１０の二次元画像が領域分割された場合の処理結果を示す図である。図１５は、図８における二次元画像分割処理の、図９とは異なる例を示すフローチャートである。図１６は、図１５の処理により検出されたエッジの一例を示す図である。図１７は、図１５の処理により図１０の二次元画像の一部が領域分割された状態の一例を示す図である。図１８は、図１５の処理により図１０の二次元画像の一部が領域分割された状態の、図１７とは異なる例を示す図である。
【００８９】
また、図１９は、図１５の処理により図１０の二次元画像が領域分割された場合の処理結果を示す図である。図２０は、図８における二次元画像分割処理の、図９及び図１５とは異なる例を示すフローチャートである。図２１は、図２０の処理により図１６に示す各エッジの線幅を太らせた場合の処理結果の一例を示す図である。図２２は、図２０の処理により図１０の二次元画像が領域分割された場合の処理結果を示す図である。
【００９０】
なお、第１の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第１の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態に用いる内視鏡システム１の構成は、第１の実施形態と同様である。
【００９１】
次に、医療用画像処理装置３が行う画像処理動作について説明を行う。
【００９２】
ＣＰＵ２２は、第１の実施形態の説明において既述である、図３のステップＳ１及びステップＳ２と同様の処理を行った後、三次元モデルにおいてポリープ等の局所的な隆起形状を有する病変を検出する際に用いる病変検出基準を設定するための処理として、以降に記す病変検出基準設定処理を行う（図３のステップＳ３）。
【００９３】
ＣＰＵ２２は、病変検出基準設定処理として、まず、三次元モデル推定の際に用いた、例えば、図１０に示す二次元画像を分割するための処理である、以降に記す二次元画像分割処理を行う（図８のステップＳ１０１）。
【００９４】
画像情報抽出部としてのＣＰＵ２２は、二次元画像分割処理として、まず、三次元モデル推定の際に用いた二次元画像が有する各画素の濃淡に応じた画像情報である、該二次元画像のエッジをフィルタ処理により抽出する（図９のステップＳ１１１）とともに、抽出した各エッジの長さを算出する（図９のステップＳ１１２）。
【００９５】
次に、ＣＰＵ２２は、二次元画像の各エッジのうち、長さが閾値ｔｈｒｅＬ以上または閉曲線であるＰ本のエッジを検出する（図９のステップＳ１１３）とともに、検出した該Ｐ本のエッジ各々に対し、例えば、Ｅ１、Ｅ２、…、Ｅｊ、…（１≦ｊ≦Ｐ）というような番号を長さが長い順に付与する（図９のステップＳ１１４）。具体的には、前述した、図９のステップＳ１１１からステップＳ１１４までの処理が行われることにより、図１０に示す二次元画像上に存在する各エッジのうち、以降の処理において主に用いられるエッジとして、例えば、図１１に示すような、エッジＥ１からエッジＥ４までの４本のエッジが検出される。
【００９６】
その後、ＣＰＵ２２は、変数ｊ＝１と設定した（図９のステップＳ１１５）後、エッジＥｊが閉曲線であるか否かを判定する。そして、ＣＰＵ２２は、エッジＥｊが閉曲線であることを検出した場合（図９のステップＳ１１６）、後述する図９のステップＳ１１９に示す処理を行う。また、ＣＰＵ２２は、エッジＥｊが閉曲線ではないことを検出した場合（図９のステップＳ１１６）、さらに、該エッジＥｊの両端点が他のエッジまたはフレーム（画像の縁部）のいずれかに接しているか否かの判定を行う。
【００９７】
ＣＰＵ２２は、エッジＥｊの両端点が他のエッジまたはフレームのいずれかに接していることを検出した場合（図９のステップＳ１１７）、後述する図９のステップＳ１１９に示す処理を行う。また、ＣＰＵ２２は、エッジＥｊの両端点のうち、少なくとも一方の端点が他のエッジまたはフレームのいずれにも接していないことを検出した場合（図９のステップＳ１１７）、該エッジＥｊの両端点が他のエッジまたはフレームのいずれかに接するまで、該エッジＥｊを伸ばす（図９のステップＳ１１８）。
【００９８】
ここで、図９のステップＳ１１８の処理の詳細の一例を以降に記す。
【００９９】
ＣＰＵ２２は、例えば、図９のステップＳ１１１の処理において用いたフィルタに比べ、周波数成分の閾値が低いフィルタによるフィルタ処理を行うことにより、二次元画像上に存在するエッジを抽出する。具体的には、ＣＰＵ２２は、前記フィルタ処理を行うことにより、例えば、図１０に示す二次元画像に存在するエッジとして、図１２に示す各エッジを抽出する。
【０１００】
そして、ＣＰＵ２２は、前記フィルタ処理により抽出した各エッジを参照しつつ、エッジＥｊの両端点のうち、他のエッジまたはフレームのいずれにも接していない端点から該エッジＥｊを伸ばしてゆく。このような処理により、エッジＥｊの両端点は、他のエッジまたはフレームのいずれか一方に接した状態となる。具体的には、ＣＰＵ２２は、図１２に示す各エッジを参照しつつ、図１１に示すエッジＥ１からエッジＥ４の各エッジを伸ばすことにより、例えば、図１３に示すような処理結果を得る。
【０１０１】
さらに、ＣＰＵ２２は、Ｐ本のエッジＥｊ全てに対して前述した処理が行われたか否か、すなわち、変数ｊ＝Ｐであるか否かの判定を行う。そして、ＣＰＵ２２は、ｊ＝Ｐではないことを検出した場合（図９のステップＳ１１９）、変数ｊに１を加える処理を行った（図９のステップＳ１２０）後、前述した、図９のステップＳ１１６からステップＳ１１９までに示す処理を再度行う。また、画像分割部としてのＣＰＵ２２は、ｊ＝Ｐであることを検出した場合（図９のステップＳ１１９）、二次元画像をエッジＥ１からエッジＥＰを境界とする各領域として分割した（図９のステップＳ１２１）後、二次元画像分割処理を終了する。具体的には、ＣＰＵ２２は、以上に述べた二次元画像分割処理により、図１０に示す二次元画像を、例えば、図１４に示すように、図９のステップＳ１１８の処理により伸ばされたエッジＥ１からエッジＥ４を境界とする、クラス１からクラス５までの５つの領域に分割する。
【０１０２】
そして、ＣＰＵ２２は、二次元画像分割処理により分割された各領域において、濃淡値の平均値等の特徴量を算出し（図８のステップＳ１０２）、算出した該特徴量に基づき、二次元画像分割処理により分割された各領域に相応する三次元モデルの領域において二次曲面近似（及びＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の算出）を行う際に用いられる立方領域のサイズを決定した（図８のステップＳ１０３）後、病変検出基準設定処理を終了する。
【０１０３】
すなわち、ＣＰＵ２２は、前述した病変検出基準設定処理により、二次元画像分割処理により分割された領域各々に相応する三次元モデルの領域において、二次曲面近似（及びＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の算出）を行う際に用いられる立方領域のサイズを決定する。具体的には、図９に示す各処理としての二次元画像分割処理が用いられた場合、図１４に示す、二次元画像におけるクラス１からクラス５までの各領域のうち、例えば、クラス１及びクラス２の領域に相応する三次元モデルの領域が、局所的な隆起形状を有する病変を検出する際に有用なデータが疎な状態として存在する領域として検出される。そのため、ＣＰＵ２２は、図１４のクラス１及びクラス２に示す領域に相応する三次元モデルの領域においては、比較的大きなサイズの立方領域を病変検出基準として用いつつ、以降の処理である二次曲面近似（及びＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の算出）を行う。また、図９に示す各処理としての二次元画像分割処理が用いられた場合、図１４に示す、二次元画像におけるクラス１からクラス５までの各領域のうち、例えば、クラス３、クラス４及びクラス５の領域に相応する三次元モデルの領域が、局所的な隆起形状を有する病変を検出する際に有用なデータが密な状態として存在する領域として検出される。そのため、ＣＰＵ２２は、図１４のクラス３からクラス５に示す領域に相応する三次元モデルの領域においては、比較的小さなサイズの立方領域を病変検出基準として用いつつ、以降の処理である二次曲面近似（及びＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の算出）を行う。
【０１０４】
また、ＣＰＵ２２は、図８に示す病変検出基準設定処理において設定した病変検出基準に基づき、図３のステップＳ２により設定した処理対象領域に存在する各ボクセルに対し、ＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値を算出する処理を行う（図３のステップＳ４）。なお、二次曲面近似及びＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の算出方法は、第１の実施形態の方法と略同様の方法を用いることが可能であるため、本実施形態においては説明を省略する。
【０１０５】
その後、ＣＰＵ２２は、第１の実施形態の内容として前述した、図３のステップＳ５及びステップＳ６の処理を行った後、一連の処理を終了する。すなわち、ＣＰＵ２２は、ＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値に基づいて局所的な隆起形状を有する病変が存在するボクセルを検出するとともに、該検出結果に基づき、局所的な隆起形状を有する病変の存在が示唆された各ボクセルの位置を示すための制御を表示処理部２８に対して行った後、一連の処理を終了する。
【０１０６】
これにより、モニタ４には、ポリープ等の局所的な隆起形状が存在する位置をユーザが容易に認識可能であるような、被写体の三次元モデルが画像表示される。
【０１０７】
本実施形態の医療用画像処理装置３は、以上に述べた、図３、図８及び図９に示す一連の処理を行うことにより、三次元モデルにおける、局所的な隆起形状を有する病変の検出精度を従来に比べて向上させることができる。
【０１０８】
なお、図８に示す病変検出基準設定処理の一部に含まれる二次元画像分割処理は、図９に示す各処理に限らず、例えば、図１５に示す各処理であっても良い。
【０１０９】
図１５に示す二次元画像分割処理について説明を行う。
【０１１０】
ＣＰＵ２２は、二次元画像分割処理として、まず、三次元モデル推定の際に用いた二次元画像のエッジをフィルタ処理により抽出する（図１５のステップＳ１３１）とともに、抽出した各エッジの長さを算出する（図１５のステップＳ１３２）。具体的には、ＣＰＵ２２は、例えば、図１０に示す二次元画像上において、図１６に示す位置に存在する各エッジを抽出するとともに、該各エッジの長さを算出する。
【０１１１】
次に、ＣＰＵ２２は、二次元画像の領域未分割部分に存在する各エッジのうち、最も長い一のエッジを検出する（図１５のステップＳ１３３）とともに、該一のエッジが存在する二次元画像上の各座標のうち、水平座標の最大値ｘ＿ｍａｘ、水平座標の最小値ｘ＿ｍｉｎ、垂直座標の最大値ｙ＿ｍａｘ、及び垂直座標の最小値ｙ＿ｍｉｎを抽出する（図１５のステップＳ１３４）。具体的には、二次元画像全域が領域未分割部分である場合、ＣＰＵ２２は、図１７に示すように、図１５のステップＳ１３１に示す処理により抽出した各エッジのうち、最も長いエッジであるエッジＥ１１を検出する。そして、ＣＰＵ２２は、図１７に示すように、エッジＥ１１が存在する二次元画像上の各座標のうち、水平座標の最大値ｘ＿ｍａｘ１、水平座標の最小値ｘ＿ｍｉｎ１、垂直座標の最大値ｙ＿ｍａｘ１、及び垂直座標の最小値ｙ＿ｍｉｎ１を抽出する。なお、本実施形態においては、二次元画像の最も左上に位置する画素を原点座標として設定するものであるとする。
【０１１２】
また、ＣＰＵ２２は、ｘ＿ｍａｘ、ｘ＿ｍｉｎ、ｙ＿ｍａｘ、及びｙ＿ｍｉｎの４つの座標により囲まれる矩形領域を、１つのクラスに属する領域として分割する（図１５のステップＳ１３５）。具体的には、ＣＰＵ２２は、エッジＥ１１が存在する各座標に基づいて抽出された、ｘ＿ｍａｘ１、ｘ＿ｍｉｎ１、ｙ＿ｍａｘ１、及びｙ＿ｍｉｎ１の４つの座標により囲まれる矩形領域を、クラス１に属する領域として分割する。
【０１１３】
その後、ＣＰＵ２２は、二次元画像の領域未分割部分にエッジが存在するか否かを検出する。そして、ＣＰＵ２２は、二次元画像の領域未分割部分にエッジが存在することを検出した場合（図１５のステップＳ１３６）、図１５のステップＳ１３３からステップＳ１３５までの処理を再度行いつつ、二次元画像における領域分割を行う。具体的には、ＣＰＵ２２は、クラス１に属する領域を分割した後、図１８に示すように、クラス１に属する領域として分割された部分以外の、二次元画像の領域未分割部分において、最も長いエッジであるエッジＥ１２を検出する。さらに、ＣＰＵ２２は、エッジＥ１２が存在する各座標に基づいて水平座標の最大値ｘ＿ｍａｘ２、水平座標の最小値ｘ＿ｍｉｎ２、垂直座標の最大値ｙ＿ｍａｘ２、及び垂直座標の最小値ｙ＿ｍｉｎ２の４つの座標を抽出するとともに、抽出した該４つの座標により囲まれる矩形領域を、クラス２に属する領域として分割する。そして、ＣＰＵ２２は、二次元画像の領域未分割部分にエッジが存在しなくなるまで、前述した各処理を繰り返し行う。
【０１１４】
また、ＣＰＵ２２は、二次元画像の領域未分割部分にエッジが存在しないことを検出した場合（図１５のステップＳ１３６）、二次元画像における残りの領域未分割部分を１つのクラスに属する領域とした（図１５のステップＳ１３７）後、二次元画像分割処理を終了する。具体的には、ＣＰＵ２２は、以上に述べた二次元画像分割処理により、図１０に示す二次元画像を、例えば、図１９に示すように、二次元画像上にエッジが存在する領域であるクラス１からクラス７の領域と、二次元画像上にエッジが存在しない領域であるクラス８の領域とを合わせた、８つの領域に分割する。
【０１１５】
図１５に示す各処理としての二次元画像分割処理が用いられた場合、例えば、二次元画像上にエッジが存在する領域である、図１９のクラス１からクラス７に示す領域に相応する三次元モデルの領域が、局所的な隆起形状を有する病変を検出する際に有用なデータが密な状態として存在する領域として検出される。そのため、ＣＰＵ２２は、図１９のクラス１からクラス７に示す領域に相応する三次元モデルの領域においては、比較的小さなサイズの立方領域を病変検出基準として用いつつ、二次曲面近似（及びＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の算出）を行う。また、図１５に示す各処理としての二次元画像分割処理が用いられた場合、例えば、二次元画像上にエッジが存在しない領域である、図１９のクラス８に示す領域に相応する三次元モデルの領域が、局所的な隆起形状を有する病変を検出する際に有用なデータが疎な状態として存在する領域として検出される。そのため、ＣＰＵ２２は、図１９のクラス８に示す領域に相応する三次元モデルの領域においては、比較的大きなサイズの立方領域を病変検出基準として用いつつ、二次曲面近似（及びＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の算出）を行う。
【０１１６】
なお、図８に示す病変検出基準設定処理の一部に含まれる二次元画像分割処理は、図９及び図１５に示す各処理に限らず、例えば、図２０に示す各処理であっても良い。
【０１１７】
図２０に示す二次元画像分割処理について説明を行う。
【０１１８】
ＣＰＵ２２は、二次元画像分割処理として、まず、三次元モデル推定の際に用いた二次元画像のエッジをフィルタ処理により抽出する（図２０のステップＳ１４１）。この処理により、ＣＰＵ２２は、例えば、図１０に示す二次元画像上において、図１６に示す位置に存在する各エッジを抽出する。
【０１１９】
次に、ＣＰＵ２２は、図２０のステップＳ１４１の処理により抽出した各エッジを膨張させる（図２０のステップＳ１４２）。換言すると、ＣＰＵ２２は、図２０のステップＳ１４１の処理により抽出した各エッジに沿って存在する各画素を、該各エッジの一部を構成する画素であるとして検出することにより、該一のエッジの線幅を太らせる処理を行う。この処理により、ＣＰＵ２２は、例えば、図１６に示す位置に存在する各エッジを、図２１に示すような状態として膨張させる。
【０１２０】
その後、ＣＰＵ２２は、膨張させる前の各エッジの状態を参照しつつ、膨張させた後の各エッジに対してクラスを設定するとともに（図２０のステップＳ１４３）、クラス未分類の部分を１つのクラスに属する領域として設定する（図２０のステップＳ１４４）。具体的には、ＣＰＵ２２は、図２１に示すような状態として膨張させた各エッジを、例えば、図２２に示すように、クラス１からクラス９までの各クラスに属する領域として設定するとともに、クラス未分類の部分をクラス１０に属する領域として設定する。
【０１２１】
図２０に示す各処理としての二次元画像分割処理が用いられた場合、例えば、二次元画像上にエッジが存在する領域である、図２２のクラス１からクラス９に示す領域に相応する三次元モデルの領域が、局所的な隆起形状を有する病変を検出する際に有用なデータが密な状態として存在する領域として検出される。そのため、ＣＰＵ２２は、図２２のクラス１からクラス９に示す領域に相応する三次元モデルの領域においては、比較的小さなサイズの立方領域を病変検出基準として用いつつ、二次曲面近似（及びＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の算出）を行う。また、図２０に示す各処理としての二次元画像分割処理が用いられた場合、例えば、二次元画像上にエッジが存在しない領域である、図２２のクラス１０に示す領域に相応する三次元モデルの領域が、局所的な隆起形状を有する病変を検出する際に有用なデータが疎な状態として存在する領域として検出される。そのため、ＣＰＵ２２は、図２２のクラス１０に示す領域に相応する三次元モデルの領域においては、比較的大きなサイズの立方領域を病変検出基準として用いつつ、二次曲面近似（及びＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の算出）を行う。
【０１２２】
なお、図８に示す病変検出基準設定処理の一部に含まれる二次元画像分割処理は、図９、図１５及び図２０に示す各処理に限らず、三次元モデル推定の際に用いた二次元画像が有する各画素の濃淡に応じた画像情報として、例えば、該二次元画像の各画素の濃淡値を抽出するとともに、該濃淡値に基づくクラス分けを行うような画像分割処理であっても良い。
【０１２３】
その場合、ＣＰＵ２２は、三次元モデル推定の際に用いた二次元画像の各画素の濃淡値に基づき、例えば、濃淡値が近い画素同士を同一のクラスに属するとして領域分割を行う。そして、ＣＰＵ２２は、二次元画像上の濃淡値が小さな値となる画素が属する領域に相応する三次元モデルの領域においては、比較的大きなサイズの立方領域を病変検出基準として用いつつ、二次曲面近似（及びＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の算出）を行う。また、ＣＰＵ２２は、二次元画像上の濃淡値が大きな値となる画素が属する領域に相応する三次元モデルの領域においては、比較的小さなサイズの立方領域を病変検出基準として用いつつ、二次曲面近似（及びＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の算出）を行う。
【０１２４】
（第３の実施形態）
図２３から図２７は、本発明の第３の実施形態に係るものである。図２３は、図１の医療用画像処理装置が第３の実施形態において行う処理の手順を示すフローチャートである。図２４は、図２３における病変検出基準設定処理として、第３の実施形態において行われる処理の一例を示すフローチャートである。図２５は、図２４の処理において算出される距離ＬＨと、重み係数ωとの相関関係を示す図である。図２６は、図２３における病変検出基準設定処理として、第３の実施形態において行われる処理の、図２４とは異なる例を示すフローチャートである。図２７は、図２６の処理により二次元画像の縁部として検出される領域を示す図である。
【０１２５】
なお、第１の実施形態及び第２の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第１の実施形態及び第２の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態に用いる内視鏡システム１の構成は、第１の実施形態及び第２の実施形態と同様である。
【０１２６】
次に、医療用画像処理装置３が行う画像処理動作について説明を行う。
【０１２７】
ＣＰＵ２２は、図２３のステップＳ２０１及びステップＳ２０２に示す処理として、第１の実施形態の説明において既述である、図３のステップＳ１及びステップＳ２と同様の処理を行った後、三次元モデルにおいて局所的な隆起形状を有する病変を検出する際に用いる病変検出基準を設定するための処理として、以降に記す病変検出基準設定処理を行う（図２３のステップＳ２０３）。
【０１２８】
画像分割部としてのＣＰＵ２２は、病変検出基準設定処理として、まず、三次元モデル推定の際に用いた二次元画像をＱ個の領域Ｈｋ（１≦ｋ≦Ｑ）に分割し（図２４のステップＳ２１１）、ｋ＝１に設定する（図２４のステップＳ２１２）とともに、ＳｈａｐｅＩｎｄｅｘ値の閾値をｔｈｒｅＳＩ１、及び、Ｃｕｒｖｅｄｎｅｓｓ値の閾値をｔｈｒｅＣＶ１に設定する（図２４のステップＳ２１３）。
【０１２９】
次に、画像位置検出部としてのＣＰＵ２２は、領域Ｈｋの中心座標（Ｈｋｘ，Ｈｋｙ）を抽出するとともに（図２４のステップＳ２１４）、該領域Ｈｋと二次元画像上の所定の位置との位置関係を検出するために、該中心座標（Ｈｋｘ，Ｈｋｙ）と、二次元画像の中心座標（Ｉｘ，Ｉｙ）との間の距離ＬＨを算出する（図２４のステップＳ２１５）。なお、本実施形態においては、二次元画像の最も左上に位置する画素を原点座標として設定するものであるとする。
【０１３０】
また、ＣＰＵ２２は、距離ＬＨに基づき、重み係数ωを設定するとともに（図２４のステップＳ２１６）、閾値ｔｈｒｅＳＩ１及び閾値ｔｈｒｅＣＶ１に重み係数ωを積算した値を新たな閾値として設定する（図２４のステップＳ２１７）。
【０１３１】
さらに、ＣＰＵ２２は、Ｑ個の領域Ｈｋ全てに対して前述した処理が行われたか否か、すなわち、変数ｋ＝Ｑであるか否かの判定を行う。そして、ＣＰＵ２２は、ｋ＝Ｑではないことを検出した場合（図２４のステップＳ２１８）、変数ｋに１を加える処理を行った（図２４のステップＳ２１９）後、前述した、図２４のステップＳ２１３からステップＳ２１８までに示す処理を再度行う。また、ＣＰＵ２２は、ｋ＝Ｑであることを検出した場合（図２４のステップＳ２１８）、領域Ｈｋ各々において算出した、閾値ｔｈｒｅＳＩ１及び閾値ｔｈｒｅＣＶ１に重み係数ωを積算した値を、該領域Ｈｋ各々に相応する三次元モデルの領域における病変検出基準として保持しつつ、病変検出基準設定処理を終了する。なお、本実施形態における重み係数ωは、例えば、図２５に示すように、距離ＬＨの値に応じて線形的に増加してゆく値であるとする。
【０１３２】
その後、ＣＰＵ２２は、処理対象領域に存在する各ボクセルに対し、ＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値を算出する処理を行う（図２３のステップＳ２０４）。すなわち、ＣＰＵ２２は、予め設定された所定の立方領域サイズを用いつつ二次曲面近似を行い、該二次曲面近似の結果に基づき、三次元モデルの各領域における局所偏微分係数を算出するとともに、該局所偏微分係数に基づき、該三次元モデルが有する各ボクセルにおける凹凸の状態を示すための値であるＳｈａｐｅＩｎｄｅｘ値、及び、該三次元モデルが有する各ボクセルにおける曲率を示すための値であるＣｕｒｖｅｄｎｅｓｓ値を算出する。
【０１３３】
なお、前述したＳｈａｐｅＩｎｄｅｘ値は、三次元モデルが有する各ボクセルにおける凹凸の状態を示すための値であり、０以上１以下の範囲内の数値として示される。具体的には、三次元モデル内に存在する一のボクセル（または一のボクセル群）において、ＳｈａｐｅＩｎｄｅｘ値が０に近い場合には凹型形状の存在が示唆され、また、ＳｈａｐｅＩｎｄｅｘ値が１に近い場合には凸型形状の存在が示唆される。また、前述したＣｕｒｖｅｄｎｅｓｓ値は、三次元モデルが有する各ボクセルにおける曲率を示すための値である。具体的には、三次元モデル内に存在する一のボクセル（または一のボクセル群）において、Ｃｕｒｖｅｄｎｅｓｓ値が小さければ小さい程鋭く曲がった曲面の存在が示唆され、また、Ｃｕｒｖｅｄｎｅｓｓ値が大きければ大きい程鈍く曲がった曲面の存在が示唆される。
【０１３４】
ＣＰＵ２２は、図２３のステップＳ２０３において設定した病変検出基準と、図２３のステップＳ２０４において算出したＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値とに基づき、三次元モデルの処理対象領域に存在する各ボクセルのうち、局所的な隆起形状を有する病変が存在するボクセルを検出する（図２３のステップＳ２０５）。
【０１３５】
その後、ＣＰＵ２２は、図２３のステップＳ２０６に示す処理として、第１の実施形態の説明において既述である、図３のステップＳ６と同様の処理を行った後、一連の処理を終了する。すなわち、ＣＰＵ２２は、図２３のステップＳ２０５の処理における検出結果に基づき、局所的な隆起形状を有する病変の存在が示唆された各ボクセルの位置を示すための制御を表示処理部２８に対して行った後、一連の処理を終了する。
【０１３６】
これにより、モニタ４には、ポリープ等の局所的な隆起形状が存在する位置をユーザが容易に認識可能であるような、被写体の三次元モデルが画像表示される。
【０１３７】
ところで、二次元画像から三次元モデルが推定される場合、該二次元画像の縁部に相応する該三次元モデルの領域は、丸みを帯びた状態として推定される場合がある。そして、ＣＰＵ２２は、図２４に示す病変検出基準設定処理を用いることにより、二次元画像の縁部に相応する三次元モデルの領域における病変検出基準として、該二次元画像の縁部以外の部分に相応する三次元モデルの領域における病変検出基準に比べて厳しい検出基準を用いつつ、すなわち、前述したような、丸みを帯びた状態として推定される領域を検出対象から除きつつ、局所的な隆起形状を有する病変が存在するボクセルの検出を行うことができる。その結果、本実施形態の医療用画像処理装置３は、二次元画像から推定された三次元モデルにおいて、特に、該二次元画像の縁部に相応する該三次元モデルの領域に存在する、局所的な隆起形状を有する病変の検出精度を従来に比べて向上させることができる。
【０１３８】
なお、図２３に示す病変検出基準設定処理は、図２４に示す各処理に限らず、前述した本実施形態の効果と略同様の効果を得ることが可能な処理として、例えば、図２６に示す各処理であっても良い。
【０１３９】
図２６に示す病変検出基準設定処理について説明を行う。
【０１４０】
画像分割部としてのＣＰＵ２２は、病変検出基準設定処理として、まず、三次元モデル推定の際に用いた二次元画像をＲ個の領域Ｈｍ（１≦ｍ≦Ｒ）に分割し（図２６のステップＳ２２１）、ｍ＝１に設定する（図２６のステップＳ２２２）とともに、領域Ｈｍの中心座標（Ｈｍｘ，Ｈｍｙ）を抽出する（図２６のステップＳ２２３）。
【０１４１】
次に、画像位置検出部としてのＣＰＵ２２は、抽出した領域Ｈｍの中心座標に基づき、該領域Ｈｍと二次元画像上の所定の位置との位置関係を検出するために、座標（Ｈｍｘ，Ｈｍｙ）が該二次元画像の縁部に存在するか否かを判定する。具体的には、ＣＰＵ２２は、まず、Ｈｍｘ＜ｔｈｒｅ７またはＨｍｘ＞ｔｈｒｅ８であるか否かを検出する。そして、ＣＰＵ２２は、Ｈｍｘ＜ｔｈｒｅ７またはＨｍｘ＞ｔｈｒｅ８のいずれかであることを検出した場合（図２６のステップＳ２２４）、後述する図２６のステップＳ２２６の処理を行う。また、ＣＰＵ２２は、Ｈｍｘ＜ｔｈｒｅ７及びＨｍｘ＞ｔｈｒｅ８のいずれでもないことを検出した場合（図２６のステップＳ２２４）、さらに、Ｈｍｙ＜ｔｈｒｅ７またはＨｍｙ＞ｔｈｒｅ８であるか否かを検出する。
【０１４２】
ＣＰＵ２２は、Ｈｍｙ＜ｔｈｒｅ７またはＨｍｙ＞ｔｈｒｅ８のいずれかであることを検出した場合（図２６のステップＳ２２５）、後述する図２６のステップＳ２２６の処理を行う。また、ＣＰＵ２２は、Ｈｍｙ＜ｔｈｒｅ７及びＨｍｙ＞ｔｈｒｅ８のいずれでもないことを検出した場合（図２６のステップＳ２２５）、後述する図２６のステップＳ２２７の処理を行う。
【０１４３】
病変検出基準設定部としてのＣＰＵ２２は、領域Ｈｍの中心座標（Ｈｍｘ，Ｈｍｙ）が、前述した、図２６のステップＳ２２４またはステップＳ２２５に示す条件のうち、いずれか一方の条件を満たす場合、ＳｈａｐｅＩｎｄｅｘ値の閾値をｔｈｒｅＳＩ１１、及び、Ｃｕｒｖｅｄｎｅｓｓ値の閾値をｔｈｒｅＣＶ１１に設定する（図２４のステップＳ２２６）。また、病変検出基準設定部としてのＣＰＵ２２は、領域Ｈｍの中心座標（Ｈｍｘ，Ｈｍｙ）が、前述した、図２６のステップＳ２２４及びステップＳ２２５に示す条件の、いずれの条件も満たさない場合、ＳｈａｐｅＩｎｄｅｘ値の閾値をｔｈｒｅＳＩ１２（＜ｔｈｒｅＳＩ１１）、及び、Ｃｕｒｖｅｄｎｅｓｓ値の閾値をｔｈｒｅＣＶ１２（＜ｔｈｒｅＣＶ１１）に設定する（図２４のステップＳ２２７）。
【０１４４】
換言すると、ＣＰＵ２２は、領域Ｈｍの中心座標（Ｈｍｘ，Ｈｍｙ）が、二次元画像の縁部である、例えば、図２７に示す斜線領域内の座標に存在している場合に、ＳｈａｐｅＩｎｄｅｘ値の閾値をｔｈｒｅＳＩ１１、及び、Ｃｕｒｖｅｄｎｅｓｓ値の閾値をｔｈｒｅＣＶ１１に設定する。また、ＣＰＵ２２は、領域Ｈｍの中心座標（Ｈｍｘ，Ｈｍｙ）が、二次元画像の縁部以外の部分である、例えば、図２７に示す斜線領域以外の座標に存在している場合に、ＳｈａｐｅＩｎｄｅｘ値の閾値をｔｈｒｅＳＩ１２、及び、Ｃｕｒｖｅｄｎｅｓｓ値の閾値をｔｈｒｅＣＶ１２に設定する。
【０１４５】
さらに、ＣＰＵ２２は、Ｒ個の領域Ｈｍ全てに対して前述した処理が行われたか否か、すなわち、変数ｍ＝Ｒであるか否かの判定を行う。そして、ＣＰＵ２２は、ｍ＝Ｒではないことを検出した場合（図２６のステップＳ２２８）、変数ｍに１を加える処理を行った（図２６のステップＳ２２９）後、前述した、図２６のステップＳ２２３からステップＳ２２８までに示す処理を再度行う。また、ＣＰＵ２２は、ｍ＝Ｒであることを検出した場合（図２６のステップＳ２２８）、領域Ｈｍ各々において設定した、ＳｈａｐｅＩｎｄｅｘ値の閾値及びＣｕｒｖｅｄｎｅｓｓ値の閾値を、該領域Ｈｍ各々に相応する三次元モデルの領域における病変検出基準として保持しつつ、病変検出基準設定処理を終了する。
【０１４６】
なお、図２３に示す病変検出基準設定処理は、図２４及び図２６に示す各処理に限らず、三次元モデルにおける局所的な隆起形状を有する病変の検出精度を従来に比べて向上させることが可能な処理として、例えば、三次元モデル推定の際に用いた二次元画像の濃淡値に基づく処理であっても良い。具体的には、ＣＰＵ２２は、三次元モデル推定の際に用いた二次元画像を複数の領域に分割し、該複数の領域各々における濃淡値の平均値を算出する。そして、ＣＰＵ２２は、複数の領域各々における濃淡値の平均値の算出結果に基づき、例えば、二次元画像における濃淡値が小さい領域に相応する三次元モデルの領域、すなわち、局所的な隆起形状を有する病変を検出する際に有用なデータが疎な状態として存在する三次元モデルの領域においては、ＳｈａｐｅＩｎｄｅｘ値の閾値及びＣｕｒｖｅｄｎｅｓｓ値の閾値を相対的に大きな値として設定する。また、ＣＰＵ２２は、複数の領域各々における濃淡値の平均値の算出結果に基づき、例えば、二次元画像における濃淡値が大きい領域に相応する三次元モデルの領域、すなわち、局所的な隆起形状を有する病変を検出する際に有用なデータが密な状態として存在する三次元モデルの領域においては、ＳｈａｐｅＩｎｄｅｘ値の閾値及びＣｕｒｖｅｄｎｅｓｓ値の閾値を相対的に小さな値として設定する。
【０１４７】
本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
【図面の簡単な説明】
【０１４８】
【図１】本発明の実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図。
【図２】図１の内視鏡システムにより撮像された被写体の像の二次元画像の一例を示す図。
【図３】図１の医療用画像処理装置が第１の実施形態において行う処理の手順を示すフローチャート。
【図４】図３における病変検出基準設定処理として、第１の実施形態において行われる処理の一例を示すフローチャート。
【図５】図２に示す二次元画像が複数の領域に分割された場合の処理結果の一例を示す図。
【図６】図１の医療用画像処理装置により推定された三次元モデルに対し、図４の各処理により設定された病変検出基準が適用されている状態の一例を示す図。
【図７】図１の医療用画像処理装置により推定された三次元モデルに対し、図４の各処理により設定された病変検出基準が適用されている状態の、図６とは異なる例を示す図。
【図８】図３における病変検出基準設定処理として、第２の実施形態において行われる処理の一例を示すフローチャート。
【図９】図８における二次元画像分割処理の一例を示すフローチャート。
【図１０】図９の処理において用いられる二次元画像の一例を示す図。
【図１１】図９の処理により検出されたエッジの一例を示す図。
【図１２】図９の処理により検出されたエッジの、図１１とは異なる例を示す図。
【図１３】図１１の各エッジを、図１２のエッジに基づいて伸ばした状態を示す図。
【図１４】図９の処理により図１０の二次元画像が領域分割された場合の処理結果を示す図。
【図１５】図８における二次元画像分割処理の、図９とは異なる例を示すフローチャート。
【図１６】図１５の処理により検出されたエッジの一例を示す図。
【図１７】図１５の処理により図１０の二次元画像の一部が領域分割された状態の一例を示す図。
【図１８】図１５の処理により図１０の二次元画像の一部が領域分割された状態の、図１７とは異なる例を示す図。
【図１９】図１５の処理により図１０の二次元画像が領域分割された場合の処理結果を示す図。
【図２０】図８における二次元画像分割処理の、図９及び図１５とは異なる例を示すフローチャート。
【図２１】図２０の処理により図１６に示す各エッジの線幅を太らせた場合の処理結果の一例を示す図。
【図２２】図２０の処理により図１０の二次元画像が領域分割された場合の処理結果を示す図。
【図２３】図１の医療用画像処理装置が第３の実施形態において行う処理の手順を示すフローチャート。
【図２４】図２３における病変検出基準設定処理として、第３の実施形態において行われる処理の一例を示すフローチャート。
【図２５】図２４の処理において算出される距離ＬＨと、重み係数ωとの相関関係を示す図。
【図２６】図２３における病変検出基準設定処理として、第３の実施形態において行われる処理の、図２４とは異なる例を示すフローチャート。
【図２７】図２６の処理により二次元画像の縁部として検出される領域を示す図。
【符号の説明】
【０１４９】
１・・・内視鏡システム、２・・・医療用観察装置、３・・・医療用画像処理装置、４，９・・・モニタ、６・・・内視鏡、７・・・光源装置、８・・・ＣＣＵ、１１・・・挿入部、１２・・・操作部、１３・・・ライトガイド、１４・・・先端部、１５・・・対物光学系、１６・・・撮像素子、１７・・・撮像部、２１・・・画像入力部、２２・・・ＣＰＵ、２３・・・処理プログラム記憶部、２４・・・画像記憶部、２５・・・解析情報記憶部、２６・・・記憶装置インターフェース、２７・・・ハードディスク、２８・・・表示処理部、２９・・・入力操作部、３０・・・データバス
|
| 【出願人】 |
【識別番号】３０４０５０９２３
【氏名又は名称】オリンパスメディカルシステムズ株式会社
|
| 【出願日】 |
平成１８年８月２４日（２００６．８．２４） |
| 【代理人】 |
【識別番号】１０００７６２３３
【弁理士】
【氏名又は名称】伊藤 進
|
| 【公開番号】 |
特開２００８−４８９０６（Ｐ２００８−４８９０６Ａ） |
| 【公開日】 |
平成２０年３月６日（２００８．３．６） |
| 【出願番号】 |
特願２００６−２２８１９２（Ｐ２００６−２２８１９２） |
|