トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 拡大観察装置とその操作制御方法
【発明者】 【氏名】石井 直

【要約】 【課題】撮像部が持つ分解能に対して、低分解能の表示装置を用いた場合においても、全体把握と観察を必要とする箇所の拡大観察が可能な拡大観察装置を提供すること。

【構成】拡大観察装置には撮像装置10の撮像部12が持つ分解能に対して、低分解能の表示装置20が設けられている。表示装置20は第1表示エリア18と第2表示エリア19とを有する。制御部14は、第1表示エリア18に全体画像を表示させ、第2表示エリア19に撮像部12から出力される画像データの一部をそのまま表示させ、第1表示エリア18に第2表示エリア19の所定領域を示す教示マーク19aを表示させる。
【特許請求の範囲】
【請求項1】
所定の観察領域内の観察対象を撮像し画像データを出力する撮像手段と、
前記画像データを記憶する記憶手段と、
1画面の表示分解能が前記撮像手段における撮像分解能よりも低いものであり、前記画像データに基づく観察領域の全体画像を表示する第1表示エリアを有する表示手段と、
前記記憶手段の画像データを前記表示手段の第1表示エリアに解像度を変換して表示させる制御手段と、
を備えた拡大観察装置において、
前記表示手段は、観察領域内の所定領域の抽出画像を拡大表示する第2表示エリアを更に有し、
前記制御手段は1画面内に第1表示エリアと第2表示エリアとを同時に表示させる第1表示モードを備え、
前記第1表示モードでは、第1表示エリアに画像データを所定倍率で低い解像度に変換して全体画像を表示させるとともに、第2表示エリアには抽出された無変換画像データを表示し、第1表示エリアに前記所定領域を教示する教示マークを表示させることを特徴とする拡大観察装置。
【請求項2】
請求項1に記載の拡大観察装置において、
前記第1表示エリア及び第2表示エリアの少なくとも一方の大きさ又は位置を可変設定する抽出画像領域指定手段を設けたことを特徴とする拡大観察装置。
【請求項3】
請求項2に記載の拡大観察装置において、
前記制御手段は前記抽出画像領域指定手段で指定される抽出領域の大きさに連動して前記第2表示エリアの大きさを変更し、この変更に応じ前記第1の表示エリアと前記第1の表示エリアに表示される前記全体画像を縮小して表示することを特徴とする拡大観察装置。
【請求項4】
請求項1乃至3に記載の拡大観察装置において、
前記制御手段は、
前記表示手段の1画面に前記第1表示エリア及び前記第2表示エリアのいずれか一方を単独表示する第2の表示モードと、
前記第1表示モードと第2表示モードとを切り替える表示モード切り替え手段と、
を備えたことを特徴とする拡大観察装置。
【請求項5】
請求項1乃至4に記載の拡大観察装置において、
基準となる観察対象の画像データを記憶する基準データ記憶手段と、
前記撮像手段により撮像された撮像画像の画像データを前記基準データ記憶手段に記憶される前記基準データと比較する画像比較手段と、
前記制御手段は、前記画像比較手段の比較結果により、両画像データが一致しない場合にその一致しない部分を中心とした所定領域を決定し、該所定領域の抽出画像を前記第2表示エリアに表示することを特徴とする拡大観察装置。
【発明の詳細な説明】【技術分野】
【0001】
本発明は、拡大観察装置とその操作方法に関するものである。
【背景技術】
【0002】
従来、IC基板上の配線接続確認などの観察作業時には、拡大観察装置(例えば、特許文献1参照)が用いられる。
観察作業において、作業者は、拡大観察装置により撮影され表示装置としてのモニタに表示された観察対象としてのワークの全体形状より観察領域を特定し、所定の領域部分のみを観察・検査する。又、ワークの一部をモニタに拡大表示して詳細に観察する。
【特許文献1】特開2004−177782号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
ところで、全体を把握しつつ細部の確認を行うためには全体を撮影した画像データを縮小することなく表示させうる高分解能モニタが必要となる。しかしながら、例えば200万画素(1600x1200画素)のカメラにおいて撮像された画像は、一般的なモニタとして採用されている画像解像度であるSXGA(1280x1024画素)、XGA(1024x768画素)と比べ解像度が高いため、元の解像度のままモニタで表示することができない。このため、全体像の認識と必要箇所の拡大表示を同時に表示することができなかった。ここで言う分解能とは、装置に予め定められている画素数を表す。又、解像度とは、画面などに表示された画素を1対1で画面に表示するか、拡大縮小して表示させるのかを定めた、単位あたりの画素数を表す。
【0004】
本発明は、上記課題を解決するためになされたものであって、その目的は、拡大観察装置の撮像部が持つ分解能に対して、低分解能の表示装置を用いた場合においても、全体把握と観察を必要とする箇所の拡大観察が可能な拡大観察装置を提供することにある。
【課題を解決するための手段】
【0005】
上記課題を解決するために、請求項1に記載の発明は、所定の観察領域内の観察対象を撮像し画像データを出力する撮像手段と、前記画像データを記憶する記憶手段と、1画面の表示分解能が前記撮像手段における撮像分解能よりも低いものであり、前記画像データに基づく観察領域の全体画像を表示する第1表示エリアを有する表示手段と、前記記憶手段の画像データを前記表示手段の第1表示エリアに(必要な解像度に)解像度を変換して表示させる制御手段と、を備えた拡大観察装置において、前記表示手段は、観察領域の全体画像を表示する第1表示エリアと、観察領域内の所定領域の抽出画像を拡大表示する第2表示エリアを更に有し、前記制御手段は第1表示エリアと第2表示エリアとを同時に表示させる第1表示モードを備え、前記第1表示モードでは、第1表示エリアに画像データを所定倍率で低い解像度に変換して全体画像を表示させるとともに、第2表示エリアには抽出された無変換画像データを表示し、第1表示エリアに前記所定領域を教示する教示マークを表示させるものである。この構成によれば、拡大観察装置に設けられた撮像装置の撮像部が持つ分解能に対して、低分解能の表示装置に、観察対象の全体画像と観察を必要とする箇所をそれぞれ表示する表示エリアが設けられ、また、全体画像に対しどの位置を拡大しているかを示す教示マークを設けているため、全体把握と観察を必要とする箇所の拡大観察を同時に行うがこと可能となる。
【0006】
請求項2によれば、請求項1に記載の拡大観察装置において、前記第1表示エリア及び第2表示エリアの少なくとも一方の大きさ又は位置を可変設定する抽出画像領域指定手段を設けたことにより、観察を必要とする箇所の表示領域の大きさを必要な大きさに変化させることができる。
【0007】
請求項3によれば、請求項2に記載の拡大観察装置において、前記制御手段は前記抽出画像領域指定手段で指定される抽出領域の大きさに連動して前記第2表示エリアの大きさを変更し、この変更に応じ前記第1の表示エリアと前記第1の表示エリアに表示される前記全体画像を縮小して表示する構成を持つ。この構成によれば、観察対象の全体把握と、所定領域の表示箇所を視覚的に認識することが可能となる。
【0008】
請求項4によれば、請求項1乃至3に記載の拡大観察装置において、前記制御手段は、前記表示手段の1画面に前記第1表示エリア及び前記第2表示エリアのいずれか一方を単独表示する第2の表示モードと、前記第1表示モードと第2表示モードとを切り替える表示モード切り替え手段と、を備えたものである。これによれば、必要に応じて第1表示エリア18又は第2表示エリア19の画像を全画面にて表示することで、詳細に観察することが出来る。
【0009】
請求項5によれば、請求項1乃至4に記載の拡大観察装置において、基準となる観察対象の画像データを記憶する基準データ記憶手段と、前記撮像手段により撮像された撮像画像の画像データを前記基準データ記憶手段に記憶される前記基準データと比較する画像比較手段と、前記制御手段は、前記画像比較手段の比較結果により、両画像データが一致しない場合にその一致しない部分を中心とした所定領域を決定し、該所定領域の抽出画像を前記第2表示エリアに表示する構成を持つ。これによれば、画像比較手段を用いることで、制御部の制御のみで不一致箇所の検出ができる。
【発明の効果】
【0010】
従って、上記記載の発明によれば、撮像部が持つ分解能に対して、低分解能の表示装置を用いた場合においても、全体把握と観察を必要とする箇所の拡大観察が可能な拡大観察装置を提供することができる。
【発明を実施するための最良の形態】
【0011】
以下、本発明を具体化した一実施の形態を図面に従って説明する。
図1は、一実施形態の拡大観察装置における電気的構成を示すブロック図である。拡大観察装置は、観察対象としての作業ワークWを撮像する撮像装置10と、撮像装置10に接続され作業ワークWの画像を表示する表示手段としての表示装置20とを備えている。撮像装置10には、照明部11、撮像手段としての撮像部12、記憶手段及び基準データ記憶手段としてのフレームメモリ13、表示モード切り替え手段としての制御部14、入力部15a、ビデオメモリ16、出力部17が設けられている。
【0012】
照明部11は、制御部14により制御され、作業ワークWに照明光を照射する。撮像部12は例えば200万画素の固体撮像素子(図示略)であり、制御部14により制御され、作業ワークWを撮影した画像データをフレームメモリ13に出力する。フレームメモリ13は複数(本実施形態では2つ)設けられている。それぞれを区別するためにフレームメモリ13a,13bとする。各フレームメモリ13a,13bは、それぞれ撮像部12から出力される1画面分の画像データを格納するのに充分な容量に設定されている。固体撮像素子から出力された画像データは第1フレームメモリ13aに格納される。
【0013】
制御部14は、第1フレームメモリ13aに格納された画像データを、表示情報に従って、拡大、縮小などの処理を行いビデオメモリ16に格納する。ビデオメモリ16は、表示装置20に表示可能な画素(表示画素数であり、表示できる細かさ(表示分解能)に対応する)に応じた容量に設定されている。ビデオメモリ16に格納された画像データは出力部17によって読み出されて表示装置20に出力される。従って、表示装置20には、第1フレームメモリ13aに格納された画像データが表示情報に従ってビデオメモリ16及び出力部17を介して入力され、画像が表示される。
【0014】
表示情報は、制御部14に設けられた図示しない記憶部に記憶されており、画像の表示領域の位置、大きさ、拡大縮小率、等を含む。表示装置20は、第1表示エリア18と第2表示エリア19とを有し、制御部14は、表示情報に従って、各表示エリア(第1表示エリア18と第2表示エリア19)に画像を表示する。本実施形態において、制御部14は、第1表示エリア18に作業ワークWの全体画像を、第2表示エリア19に所定領域の拡大画像を表示するように構成され、表示情報はそれらの画像表示のための情報である。つまり、制御部14は、第1フレームメモリ13aに格納された画像データを、表示装置20の表示能力(表示画素数、表示分解能)に応じて画像処理してビデオメモリ16に格納する。そのビデオメモリ16に格納された画像データが表示装置20に表示される。
【0015】
また、制御部14には、撮像装置10に設けられた入力部15a又は該撮像装置10の外部に設けられた入力装置15bが接続されている。作業者は、入力部15a又は入力装置15bを操作して、第2表示エリア19に表示する所定領域の場所、所定領域内の大きさ、等を指示する。制御部14は、入力部15a又は入力装置15bを介して入力する指示に従って表示情報を変更するとともに、指示に応じた所定領域の画像を第2表示エリア19に拡大表示する。
【0016】
また、制御部14は、第2表示エリア19に表示した画像の場所及び大きさ、つまり抽出領域としての所定領域を示す矩形状の教示マーク19aを表示する。教示マーク19aは、所定の線種又は線色により表示される。この教示マーク19aにより、第1表示エリア18の全体画像に対して第2表示エリア19に表示された拡大画像の位置、大きさ、つまり作業ワークWの全体に対する第2表示エリア19の表示部分の位置、大きさを把握することが出来る。
【0017】
さらに、制御部14は、パターンマッチングを行い、その結果を表示装置20に表示するように構成されている。詳述すると、制御部14は、入力部15a又は入力装置15bの操作により、第1フレームメモリ13aに格納された画像データを、パターンマッチングのための基準画像データとして第2フレームメモリ13bに記憶させる。そして、制御部14は、新たに第1フレームメモリ13aに記憶された画像データと、第2フレームメモリ13bに記憶された基準画像データとを比較し、一致しない画素(若しくは差が所定値以上の画素)からなる部分を中心として所定領域を決定し、その所定領域の画像を第2表示エリア19に表示する。この構成により、次回以降撮像部12が撮像した撮像画像は第1フレームメモリ13aに逐次更新され、第1フレームメモリ13a及び第2フレームメモリ13bの両者を比較することで差分を観察することが出来る。
【0018】
次に、本実施の形態の特徴的な作用効果を記載する。
(1)拡大観察装置に設けられた撮像装置10の撮像部12が持つ分解能に対して、低分解能の表示装置20を用いた場合において、撮像画像を縮小して表示し、拡大表示部は元の高解像度を生かして切り取る操作を行う制御部14を備える。また、制御部14が表示装置20に観察対象の全体画像と観察対象をそれぞれ表示する表示エリア18,19、並びに全体画像に対しどの位置を拡大しているかを示す教示マーク19aを描画するよう制御しているため、全体把握と観察を必要とする箇所の拡大観察を同時に行うがこと可能となる。
【0019】
(2)第1表示エリア18又は第2表示エリア19の所定領域を可変可能に設定する抽出画像領域指定手段を設けたことにより、観察を必要とする箇所の表示領域の大きさを変化させ、所定領域近辺の様子もさらに観察することができる。
【0020】
(3)第2表示エリア19の大きさを変更すると、この変更に応じ第1表示エリア18に表れる教示マーク19aも変更されるため、観察対象の全体把握と、所定領域19aの表示箇所を視覚的に認識することが可能となる。
【0021】
(4)制御部14は、画像比較手段の一つであるパターンマッチングの比較結果により、フレームメモリ13a,13bに記憶した両画像データが一致しない場合に、その一致しない部分を中心とした所定領域19aを決定し、所定領域の抽出画像を第2表示エリア19に表示する構成を持つ。これによれば、画像比較手段を用いることにより、制御手段が作業者の目の代わりに不一致箇所を判断するため、作業負担の軽減につながる。又、人の目による見逃しなどのミスも防ぐことが出来る。
【0022】
尚、本発明の実施の形態は、以下のように変更してもよい。
・上記実施の形態において、第1表示エリア18と第2表示エリア19の位置、数、大きさなどを適宜変更しても良い。
【0023】
図2(a)〜(c)及び図3(a)〜(c)は一実施形態の表示装置20における別の表示例を示す説明図である。
図2(a)は第2表示エリアのサイズや表示比率を変更した場合の表示例を示している。例えば、表示装置20に表示された第1表示エリア21に表示された観察対象に対し、その一部をマウス(外部の入力装置15bの一例)で所定領域22aとして選択した場合について説明する。該操作後、制御部14は入力された所定領域22aの全体を撮像した画像をフレームメモリ13より読み出し、所定領域22aに対応する分切り取り、マウスが選択した所定領域22aと同じ縦横比を持つ第2表示エリアが表示装置20に表示される。第2表示エリア22の縦横比がマウスにより変化された場合には、その変化に合わせ所定領域22aの枠に対し、縦横比及び表示倍率が変化する。
【0024】
図2(b)は複数の拡大画像を表示する例を示している。複数の拡大画像は、例えば予め設定された箇所の画像や、パターンマッチングにより検出された複数の不一致箇所の画像である。表示装置20には、1つの第1表示エリア21と、複数(図において3つ)の第2表示エリア23,24,25(それぞれの第2表示エリアを区別するために、第2表示エリア23、第3表示エリア24、第4表示エリア25とする)が表示されている。従って複数箇所を詳細に観察することが出来る。
【0025】
さらに、第1表示エリア21には、各表示エリア23,24,25に対応する教示マーク23a,24a,25aが表示されている。各表示エリアは、第2表示エリア23、第3表示エリア24のように重なって表示されても、第2表示エリア23、第4表示エリア25のように並べて表示されてもよい。この時、第1表示エリア21に表示された教示マーク23a〜25aと第2〜第4表示エリア23〜25とは、例えば枠の色を教示マーク23aと第2表示エリア23と同じにすることで対応付けられており、第1表示エリア21に表示された全体画像に対して、各表示エリア23〜25に表示された拡大画像の場所を、視覚的に認識することができる。
【0026】
図2(c)は第2表示エリア27に表示する画像を切り替える例を示している。表示する箇所は図2(b)と同様である。複数の表示箇所に対応して複数の表示エリアを表示装置20に出力すると、大枚の画像に埋め尽くされた表示装置20では作業が難しくなる上、表示までに制御部14が処理する画像処理の量が増えるため、制御部14の処理速度に悪影響を及ぼす恐れが出てくる。そこで、図2(c)に示すように、複数の表示箇所に対応する教示マーク27a,27b,27cを第1表示エリア21に表示する。さらに、表示装置20に、入力部15a又は入力装置15bによる指示位置を示すポインタ28を表示する。そして、第2表示エリア27に表示する画像を、ポインタ28の指示により切り替えて表示する。この構成により、拡大表示すべき箇所が把握できるとともに、1つの第2表示エリア27に選択した箇所の拡大画像が表示されるため、複数の第2表示エリアを表示することによる煩わしさ、画像処理の負担がなくなり、認識のしやすさと処理速度の向上を図ることが出来る。
【0027】
・表示装置20に別途切替選択できる選択切替えマークを表示し、表示エリア21〜23,26,27(図2(b)の場合第3表示エリア24、第4表示エリア25を含む)を、又は表示内容(図2(c)の場合第2表示エリア27に表示される27a〜27cを指す)の切替えを設定可能である。選択切替えマークは、例えば表示された順序とその逆順とに切替えを行う、互いに異なる方向を向く矢印や操作ボタンなどを用いる。制御部14は指示された表示エリアや表示内容をビデオメモリ16に出力し、出力部17はこれを表示装置20に出力し、作業者の必要とする表示エリア21〜27の何れか(表示枚数は適宜設定できる)を表示装置20に表示することができる。
【0028】
・上記図2(a)〜(c)の表示エリア21〜27の表示切替は、手動で行うことを想定しているが、制御部14は、これを所定時間毎に自動的に(例えば5秒毎など作業者が設定できる)で順次最前面に表示される表示エリア21〜27を切り替えて表示装置20に表示してもよい。
【0029】
図3(a)は、表示モードを切り替える例を示している。図1に示すように、表示装置20に複数の表示エリア18,19の画像を表示するモードと、図3(a)に示すように、1つのエリアにおける画像を全画面で表示するモードとを切り替える。切り替えには、図1に示す入力部15a又は入力装置15bが用いられる。図3(a)では第2表示エリア19の画像を全画面で表示したが、第1表示エリア18の画像と第2表示エリア19の画像とを切り替えて全画面表示するようにしてもよい。この構成により、必要に応じて第1表示エリア18又は第2表示エリア19の画像を全画面にて表示することで、詳細に観察することが出来る。
【0030】
図3(b)は、第1表示エリア31と第2表示エリア32とを交替する例を示している。つまり、表示装置20の下部に第2表示エリア32を表示し、その第2表示エリア32よりも小さい第1表示エリア31を表示する。拡大画面を表示する第2表示エリア32を大きくすることで、観察する部分をさらに拡大して表示するため、その部分を詳細に観察することが出来るようになる。
【0031】
図3(c)は、拡大画像を表示する第2表示エリア34の大きさをさらに大きくし、その第2表示エリア34に第1表示エリア33を重ねて表示する例を示している。尚、第1表示エリア33を重ねる場所は、視察が不要な箇所が望ましい。
【0032】
上記のような画像の表示装置20の表示を制御する制御部14を用いることにより、拡大観察装置の撮像部12が持つ分解能に対して、低分解能の表示装置20を用いた場合においても、全体把握と観察を必要とする箇所の拡大観察が可能な拡大観察装置を提供することができる。
【0033】
・第2表示エリア19に対する表示として、指示された所定領域の画素数に応じて第2表示エリア19の大きさを変更する、指定された所定領域に含まれる全ての画素を第2表示エリア19に表示するように該所定領域の画像データを拡大又は縮小する、等の方法が適用可能である。そして、第2表示エリア19の大きさを変更する場合、第2表示エリア19の大きさに応じて第1表示エリア18の大きさを変更してもよく、第1表示エリア18と第2表示エリア19とが重ならないようにする。例えば、図4(a)(b)に示すように、第1表示エリア41に重なるように第2表示エリア42を(矢印に示すように第2表示エリア43の大きさに)拡大した場合、その位置を第2表示エリア46に移動させる。又は、図5(a)〜(c)に示すように、第1表示エリア51に重なるように第2表示エリア52〜54と(矢印に示す方向に)拡大していき、拡大された第2表示エリア54に重ならないように第1表示エリア51を第1表示エリア55のように縮小する。これら制御を単体もしくは組み合わせて実行することにより全体画像と拡大画像を確実に認識することが出来るようになる。
【0034】
・撮像部12又は照明部11のいずれかを拡大観察装置の中に設置していたが、それぞれ単体の装置として、又は組み合わせの装置として拡大観察装置の外部に設けてもよい。
・表示装置20を拡大観察装置の外部に設置していたが、これを拡大観察装置の中に組み込み1つの装置としてもよい。
【0035】
・入力部はマウスのほかに、トラックボール、選択ボタンを、又表示装置20も拡大観察装置に含まれる場合はタッチパネルなどの表示装置20も採用してもよい。
・パターンマッチングにおいて、作業者が予め基準画像データを作成して第2フレームメモリ13bに格納するようにしても良い。又、作業者が任意のタイミングで選択した画像データを新たな基準画像データとして第2フレームメモリ13bとして格納するようにしてもよい。
【0036】
・フレームメモリの設置について、基準又は比較用のフレームメモリ以外にも一時記憶用に複数フレームメモリを設けてもよい。
・ビデオメモリの設置について、表示装置20に表示する画像を複数フレームの乗算処理により重ねて表示するために、基準フレーム分のビデオメモリだけではなく複数のフレームを一時記憶する複数のビデオメモリを設け、複数のビデオメモリの画像データを合成して表示装置20に表示する構成としてもよい。
【0037】
・マッチングの不一致箇所を何箇所も新たに第2・3表示エリアなどとして表示する個数は、作業者により任意に決定されてもよい。
・作業者は任意の倍率を第2・3表示エリア毎に変えることができてもよい。又、倍率を変えた場合の第1表示エリアにおける所定領域は、自動的に制御部14により変更される。
【0038】
・教示マークを矩形枠状としたが、丸、三角、などの任意な形の枠状としてもよい。また、教示マークは領域を示す枠状に限らず、領域の中心に表示された丸などの図形(内部が塗りつぶし又は所定のパターンが表示された図形を含む)、任意の文字、としても良い。
【0039】
・パターンマッチング後において、第2表示エリア19に表示する画像に対して、一致しない部分の色を変更して表示するようにしてもよく、これにより一致しない部分を容易に認識することが出来るようになる。
【図面の簡単な説明】
【0040】
【図1】一実施形態の拡大観察装置における電気的構成を示すブロック図。
【図2】(a)〜(c)は別の表示例を示す説明図。
【図3】(a)〜(c)は別の表示例を示す説明図。
【図4】(a)(b)は別の表示例を示す説明図。
【図5】(a)〜(c)は別の表示例を示す説明図。
【符号の説明】
【0041】
12…撮像部、13…フレームメモリ、14…制御部、15a…入力部、15b…入力装置、16…ビデオメモリ、18…第1表示エリア、19…第2表示エリア、W…作業ワーク。
【出願人】 【識別番号】000106221
【氏名又は名称】サンクス株式会社
【出願日】 平成18年6月30日(2006.6.30)
【代理人】 【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣

【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠


【公開番号】 特開2008−11344(P2008−11344A)
【公開日】 平成20年1月17日(2008.1.17)
【出願番号】 特願2006−181450(P2006−181450)