トップ :: H 電気 :: H05 他に分類されない電気技術




【発明の名称】 画像認識装置における画素レート算出方法
【発明者】 【氏名】向島 仁
【住所又は居所】大阪府門真市松葉町２番７号 パナソニックファクトリーソリューションズ株式会社内
【要約】 【課題】簡便な方法で且つ複数種類の光学倍率に対して適用可能な画像認識装置における画素レートの算出方法を提供することを目的とする。

【解決手段】サイズの異なる複数種類の認識対象をズーム機構を有するカメラによって撮像して得られた取得画像を認識処理して、認識対象の寸法情報を含む所定情報を出力する画像認識装置において、取得画像における画素レートを算出する画素レート算出方法において、形状・寸法が既知に較正マークがズーム機構の特定の光学倍率に対応して複数作り込まれた較正用治具を指定された光学倍率でカメラによって撮像し、得られた画像にマスキング処理して複数の較正マークのうち指定された光学倍率に対応した較正マークＭ３の画像を所望較正マーク画像として選択的に取得し、この画像を認識処理して得られた画素数と既知寸法に基づいて画素レートを算出する。
【特許請求の範囲】
【請求項１】
光学倍率を変更するズーム機構を有するカメラと、前記カメラによって認識対象を撮像して得られた取得画像を認識処理する画像認識部とを備え、前記取得画像の認識処理結果に基づいて認識対象の寸法情報を含む所定情報を出力する画像認識装置において、前記取得画像における単位画素サイズと前記寸法情報との対応関係を示す画素レートを算出する画像認識装置における画素レート算出方法であって、
相互の間隔が既知の複数の特徴点を含んで構成された較正マークが前記光学倍率の複数の特定値に対応して略相似形状で複数作り込まれた較正用治具を前記認識対象と同一の撮像位置に装着する治具装着工程と、前記較正用治具を指定された光学倍率で前記カメラによって撮像し、前記複数の較正マークのうち前記光学倍率に対応した較正マークの画像を所望較正マーク画像として選択的に取得する画像選択取得工程と、前記所望較正マーク画像を前記画像処理部によって認識処理する認識処理工程と、前記認識処理工程の認識処理結果と前記特徴点相互の間隔とに基づいて前記所望較正マーク画像における前記画素レートを算出する画素レート算出工程とを含むことを特徴とする画像認識装置における画素レート算出方法。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、電子部品実装用装置などに使用される画像認識装置において、取得画像における単位画素サイズと寸法情報との対応を特定する画素レートを算出する画像認識装置における画素レート算出方法に関するものである。
【背景技術】
【０００２】
基板に電子部品を搭載する電子部品搭載装置などの電子部品実装用装置では、基板や電子部品の位置認識を行う画像認識装置を備えており、電子部品を基板の実装点へ搭載する実装動作などの作業過程では、位置認識結果に基づいて位置合わせが行われる。この位置認識において位置ずれ量などの寸法情報を求める際には、画像上における単位画素サイズと実際寸法との関係を示す画素レートを予め設定しておく必要がある。従来よりこの画素レート設定方法として、予め寸法が既知の基準マークやターゲット部品を当該装置に認識させることにより、画素レートを求める方法が知られている（例えば特許文献１参照）。
【特許文献１】特開平１１−１７３９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで電子部品搭載装置における電子部品など、認識対象のサイズは大小様々であり、同一装置で広いサイズ範囲を対象とする画像認識においては、ズーム機構を備えたカメラを用いて、対象物の画像を認識処理に適切なサイズで読み込むことが望ましい。このため、画像読み取りに際しては、カメラの光学倍率を対象物に応じて適切に設定する作業が行われる。
【０００４】
ところが、光学倍率の変更は前述の画素レートの変更を伴うことから、従来より光学倍率の変更の際にはその都度対象物に応じたサイズの基準マークやターゲット部品を用いて画素レートを新たに算出する作業を必要としていた。このため、生産現場においては複数の基準マークやターゲット部品を準備し対象物に応じて使い分ける煩雑な管理を必要としており、簡便な方法で複数種類の光学倍率に対して適用可能な画素レートの算出方法が求められていた。
【０００５】
そこで本発明は、簡便な方法で且つ複数種類の光学倍率に対して適用可能な画像認識装置における画素レートの算出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の画像認識装置における画素レート算出方法は、光学倍率を変更するズーム機構を有するカメラと、前記カメラによって認識対象を撮像して得られた取得画像を認識処理する画像認識部とを備え、前記取得画像の認識処理結果に基づいて認識対象の寸法情報を含む所定情報を出力する画像認識装置において、前記取得画像における単位画素サイズと前記寸法情報との対応関係を示す画素レートを算出する画像認識装置における画素レート算出方法であって、相互の間隔が既知の複数の特徴点を含んで構成された較正マークが前記光学倍率の複数の特定値に対応して略相似形状で複数作り込まれた較正用治具を前記認識対象と同一の撮像位置に装着する治具装着工程と、前記較正用治具を指定された光学倍率で前記カメラによって撮像し、前記複数の較正マークのうち前記光学倍率に対応した較正マークの画像を所望較正マーク画像として選択的に取得する画像選択取得工程と、前記所望較正マーク画像を前記画像処理部によって認識処理する認識処理工程と、前記認識処理工程の認識処理結果と前記特徴点相互の間隔とに基づいて前記所望較正マーク画像における前記画素レートを算出する画素レート算出工程とを含む
。
【発明の効果】
【０００７】
本発明によれば、相互の間隔が既知の複数の特徴点を含んで構成された較正マークが光学倍率の複数の特定値に対応して複数作り込まれた較正用治具を用い、較正用治具をカメラによって指定された光学倍率で撮像し、複数の較正マークのうち光学倍率に対応した較正マークの画像を所望較正マーク画像として選択的に取得し、この所望較正マーク画像における画素と特徴点相互の間隔との対応を特定する画素レートを算出することにより、簡便な方法で複数種類の光学倍率に対して画素レートを算出することができる。
【発明を実施するための最良の形態】
【０００８】
次に本発明の実施の形態を図面を参照して説明する。図１は本発明の一実施の形態の電子部品実装装置の全体構成を示すブロック図、図２は本発明の一実施の形態の電子部品実装装置の制御系の構成を示すブロック図、図３は本発明の一実施の形態の画素レート算出方法において使用される較正マークの平面図、図４は本発明の一実施の形態の電子部品実装装置の記憶部に記憶されるデータ内容の説明図、図５，図６は本発明の一実施の形態の画像認識装置における画素レート算出方法の説明図である。
【０００９】
まず図１を参照して、画像認識装置が組み込まれた電子部品実装装置の構成を説明する。図１において、部品供給部１にはトレイ２が載置されており、トレイ２にはチップ３が格子配列で保持されている。トレイ２はトレイＹ軸駆動機構４によってＹ方向に移動可能となっており、後述するヘッドＸＺΘ駆動機構６とともにトレイＹ軸駆動機構４を駆動することにより、トレイ２上の任意のチップ３を搭載ヘッド７による取り出し位置に移動させることができる。
【００１０】
部品供給部１の上方には、搭載ヘッド７を備えた搭載機構５が配設されている。搭載ヘッド７は、ヘッドＸＺΘ駆動機構６によってＸ方向、Ｚ方向およびθ方向（チップ３を保持するノズル軸廻りの回転方向）に可動となっており、部品供給部１のトレイ２からチップ３をピックアップして基板保持部８の上方へ移動し、基板保持部８に保持された基板９上にチップ３を搭載する。基板保持部８は、基板Ｙ軸駆動機構１０によってＹ方向に移動可能となっており、これにより搭載ヘッド７による搭載時のＹ方向の位置合わせが行われる。
【００１１】
ヘッドＸＺΘ駆動機構６による搭載ヘッド７の移動経路には、チップ認識カメラ１３が撮像方向を上向きにして配設されている。チップ認識カメラ１３は搭載ヘッド７に保持されたチップ３を下方から撮像する。チップ認識カメラ１３による撮像は、チップカメラコントローラ１４によって制御される。
【００１２】
基板保持部８の上方には基板認識カメラ１１が撮像方向を下向きにして配設されており、基板認識カメラ１１は基板保持部８に載置された基板９を撮像する。基板認識カメラ１１による撮像は、基板カメラコントローラ１２によって制御される。基板認識カメラ１１、チップ認識カメラ１３は光学倍率を変更するズーム機構を備えており、ズーム調整リング１１ａ、１３ａを手動で操作することにより、所望の光学倍率で基板９，チップ３を撮像することが可能となっている。なおズーム機構は自動であってもよい。
【００１３】
搭載ヘッド７によるチップ搭載動作においては、基板認識カメラ１１による基板９の認識結果と、チップ認識カメラ１３によるチップ３の認識結果に基づいて、搭載ヘッド７の基板９に対する位置決めが行われる。ここで実装対象となるチップ３はサイズが異なる複数の種類を含んでおり、チップ認識カメラ１３によるチップ３の撮像および基板認識カメラ１１による基板９の実装位置の撮像においては、チップ３のサイズに応じた光学倍率で
画像が取り込まれる。
【００１４】
次に図２を参照して制御系の構成を説明する。図２において、基板カメラコントローラ１２、チップカメラコントローラ１４に取り込まれた画像データは、制御部２０の画像認識部２１に送られ、ここで画像データを認識処理することにより、基板９中の実装位置や搭載ヘッド７に保持された状態のチップ３の位置が認識される。認識結果は演算部２２に送られここで所定の演算処理を行うことにより、実装位置やチップ３の位置ずれ量が検出される。そして検出結果に基づいて駆動機構制御部２３がヘッドＸＺΘ駆動機構６、基板Ｙ軸駆動機構１０を制御することにより、搭載ヘッド７による搭載動作における位置合わせが行われる。
【００１５】
表示部１５は表示パネルであり、基板認識カメラ１１、チップ認識カメラ１３によって撮像された画像を表示するほか、入力部１６によるデータや操作コマンド入力時の案内画面を表示する。制御部２０による各種の処理実行時には、記憶部２４に記憶された各種のプログラムやデータが用いられる。
【００１６】
上記構成において、基板認識カメラ１１、基板カメラコントローラ１２、チップ認識カメラ１３、チップカメラコントローラ１４、画像認識部２１、演算部２２は、電子部品実装装置において基板９やチップ３の位置認識を行うための画像認識装置を構成しており、この画像認識装置は、光学倍率を変更するズーム機構を有するカメラと、カメラによって認識対象を撮像して得られた取得画像を認識処理する画像認識部とを備え、取得画像の認識処理結果に基づいて認識対象の寸法情報を含む所定情報を出力する構成となっている。基板認識系とチップ認識系のいずれかのみを備えた構成であってもよい。
【００１７】
次にこの画像認識装置において、画素レートを算出する画像認識装置における画素レート算出方法について説明する。画素レートは、取得画像における単位画素サイズと基板９やチップ３の位置ずれ量などの寸法情報との対応関係を示すものである。前述のように基板認識カメラ１１、チップ認識カメラ１３は光学倍率を任意に変更可能であることから、基板認識カメラ１１、チップ認識カメラ１３による撮像結果から対象物のサイズや位置ずれ量などの寸法情報を求める際には、取得画像における単位画素サイズと実装寸法との換算係数である画素レートを求めておく必要がある。本実施の形態では、以下に説明する較正用治具１７を用いて各光学倍率に対応する画素レートを算出する。
【００１８】
図３を参照して較正用治具１７について説明する。較正用治具１７は透明なガラス板に、正方枠形の相似形状の複数のマークＭ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５を蒸着した構成となっており、各マークの相似比は基板９におけるチップ搭載点のサイズや、チップ３のサイズに基づいて設定される特定の光学倍率（図４（ｂ）参照）に対応している。なおマーク部分を蒸着として背景を透明としてもよいし、マーク部分を透明にして背景を蒸着してもよい。もちろん蒸着以外の方法でマークを形成してもよい。
【００１９】
各マークの対角点（例えばマークＭ１における対角点Ａ１，Ｂ１，Ｃ１，Ｄ１）は該マークの特徴点となっており、対角点Ａ１〜Ｂ１間、Ｂ１〜Ｃ１間の寸法（特徴点間距離）は既知となっている。すなわち較正用治具１７は、相互の間隔が既知の複数の特徴点を含んで構成された較正マークが、光学倍率の複数の特定値に対応して略相似形状で複数作り込まれた形態となっている。
【００２０】
次に図４を参照して記憶部２４に記憶されるプログラムデータについて説明する。プログラム記憶部２５には実装動作プログラム２５ａ、基板・チップ認識プログラム２５ｂ、画素レート算出プログラム２５ｃが記憶されている。実装動作プログラム２５ａは、搭載ヘッド７によって部品供給部１からチップ３をピックアップし、基板保持部８上の基板９
に搭載する実装動作のためのプログラムである。
【００２１】
基板・チップ認識プログラム２５ｂは、画像認識部２１によって、基板９やチップ３を認識する画像認識処理のためのプログラムである。画素レート算出プログラム２５ｃは、較正用治具１７を撮像した取得画像を画像認識部２１によって認識処理し、演算部２２によってこの認識結果を演算処理することにより画素レートを算出するためのプログラムである。
【００２２】
データ記憶部２６には実装データ２６ａ、較正マークデータ２６ｂが記憶されている。実装データ２６ａはチップ３の種類・サイズなどの部品データや基板９における搭載位置のデータおよび搭載順序を示すシーケンスデータなどのデータである。較正マークデータ２６ｂは、較正用治具１７に形成された複数のマークの個々について、光学倍率および特徴点間距離を記憶する。すなわち図４（ｂ）に示すように、基板認識カメラ１１、チップ認識カメラ１３の光学倍率の特定値（ここに示す例では、０．３，０．５，１．０，２．５および６．０の５種類）に対応したマークＭ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５について、特徴点間距離Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５が記憶されている。
【００２３】
次に画素レートの算出例を図５、図６を参照して説明する。図１に示す電子部品実装装置において、対象となるチップ３のサイズが異なる場合には、ズーム倍率調整リング１１ａ、１３ａによって基板認識カメラ１１、チップ認識カメラ１３の光学倍率を、基板９のチップ搭載点のサイズやチップ３のサイズに応じて変更する必要がある。そして光学倍率を変更すると、画素レートをその都度新たに設定する必要があり、それぞれのカメラの認識対象のダミーに較正用治具１７を装着したダミー基板・ダミーチップをカメラに認識させることによって画素レート算出が行われる。ここでは、基板認識カメラ１１の画素レート算出例について説明する。
【００２４】
まず較正用治具１７が装着されたダミー基板を、基板保持部８上の基板認識カメラ１１による撮像位置に装着する（治具装着工程）。次いで較正用治具１７を指定された倍率（ここでは光学倍率１倍が指定された例を示す）によって基板認識カメラ１１によって撮像する。これにより、図５に示すように、撮像視野３０内には複数のマークの画像が位置する。
【００２５】
このとき、指定された倍率１よりも小さい倍率に対応したマークＭ１，Ｍ２のうち、マークＭ１の光学画像は撮像視野サイズよりも大きくなるため撮像視野３０内に表われず、マークＭ２はその１部のみが撮像視野３０内に表われる。そして指定倍率よりも大きい倍率に対応したマークＭ４，Ｍ５は、マークＭ３の内側に表れる。
【００２６】
この後撮像視野３０内の画像を取り込んだ後、指定された光学倍率に対応する所望の較正マークＭ３のみの画像を選択的に取得するため、マスキング処理を行う。すなわち図５に示すように、マークＭ３のみが画像取込範囲３２に位置するように、すなわちマークＭ４、Ｍ５が排除されるようにマスク範囲３１を設定し、マークＭ３のみの画像を取り込む。この工程は、較正用治具１７を指定された光学倍率で基板認識カメラ１１によって撮像し、複数の較正マークのうち指定された光学倍率に対応した較正マークの画像を所望較正マーク画像として選択的に取得する画像選択取得工程となっている。
【００２７】
次いで取得された所望較正マーク画像を画像認識部２１によって認識処理する（認識処理工程）。これにより、図６に示すマークＭ３の対角点Ａ３，Ｂ３の位置が認識され、この認識結果から特徴点間画素数Ｎ３が求められる。そしてこの特徴点間画素数Ｎ３と、較正マークデータ２６ｂの特徴点間距離Ｌ３に基づき、演算部２２によって画素レートＲ３（光学倍率１に対応した画素レート）が、Ｒ３＝Ｌ３／Ｎ３の算出式により算出される（
画素レート算出工程）。すなわち、ここでは認識処理工程の認識処理結果と特徴点相互の間隔とに基づいて、所望較正マーク画像における画素レートを算出する。
【００２８】
そしてこの画素レート算出は、チップ認識カメラ１３に対しても同様に実行される。すなわち較正用治具１７が装着されたダミー用チップを搭載ヘッド７に保持させ、チップ認識カメラ１３によって較正用治具１７を撮像して、同様の方法で画素レートを求める。
【００２９】
なお上述の画像選択取得工程において、撮像視野３０内の画像を撮像した後の取得画像をマスキング処理する替りに、ＣＭＯＳ型などの画像読み取り範囲が任意に設定可能なカメラを用いて、予め画像取込範囲３２のみの画像を取得するようにしてもよい。
【００３０】
そしてこの後に開始されるチップ３の実装作業においては、画像認識部２１、演算部２２によって行われる基板・チップ認識処理に際し、前述の画素レートが適用される。そして次作業の対象となるチップとしてサイズが異なるものが指定された場合には、そのサイズに応じた光学倍率に対応する画素レートを新たに求める処理を行う。
【００３１】
このように、同一の電子部品実装装置によってサイズの異なる部品を対象とする場合において、本実施の形態に示す画素レートの算出方法を用いることにより、同一の較正用治具を全ての部品に対して適用することができ、複数のターゲットマークを使い分ける必要があった従来方法と比較して煩雑な管理が不要となる。
【００３２】
また本発明の画素レート算出方法においては、ダミー基板やダミーチップをカメラに対して相対移動させる必要がないことから、本実施の形態に示すように、基板９が基板認識カメラ１１に対してＹ方向にのみ移動可能な構成であり、またチップ３がチップ認識カメラ１３に対してＸ方向のみに移動可能な構成であっても、上述構成の較正用治具を撮像して認識処理することによって簡便に画素レートを算出することができる。
【産業上の利用可能性】
【００３３】
本発明の画像認識装置における画素レート算出方法は、簡便な方法で複数種類の光学倍率に対して画素レートを算出することができるという効果を有し、電子部品実装用装置などに使用される画像認識装置において、取得画像における単位画素サイズと寸法情報との対応を特定する画素レートを算出する用途に有用である。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施の形態の電子部品実装装置の全体構成を示すブロック図
【図２】本発明の一実施の形態の電子部品実装装置の制御系の構成を示すブロック図
【図３】本発明の一実施の形態の画素レート算出方法において使用される較正マークの平面図
【図４】本発明の一実施の形態の電子部品実装装置の記憶部に記憶されるデータ内容の説明図
【図５】本発明の一実施の形態の画像認識装置における画素レート算出方法の説明図
【図６】本発明の一実施の形態の画像認識装置における画素レート算出方法の説明図
【符号の説明】
【００３５】
１ 部品供給部
７ 搭載ヘッド
８ 基板保持部
９ 基板
１１ 基板認識カメラ
１３ チップ認識カメラ
１７ 較正用治具
２１ 画像認識部
２２ 演算部
【出願人】 【識別番号】０００００５８２１
【氏名又は名称】松下電器産業株式会社
【住所又は居所】大阪府門真市大字門真１００６番地
【出願日】 平成１５年７月１０日（２００３．７．１０）
【代理人】 【識別番号】１０００９７４４５
【弁理士】
【氏名又は名称】岩橋 文雄

【識別番号】１００１０３３５５
【弁理士】
【氏名又は名称】坂口 智康

【識別番号】１００１０９６６７
【弁理士】
【氏名又は名称】内藤 浩樹
【公開番号】 特開２００５−３３１０２（Ｐ２００５−３３１０２Ａ）
【公開日】 平成１７年２月３日（２００５．２．３）
【出願番号】 特願２００３−２７２８５４（Ｐ２００３−２７２８５４）