| 【発明の名称】 |
ナスの自動収穫方法及び装置 |
| 【発明者】 |
【氏名】林 茂彦
【氏名】雁野 勝宣
【氏名】石川 和成
【氏名】籾山 敏夫
|
| 【要約】 |
【課題】収穫適と不適の果実が同時に着果している栽培場面において、ナス等の長物果実の周辺をカメラで撮影し、その画像をコンピュータで処理して果実を検出することによりマニピュレータを制御し、エンドエフェクタ部を作動させて収穫適期の果実のみを選択的に自動収穫する。
【解決手段】エンドエフェクタ部４に取り付けたカメラ１１によりナス等の長物果実が撮影され、その画像を画像処理装置に取り込み、制御部２のコンピュータ２１により、撮影画像の色情報を基に果実検出の画像処理を施し、果実を検出すると共に、画面内での果実の位置を計算した結果からマニピュレータ３３の移動位置を決定し、エンドエフェクタ部４を果実に接近させ、制御部２のコンピュータ２１からエンドエフェクタ部４を作動させ、果実の把持及び大きさ判定を行った後、収穫適期の果実の果梗を切断することにより選択的な自動収穫を行う。 |
【特許請求の範囲】
【請求項１】 エンドエフェクタ部に取り付けたカメラにより撮影した画像の色情報をもとに、コンピュータにより長物果実を検出すると共に、撮影画面内での果実の位置を計算した結果から、上下，左右及び前後方向に移動可能なマニピュレータの移動量を決定し、この結果に基づいてコンピュータによりマニピュレータを制御してエンドエフェクタ部を果実に接近し、エンドエフェクタ部を作動させて果実の把持及ひ大きさの判定を行い、選択的な収穫を行うことを特徴とする果菜類の自動収穫方法。
【請求項２】 エンドエフェクタ部に取り付けたカメラ及び画像処理装置からなる視覚部と、撮影画像の色情報をもとに長物果実を検出し、撮影画面内での果実の位置を計算した結果をもとにマニピュレータの移動量を決定する共に、マニピュレータを制御しエンドエフェクタ部を駆動するコンピュータからなる制御部と、コンピュータの決定に基づいてマニピュレータを制御するコントローラ及びマニピュレータからなるマニピュレータ部と、コンピュータからの信号により作動し、果実の把持機構、大きさ判定機構及ひ果梗切断機構からなるエンドエフェクタ部と、を備えていることを特徴とする果菜類の自動収穫装置。
|
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、ナス、キュウリなど果実の大きさを基準にして、収穫適，不適を判断するような果菜類を、カメラで撮影し、その画像をコンピュータで処理することにより果実を検出してマニピュレータを制御し、エンドエフェクタ部を作動させて、果実を選択的に自動収穫する方法及び装置に関する。
【０００２】
【従来の技術】従来のナス、キュウリなどの果菜類の収穫はほとんどが手作業で、収穫適と不適の果実が同時に着果している栽培場面で、大きさを基準に収穫適期を判断して順次選択収穫が行われている。通常はハサミによる切断収穫が行われ、片手で果実を掴んで固定し、利き手でハサミを持ち切断した後、果実を収穫箱に収納している。また、切断後に果梗を挟持する機構を有する二段式のハサミを用いて、片手で収穫する方法がある。さらに、果菜類簡易摘取具と呼ばれるカッ夕−刃を親指に取り付け、片手で果菜類を把持すると同時に果菜類簡易摘取具を左右に動かすことにより切断している。
【０００３】キュウリの自動収穫装置（収穫ロボット）に関しては、特開平８−１９３３３号公報、特開平８−３７８８３号公報、特開平８−５６４５９号公報、特開平８−１１２０２１号公報等に開示されているが、ナスの果梗は強靭であるため、ハサミによる切断が必要である。また、ナス等の長物収穫物は果実の大きさ（長さ）によって収穫適期果実を判断することが要求されるが、光学的手法により撮影画像を処理することによって得られる測定結果には、光環境や背景などの影響から誤差が生じやすく、収穫適，不適の正確な判断は困難である。従って、これら先行技術のキュウリ等の自動収穫ロボットでは、ナス等の長物果実を選択的に収穫することには課題が残されている。
【０００４】
【発明が解決しようとする課題】このため、果菜類の収穫作業は依然として手作業により行われており、多くの時間と労力を必要とし、作業者の労働負担が大きく、改善を必要とする作業となっている。また、収穫期にはパート雇用者による収穫作業も行われており、経営規模の拡大を図るための問題点になっている。
【０００５】本発明は、上記のような問題点、課題を解決するためになされたもので、ナス等の長物果実を選択的に自動収穫が行えるようにした方法及び装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】上記の目的を達成するために本発明は、Ａ．エンドエフェクタ部に取り付けたカメラにより撮影した画像の色情報をもとに、コンピュータにより長物果実を検出すると共に、撮影画面内での果実の位置を計算した結果から、上下，左右及び前後方向に移動可能なマニピュレータの移動量を決定し、この結果に基づいてコンピュータによりマニピュレータを制御してエンドエフェクタ部を果実に接近し、エンドエフェクタ部を作動させて果実の把持及び大きさの判定を行い、選択的な収穫を行う果菜類の自動収穫方法を特徴としている。
【０００７】Ｂ．エンドエフェクタ部に取り付けたカメラ及び画像処理装置からなる視覚部と、撮影画像の色情報をもとに長物果実を検出し、撮影画面内での果実の位置を計算した結果をもとにマニピュレータの移動量を決定する共に、マニピュレータを制御しエンドエフェクタ部を駆動するコンピュータからなる制御部と、コンピュータの決定に基づいてマニピュレータを制御するコントローラ及びマニピュレータからなるマニピュレータ部と、コンピュータからの信号により作動し、果実の把持機構、大きさ判定機構及ひ果梗切断機構からなるエンドエフェクタ部と、を備えている果菜類の自動収穫装置を特徴としている。
【０００８】
【作用】上記手段、構成により、本発明の果菜類の自動収穫方法及び装置は、エンドエフェクタ部に取り付けたカメラによりナス等の長物果実が撮影され、その画像を画像処理装置に取り込み、撮影画像の色情報を基に、果実検出の画像処理手法により果実を検出すると共に、画面内での果実の位置を計算した結果からマニピュレータの移動位置を決定し、エンドエフェクタ部を果実に接近させ、エンドエフェクタ部を作動させ、果実の把持及び大きさ判定を行った後、収穫適期の果実のみ収穫することにより選択的な自動収穫が行われる。
【０００９】従って、一定の大きさに達した商品価値の高い果実のみが収穫され、未熟果は収穫されずに残り、数日後に果実が肥大するのを待って収穫できることから、高収益が期待できるとともに、市場のニーズに合わせた収穫基準を設定でき、収穫作業を計画的に行うことができる。
【００１０】
【発明の実施の形態】以下、本発明をナス等の収穫に適用した実施の形態を、図面及び表を参照して具体的に説明する。
【００１１】ナス等の自動収穫装置は、図１、図２に示すように、視覚部１、制御部２、マニピュレータ部３、エンドエフェクタ部４から構成されている。視覚部１はエンドエフェクタ部４に取り付けたＣＣＤカラーカメラ１１と画像処理装置（画像処理ボード）１２からなり、エンドエフェクタ部４の前方にあるナス等の長物果実を撮影し、画像を画像処理装置１２に取り込む。
【００１２】制御部２の第１パソコン２１は、視覚部１で撮影した画像に対して画像処理手法を施すことにより果実を検出するとともに、画面内での果実の位置情報を基にファジ一推論によりマニピュレータ３３の移動量を決定し、マニピュレータ部３の第２パソコン３１に転送する。また、第１パソコン２１は、デジタルＩ／Ｏボード４１を介して、エンドエフェクタ部４を作動させるものである。
【００１３】マニピュレータ部３は、第２コンピュータ３１と、コントローラ３２と、マニピュレータ３３からなり、制御部２の第１コンピュータ２１から送られたマニピュレータ３３の移動量信号を受け取り、マニピュレータ３３の各関節角を決定し、マニピュレータ３３の先端を上下、左右及び前後方向に移動させて、果実に接近させるものである。ただし、制御部２の第１コンピュータ２１から直接コントローラ３２ヘ移動量を送信する通信プログラムを製作することにより、第２コンピュータ３１を用いずに、制御部２からコントローラ３２を介してマニピュレータ３３の移動を制御することが可能となる。
【００１４】エンドエフェクタ部４は、マニピュレータ３３の先端に装着され、制御部２の第１バソコン２１からの作動命令をエンドエフェクタ部４のディジタルＩ／Ｏボード４１によって変換した２４Ｖのディジタル信号により作動し、ナスＮ等の果実の把持及び大きさ判定及び果梗の切断を行うものである。図３ないし図６に示すように、果実把持機構５として左右対をなす空気圧把持指５１及び左右対をなす吸引パット５２と、大きさ判定機構６として光電センサ６１、マイクロスイッチ６２、空気圧スライド６３、左右対をなす空気圧ロータリアクチュエータ６４及び左右対をなす引き込み爪６５と、果梗切断機構７として空気圧シリンダ７１及び切断ハサミ７２などを備え、光電センサ６１及びマイクロスイッチ６２を除いてはすべて空気圧駆動機器により構成されている。これは空気圧を調整することによりナス等の果実に損傷を与えないように把持するためである。その他、果実と接触する部分にはウレタン（部材）８を張り付けている。果実把持機構５、大きさ判定機構、切断機構６の動作により、果実長さを基準に収穫適期，不適を判断すると共に収穫適期果実のみを選択的に切断収穫する。ナス等の自動収穫装置の諸元は表１の通りである。
【００１５】
【表１】
【００１６】エンドエフェクタ部４は、図７に示すように、基本的にナスＮ等の長物果実の収穫適，不適を判断して選択的に収穫する装置であり、長物果実は果実長さを基準に摘み取られることから、光電センサ６１と、空気圧スライド６３と、空気圧ロータリアクチュエータ６４により動作する引き込み爪６５及びマイクロスイッチ６２による果実長さを基準とした大きさ判定機構６を有する。一般にナスＮの形状は、丸形、卵形、長卵形、長形などに分類され、本装置を用いた収穫テストでは、長卵形に属する品種「千両２号」を用いている。ただし、空気圧把持指５１の間隔と長さ、さらに、光電センサ６１と引き込み爪６５の距離及び、マイクロスイッチ６２の信号が入る位置における引き込み爪６５の開度を変更、調整することにより、形状の異なるナスＮや、キュウリ、ニガウリなどの長物果実の選択的収穫も可能である。
【００１７】次に、本発明によるナス等の自動収穫装置の動作（図８参照）について説明する。図８において、動作行程をＳ１〜Ｓ１５で示す。
【００１８】本装置は、移動機構に搭載されてナス栽培畝の畝間を移動するか、または、固定面に設置させ栽培作物を移動することにより利用する。収穫テストにおいては、本装置を運搬車に搭載し、鉢に栽培したナスＮを本装置の正面に設置することにより、エンドエフェクタ部４の前部をナスＮの方向に向ける。Ｓ１ではＣＣＤカラーカメラ１１によってナスＮの果実周辺を撮影して、その画像を画像処理ボード１２に取り込む。
【００１９】Ｓ２では、制御部２の第１パソコン２１はＣＣＤカラーカメラ１１により撮影された画像に対して、果実検出画像処理手段によりナスＮを検出する。先ず濃度値加算手段により赤緑青色の濃度値を加算し濃淡画像を得た後、２値化手段により低濃度値を２値化し果実部分を検出する（図９の２値画像）。しかし、この処理のみでは果実以外に周辺の茎葉を認識することがあるため、ナスＮ等の長物果実の形状特徴（垂直方向に長い）を基に、図１０に示すような３画素間隔の垂直線を基本とする２枚のテンプレートＡ及びＢとの論理積を計算する垂直方向分割手段により、垂直方向分割画像Ａ及びＢを求める。その後、画素数積算手段により、分割された対象物のうち最大の対象物を求め、最大対象物Ａ及びＢの画像を得る。
【００２０】さらに、最大対象物Ａ及びＢの画像の諭理積を計算することにより３画素間隔の複数の棒状対象物を得た後、水平方向膨張手段により棒状対象物を結合させ検出果実画像を求める。ここで、果実を検出できない場合、第１コンピュータ２１はマニピュレ一部３に移動出力を送り、マニピュレータ３３の先端（ＣＣＤカラーカメラ１１）を５０ｍｍ下方に移動させることにより、撮影角度を変えて再度、画像を入力する。
【００２１】Ｓ３では、Ｓ２で説明した果実検出画像処理手段により検出した果実画像が縦長でない場合には、ナスＮ等の長物果実を検出していない可能性が高いので、同様に第１コンピュータ２１はマニピュレー部３に移動出力を送り、マニピュレータ３３の先端（ＣＣＤカラーカメラ１１）を５０ｍｍ下方に移動させることにより、撮影角度を変えて再度、画像を入力する。
【００２２】Ｓ４では、制御部２の第１コンピュータ２１は、図１１のように、ナスＮとＣＣＤカラーカメラ１１の距離が遠く果実画像が撮影画面内に入る場合、最大幅計算手段により、最大幅及び最大幅を形成する点ＰL，ＰRを求め、この２点からなる矩形ＥＰRＦＰLの中心の位置情報（ｘ座標、ｙ座標）及び幅情報（最大幅）を計算する。ただし、図１２のように果実画像が画像内に入らない場合、水平幅計算手段により、水平幅及び水平幅を形成する点ＳL，ＳRを求め、この２点からなる矩形ＳLＩＳRＪの中心の位置情報（ｘ座標、ｙ座標）及び幅情報（水平幅）を計算する。
【００２３】Ｓ５では、制御部２の第１コンピュータ２１は、上記した果実検出の画像処理手段により計算した果実画像の画面内の位置情報（ｘ座標、ｙ座標）及び幅情報を基に、ファジ一推論によりマニピュレータ３３の前進移動量、上下移動量及び水平移動量を計算する（図１３）。
【００２４】Ｓ６では、制御部２の第１コンピュータ２１は、計算されたマニピュレータ３３の移動量を、ＬＡＮを介してマニピュレータ部３の第２コンピュータ３１に転送する。第２コンピュータ３１は、送られたマニピュレー夕３３の移動量をコントローラ３２に転送し、コントローラ３２は、移動量からマニピュレータ３３の各関節の回転量を決定し、マニピュレータ３３に転送することによりマニピュレータ３３の先端（エンドエフェクタ部４）を制御して、果実に接近する。
【００２５】Ｓ７では、エンドエフェクタ部４がナスＮに十分接近するまで、Ｓ１〜Ｓ５の動作を繰り返す。ここで、接近の判断は、視覚部１で検出した果実画像の大きさ（画素数）に基づいて行い、画面全体の７０％以上が果実画像となったときに、制御部２はマニピュレータ３３の接近を中止する。
【００２６】次に果実の把持及び、果実先端位置の検出は、ディジタルＩ／Ｏボード４１により変換されたディジタル信号により動作し、Ｓ８において、エンドエフェクタ部４の把持機構５の吸引パット５２と空気圧駆動の把持指５１によりナスＮを固定する。続いてＳ９では、エンドエフェクタ部４の大きさ判定機構６の光電センサ６１のＯＮ，ＯＦＦによる先端検出信号により先端を確認する。果実先端でない場合は、吸引パット５２と把持指５１による果実の固定を止め、先端検出信号がＯＮならば、マニピュレータ３３を徐々に下方に、先端検出信号がＯＦＦならば、マニピュレータ３３を徐々に上方に移動させ、再度吸引パット５２と把持指５１により果実を固定した後、光電センサ６１により果実の先端を確認する。果実の先端検出信号がＯＮからＯＦＦに移行する位置を先端位置とし、この位置を検出するまでマニピュレータ３３の上下移動の動作を繰り返す。
【００２７】そして、果実の大きさ判定動作は、Ｓ１０において空気圧ロータリアクチュエータ６４を作動させ引き込み爪６５を閉じる。Ｓ１１では、マイクロスイッチ６２のＯＮ，ＯＦＦ信号を確認して、果実が一定の長さより短い場合、マイクロスイッチ６２が入り、果梗検出信号が制御部２に送られ、摘み取りを中止する。Ｓ１２では、引き込み爪６５が果実部分を掴んだ場合、マイクロスイッチ６２は入らず、空気圧シリンダ７１を上昇することにより引き込み爪６５が上昇し、果実の径が細くなると引き込み爪６５は徐々に閉じ始める。
【００２８】Ｓ１３では、果実の径が一定の値以下（果実Ｎと果梗Ｋの境界付近）になると引き込み爪６５の開度はさらに小さくなり、マイクロスイッチ６２が入り、この果梗検出信号により空気圧スライド６３は停止する（図７）。この動作により収穫適期の長さである果実のみが選択されるとともに、果梗位置（切断位置）が決定される。空気圧スライド６３が一定以上（４０ｍｍ）上昇してもマイクロスイッチ６２から果梗検出信号が発せられない場合は、果実が長すぎると判定して摘み取りを中止する。
【００２９】次に、果実の切断動作は、Ｓ１４において空気圧シリンダ７１を駆動させ、切断ハサミ７２を閉じることにより果梗Ｋを切断する。最後に、Ｓ１５において摘み取ったナスＮを収穫箱に移動する。各動作の制御時間（ｓ）は表２の通りである。
【００３０】
【表２】
【００３１】現在、本発明によるナス等の自動収穫装置のテストを繰り返し行っているが、以下の３つの条件下で実施している。
■．先ず、視覚部１の性能を評価するため、室内及び圃場（野外）においてナスＮの果実周辺の画像を撮影し、果実検出画像処理手法により果実の検出する。撮影条件は、野外でＣＣＤカラーカメラ１１と果実の距離が４００ｍｍ、室内で距離４００ｍｍ、室内で距離２００ｍｍとする。
■．本発明の自動収穫装置は、移動機構（走行車両）または、移動可能な栽培装置と組み台わせた制御を行っていないため、鉢栽培されたナスＮを室内に搬入し摘み取りテストを行っている。
■．ナスＮの前面、つまりナスＮとエンドエフェクタ部４の間に大きな葉があると、ＣＣＤカラーカメラ１１からの撮影及び、画像処理による果実検出ができないため、このような葉は収穫テスト前に事前に切除している。
■．ナスＮの先端付近に葉がある場合、この葉が光電センサ６１，６１間に入り、先端検出信号が常時ＯＮとなり、ナスＮの先端位置を特定できなくなるためこのような葉は収穫テスト前に事前に切除している。
【００３２】視覚部１の果実検出精度の評価では、図１４に示すように、３つの撮影条件下でそれそれ４０個のナスＮに対し果実検出画像処理手段を施した結果、９０％以上の成功率で、検出することができた。ただし、目的の果実の後方の果実を検出したり、茎葉の影を一緒に検出するなどの誤認識が生じた。
【００３３】
【表３】
【００３４】果実の摘み取りテストでは、表３に示すように、収穫適期の３０個のナスＡ（長さ１３０〜１６０ｍｍ、重さ９０〜１３０ｇ）を収穫した結果、１８個のナスＮを切断収穫することができた。ただし、深切りのナスＮ１個を含む。これはナスＮの首部の径が細いためにマイクロスイッチ６２が早く作動し、ナスＮと果梗Ｋの境界より下で切断を行った。収穫失敗の主な原因は、マイクロスイッチ６２の動作によるものであり、引き込み爪６５の動作時にナスＮ付近の茎葉を巻き込んでしまった場合や、ナスＮが斜めに着果しているため引き込み爪６５が果梗Ｋの位置にきてもマイクロスイツチ６２が入らない場合があった。
【００３５】また、エンドエフェクタ部４の果実への接近動作中、またはナスＮの先端検出動作中に、エンドエフェクタ部４の一部（空気圧シリンダ７１、空気圧ロータリアクチュエータ６４、光電センサ６１、引き込み爪６５の先端など）が茎葉と接触し、茎葉を前方に押したり上下方向に押したためナスＮの位置が固定されず、果実を把持できないことから収穫できなかった。さらに、このような接触が原因で、予期しない葉が光電センサ６１内に入り動作不良を起こした。
【００３６】
【発明の効果】以上説明したように、本発明の果菜類の自動収穫方法及び装置によれば、エンドエフェクタ部に取り付けたカメラによりナス等の果実周辺を撮影し、その画像を画像処理装置に取り込み、コンピュータにより画像の色情報を基に果実を検出すると共に、撮影画面内での果実の位置を計算した結果から、上下、左右及び前後方向に移動可能なマニピュレータの移動量を決定し、この結果に基づいてマニピュレータを制御してエンドエフェクタ部を果実に接近し、エンドエフェクタ部を作動させて果実の把持及び大きさの判定を行った後、収穫適期の果実のみを選択的に自動収穫することができる。
|
| 【出願人】 |
【識別番号】５９１０４０７１９
【氏名又は名称】農林水産省 野菜・茶業試験場長
|
| 【出願日】 |
平成１１年３月１８日（１９９９．３．１８） |
| 【代理人】 |
【識別番号】１０００６３５６５
【弁理士】
【氏名又は名称】小橋 信淳
|
| 【公開番号】 |
特開２０００−２６２１２８（Ｐ２０００−２６２１２８Ａ） |
| 【公開日】 |
平成１２年９月２６日（２０００．９．２６） |
| 【出願番号】 |
特願平１１−７３４０８ |
|