遠隔作業支援システム

トップ :: G 物理学 :: G06 計算;計数

【発明の名称】	遠隔作業支援システム
【発明者】	【氏名】小田高広【氏名】門田健志【氏名】太田裕二【氏名】鈴木健也
【要約】	【課題】作業者と設計担当者との間で情報の共有性を高くすることができるようにする。【解決手段】第１の操作者による作業対象装置を撮影する撮像手段と、作業対象装置３の画像を第１の操作者に対して表示するための第１の表示部と、前記画像を第２の操作者に対して表示するための第２の表示部と、第２の操作者によって操作される操作部と、該操作部の操作に基づいて、前記第１の表示部の画面に指示内容を表示する指示内容表示処理手段とを有する。第２の操作者による操作部の操作に基づいて、前記画面に指示内容が表示されるので、第１、第２の操作者において情報の共有性を高くすることができる。

【特許請求の範囲】
【請求項１】（ａ）第１の操作者による作業の対象となる作業対象装置を撮影する撮像手段と、（ｂ）該撮像手段によって撮影された作業対象装置の画像を第１の操作者に対して表示するための第１の表示部と、（ｃ）前記画像を第２の操作者に対して表示するための第２の表示部と、（ｄ）前記第２の操作者によって操作される操作部と、（ｅ）該操作部の操作に基づいて、前記第１の表示部の画面に指示内容を表示する指示内容表示処理手段とを有することを特徴とする遠隔作業支援システム。
【請求項２】前記撮像手段は、第１の操作者の目の視野とほぼ同じ画角を有する請求項１に記載の遠隔作業支援システム。
【請求項３】前記指示内容は、第１の操作者による作業の部位を指示する指示点を表すための複写アイコンである請求項１に記載の遠隔作業支援システム。
【請求項４】前記複写アイコンは、指示点の順番を表す数字と共に複数表示される請求項３に記載の遠隔作業支援システム。
【請求項５】前記指示内容は、第１の操作者による作業の部位を指示する指示枠を表すための指示枠アイコンである請求項１に記載の遠隔作業支援システム。
【請求項６】前記指示枠アイコンは、指示枠の順番を表す数字と共に複数表示される請求項５に記載の遠隔作業支援システム。
【請求項７】前記指示内容は、部品検索処理手段によって検索され、前記作業対象装置における対象部品に重ね表示される検索部品である請求項１に記載の遠隔作業支援システム。
【請求項８】前記検索部品を対象部品に重ね表示するための画像倍率値が算出される請求項７に記載の遠隔作業支援システム。
【請求項９】（ａ）前記第１の操作者の音声を入力するための第１の音声入力手段と、（ｂ）前記音声の音声情報を第２の操作者側に送る第１の音声情報送信処理手段とを有する請求項１に記載の遠隔作業支援システム。
【請求項１０】（ａ）前記第２の操作者の音声を入力するための第２の音声入力手段と、（ｂ）前記音声の音声情報を第１の操作者側に送る第２の音声情報送信処理手段とを有する請求項１に記載の遠隔作業支援システム。
【請求項１１】前記第１の表示部は、第１の操作者の右目及び左目に対応させて二つ配設される請求項１に記載の遠隔作業支援システム。
【請求項１２】前記第２の表示部は、第２の操作者の右目及び左目に対応させて二つ配設される請求項１に記載の遠隔作業支援システム。
【請求項１３】（ａ）前記作業対象装置における所定の部位について検査を行うための検査装置と、（ｂ）該検査装置による検査結果を第２の操作者側に送る検査情報送信処理手段とを有する請求項１に記載の遠隔作業支援システム。
【請求項１４】（ａ）前記第２の操作者側に配設され、前記検査装置による検査の測定基準値を検索する測定基準値検索処理手段と、（ｂ）前記測定基準値を第１の操作者側に送る測定基準値送信処理手段とを有する請求項１３に記載の遠隔作業支援システム。
【請求項１５】（ａ）前記撮像手段は、第１の操作者の右目及び左目に対応させて二つ配設され、（ｂ）前記各撮像手段によって撮影された作業対象装置の各画像は、前記各第１の表示部の画面に表示される請求項１１又は１２に記載の遠隔作業支援システム。
【請求項１６】前記第１、第２の表示部のうちの少なくとも一方の画面に立体画像を表示する立体画像表示処理手段を有する請求項１に記載の遠隔作業支援システム。
【請求項１７】（ａ）前記第１の操作者側の端末、及び第２の操作者側の端末のうちの少なくとも一方が複数配設され、（ｂ）前記各端末間が通信ネットワークを介して接続される請求項１に記載の遠隔作業支援システム。
【請求項１８】（ａ）前記第２の操作者側に配設された事前体験用作業対象装置と、（ｂ）前記第２の操作者による前記事前体験用作業対象装置の操作情報を第１の操作者側に送る操作情報送信処理手段とを有する請求項１に記載の遠隔作業支援システム。
【請求項１９】前記操作情報は第１の表示部の画面に表示される請求項１８に記載の遠隔作業支援システム。
【請求項２０】（ａ）前記第２の操作者の動作を検出する検出部と、（ｂ）該検出部による動作情報を第１の操作者側に送る動作情報送信処理手段と、（ｃ）前記動作情報に従って第１の操作者を動作させるための駆動部とを有する請求項１に記載の遠隔作業支援システム。
【請求項２１】前記第２の操作者の手に装着される操作手袋の所定の指の画像と前記作業対象装置の画像とが合成される請求項１に記載の遠隔作業支援システム。
【請求項２２】前記第２の操作者側に配設された事前体験用作業対象装置の前方に背景幕が配設される請求項２１に記載の遠隔作業支援システム。
【請求項２３】前記操作手袋の側面部及び爪部の画像と前記作業対象装置の画像とが合成される請求項２１に記載の遠隔作業支援システム。
【請求項２４】（ａ）前記撮像手段及び第１の表示部を少なくとも備えた画像入力装置を有するとともに、（ｂ）該画像入力装置は顔に装着される請求項１に記載の遠隔作業支援システム。
【請求項２５】（ａ）前記撮像手段及び第１の表示部を少なくとも備えた画像入力装置を有するとともに、（ｂ）該画像入力装置は支持台上に配設される請求項１に記載の遠隔作業支援システム。

【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、遠隔作業支援システムに関するものである。
【０００２】
【従来の技術】従来、一般に、製造業において、工場部門と設計部門とはそれぞれの設備環境が異なるので、互いにかなり離れた場所に設置されることが多い。したがって、工場部門と設計部門との間における情報交換は、部品図、組立図等の図面、作業指示書、設計担当者が工場部門に出張した際の打合せ、作業訓練等によって行われるようになっている。
【０００３】特に、工場部門において突発性の障害が発生した場合には、電話、ファクシミリ等による指示で対応し、それでも十分でない場合には、設計担当者が工場部門に出張して対応するようにしている。
【０００４】ところで、最近、工場部門と設計部門とを企業内ネットワークで接続し、図面、作業指示書等をリアルタイムで発行したり、打合せに応じて改版したりすることができるようにした遠隔作業支援システムが提供されている。そして、工場部門の製造ラインにおいて設計上の問題が発生すると、問題が発生した部位を作業者がディジタルカメラで撮影し、撮影によって取得された画像情報を企業内ネットワークで設計部門に送るようにしている。
【０００５】
【発明が解決しようとする課題】しかしながら、前記従来の遠隔作業支援システムにおいては、作業者が確認した部位だけが撮影されるので、特定の画像情報だけが送られるにすぎない。したがって、設計担当者は、前記画像情報を受け取った後、作業者に、問題が発生した部位における背景を撮影するように指示したり、撮影する部位を変えるように指示したりしなければならない。
【０００６】そのため、問題が発生した原因を分析するのに時間がかかり、結局、設計担当者が工場部門に出張して、問題が発生した部位の周辺の部分、異なる部位等を自分の目で直接確認する必要が生じる。
【０００７】すなわち、企業内ネットワークによって工場部門と設計部門とが接続されているにもかかわらず、作業者と設計担当者とは、図面、作業指示書等と同レベルの情報を共有することができず、情報の共有性は低い。
【０００８】また、最近は、工場部門を海外に移転させる企業が増加してきている。したがって、問題が発生した原因を分析するのに必要な時間が長くなるだけでなく、製造品のコストが高くなってしまう。
【０００９】本発明は、前記従来の遠隔作業支援システムの問題点を解決して、作業者と設計担当者との間で情報の共有性を高くすることができ、問題が発生した原因を分析するのに必要な時間を短くすることができるだけでなく、製造品のコストを低くすることができる遠隔作業支援システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】そのために、本発明の遠隔作業支援システムにおいては、第１の操作者による作業の対象となる作業対象装置を撮影する撮像手段と、該撮像手段によって撮影された作業対象装置の画像を第１の操作者に対して表示するための第１の表示部と、前記画像を第２の操作者に対して表示するための第２の表示部と、前記第２の操作者によって操作される操作部と、該操作部の操作に基づいて、前記第１の表示部の画面に指示内容を表示する指示内容表示処理手段とを有する。
【００１１】
【発明の実施の形態】以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００１２】図１は本発明の第１の実施の形態における遠隔作業支援システムを示す第１の概念図、図２は本発明の第１の実施の形態における遠隔作業支援システムを示す第２の概念図、図３は本発明の第１の実施の形態における作業者端末の使用状態を示す図である。
【００１３】図において、１は第１の操作者としての作業者、１ａは該作業者１の右目、１ｂは前記作業者１の左目、２は設計担当者及び第２の操作者としての作業指示者、２ａは該作業指示者２の右目、２ｂは前記作業指示者２の左目、３は前記作業者１による作業の対象となる作業対象装置、４は作業者１の右手、Ｓ１は作業者１側の端末としての作業者端末、Ｓ２は作業指示者２側の端末としての作業指示者端末である。
【００１４】前記作業対象装置３は、第１のスイッチ３ａ、第２のスイッチ３ｂ、モータギヤ３ｃ、該モータギヤ３ｃと噛（し）合させられる出力ギヤ３ｄ、タイミングベルト３ｅ、テンションプーリ３ｆ及び第１、第２のプーリ３ｇ、３ｈを備え、前記タイミングベルト３ｅは前記第１、第２のプーリ３ｇ、３ｈ及びテンションプーリ３ｆ間に張設される。
【００１５】また、５は画像入力装置、６は前記作業対象装置３を撮影する撮像手段としてのカメラ、７は第１のＬＣＤ、８は第２のＬＣＤ、９は作業者１の音声を入力するための第１の音声入力手段としてのマイク、１０は第１の音声出力手段としてのスピーカ、１１は画像入力部、１２、２２はＬＣＤ制御部、１３、２１はＣＰＵ、１４、３５はメモリ、１５、３６は電源部、１６、２０、３９はインタフェース部、１７、１９、３８はモデム、１８は該モデム１７、１９間に配設された通信ネットワークとしてのインターネット網、２３はＬＣＤ、２４は指示入力アイコン、２５は部品検索アイコン、２６は形状入力アイコン、２７は完了アイコン、２８はマウスアイコン、２９は作業指示者２の音声を入力するための第２の音声入力手段としてのマイク、３０は第２の音声出力手段としてのスピーカ、３１は作業指示者２の左手、３２は作業指示者２によって操作される操作部としてのマウス、３３は左スイッチ、３４は右スイッチ、３７はイントラネット網、４０はデータベース（ＤＢ）、９０はキーボードである。
【００１６】前記構成の遠隔作業支援システムにおいて、カメラ６によって撮影された作業対象装置３の画像（作業者１の右手４の画像も含まれる。）は、第１、第２のＬＣＤ７、８の画面に作業者１に対して表示され、作業者１は前記画像を目視する。なお、第１、第２のＬＣＤ７、８によって第１の表示部が、ＬＣＤ２３によって第２の表示部が構成される。カメラ６は作業者１の右目１ａ及び左目１ｂのほぼ中央に配置される。
【００１７】また、第１のＬＣＤ７は右目１ａと対向する位置に、第２のＬＣＤ８は左目１ｂと対向する位置に配設される。なお、第１、第２のＬＣＤ７、８を一つの大きなＬＣＤにして、作業者１の顔と対向させて配設することもできるが、第１、第２のＬＣＤ７、８を分割して配設する方が、画像入力装置５を小型化し、軽量化することができる。したがって、図３に示されるように、画像入力装置５を作業者１の顔に装着した場合、違和感がなくなるとともに、重さで画像入力装置５が作業者１の顔からずれることが少なくなる。
【００１８】作業者１側、すなわち、作業者端末Ｓ１側においてカメラ６によって撮影された作業対象装置３の画像は、画像入力部１１においてディジタル信号に変換され、ＣＰＵ１３、インタフェース部１６、モデム１７、インターネット網１８及びモデム１９を介して、遠隔地に配設された作業指示者２側、すなわち、作業指示者端末Ｓ２側に画像情報として送られ、ＬＣＤ２３の画面に作業指示者２に対して表示される。そして、前記カメラ６は、作業者１の視線とほぼ同じ画角を有するので、作業指示者２は、ＬＣＤ２３の画面に表示された画像を、作業者１の視線と同じ視線で目視することができる。したがって、作業者１及び作業指示者２は、作業対象装置３の画像情報を共有することができる。
【００１９】次に、作業者１及び作業指示者２によって共有される画像情報に作業指示を入力する方法について説明する。
【００２０】前記ＬＣＤ２３の画面には、作業指示者２が左手３１でマウス３２を操作することによってマウスアイコン２８が任意の位置に指示内容として表示されるほかに、作業指示者２が指示を入力するための指示入力アイコン２４、作業指示者２が部品検索を行うための部品検索アイコン２５、作業指示者２が部品の形状を入力するための形状入力アイコン２６、完了アイコン２７等のアイコン群が画面の上部の位置に指示内容として表示される。そのために、前記ＣＰＵ１３に図示されない第１の指示内容表示処理手段が、ＣＰＵ２１に図示されない第２の指示内容表示処理手段が配設され、第１、第２の指示内容表示処理手段によって、前記マウスアイコン２８及びアイコン群が表示される。
【００２１】作業指示者２は、マウス３２を操作して、指示入力アイコン２４、部品検索アイコン２５及び形状入力アイコン２６のうちの所定のアイコンを選択し、続いて、画面上に表示されるコマンドに従って所定の指示を入力する。
【００２２】図４は本発明の第１の実施の形態における遠隔作業支援システムの動作を示す第１のフローチャート、図５は本発明の第１の実施の形態における遠隔作業支援システムの動作を示す第２のフローチャート、図６は本発明の第１の実施の形態における遠隔作業支援システムの動作を示す第３のフローチャート、図７は本発明の第１の実施の形態における遠隔作業支援システムの動作を示す第４のフローチャート、図８は本発明の第１の実施の形態における遠隔作業支援システムの動作を示す第５のフローチャート、図９は本発明の第１の実施の形態における遠隔作業支援システムの動作を示す第６のフローチャート、図１０は本発明の第１の実施の形態における点指示アイコンが選択されたときのＬＣＤの画面の表示例を示す図、図１１は本発明の第１の実施の形態における範囲指示アイコンが選択されたときのＬＣＤの画面の表示例を示す図、図１２は本発明の第１の実施の形態における部品検索アイコンが選択されたときのＬＣＤの画面の表示例を示す図、図１３は本発明の第１の実施の形態における形状入力アイコンが選択されたときのＬＣＤの画面の表示例を示す第１の図、図１４は本発明の第１の実施の形態における形状入力アイコンが選択されたときのＬＣＤの画面の表示例を示す第２の図である。
【００２３】作業指示者２（図２）が、指示入力アイコン２４を選択すると、図１０に示されるように、ＬＣＤ２３の画面の右下に、リアルタイム指示アイコン４５、点指示アイコン４６及び範囲指示アイコン４７から成る詳細指示アイコン群が表示される。
【００２４】そして、作業指示者２が、詳細指示アイコン群のうちのリアルタイム指示アイコン４５を選択すると、マウスアイコン２８の座標値（ｘ，ｙ）が検出され、続いて、作業指示者２がマウスアイコン２８を移動させると、移動先のマウスアイコン２８の座標値（ｘ，ｙ）が検出され、該座標値（ｘ，ｙ）がインターネット網１８を介してＣＰＵ１３（図１）に送られる。該ＣＰＵ１３は、あらかじめメモリ１４に記録されているマウスアイコン表示プログラムを起動し、前記座標値（ｘ，ｙ）のデータを用いて、第１、第２のＬＣＤ７、８の画面にマウスアイコンを表示する。したがって、作業者１は第１、第２のＬＣＤ７、８の画面に表示されたマウスアイコンを目視することによって、遠隔地にいる作業指示者２の作業指示を確認することができる。
【００２５】また、作業指示者２が、点指示アイコン４６を選択すると、ＬＣＤ２３の画面上において、図５に示されるフローチャートに従って、マウスアイコン２８の色及びサイズが変更され、図１０に示されるように、マウスアイコン２８に代えて指示アイコン４１が作成され、表示される。そして、作業指示者２は、マウス３２を操作して前記指示アイコン４１を移動させ、作業者１による作業の部位を指示するための指示点において左スイッチ３３を押す。
【００２６】これにより、指示アイコン４１は、複写され、前記左スイッチ３３が押された指示点の座標位置に、前記指示点を表す複写アイコンＣｉ（ｉ＝１、２、…）が固定された状態で表示される。なお、複写アイコンＣｉの座標値（Ｘａ，Ｙａ）は、指示点の順番を表す値ｉと共にメモリ３５に記録される。そして、座標値（Ｘａ，Ｙａ）及び値ｉが画像情報としてインターネット網１８を介してＣＰＵ１３に送られると、ＣＰＵ１３は、メモリ１４にあらかじめ記録されている複写アイコン表示プログラムを起動し、前記座標値（Ｘａ，Ｙａ）及び値ｉに基づいて、第１、第２のＬＣＤ７、８の画面に複写アイコン及び前記値ｉを表示する。
【００２７】これにより、作業指示者２が作業者１に作業指示を説明するに当たり、作業の部位を複写アイコンＣｉによって任意に特定することができるので、作業を簡素化することができる。また、作業者１は、第１、第２のＬＣＤ７、８の画面に表示された複写アイコンを目視することによって、作業指示者２の作業指示を確認することができる。
【００２８】そして、作業指示者２が、範囲指示アイコン４７を選択すると、ＬＣＤ２３の画面上において、図６に示されるフローチャートに従って、作業者１による作業の部位を指示する指示枠を設定することができる。そのために、作業指示者２が、マウス３２を操作し、マウスアイコン２８を移動させることによって、前記指示枠の始点を入力し、左スイッチ３３を押すと、始点の座標値（Ｘ１，Ｙ１）がメモリ３５に記録され、再びマウスアイコン２８を移動させることによって、前記指示枠の終点を入力し、左スイッチ３３を押すと、終点の座標値（Ｘ２，Ｙ２）がメモリ３５に記録される。そして、前記各座標値（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）に基づいて指示枠が設定され、該指示枠を表す指示枠アイコンＦｊ（ｊ＝１、２、…）が、図１１に示されるように、ＬＣＤ２３の画面に表示される。なお、指示枠の順番を表す値ｊは、前記各座標値（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）と共にメモリ３５に記録される。また、前記各座標値（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）及び値ｊは、画像情報としてインターネット網１８を介してＣＰＵ１３に送られ、ＣＰＵ１３は、メモリ１４にあらかじめ記録されている指示枠アコン表示プログラムを起動し、前記座標値（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）及び値ｊのデータに基づいて、第１、第２のＬＣＤ７、８の画面に指示枠アイコン及び値ｊを表示する。
【００２９】これにより、作業指示者２が作業者１に作業指示を説明するに当たり、作業の部位を指示枠アイコンＦｊによって任意に特定することができるので、作業を簡素化することができる。また、作業者１は、第１、第２のＬＣＤ７、８の画面に表示された指示枠アイコンを目視することによって、作業指示者２の作業指示を確認することができる。
【００３０】そして、作業指示者２が、部品検索アイコン２５を選択すると、図１２に示されるように、ＬＣＤ２３の画面の右下に部品ウィンドウ５１が表示される。このとき、作業指示者２は、図７に示されるフローチャートに従って、マウスアイコン２８を部品番号入力欄５２に移動させ、該部品番号入力欄５２を入力状態にした後、部品検索を希望する部品番号をキーボード９０によって入力する。その後、部品ウィンドウ５１内に表示されたスタート（ＳＴＡＲＴ）ボタン５５にマウスアイコン２８を移動させ、左スイッチ３３又は右スイッチ３４によってスタートボタン５５を押すと、前記ＣＰＵ２１の図示されない部品検索処理手段は、部品検索処理を行う。そして、データがある場合、部品番号に対応する部品の名称が名称欄５３に、部品番号に対応する部品の図形が図形欄５４に表示される。
【００３１】この場合、部品検索処理は、メモリ３５に記録された部品データに基づいて行われるが、メモリ３５に部品データが記録されていない場合、イントラネット網３７を介して、データベース４０に記録された部品データに基づいて行われる。そして、データベース４０において目的とする部品データが検索された場合、検索された部品、すなわち、検索部品５０の部品データはメモリ３５にダウンロードされる。
【００３２】部品検索処理が終了すると、部品ウィンドウ５１に部品情報送信要否（Ｙ／Ｎ）コマンドが表示される。作業指示者２が部品情報送信要否コマンドに要（Ｙ）を入力すると、部品情報は、画像情報としてインターネット網１８を介してメモリ１４に送られ、記録される。また、第１、第２のＬＣＤ７、８の画面には、部品ウィンドウ５１と同じ部品ウィンドウが表示される。
【００３３】なお、５６はエンド（ＥＮＤ）ボタン、５８は実際に作業対象装置３に搭載され、作業者１による作業の対象となる部品、すなわち、対象部品である。
【００３４】これにより、作業指示者２が作業者１に作業指示を説明するに当たり、対象部品５８の名称及び形状を特定することができるので、作業を簡素化することができる。また、作業者１は、第１、第２のＬＣＤ７、８の画面に表示された部品ウィンドウを目視することによって、作業指示者２の作業指示を確認することができる。
【００３５】例えば、図１２に示されるように、対象部品５８の形状と検索部品５０の形状とが異なる（検索部品５０にはねじ穴があるのに対して、対象部品５８にはねじ穴がない。）ことを容易に確認することができる。
【００３６】また、作業指示者２が形状入力アイコン２６を選択すると、図１３に示されるように、ＬＣＤ２３の画面の右下に部品ウィンドウ５１が表示される。このとき、作業指示者２は、図８及び９に示されるフローチャートに従って、マウスアイコン２８を部品番号入力欄５２に移動させ、該部品番号入力欄５２を入力状態にした後、部品検索を希望する部品番号をキーボード９０によって入力する。その後、部品ウィンドウ５１内に表示されたスタートボタン５５にマウスアイコン２８を移動させ、左スイッチ３３又は右スイッチ３４によってスタートボタン５５を押すと、前記部品検索処理手段は部品検索処理を行う。そして、データがある場合、部品番号に対応する部品の名称が名称欄５３に、部品番号に対応する検索部品５０の図形が図形欄５４に表示される。
【００３７】この場合、部品検索処理は、メモリ３５に記録された部品データに基づいて行われるが、メモリ３５に部品データが記録されていない場合、イントラネット網３７を介して、データベース４０に記録された部品データに基づいて行われる。そして、データベース４０において目的とする部品データが検索された場合、該部品データはメモリ３５にダウンロードされる。
【００３８】次に、前記検索部品５０を対象部品５８に重ね表示するために、該対象部品５８の画像の表示倍率、すなわち、画像倍率値を算出するための処理について説明する。
【００３９】まず、作業指示者２は、マウスアイコン２８を対象部品５８の位置に移動させ、該対象部品５８の大きさを指定する。そのために、図１３に示されるように、対象部品５８を包囲する包囲枠の始点の座標値（ｘ１，ｙ１）及び終点の座標値（ｘ２，ｙ２）を左スイッチ３３を押して記録すると、記録された座標値（ｘ１，ｙ１）、（ｘ２，ｙ２）から、包囲枠のＸ軸方向及びＹ軸方向の長さΔｘ、Δｙが、ＬＣＤ２３の表示画素数（Ｍ，Ｎ）に基づいて算出される。この場合、対象部品５８の寸法は、検索部品５０の部品データに基づいて確認することができる。前記長さΔｘ、Δｙ、部品データ、及びマウス３２の表示ドット数の相関関係に基づいて、ＬＣＤ２３の画面上において検索部品５０を対象部品５８に重ね表示するための画像倍率値Ｓ_x、Ｓ_yが算出される。
【００４０】すなわち、ＬＣＤ２３の表示画素数（Ｍ，Ｎ）、カメラ６の撮像素子の画素数（ｍ，ｎ）、前記撮像素子の画素ピッチ（ｗ，ｈ）、対象部品５８の実際のサイズ（Ｘ，Ｙ）等が分かっているので、長さΔｘ、Δｙに基づいて前記画像倍率値Ｓ_x、Ｓ_yが次の式によって算出され、算出された画像倍率値Ｓ_x、Ｓ_yは部品ウィンドウ５１内に表示される。
【００４１】Ｓ_x＝ｍ・ｗ・Δｘ／（Ｍ・Ｘ）
Ｓ_y＝ｎ・ｈ・Δｙ／（Ｎ・Ｙ）
作業指示者２は、画像倍率値Ｓ_x、Ｓ_yを確認した後、部品ウィンドウ５１内のフィックス（Ｆｉｘ）ボタン５７にマウスアイコン２８を移動させ、左スイッチ３３又は右スイッチ３４によってフィックスボタン５７を押す。これによって、図形欄５４に表示された検索部品５０は、図１４に示されるように、前記画像倍率値Ｓ_x、Ｓ_yを用いて変換され、前記始点の座標値（ｘ１，ｙ１）及び終点の座標値（ｘ２，ｙ２）に基づいて対象部品５８と重ね合わせられる。
【００４２】このとき、前記部品データ、座標値（ｘ１，ｙ１）、（ｘ２，ｙ２）及び画像倍率値Ｓ_x、Ｓ_yが、重ね表示情報及び画像情報としてインターネット網１８を介してＣＰＵ１３に送られ、該ＣＰＵ１３は、前記重ね表示情報をメモリ１４に記録するとともに、該メモリ１４にあらかじめ記録されている形状入力アイコン表示プログラムを起動し、前記部品データ、座標値（ｘ１，ｙ１）、（ｘ２，ｙ２）及び画像倍率値Ｓ_x、Ｓ_yに基づいて、第１、第２のＬＣＤ７、８の画面に表示された対象部品に検索部品を重ねて表示する。
【００４３】これにより、作業指示者２が作業者１に作業指示を説明するに当たり、対象部品５８と検索部品５０との差を明らかにすることができるので、作業を簡素化することができる。また、作業者１が作業指示を受けるに当たり、図面を探す時間を短くすることができる。なお、４は作業者１の右手、２７は完了アイコンである。
【００４４】ところで、この場合、作業者１と作業指示者２との間において画像情報を共有することができるが、画像情報を作業者端末Ｓ１から作業指示者端末Ｓ２に送ったり、作業指示者端末Ｓ２から作業者端末Ｓ１に送ったりするタイミングを設定するのが困難であり、作業者１の状態を作業指示者２が把握するのが困難である。
【００４５】そこで、作業者１のＣＰＵ１３にマイク９及びスピーカ１０が、作業指示者２のＣＰＵ２１にマイク２９及びスピーカ３０が接続される。したがって、作業者端末Ｓ１と作業指示者端末Ｓ２との間で画像情報を送受信する際に、作業者１がマイク９を使用して、作業指示の依頼を音声で入力することができ、作業指示者２は、作業指示の依頼を、ＬＣＤ２３の画面に表示されたメッセージだけでなく、スピーカ３０から出力された音声でも確認することができる。そのために、ＣＰＵ１３に図示されない第１の音声情報送信処理手段が、ＣＰＵ２１に図示されない第２の音声情報送信処理手段が配設され、第１の音声情報送信処理手段は音声情報を作業指示者２側に、第２の音声情報送信処理手段は音声情報を作業者１側に送る。
【００４６】また、作業指示の依頼を音声で確認した作業指示者２は、作業指示を画像で送るときに、マイク２９を使用し、作業箇所の位置を説明した内容を音声で入力することができ、作業者１は、作業指示を、画像で確認するだけでなく、スピーカ１０から出力された音声でも確認することができる。
【００４７】このように、作業者１及び作業指示者２において情報の共有性を高くすることができるので、問題が発生した原因を分析するのに必要な時間を短くすることができるだけでなく、製造品のコストを低くすることができる。
【００４８】次に、フローチャートについて説明する。
ステップＳ１指示入力アイコン２４が選択されたかどうかを判断する。指示入力アイコン２４が選択された場合はステップＳ２に、選択されていない場合はステップＳ１０に進む。
ステップＳ２詳細指示アイコン群を表示する。
ステップＳ３リアルタイム指示アイコン４５が選択されたどうかを判断する。リアルタイム指示アイコン４５が選択された場合はステップＳ４に、選択されていない場合はステップＳ８に進む。
ステップＳ４マウスアイコン２８の座標値（ｘ，ｙ）を検出する。
ステップＳ５マウスアイコン２８を移動させる。
ステップＳ６座標値（ｘ，ｙ）を送る。
ステップＳ７左スイッチ３３が押されたかどうかを判断する。左スイッチ３３が押された場合はステップＳ１に、押されていない場合はステップＳ４に戻る。
ステップＳ８点指示アイコン４６が選択されたかどうかを判断する。点指示アイコン４６が選択された場合はステップＳ１３に、選択されていない場合はステップＳ９に進む。
ステップＳ９範囲指示アイコン４７が選択されたかどうかを判断する。範囲指示アイコン４７が選択された場合はステップＳ２６に進み、選択されていない場合はステップＳ１に戻る。
ステップＳ１０部品検索アイコン２５が選択されたかどうかを判断する。部品検索アイコン２５が選択された場合はステップＳ４０に、選択されていない場合はステップＳ１１に進む。
ステップＳ１１形状入力アイコン２６が選択されたかどうかを判断する。形状入力アイコン２６が選択された場合はステップＳ５４に、選択されていない場合はステップＳ１２に進む。
ステップＳ１２完了アイコン２７が選択されたかどうかを判断する。完了アイコン２７が選択された場合は処理を終了し、選択されていない場合はステップＳ１に戻る。
ステップＳ１３値ｉに１をセットする。
ステップＳ１４マウスアイコン２８の色及びサイズを変更する。すなわち、指示アイコン４１を表示する。
ステップＳ１５指示点を入力する。
ステップＳ１６左スイッチ３３が押されたかどうかを判断する。左スイッチ３３が押された場合はステップＳ１７に、押されていない場合はステップＳ２２に進む。
ステップＳ１７複写アイコンＣｉを作成する。
ステップＳ１８複写アイコンＣｉを表示し、座標値（Ｘａ，Ｙａ）を記録する。
ステップＳ１９座標値（Ｘａ，Ｙａ）を送る。
ステップＳ２０次の指示点が入力されたかどうかを判断する。次の指示点が入力された場合はステップＳ２１に、入力されていない場合はステップＳ２４に進む。
ステップＳ２１値ｉをインクリメントし、ステップＳ１６に戻る。
ステップＳ２２右スイッチ３４が押されたかどうかを判断する。右スイッチ３４が押された場合はステップＳ２３に進み、押されていない場合はステップＳ１６に戻る。
ステップＳ２３複写アイコンＣｉの消去が指示されたかどうかを判断する。複写アイコンＣｉの消去が指示された場合はステップＳ２４に、指示されていない場合はステップＳ２５に進む。
ステップＳ２４複写アイコンＣｉを消去する。
ステップＳ２５マウスアイコン２８を初期化し、ステップＳ１に戻る。
ステップＳ２６値ｊに１をセットする。
ステップＳ２７始点を入力する。
ステップＳ２８左スイッチ３３が押されたかどうかを判断する。左スイッチ３３が押された場合はステップＳ２９に、押されていない場合はステップＳ３２に進む。
ステップＳ２９始点の座標値（Ｘ１，Ｙ１）を記録する。
ステップＳ３０終点を入力する。
ステップＳ３１左スイッチ３３が押されたかどうかを判断する。左スイッチ３３が押された場合はステップＳ３３に、押されていない場合はステップＳ３２に進む。
ステップＳ３２右スイッチ３４が押されたかどうかを判断する。右スイッチ３４が押された場合はステップＳ３８に進み、押されていない場合はステップＳ２７に戻る。
ステップＳ３３終点の座標値（Ｘ２，Ｙ２）を記録する。
ステップＳ３４指示枠アイコンＦｊを表示する。
ステップＳ３５座標値（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）を送る。
ステップＳ３６次の指示枠の設定が指示されたかどうかを判断する。次の指示枠の設定が指示された場合はステップＳ３７に、指示されていない場合はステップＳ３８に進む。
ステップＳ３７値ｊをインクリメントし、ステップＳ２７に戻る。
ステップＳ３８指示枠の消去が指示されたかどうかを判断する。指示枠の消去が指示された場合はステップＳ３９に進み、指示されていない場合はステップＳ１に戻る。
ステップＳ３９指示枠を消去し、ステップＳ１に戻る。
ステップＳ４０部品ウィンドウ５１を表示する。
ステップＳ４１部品番号を入力する。
ステップＳ４２スタートボタン５５が押されたかどうかを判断する。スタートボタン５５が押された場合はステップＳ４５に、押されていない場合はステップＳ４３に進む。
ステップＳ４３エンドボタン５６が押されたかどうかを判断する。エンドボタン５６が押された場合はステップＳ４４に進み、押されていない場合はステップＳ４０に戻る。
ステップＳ４４部品ウィンドウ５１を消去し、ステップＳ１に戻る。
ステップＳ４５部品検索処理を行う。
ステップＳ４６データがあるかどうかを判断する。データがある場合はステップＳ４９に、ない場合はステップＳ４７に進む。
ステップＳ４７再入力の指示を表示する。
ステップＳ４８部品ウィンドウ５１内の表示をクリアし、ステップＳ４０に戻る。
ステップＳ４９名称及び図形を表示する。
ステップＳ５０部品情報を送るかどうかを判断する。部品情報を送る場合はステップＳ５１に、送らない場合はステップＳ５３に進む。
ステップＳ５１部品情報を送る。
ステップＳ５２送信が終了したかどうかを判断する。送信が終了した場合はステップＳ５３に進み、終了していない場合はステップＳ５１に戻る。
ステップＳ５３次の部品を検索するかどうかを判断する。次の部品を検索する場合はステップＳ４０に戻り、検索しない場合はステップＳ４４に進む。
ステップＳ５４部品ウィンドウ５１を表示する。
ステップＳ５５部品番号を入力する。
ステップＳ５６スタートボタン５５が押されたかどうかを判断する。スタートボタン５５が押された場合はステップＳ５９に、押されていない場合はステップＳ５７に進む。
ステップＳ５７エンドボタン５６が押されたかどうかを判断する。エンドボタン５６が押された場合はステップＳ５８に進み、押されていない場合はステップＳ５５に戻る。
ステップＳ５８部品ウィンドウ５１を消去し、ステップＳ１に戻る。
ステップＳ５９部品検索処理を行う。
ステップＳ６０データがあるかどうかを判断する。データがある場合はステップＳ６３に、ない場合はステップＳ６１に進む。
ステップＳ６１再入力の指示を表示する。
ステップＳ６２部品ウィンドウ５１内の表示をクリアし、ステップＳ５５に戻る。
ステップＳ６３名称及び図形を表示し、記録する。
ステップＳ６４包囲枠を入力する。
ステップＳ６５始点を入力する。
ステップＳ６６左スイッチ３３が押されたかどうかを判断する。左スイッチ３３が押された場合はステップＳ６９に、押されていない場合はステップＳ６７に進む。
ステップＳ６７右スイッチ３４が押されたかどうかを判断する。右スイッチ３４が押された場合はステップＳ６８に進み、押されていない場合はステップＳ６５に戻る。
ステップＳ６８再指定が行われたかどうかを判断する。再指定が行われた場合はステップＳ６５に戻り、行われていない場合はステップＳ５８に進む。
ステップＳ６９始点の座標値（ｘ１，ｙ１）を記録する。
ステップＳ７０終点を入力する。
ステップＳ７１左スイッチ３３が押されたかどうかを判断する。左スイッチ３３が押された場合はステップＳ７２に進み、押されていない場合はステップＳ６５に戻る。
ステップＳ７２終点の座標値（ｘ２，ｙ２）を記録する。
ステップＳ７３画像倍率値Ｓ_x、Ｓ_yを算出する。
ステップＳ７４画像倍率値Ｓ_x、Ｓ_yを表示する。
ステップＳ７５フィックスボタン５７が押されたかどうかを判断する。フィックスボタン５７が押された場合はステップＳ７７に、押されていない場合はステップＳ７６に進む。
ステップＳ７６終了入力が行われたかどうかを判断する。終了入力が行われた場合はステップＳ５８に進み、行われていない場合はステップＳ７４に戻る。
ステップＳ７７検索部品５０を変換する。
ステップＳ７８重ね表示を行う。
ステップＳ７９重ね表示情報を送る。
ステップＳ８０次の形状入力アイコン２６が選択されたかどうかを判断する。次の形状入力アイコン２６が選択された場合はステップＳ５４に、選択されていない場合はステップＳ５８に進む。
【００４９】ところで、第１の実施の形態においては、作業者１がねじ緩み又はベルト緩みを検査している場合、その作業状況を確認することができるが、緩みという力情報を作業指示者２が取得することができない。そこで、作業者１がねじ緩み又はベルト緩みを検査するための検査装置を備えるようにした、本発明の第２の実施の形態について説明する。なお、第１の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。
【００５０】図１５は本発明の第２の実施の形態における検査装置の斜視図、図１６は本発明の第２の実施の形態における遠隔作業支援システムを示す第１の概念図、図１７は本発明の第２の実施の形態における遠隔作業支援システムを示す第２の概念図、図１８は本発明の第２の実施の形態におけるＬＣＤの画面の表示例を示す図である。
【００５１】図において、５９は作業対象装置３における所定の部位について検査を行うための検査装置、６０は作業工具、６１は力センサ部、６２は操作部、６３は検査方向目印、６４は信号線、６５はセンサ制御部、６６は力情報表示ウィンドウである。
【００５２】前記検査装置５９は、作業工具６０と操作部６２との間に、二つの力Ｆ１、Ｆ２及び一つの回転トルクＴを測定することができる力センサ部６１を備える。この場合、力Ｆ１は作業工具６０の曲がり方向（検査方向目印６３を含む垂直方向）に作用する力、力Ｆ２は作業工具６０の軸方向に作用する力、回転トルクＴは作業工具６０の軸回りに作用するトルクである。
【００５３】そして、前記力センサ部６１は、各方向に力Ｆ１、Ｆ２及び回転トルクＴが作用した場合に、力Ｆ１、Ｆ２及び回転トルクＴに比例した電圧を発生させる。該電圧は、信号線６４によってセンサ制御部６５に送られてディジタル信号に変換され、該ディジタル信号はＣＰＵ１３に送られる。ＣＰＵ１３は、メモリ１４にあらかじめ記録されている力測定プログラムを起動し、前記ディジタル信号を力の大きさに変換し、検査結果としての力データとしてメモリ１４に記録する。なお、記録された力データに基づいて、メモリ１４にあらかじめ記録されている力データ表示プログラムによって、第１の操作者としての作業者１が目視している第１、第２のＬＣＤ７、８の画面に力情報表示ウィンドウが作成され、該力情報表示ウィンドウ内の数値表示欄に、力Ｆ１、Ｆ２及び回転トルクＴの力データが指示内容として表示される。
【００５４】また、前記力データは、設計担当者及び第２の操作者としての作業指示者２からの指示によってインターネット網１８を介してメモリ３５にダウンロードされる。そして、メモリ３５にあらかじめ記録された力データ表示プログラムによって、作業指示者２が目視しているＬＣＤ２３の画面に力情報表示ウィンドウ６６が作成され、図１８に示される数値表示欄６６ａ～６６ｃに、力Ｆ１、Ｆ２及び回転トルクＴの力データが表示される。
【００５５】また、力センサ部６１からセンサ制御部６５を介して得られたディジタル信号を、そのままインターネット網１８を介して作業指示者２のＣＰＵ２１に送り、メモリ３５にあらかじめ記録された力測定プログラム及び力データ表示プログラムによって、各数値表示欄６６ａ～６６ｃに力データを表示することもできる。そのために、前記ＣＰＵ１３に図示されない検査情報送信処理手段が配設され、該検査情報送信処理手段によって前記ディジタル信号が作業指示者端末Ｓ２に送られる。
【００５６】この場合、ＣＰＵ１３は、前記力測定プログラム及び力データ表示プログラムを起動し、力センサ部６１からセンサ制御部６５を介して送られたディジタル信号に基づいて、第１、第２のＬＣＤ７、８の画面における前記数値表示欄に力データを表示することもできる。
【００５７】したがって、作業者１及び作業指示者２は、作業者１が検査装置５９の作業工具６０の先端を作業対象装置３における検査の対象となる部位に接触させ、操作部６２を検査方向に動かすことによって、部位の組立状態を同時に確認することができる。
【００５８】また、図１６に示されるように、作業者１が力Ｆ１の検査方向を、タイミングベルト３ｅにおけるテンションプーリ３ｆと第１のプーリ３ｇとの間の部分Ａ、及びテンションプーリ３ｆと第２のプーリ３ｈとの間の部分Ｂの各張設方向に合わせることによって、タイミングベルト３ｅの張力を測定することができる。しかも、測定された張力と、第１、第２のＬＣＤ７、８に表示された力情報表示ウィンドウ、又はＬＣＤ２３に表示された力情報表示ウィンドウ６６の各力Ｆ１、Ｆ２とが等しいかどうかを容易に確認することができる。
【００５９】なお、必要に応じて、作業指示者２は、メモリ３５又はデータベース４０にあらかじめ記録されている前記検査装置５９による検査の測定基準値を検索し、該測定基準値を第１、第２のＬＣＤ７、８に表示された力情報表示ウィンドウ、又はＬＣＤ２３に表示された力情報表示ウィンドウ６６の欄外に表示することもできる。そのために、前記ＣＰＵ２１に図示されない測定基準値検索処理手段が配設され、該測定基準値検索処理手段は前記測定基準値を検索する。また、前記ＣＰＵ２１に図示されない測定基準値送信処理手段が配設され、該測定基準値送信処理手段は前記測定基準値を作業者端末Ｓ１に送る。この場合、作業者１及び作業指示者２が、力データと測定基準値とが等しいかどうかを同時に確認することができる。
【００６０】また、第１、第２のＬＣＤ７、８の画面に複写アイコン、指示枠等が表示されるので、特に、作業対象装置３に形状の同じ部品が隣接させて配設されていて、所定の部品について検査を行う場合に、作業者１は、検査の対象となる部品を容易に特定することができる。
【００６１】次に、本発明の第３の実施の形態について説明する。
【００６２】図１９は本発明の第３の実施の形態における遠隔作業支援システムを示す図である。
【００６３】図において、６７は作業対象装置、６８は作業者用パソコン、６９はＬＣＤである。第１の操作者としての作業者１の顔に画像入力装置５が装着され、該画像入力装置５において、カメラ６、第１、第２のＬＣＤ７、８、マイク９及びスピーカ１０が一体に形成される。そして、作業者１は、右手４に検査装置５９を把持し、該検査装置５９によって前記作業対象装置６７の組立状態を検査する。
【００６４】前記カメラ６は、作業者１の視線上、すなわち、作業者１の右目１ａ（図１）と左目１ｂとのほぼ中央に配設され、カメラ６のレンズは、撮影視野と作業者１が両目で目視することができる視野とがほぼ同じになるよう、例えば、水平視野角が６０〔°〕以上で、かつ、垂直視野角が４０〔°〕以上になるように設定される。
【００６５】この場合、カメラ６によって撮影された作業対象装置６７の画像は、画像入力装置５に配設された図示されない画像入力部においてディジタル信号に変換され、該ディジタル信号は作業者用パソコン６８に送られ、該作業者用パソコン６８の図示されないＣＰＵによって処理される。なお、前記ＬＣＤ６９は第１、第２のＬＣＤ７、８の補助表示用として使用され、現場にいる他の作業者に画像情報を提供することができる。
【００６６】ところで、前記各実施の形態においては、１台のカメラ６によって撮影された作業対象装置３、６７の画像が第１、第２のＬＣＤ７、８の画面に表示されるようになっている。したがって、作業者１は、目視している画像に距離感を持つことができない。その結果、両目で経験した距離感覚と同じ距離感覚で前記画像を目視しながら作業対象装置３、６７に手を延ばそうとすると、違和感が生じ、空振りしてしまう。
【００６７】また、１台のカメラ６によって撮影された作業対象装置３、６７の画像が一つのＬＣＤ２３の画面に表示されるようになっているので、設計担当者及び第２の操作者としての作業指示者２は、目視している画像に距離感を持つことができない。
【００６８】そこで、作業者１の右目１ａ及び左目１ｂに対応させて２台のカメラを配設し、各カメラによって撮影された作業対象装置３、６７の画像を、作業指示者端末Ｓ２（図２）側において二つのＬＣＤの画面に表示するようにした本発明の第４の実施の形態について説明する。なお、第１の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。
【００６９】図２０は本発明の第４の実施の形態における遠隔作業支援システムを示す第１の概念図、図２１は本発明の第４の実施の形態における遠隔作業支援システムを示す第２の概念図、図２２は本発明の第４の実施の形態における作業者端末の使用状態を示す図である。
【００７０】図において、７０はステレオ画像を入力する画像入力装置、７は第１の操作者としての作業者１の右目１ａに対応させて配設された第１のＬＣＤ、８は作業者１の左目１ｂに対応させて配設された第２のＬＣＤ、７１は作業者１の右目１ａに対応させて配設された撮像手段としての第１のカメラ、７２は作業者１の左目１ｂに対応させて配設された撮像手段としての第２のカメラ、７３は設計担当者及び第２の操作者としての作業指示者２の右目２ａに対応させて配設された第２の表示部としての第３のＬＣＤ、７４は作業指示者２の左目２ｂに対応させて配設された第２の表示部としての第４のＬＣＤである。
【００７１】この場合、第１、第２のカメラ７１、７２によって撮影された画像が、第１、第２のＬＣＤ７、８の画面にそれぞれ表示されるので、作業者１は、視差がある二つの画像を目視することができ、目視している画像に距離感を持つことができる。したがって、作業者１が前記画像を目視しながら作業対象装置３に手を延ばそうとするときに、違和感が生じることがなく、空振りすることがない。
【００７２】また、第１、第２のカメラ７１、７２によって撮影された画像が、第３、第４のＬＣＤ７３、７４の画面にそれぞれ表示されるので、作業指示者２は、視差がある二つの画像を目視することができ、目視している画像に距離感を持つことができる。
【００７３】なお、一つのＬＣＤに視差のある立体画像を表示することもできる。そのために、ＣＰＵ１３、２１のうちの少なくとも一方に図示されない立体画像表示処理手段が配設され、該立体画像表示処理手段は、作業者１側のＬＣＤ、及び作業指示者２側の一つのＬＣＤのうちの少なくとも一方の画面に立体画像を表示する。この場合、作業者１側のＬＣＤ、及び作業指示者２側のＬＣＤのうちの少なくとも一方の画面に表示された立体画像に距離感を持つことができる。
【００７４】ところで、前記各実施の形態においては、作業者１が、作業対象装置３、６７（図１９）について、又は作業対象装置３、６７に対する作業について、ある程度の知識、経験等を有することを前提として作業を行うようになっている。ところが、作業者１が初心者で前記知識、経験等を有しない場合、作業指示者２による作業指示が作業者１には理解できないことがある。
【００７５】そこで、作業者１及び作業指示者２をいずれも同じ作業環境に置くことによって、作業者１が作業を行う前に、作業指示者２が作業対象装置３、６７を組み立てたり、検査したりして、その際の作業情報を作業者１に送り、作業者１が必要な作業を事前に体験することができるようにした、本発明の第５の実施の形態について説明する。なお、第４の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。
【００７６】図２３は本発明の第５の実施の形態における遠隔作業支援システムを示す第１の概念図、図２４は本発明の第５の実施の形態における遠隔作業支援システムを示す第２の概念図である。
【００７７】図において、７５は第１の操作者としての作業者１の左手、７６は作業者１用のマウス、７７は左スイッチ、７８は右スイッチ、７９は作業対象装置３と同じ構造を有する事前体験用作業対象装置、８０は設計担当者及び第２の操作者としての作業指示者２の右手、８１は作業指示者２用の画像入力装置、８２は第３のカメラ、８３は第４のカメラ、８４は画像入力部、８５は作業指示者２用の検査装置、６５、８６はセンサ制御部である。
【００７８】まず、作業者１が初心者である場合、撮像手段としての第１、第２のカメラ７１、７２及び検査装置５９の電源をオフにする。そして、作業指示者２が第３、第４のカメラ８２、８３によって事前体験用作業対象装置７９を撮影すると、撮影された事前体験用作業対象装置７９の画像が第１、第２のＬＣＤ７、８の画面に表示されるとともに、第３、第４のＬＣＤ８２、８３の画面に表示される。この場合、第４の実施の形態と同じように、第３のカメラ８２によって撮影された事前体験用作業対象装置７９の画像が第１、第３のＬＣＤ７、７３の画面に、第４のカメラ８３によって撮影された事前体験用作業対象装置７９の画像が第２、第４のＬＣＤ８、７４にそれぞれ表示される。
【００７９】そして、作業指示者２が事前体験用作業対象装置７９の組立状態を検査するために、検査装置８５を用いて各力Ｆ１、Ｆ２及び回転トルクＴを測定すると、ＣＰＵ２１の図示されない操作情報送信処理手段は、作業指示者２が事前体験用作業対象装置７９の組立状態を検査したときの画像、各力Ｆ１、Ｆ２、回転トルクＴ、音、作業環境等の操作情報を指示内容として作業者端末Ｓ１に送る。そして、前記ＣＰＵ１３の図示されない第１の操作情報表示処理手段は、第１、第２のＬＣＤ７、８の画面の各力情報表示ウィンドウに力データを表示する。なお、前記ＣＰＵ２１の図示されない第２の操作情報表示処理手段は、第３、第４のＬＣＤ７３、７４の画面の各力情報表示ウィンドウに力データを表示する。
【００８０】したがって、作業者１は、作業対象装置３を組み立てたり、検査したりする前に、作業指示者２が事前体験用作業対象装置７９の組立状態を検査したときの画像、各力Ｆ１、Ｆ２、回転トルクＴ、音、作業環境等の操作情報を入手することができるので、必要な作業を事前に体験することができる。
【００８１】続いて、作業者１は、作業対象装置３を組み立てたり、検査したりするために、第１、第２のカメラ７１、７２及び検査装置５９の電源をオンにし、第３、第４のカメラ８２、８３及び検査装置８５の電源をオフにする。この場合、第１のカメラ７１によって撮影された作業対象装置３の画像は、第１、第３のＬＣＤ７、７３の画面に、第２のカメラ７２によって撮影された作業対象装置３の画像は、第２、第４のＬＣＤ８、７４の画面にそれぞれ表示される。
【００８２】このように、作業者１は、作業対象装置３を組み立てたり、検査したりする前に必要な作業を事前に体験することができるので、事前に体験した作業及びそのときの作業環境を思い浮かべながら作業を実施することができる。また、仮に、作業者１が事前に体験した作業及びそのときの作業環境を忘れても、作業指示者２は再び前記操作情報を作業者用端末Ｓ１側に送ることができる。
【００８３】本実施の形態においては、一人の作業者１と一人の作業指示者２との間において操作情報を送受信するようになっているが、複数の作業者と複数の作業指示者との間で操作情報を送受信することもできる。この場合、中心になる作業指示者が、各作業者及び他の作業指示者に作業指示を送るのに対応させて、インターネット網１８に接続された各画像入力装置のカメラ、ＬＣＤ、及び検査装置の電源がオン・オフさせられる。
【００８４】次に、本発明の第６の実施の形態について説明する。なお、第３の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。
【００８５】図２５は本発明の第６の実施の形態における遠隔作業支援システムを示す図である。
【００８６】この場合、ステレオ画像を入力するための画像入力装置７０において、撮像手段としての第１、第２のカメラ７１、７２、第１、第２のＬＣＤ７、８、マイク９及びスピーカ１０が一体に形成される。そして、第１の操作者としての作業者１は、右手４に検査装置５９を把持し、該検査装置５９によって、作業対象装置６７の組立状態を検査する。
【００８７】前記第１のカメラ７１は作業者１の右目１ａ（図１）及び第１のＬＣＤ７に対応させて、第２のカメラ７２は作業者１の左目１ｂ及び第２のＬＣＤ８に対応させて配設される。
【００８８】次に、本発明の第７の実施の形態について説明する。なお、第５の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。
【００８９】図２６は本発明の第７の実施の形態における遠隔作業支援システムを示す第１の概念図、図２７は本発明の第７の実施の形態における遠隔作業支援システムを示す第２の概念図である。
【００９０】図において、９１は第１の操作者としての作業者１の図示されない右手に装着するためのグローブ、９２は設計担当者及び第２の操作者としての作業指示者２の図示されない右手に装着するためのグローブ、９３は前記グローブ９１を任意の位置に移動させるための図示されない移動機構を駆動する駆動部としてのドライバ、９４は作業指示者２の動作を前記グローブ９２の位置によって検出する検出部である。この場合、第１のカメラ７１によって撮影された作業対象装置３の画像は、第１、第３のＬＣＤ７、７３の画面に、第２のカメラ７２によって撮影された作業対象装置３の画像は、第２、第４のＬＣＤ８、７４の画面にそれぞれ表示される。
【００９１】作業者１が初心者である場合、作業指示者２が右手にグローブ９２を装着し、事前体験用作業対象装置７９の組立状態を検査するために、検査装置８５を移動させると、グローブ９２の位置が検出部９４によって検出され、検出信号がＣＰＵ２１に送られる。そして、ＣＰＵ２１の図示されない動作情報送信処理手段は、検出信号を動作情報としてインターネット網１８を介してＣＰＵ１３に送る。
【００９２】該ＣＰＵ１３は、前記動作情報に従って、ドライバ９３を駆動し、グローブ９１を前記グローブ９２の位置に対応する位置に置くことによって、作業者１を動作させる。したがって、作業者１は、前記第１、第２のＬＣＤ７、８の画面に表示された作業指示者２の指示内容としての動作にならって作業対象装置３を組み立てたり、検査したりすることができる。
【００９３】次に、三次元で認識される画像が表示された画面に、三次元的な指示内容を表示することができるようにした本発明の第８の実施の形態について説明する。なお、第５の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。
【００９４】図２８は本発明の第８の実施の形態における遠隔作業支援システムを示す第１の概念図、図２９は本発明の第８の実施の形態における遠隔作業支援システムを示す第２の概念図、図３０は本発明の第８の実施の形態における指示手袋の表側を示す図、図３１は本発明の第８の実施の形態における指示手袋の裏側を示す図である。
【００９５】図において、９１、９３は間隔センサ、９２、９４はセンサ制御部、９５は操作手袋としての指示手袋、９６は背景幕である。
【００９６】設計担当者及び第２の操作者としての作業指示者２の右手８０に装着された指示手袋９５が第３、第４のカメラ８２、８３によって撮影され、撮影された指示手袋９５の画像が第３、第４のＬＣＤ７３、７４の画面に表示される。したがって、作業指示者２は指示手袋９５を三次元で認識することができる。
【００９７】指示手袋９５は、所定の指としての人指し指９５ａ、及び該人指し指９５ａ以外の指を含む本体部９５ｂを備え、人指し指９５ａと本体部９５ｂとは互いに色を異ならせてあり、しかも、人指し指９５ａの色は背景幕９６の色と異ならせてあり、本体部９５ｂの色は背景幕９６の色と同じにされる。
【００９８】したがって、本体部９５ｂ及び背景幕９６の色に合わせてクロマキー処理を行うことによって、人指し指９５ａだけを指示内容として浮き出させ、表示することができる。
【００９９】そのために、作業指示者２は、第３、第４のＬＣＤ７３、７４の画面に表示された画像を見ながら、クロマキー処理を行う部分にマウス３２を移動させ、クロマキー処理を行う部分を指定する。ＣＰＵ２１は、メモリ３５にあらかじめ記録されたクロマキー合成プログラムによって、人指し指９５ａだけが浮き出るように画像処理を行う。
【０１００】次に、クロマキー処理が行われて人指し指９５ａだけ浮き出ている画像と、第１、第２のカメラ７１、７２によって撮影された作業対象装置３の画像とを合成し、合成によって得られた画像を第１、第２のＬＣＤ７、８及び第３、第４のＬＣＤ７３、７４の画面にそれぞれ表示する。したがって、第１の操作者としての作業者１及び作業指示者２は、作業対象装置３及び人指し指９５ａの画像を三次元で認識することができる。
【０１０１】この場合、第３、第４のカメラ８２、８３間の間隔と、第１、第２のカメラ７１、７２間の間隔とが大幅に異なると、人指し指９５ａの画像と作業対象装置３の画像とを適切に合成することができなくなる。そこで、本実施の形態においては、第１、第２のカメラ７１、７２間の間隔を測定するために、画像入力装置７０に間隔センサ９１が、第３、第４のカメラ８２、８３間の間隔を測定するために、画像入力装置８１に間隔センサ９３が配設され、前記画像の合成が行われる際に、間隔センサ９１、９３の各センサ出力を確認するようにしている。
【０１０２】間隔センサ９１は、第１、第２のカメラ７１、７２間の距離に比例したセンサ出力を発生させる。したがって、作業者１がマウス７６を操作して間隔を測定する指示をＣＰＵ１３に入力すると、該ＣＰＵ１３はセンサ制御部９２を介して間隔センサ９１からのセンサ出力を読み込み、メモリ１４にあらかじめ記録された間隔測定・表示プログラムによって前記センサ出力を距離に変換し、該距離を第１、第２のＬＣＤ７、８の画面に表示する。前記距離は、インターネット網１８を介して作業指示者端末Ｓ２に送られ、第３、第４のＬＣＤ７３、７４の画面にも表示される。
【０１０３】同様に、間隔センサ９３によって発生させられたセンサ出力は、センサ制御部９４を介してＣＰＵ２１に読み込まれ、該ＣＰＵ２１において距離に変換され、該距離は、第３、第４のＬＣＤ７３、７４及び第１、第２のＬＣＤ７、８の画面にそれぞれ表示される。
【０１０４】そして、作業者１及び作業指示者２は、表示された二つの距離に基づいて、第１、第２のカメラ７１、７２間の間隔、及び第３、第４のカメラ８２、８３間の間隔を調整する。そのために、例えば、各第１、第２のカメラ７１、７２及び第３、第４のカメラ８２、８３を固定している図示されないねじを緩め、第１、第２のカメラ７１、７２及び第３、第４のカメラ８２、８３を必要に応じて中心方向又は外方向に動かした後、前記ねじを締めて再び固定する。
【０１０５】なお、あらかじめ作業者１及び作業指示者２の両目の間隔を測定し、両目の間隔の近い者同士で作業者１と作業指示者２とを組み合わせれば、前記間隔の調整は不要になる。
【０１０６】また、各間隔センサ９１、９３が配設された位置に、各ＣＰＵ１３、２１からの制御信号に基づいて前記間隔を調整することができるアクチュエータ又はメカニズムを配設し、各間隔センサ９１、９３のセンサ出力の平均値を算出し、該平均値を目標値として、前記アクチュエータ又はメカニズムの制御を行うためのプログラムを各メモリ１４、３５に記録することによって、前記間隔を自動的に調整することもできる。
【０１０７】このように、第１、第２のＬＣＤ７、８及び第３、第４のＬＣＤ７３、７４の各画面に作業指示者２の指示内容が三次元的に表示されるので、臨場感のある指示を行うことができる。そして、作業指示者２は、あたかも目の前に作業対象装置３があるような臨場感を体感することができるので、人指し指９５ａを用いた簡単な操作で作業者１に指示を出すことができる。
【０１０８】ところで、前記第８の実施の形態においては、作業指示者２は、あたかも目の前に作業対象装置３があるような臨場感を体感することができるが、実際には作業指示者端末Ｓ２に作業対象装置３は存在しないので、作業指示者２は人指し指９５ａに触覚を覚えることができず、しかも、人指し指９５ａを空間に浮かせた状態に置かなければならない。したがって、指示する時間が長くなると、手が疲れたり、指示している位置がずれたり、人指し指９５ａが振動したりしてしまう。
【０１０９】そこで、作業指示者２の人指し指９５ａに触覚を与えるようにした本発明の第９の実施の形態について説明する。なお、第８の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。
【０１１０】図３２は本発明の第９の実施の形態における作業指示者側の遠隔作業支援システムを示す概念図である。
【０１１１】まず、第３、第４のカメラ８２、８３と事前体験用作業対象装置７９との距離を、第１、第２のカメラ７１（図２８）、７２と作業対象装置３との距離に合わせる。このとき、メモリ３５に記録された画像構成プログラムが起動され、第１、第２のカメラ７１、７２によって撮影され、濃度が低くされた作業対象装置３の画像と第３、第４のカメラ８２、８３によって撮影された事前体験用作業対象装置７９の画像とが合成され、合成された画像が第３、第４のＬＣＤ７３、７４の画面に表示される。そして、設計担当者及び第２の操作者としての作業指示者２は、事前体験用作業対象装置７９の大きさと作業対象装置３の大きさとが等しくなるように距離の調整を行い、調整が行われた時点で、事前体験用作業対象装置７９の前方の所定の箇所に背景幕９６を配設する。その後、第８の実施の形態と同様に、人指し指９５ａだけが浮き出るように画像にクロマキー処理を行い、人指し指９５ａの画像と作業対象装置３の画像及び事前体験用作業対象装置７９の画像とを合成する。
【０１１２】したがって、人指し指９５ａを背景幕９６に触れさせて作業者１に指示を出すことができるので、作業指示者２は人指し指９５ａに触覚を覚えることができるだけでなく、人指し指９５ａを空間に浮かせた状態に置く必要がなくなる。したがって、指示する時間が長くなっても、手が疲れたり、指示している位置がずれたり、人指し指９５ａが振動したりすることがない。
【０１１３】ところで、前記第８、第９の実施の形態においては、作業指示者２は人指し指９５ａによって三次元的に第１の操作者としての作業者１に指示を出すことができるようになっているが、作業において、掴（つか）む、擦（こす）る、叩（たた）く等の手全体を使った動作で指示を出す必要がある場合、前述されたようなクロマキー処理を指示手袋９５の全体に対して行うと、第１、第２のカメラ７１、７２によって撮影された作業対象装置３の画像が指示手袋９５で隠れてしまう。そこで、第１、第２のカメラ７１、７２によって撮影された作業対象装置３の画像が指示手袋９５で隠れてしまうことがないようにした本発明の第１０の実施の形態について説明する。なお、第８の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。
【０１１４】図３３は本発明の第１０の実施の形態における作業指示者側の遠隔作業支援システムを示す概念図、図３４は本発明の第１０の実施の形態における指示手袋の表側を示す図、図３５は本発明の第１０の実施の形態における指示手袋の裏側を示す図である。
【０１１５】この場合、設計担当者及び第２の操作者としての作業指示者２は右手８０に操作手袋としての指示手袋９７を装着する。そして、クロマキー処理による画像の合成が行われ、作業者１（図２８）に指示手袋９７の動きによって三次元的に指示を出すことができる。
【０１１６】図３４に示されるように、指示手袋９７おいて、側面部９９及び爪部１００ａ～１００ｅの色と本体部９８の色とが互いに異ならせられる。前記側面部９９及び爪部１００ａ～１００ｅの色は背景幕９６と異なる色にされ、本体部９８の色は背景幕９６と同じ色にされる。そして、本体部９８及び背景幕９６の色に合わせてクロマキー処理を行うことによって、前記側面部９９及び爪部１００ａ～１００ｅだけが浮き出た画像を表示することができる。なお、指示手袋９７は、爪部１００ａ～１００ｅの有無、親指の位置等によって、右手及び左手の区別、並びに表側及び裏側の区別を目視で行うことができる。図３４及び３５に示される指示手袋９７は右手仕様である。
【０１１７】このように、側面部９９及び爪部１００ａ～１００ｅだけが作業対象装置３の画像に合成されるので、作業指示者２が手全体を使った動作で指示を出しても、作業対象装置３の画像を不必要に隠してしまうことがない。
【０１１８】また、前記指示手袋９７は第３、第４のカメラ８２、８３によって撮影されるので、第１の操作者としての作業者１及び作業指示者２は三次元的に画像を認識することができる。
【０１１９】ところで、前記各実施の形態においては、画像入力装置５（図１９）、７０が作業者１の顔に装着されるので、作業者１は両手が自由になり、画像入力装置５、７０を装着していない場合と同じ作業性を得ることができる。しかも、作業者１の顔の動きに第１、第２のＬＣＤ７、８が追従するので、作業者１は、作業指示者２からの指示内容を、作業姿勢に関係なく、確実に目視することができる。
【０１２０】ところが、作業指示者２が同じ作業面に対して複数の指示を出す場合、作業面を撮影しているカメラ６が動かないように固定する必要がある。カメラ６が動いてしまうと、カメラ６の動きに合わせて作業指示者２が指示位置を修正しなければならない。
【０１２１】そこで、カメラ６を固定することができるようにした第１１の実施の形態について説明する。
【０１２２】図３６は本発明の第１１の実施の形態における画像入力装置を示す斜視図である。
【０１２３】図において、１１０は画像入力装置、６は撮像手段としてのカメラ、７、８は第１、第２のＬＣＤ、９はマイク、１１１は支持台としての台座部、１１３は固定装置であり、該固定装置１１３は、パン固定ねじ１１２、チルト固定ねじ１１４、チルト台１１５、シャフト１１６、高さ固定ねじ１１７及びスタンド１１８を備える。
【０１２４】この場合、画像入力装置１１０は、図示されない作業台上に配設された固定装置１１３に固定される。これにより、第１の操作者としての作業者１（図１）の顔の動きに従ってカメラ６が動いてしまうことがないので、設計担当者及び第２の操作者としての作業指示者２からの指示内容が表示される位置と、作業対象装置３における作業の位置とが一致させられる。しかも、カメラ６と作業対象装置３との距離が一定になるので、部品の重ね表示の精度を高くすることができる。
【０１２５】また、画像入力装置１１０が作業台上に配設されるので、作業者１は、目が疲れた場合、顔を移動させるだけで、手を使うことなく、第１、第２のＬＣＤ７、８の画面から視線を外すことができる。
【０１２６】なお、作業者１は、作業中、顔を画像入力装置１１０に押し付けている必要があるので、姿勢保持にストレスを感じることがある。その場合、作業者１は、可能な限り座位状態で画像入力装置１１０を覗（のぞ）くような姿勢になるように、固定装置１１３のチルト方向（矢印Ａ方向）、パン方向（矢印Ｂ方向）及び高さ方向（矢印Ｃ方向）を調整することによって、ストレスを軽減することができる。
【０１２７】次に、本発明の第１２の実施の形態について説明する。
【０１２８】図３７は本発明の第１２の実施の形態における画像入力装置を示す図である。
【０１２９】図において、１１９は画像入力装置、７１、７２は第１、第２のカメラ、７、８は第１、第２のＬＣＤ、９はマイク、１１１は支持台としての台座部、１１３は固定装置であり、該固定装置１１３は、パン固定ねじ１１２、チルト固定ねじ１１４、チルト台１１５、シャフト１１６、高さ固定ねじ１１７及びスタンド１１８を備える。前記画像入力装置１１９は、チルト固定ねじ１１４の中心線を中心にして矢印Ａ方向に、パン固定ねじ１１２の中心線を中心にして矢印Ｂ方向に回動させたり、矢印Ｃ方向に移動させたりすることができる。
【０１３０】この場合、第１、第２のカメラ７１、７２によってステレオ画像を入力することができる。
【０１３１】なお、本発明は前記実施の形態に限定されるものではなく、本発明の趣旨に基づいて種々変形させることが可能であり、それらを本発明の範囲から排除するものではない。
【０１３２】
【発明の効果】以上詳細に説明したように、本発明によれば、遠隔作業支援システムにおいては、第１の操作者による作業の対象となる作業対象装置を撮影する撮像手段と、該撮像手段によって撮影された作業対象装置の画像を第１の操作者に対して表示するための第１の表示部と、前記画像を第２の操作者に対して表示するための第２の表示部と、前記第２の操作者によって操作される操作部と、該操作部の操作に基づいて、前記第１の表示部の画面に指示内容を表示する指示内容表示処理手段とを有する。
【０１３３】この場合、撮像手段によって撮影された作業対象装置の画像が、第１の表示部の画面に表示され、第２の操作者による操作部の操作に基づいて、前記画面に指示内容が表示されるので、第１、第２の操作者において情報の共有性を高くすることができ、問題が発生した原因を分析するのに必要な時間を短くすることができるだけでなく、製造品のコストを低くすることができる。

【出願人】	【識別番号】００００００２９５【氏名又は名称】沖電気工業株式会社
【出願日】	平成１２年１０月２５日（２０００．１０．２５）
【代理人】	【識別番号】１０００９６４２６【弁理士】【氏名又は名称】川合誠（外２名）
【公開番号】	特開２００２－１３２４８７（Ｐ２００２－１３２４８７Ａ）
【公開日】	平成１４年５月１０日（２００２．５．１０）
【出願番号】	特願２０００－３２５９１６（Ｐ２０００－３２５９１６）