カメラマウスを実現する方法及び装置

トップ :: G 物理学 :: G06 計算;計数

【発明の名称】	カメラマウスを実現する方法及び装置
【発明者】	【氏名】デイビッドエル．ヘクト【氏名】グレンダブリュー．ピートリ【氏名】ノアエル．フロレス【氏名】スヴェンカールソン
【要約】	【課題】ユーザ入力システムの制限を受けないユーザ入力デバイスとその関連する方法を提供する。【解決手段】カメラを組み込んだマウスがマウス下の基体１２２から埋め込みデータの画像をキャプチャし、この画像内の埋め込みデータが復号化されて埋め込みデータ内でコード化されたアドレス又はロケーション情報を決定し、復号化された情報及びマウスボタン選択信号等の他のユーザ入力信号に基づいて、コンピュータが動作を実行する。マウスは、ユーザへビジュアルフィードバックを提供するためのコンピュータによってコントロールされるディスプレイ１５０も有する。このディスプレイ１５０はマウスの下の基体エリアの画像を生成することもあり、これによってユーザにはまるでマウスを介して基体１２２を上から直接見ているように見える。ディスプレイ１５０は、選択又は他のコンピュータ動作などのコンピュータ内で発生する動作に関してのビジュアルフィードバックを生成することもある。

【特許請求の範囲】
【請求項１】基体の特定のエリアの上に装置を位置決めする際にユーザを補助するビューイングエリアを提供する手段と、前記基体の前記特定のエリアに関するコード化された埋め込みデータをキャプチャする手段と、を備える、基体から情報をキャプチャする装置。
【請求項２】前記装置と前記基体との相対位置を示すコードを展開するために前記コード化された埋め込みデータを復号化する手段を更に備える、請求項１に記載の装置。
【請求項３】ビューイングエリアを用いて基体の特定のエリアの上に装置を位置決めするステップと、前記基体の前記特定のエリアに関するコード化された埋め込みデータをキャプチャするステップと、を備える、基体の特定のエリアの上に装置を位置決めする際にユーザを補助するビューイングエリアを有する前記装置を用いて前記基体から情報をキャプチャする方法。

【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明による製造装置、製造方法、及び製品は、一般に、ユーザ入力デバイスに係り、より詳細には、埋め込みデータを有する基体の画像をキャプチャ（捕獲）し、このキャプチャ画像内の埋め込みデータを復号化し、復号化された情報を処理することに関する。
【０００２】
【従来の技術】従来のユーザ入力デバイスの一つのタイプとしてはコンピュータに接続されたポータブル型デバイスがある。ユーザは入力信号をコンピュータへ提供するためにデバイスを操作する。マウスは、このような従来のユーザ入力デバイスの一例である【０００３】コンピュータは信号に対応する動作を実行することによって信号に応答する。マウスに関しては、信号は、一般に、ディスプレイスクリーン上のカーソルの移動によってコンピュータが応答するユーザによるマウスの移動と、選択等の動作の実行によってコンピュータが応答するマウスボタンの起動と、を表す。
【０００４】従来のユーザ入力デバイスに伴う一つの問題は、信号送信の可能性が限定されている点である。例えば、キーボードは一般にキーストローク情報をコンピュータに送るにすぎず、マウスは移動及びボタン起動信号を送るにすぎない。この限定された信号送信の可能性によって、入力デバイスを介してユーザがコンピュータに提供する情報の度合いにも本質的な限定を強いられることになる。
【０００５】
【発明が解決しようとする課題】従って、従来のユーザ入力システムの制限を受けないユーザ入力デバイスとその関連する方法が必要とされる。
【０００６】本発明による製造装置、製造方法、及び製品は、基体上に具現化された埋め込みデータを有する基体の画像をキャプチャするためのユーザ入力デバイスを提供し、より詳細には、ユーザ入力デバイスは、埋め込みコードを含む画像をキャプチャするカメラマウス画像キャプチャデバイスを備える。一つの実施の形態において、カメラマウスはアクティブディスプレイを含む。ディスプレイは、例えば、キャプチャ画像情報と画像を増補する情報との組み合わせを提供し得る。増補された情報は組み合わせディスプレイ内のキャプチャ画像に位置合わせ（見当合わせ）される。
【０００７】
【課題を解決するための手段】本発明によれば、カメラマウスは、ユーザ選択信号に応答して、基体エリアの画像をキャプチャするための画像センサを含む。画像が復号化されてキャプチャされたエリアからアドレス又はロケーション情報を決定し、必要であれば、対応する動作を実行する。例えば、復号化された情報に応答して追加の情報がマウス上にディスプレイされたり、復号化された情報に応答してワードプロセッシング又はスプレッドシートファンクション等の更なる処理が実行され得る。
【０００８】本明細書中に組み込まれ、その一部を構成する添付図面は本発明の実施の形態を図示し、その説明と一緒に用いられることにより、本発明の原理がより詳しく理解されよう。
【０００９】
【発明の実施の形態】添付図面に示された実施例を参照することによって、本発明の実施の形態を以下に詳細に説明する。本発明の原理に応じて本明細書中に開示された製造方法、製造装置、及び製品は、埋め込みデータを有する第１の情報を第２の情報に位置合わせする。
【００１０】図１は、グリフマーク（絵文字）とこれらのグリフマーク内に具現化されたコードとを示す。グリフマークは基体２４上のグリフマーク２１等の基体上の繊細なパターンとして一般に実現される。グリフマークは肉眼では簡単に解像されない。従って、図１のグリフマーク２１によって示されているように、グリフマークは一般に肉眼には一様なグレイスケールの外観又はテクスチャを有するものとして見える。
【００１１】拡大されたエリア２３はグリフマーク２１のエリアを示す。グリフマーク２１は、グリフ２２等の細長い斜線状のマークから成り、一般に、グリフの質量中心点から成るラティス（格子）上で幅方向及び長さ方向に均一に分散されて、矩形模様のグリフを形成する。グリフは通常前後に傾斜して、それぞれがバイナリ値「０」又は「１」を表す。例えば、基体２４の長手方向のディメンションに対して＋４５°又は－４５°傾斜していてもよい。これらのバイナリ特性を用いて、グリフマークは、特定のコーディング（符号化）システムを具現化する０と１を表す一連のグリフマークを生成するために使用され得る。グリフを０と１に復号化することによってグリフコードパターン２５が生成される。グリフコードパターン２５の０と１は、グリフマーク２１を生成するために使用される特定のコーディングシステムに応じて更に復号化され得る。グリフが歪んだり消去されることによって生じる曖昧さを解消するために、復号化段階において更なる処理が必要になることもある。
【００１２】グリフマークは多くの方法で実現され得る。本発明による装置及び方法は、種々のタイプのグリフコードインプリメンテーションを読み取り、復号化する。例えば、グリフは、グラフィックと組み合わされることができ、又は、画像を生成するためのハーフトーンとして使用されてもよい。
【００１３】図２は、本発明によるグラフィックとグリフを組み合わせた画像２１０の実施の形態を示す。この特定の実施の形態において、グラフィックはユーザインターフェースアイコンを有する。各アイコンはグリフ上にオーバーレイしたグラフィックを有する。グリフはアドレスカーペットを形成する。このグリフアドレスカーペットは、グリフ値の適切なコーディングによって画像用の位置及び向きのユニーク（独特）なアドレススペースを確立する。
【００１４】図３は、図２に示された画像２１０の一部の拡大図を示す。より詳細には、この部分２１２は、アドレスカーペットの一部とオーバーレイするＬａｂ．ａｖｉアイコンを示し、このアイコンは、アイコンのロケーション及び向きを曖昧に識別する。
【００１５】図４は、オーバーレイタイル状ラベルコードを有するグリフアドレスカーペットコードの一部の例を示す。ｕとｖのグリフアドレスコードはアドレスカーペットを有し、ｄコードはオーバーレイタイル状ラベルコードを有する。この実施の形態において、ｕアドレスコードの行はｖアドレスコードの行とインタリーブ（交互配置）されている。ｕアドレスコードの各行は、右下方向４５°に走る斜線が一つ置きの行で同一ｕコードに沿って横切るように２位置ずれている。同様に、ｖアドレスコードの各行は、左下方向４５°に走る斜線が一つ置きの行で同一ｖコードに沿って横切るように２位置ずれている。このｕとｖのアドレスコードの特性が、グリフのキャプチャ画像からのコード内の正確なロケーションを決定させる。
【００１６】６列（カラム）毎のアドレスカーペットはラベルコードを有するｄコードに置き換えられる。ラベルコードはコンテクストのページ番号等の更なる情報を表す。図５におけるラベルコードはビットｄ₀₁、ｄ₀₂、ｄ₀₃、及びｄ₀₄から成る４ビットラベルコードである。ｄコードはアドレスカーペット全体を通して反復される。ｄコードはｕとｖのコードに代用される。例えば、最上段の行、ｖ₁₃、ｖ₁₉、ｖ₂₅、及びｖ₃₁は、ｄ₀₃、ｄ₀₄、ｄ₀₁、及びｄ₀₂にそれぞれ置き換えられる。各行において、６列毎のｕとｖのコードは、対応するｄコードによってオーバーライト（上書き）される。アドレスカーペットのキャプチャされた部分において、ｄコードは情報を与えるラベルを提供するように復号化され得る。ｄコードは、例えば、ページ番号やコンテクスト情報を表すことができる。このように、図５に示されたグリフアドレスカーペットの部分がそれぞれ１１００で表されるコードｄ₀₃、ｄ₀₄、ｄ₀₁、及びｄ₀₂と読み出された場合、再び順序付けられたｄコードはｄ₀₁、ｄ₀₂、ｄ₀₃、及びｄ₀₄のコード、即ち、コード１１００を形成し、ページ又はコンテクスト３（バイナリ００１１＝３）を示す。コードエレメント（即ちアドレッシング）の適切な論理的一致は、アドレスコードによって提供される。
【００１７】図４に示されるように、オーバーレイタイル状ラベルコードを有するグリフアドレスカーペットコードのキャプチャされた部分から、向き、ロケーション、及びラベルを決定することができる。以下に極めて詳細に説明されるように、ｕとｖのアドレスコードは位置を決定するために使用することができ、ｄコードはラベル情報を提供する。
【００１８】本発明による装置及び方法は、基体から埋め込みデータを読み取り、この埋め込みデータを復号化して装置内の基準に対する基体の位置合わせを決定し、この位置合わせ情報に基づいた人間が知覚できる情報を展開させると共に提供する。一つの実施の形態において、人間が知覚できる情報は基体に位置合わせされたビジュアル（視覚）情報である。人間が知覚できる情報は、例えば、触感、可聴、又は他の知覚情報を有していてもよい。
【００１９】図５は、埋め込みデータを有する画像を読み取り、この画像内の埋め込みデータを復号化し、この復号化された埋め込みデータに基づいて人間が知覚できる情報を展開させるためのシステムを示す。より詳細には、画像キャプチャ４７０は埋め込みデータを有する画像をキャプチャするために基体４６８を読み取り、デコーダ４７２はキャプチャ画像内の埋め込みデータを復号化し、情報ジェネレータ４７４は復号化された埋め込みデータに基づいて人間が知覚できる情報を展開させるとともに、この情報を（一つ以上の情報出力デバイスを表す）情報出力４７６へ出力する。人間が知覚できる情報は、基体４６８に位置合わせされたビジュアルな情報であってもよいし、触感、可聴、又は他の人間が知覚できる情報等の他の人間が知覚できる情報を付加的又は代替的に有していてもよい。ユーザ入力４７８はユーザ入力信号を画像キャプチャ４７０、デコーダ４７２、及び情報ジェネレータ４７４へ提供する。例えば、ユーザ入力４７８は、ボタンを押下げた時に信号をデバイスへ送るボタンであってもよい。信号は、各デバイスによって処理されるとともにそれらの機能性に影響を与え得る。例えば、画像キャプチャ４７０への選択信号は、画像キャプチャ４７０に画像をキャプチャさせる。
【００２０】図６は、本発明によるエレメントの構成を示すブロック図である。図６は、図５に示されたシステムの実施の形態であり、本発明のいくつかの原理を更に説明するために用いられる。画像キャプチャデバイス７０は基体６８から画像をキャプチャする。基体６８は具現化されたグリフ等の埋め込みデータを上に有する。画像キャプチャデバイス７０は、キャプチャされた基体画像をデコーダ７２及び画像ジェネレータ７４へ転送する。一つの実施の形態において、基体６８上の埋め込みデータはアドレスカーペットとタイル状ラベルコードとを有する。デコーダ７２は、キャプチャされた基体画像内の埋め込みデータを解析して、向き、ロケーション、及びラベル情報等の基体の位置合わせに関連する情報を決定する。これらの結果は更なる処理のために画像ジェネレータ７４へ転送される。ユーザ入力７８は、ユーザ入力信号を、画像キャプチャ７０、デコーダ７２、及び画像ジェネレータ７４に送る。図５のユーザ入力４７８に関して説明されているように、ユーザ入力は、これらのエレメントの各々の機能性において用いられてもよい。
【００２１】画像ジェネレータ７４は、デコーダ７２からの結果と、画像キャプチャデバイス７０からのキャプチャされた基体画像と、を処理する。一つの実施の形態において、画像ジェネレータ７４は、デコーダ７２から、コンテクストコード、ロケーションコード、及び回転コードを受け取る。コンテクストコードは基体ページ番号等の基体６８の特定のコンテクストを定義付ける。ロケーションコードは、キャプチャ画像が取り出された基体６８上のロケーションを定義付ける。回転コードは、画像キャプチャデバイスに対する基体の向きを提供する。コンテクストコードとロケーションコードを用いて、画像ジェネレータ７４は、コンテクストコードとロケーションコードに関わる情報にアクセスする。例えば、コンテクストコードが基体ページｉｖを表す場合、ロケーションコードは、ロケーション座標ｘ＝９７及びｙ＝９２並びに回転角＝４３°を示し、画像ジェネレータ７４は、対応する情報を検索し基体に位置合わせされる画像を生成する。回転コードは、生成された画像の向きを位置合わせすることを可能とする。
【００２２】一つの実施の形態において、検索された情報は、二つのタイプの情報、即ち、基体ページｉｖのビットマップ画像表示の形態における画像情報と、基体ページｉｖ上のアイコンのロケーション及び意味を定義付けるアイコン情報と、を含む。ユーザが選択したいとするディスプレイ７６においてアイコンを観察する場合、この情報を用いて、ユーザは選択信号を提供することができる。これに応じて、従来のディスプレイにおけるユーザインタフェース上のアイコンのユーザ選択に応答して従来のシステムがするように、図６の位置合わせシステムに取付けられたシステム（図示せず）は、アイコンに対応するファンクション（機能）を実行するためにアイコンの検索された意味を用いることができる。このようなシステムは、本明細書中に参照することによって組み込まれる"Multi-Level Selection Methods and Apparatus Using Context Identification for Embedded DataGraphical User Interfaces"と題された米国特許第09/223,882号に示され、記述されている。
【００２３】検索された情報のサイズ及び範囲は変化し得る。一つの実施の形態において、画像ジェネレータ７４は、ディスプレイ７６のフットプリントと同じサイズであり、ディスプレイ７６のフットプリントの真下で基体６８のエリアに対応する、基体６８の画像を検索する。ディスプレイ７６が基体６８とアライメントをとるので、ディスプレイ７６を見ているオブザーバ７８には基体６８を直接見ているような錯覚が与えられる。画像ジェネレータ７４は、情報を画像に追加してもよいし又はディスプレイ７６へ送る前に検索された画像を変更してもよい。
【００２４】ディスプレイ７６へ送られた画像は、画像ジェネレータ７４によって多くの方法で生成され得る。例えば、画像ジェネレータ７４は、画像キャプチャ７０によってキャプチャ画像を渡すだけでもよいし、画像キャプチャ７０によってキャプチャ画像を表示するだけでもよい。例えば、基体６８全体のビットマップ表示は画像ジェネレータ７４内に局所的に又はネットワーク上の装置等の遠隔デバイス上に記憶されてもよい。一つの実施の形態において、デコーダ７２からコードを受け取ることに応答して、画像ジェネレータ７４は、ビットマップ表示からコードに対応するエリアを検索し、ユーザへディスプレイするためにディスプレイ７６へにエリア表示を送る。画像ジェネレータ７４によって検索されたエリアは、画像キャプチャ７０によってキャプチャ画像と同じサイズであってもよいし、又は、キャプチャされたエリアの表示のみならずキャプチャされたエリア以外のエリアの表示も含む、拡大されたビューであってもよい。後者の拡大されたビューアプローチは、画像キャプチャ７０のキャプチャエリアがアドレスコードを含む基体６８から画像をキャプチャするだけの大きさをもつように、要求するにすぎない。
【００２５】図７は、本発明によるシステムの実施の形態を示す図である。埋め込みデータを上に有する基体８９は、半透明のミラー８２の下に位置決めされる。基体８９からの画像は画像キャプチャデバイス８０によってキャプチャされる。画像キャプチャデバイス８０はキャプチャ画像をデコーダ８８へ送り、デコーダ８８は画像を復号化し、キャプチャ画像からコードを決定する。デコーダ８８はコードを画像ジェネレータ８４へ送る。画像ジェネレータ８４はコードを処理し、これらのコードに基づいて画像情報を生成／検索し、この画像情報を半透明ミラー８２へ送る。図５及び図６に関して記述されているように、ユーザ入力９０は、ユーザ入力信号を、画像キャプチャ８０、デコーダ８８、及び画像ジェネレータ８４へ送るために使用されてもよい。
【００２６】半透明のミラー８２を見下ろすオブザーバ８６は、基体８９からの画像上にオーバーレイされる、画像ジェネレータ８４によって生成された画像を見る。このように、オーバーレイされた情報は、ダイナミックに更新され、画像キャプチャデバイス８０によってキャプチャされた復号化された画像に基づいて、基体８９の情報へ位置合わせされ得る。
【００２７】他の実施の形態においては、画像キャプチャ８０は半透明のミラー８２から反射した基体画像を受け取る。
【００２８】図５、図６、及び図７のシステムの各々において、エレメントは情報をネットワークデバイスに及び／又は同デバイスから送受信してもよく、これによってエレメントをネットワーク上のデバイスと対話させる。例えば、プログラム及びデータがネットワークデバイスからエレメントに送られてもよいし、これらのデバイスが情報をネットワーク上のデバイスに送ってもよい。
【００２９】図８は、本発明による情報の位置合わせを示す図である。このプロセスは上述された装置によって実行されてもよい。基体３６４は、上に埋め込みコードが具現化され、三角形等の画像を有してもよい。埋め込みコードは、基体３６４上のｘ、ｙの位置が決定され得るコードシステムを具現化する。更なるタイプの情報を符号化する他のコードシステムも使用され得る。
【００３０】画像キャプチャデバイスは基体３６４の一部をキャプチャし、これによって基体上の埋め込みコードの一部の画像をキャプチャする。埋め込みコードは、埋め込みコード内のｘ、ｙのロケーションと、基体３６４上の十字矢印によって表される基体３６４の向きと、を決定するように復号化される。十字矢印は向きを示すために示されているが、実践上はこの矢印が基体上に必ずしも現れる必要はない。他の実施の形態において、ラベルコードはキャプチャされた埋め込みコードから復号化されてもよい。
【００３１】このｘ，ｙのロケーションアドレスコード及びラベルコードに基づいて、画像情報３６６は記憶から検索される。次に、基体３６４上で具現化された埋め込みコードから復号化されたｘ，ｙのロケーションアドレスコード及び向き情報が基体３６４に画像情報３６６を位置合わせするために使用される。これらは複合画像３６８を形成するために使用されてもよい。
【００３２】図９は、グリフアドレスカーペット１７３２等のグラフィカルユーザインタフェースのユーザ選択部分をキャプチャし、キャプチャされた部分におけるグリフを復号化するために使用され得る、ユーザインタフェース画像キャプチャシステムのブロック図である。一つの実施の形態において、コンピュータシステム１７１２は、従来のパソコン又はラップトップコンピュータ等の汎用目的のコンピュータシステムであり、メインメモリ１７１６、リードオンリーメモリ（ＲＯＭ）１７１８、記憶デバイス１７２０、プロセッサ１７２２、通信インターフェース１７２４を含み、これら全てがバス１７２６によって相互接続されている。バス１７２６は、位置合わせされた画像システム１７５４、カーソルコントロール１７１４、及びフレームキャプチャ１７２８にも接続される。
【００３３】位置合わせされた画像システム１７５４及びカメラマウス１７５２は、図５、図６、及び図７に関して示され説明されているように原則を具現化するシステム又は本発明の原則に従った他の位置合わせされた画像システムから構成されてもよい。位置合わせされた画像システム１７５４はキャプチャ画像をフレームキャプチャ１７２８へ送り、フレームキャプチャ１７２８はキャプチャ画像をプロセッサ１７２２へ提供する。プロセッサ１７２２は、上述されたように、ｘ、ｙロケーション、ラベル、向き情報等の情報を決定するために画像内の埋め込みデータを復号化し、復号化された情報に基づいて画像情報を位置合わせされた画像システム１７５４へ送る。位置合わせされた画像システム１７５４は、プロセッサ１７２２からの画像情報に基づいて基体に位置合わせされる画像を生成する。
【００３４】位置合わせされた画像システム１７５４は、図９に示された他のデバイスから情報を受け取り、この情報をこれらのデバイスへ伝送してもよい。これによって、例えば、ネットワーク上の他のデバイスを位置合わせされた画像システム１７５４に対話させることができる。
【００３５】カメラマウス１７５２は位置合わせされた画像システム１７５４と同様に動作する。、カメラマウス１７５２は、以下に極めて詳細に記述されるように、カメラマウス１７５２のユーザにカメラマウス１７５２下の基体をビューさせるためのメカニズムも含む。
【００３６】カメラペン１７１０とマウス１７５２は、位置合わせされた画像システム１７５４の演算とともに、コントロール信号をプロセッサ１７２２へ提供することができる。更に、ユーザインタフェース基体１７３２は、位置合わせされた画像システム１７５４が画像を（基体から）キャプチャする基体として使用され得る。
【００３７】カメラペン１７１０は、フレームキャプチャ１７２８及びマウス１７５２に接続され、補助ポインティングデバイスとして動作する。カメラペン１７１０は画像情報をフレームキャプチャ１７２８へ伝送する。一つの実施の形態において、カメラペン１７１０のボタン１７１４がマウス１７５２に配線されることによって、ユーザがボタン１７１４を押すと、信号がマウス１７５２の回路を介してカーソルコントロール１７１４へ移動する。信号は、プロセッサ１７２２にフレームキャプチャ１７２８を指示するプログラムを実行させてカメラペン１７１０から画像をキャプチャする。他の実施の形態において、カメラペン１７１０からの画像ラインと信号ラインは共にフレームキャプチャ１７２８に直接入力される。カメラペン１７１０とコンピュータ１７１２の間のラインはカメラペン１７１０から画像をキャプチャする任意の方法で配線され得る。
【００３８】ユーザは、グリフアドレスカーペット１７３２上のビジュアルインデックス上又はその近くにカメラペン１７１０を置き、ボタン１７１４を押すことによって選択する。ボタン１７１４を押すことによって、カメラペン１７１０が、カメラペン１７１０の先端下のアドレスカーペット１７３２の部分をキャプチャし、フレームキャプチャ１７２８を介して、解析のために画像をコンピュータ１７１２へ伝送する。ボタン１７１４又は複数のボタンは、ダブルクリック、ホールドダウンしながら、更なる信号送信のために使用されてもよい。
【００３９】コンピュータ１７１２は、ＬＡＮ（ローカルエリアネットワーク）１７３４に接続されたデバイスと通信するためにＬＡＮ１７３４にも接続されている。例えば、ＬＡＮ１７３４は、コンピュータ１７４０、プリンタ１７３６、及び大容量記憶装置１７３８に接続されてもよい。ＬＡＮ１７３４はまた、他のネットワーク１７４４に接続されるようにゲートウェイ１７４２に接続されてもよい。ネットワーク１７４４は、コンピュータ１７４６、プリンタ１７４８、及びデータベース１７５０に接続されてもよい。コンピュータ１７１２をＬＡＮ１７３４及びネットワーク１７４４に接続することによって、コンピュータ１７１２はこれらのネットワークに接続されたデバイスを用いて、演算を実行することができる。例えば、カメラペン１７１０又はマウス１７５２によって選択されたプリント用ドキュメントはプリンタ１７３６又はプリンタ１７４８上でプリントされ得る。同様に、ユーザはコンピュータ１７１２を使用してデータベース１７５０上にファイルを要求してもよい。
【００４０】一つの実施の形態において、メインメモリ１７１６は、プロセッサ１７２２によって実行される命令を記憶するランダムアクセスメモリ（ＲＡＭ）又は動的記憶装置である。メインメモリ１７１６は、命令を実行する際に使用される情報を記憶することもある。ＲＯＭ１７１８はプロセッサ１７２２によって使用される静的情報及び命令を記憶するために使用される。磁気又は光学ディスク等の記憶デバイス１７２０はコンピュータシステム１７１２の演算に使用される命令及びデータも記憶する。
【００４１】ディスプレイ１７３０は、液晶ディスプレイ（ＬＣＤ）又は他のタイプのディスプレイデバイスであってもよい。カーソルコントロール１７１４はディスプレイ１７３０上のカーソルの動きをコントロールする。カーソルコントロール１７１４は、例えば、マウス、トラックボール、又はカーソル方向キーであってもよい。
【００４２】図９に示されるシステムは、本明細書中に記載されているグリフアドレスカーペットキャプチャ及び変換システムを実施するために使用され得る。本明細書中に記載されている装置及び方法は、ハードウェア、ソフトウェア、又はこれらの組み合わせを用いてコンピュータシステム１７１２によって実現されてもよい。例えば、本明細書中に記載されている装置及び方法は任意の一つ又はそれ以上のメインメモリ１７１６、ＲＯＭ１７１８、又は記憶デバイス１７２０においてプログラムとして実現されてもよい。一つの実施の形態において、プロセッサ１７２２は、グリフ内で符号化されたアドレス情報を決定するためにグリフアドレスカーペットのキャプチャされた部分を解析するプログラムを実行する。
【００４３】このようなプログラムは、記憶デバイス１７２０等の他のコンピュータ読取り可能媒体からメインメモリ１７１６へ読み込まれる。メインメモリ１７１６内に含まれる命令のシーケンスの実行によって、本明細書中に記載されている本発明による処理ステップをプロセッサ１７２２に実行させる。メインメモリ１７１６内に含まれる命令のシーケンスの実行によって、また、プロセスステップを実行する装置エレメントをプロセッサ１７２２に実現させる。本発明を実現するため、ハードワイアリングされたサーキットリ（回路）は、ソフトウェアの命令の代わりに又はソフトウェアの命令と組み合わされて使用されてもよい。このように、本発明の実施の形態は、ハードウェアのサーキットリ及びソフトウェアの任意の特定の組み合わせに限定されるものではない。
【００４４】本明細書中に使用されているように、用語「コンピュータ読取り可能媒体」は、実行のためにプロセッサ１７２２に命令を提供する際に参加する任意の媒体をいう。このような媒体は、非揮発性メモリ媒体、揮発性メモリ媒体、及び伝送媒体を含むがこれらに限定されない多くの形態を取る。非揮発性のメモリ媒体は、例えば、記憶装置１７２０等の光学又は磁気ディスクを含む。揮発性メモリ媒体は、メインメモリ１７１６等のＲＡＭを含む。伝送媒体は、バス１７２６を有するワイヤを含む、同軸ケーブル、銅製ワイヤ、ファイバ光軸を有する。伝送媒体は、無線波及び赤外線データ通信中に発生する、例えば、音響又は光波の形態を取ることもできる。
【００４５】コンピュータ読み取り可能媒体の共通の形態は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、又は任意の他の磁気記憶媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、穴のあいた任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、任意の他のメモリチップ又はカートリッジ、以下に記述されるようなキャリアウェーブ、又はコンピュータが読み取り使用することができる任意の他の媒体を含む。
【００４６】種々の形態のコンピュータ読取り可能な媒体は、プロセッサ１７２２への実行のための命令の一つ以上のシーケンスを実行する際に係り合うことがある。例えば、命令は、磁気ディスク又は遠隔コンピュータ上で最初に実行されてもよい。遠隔コンピュータは、命令をその動的メモリへロードし、モデムを用いて電話回線を通じ、これらの命令を送ることができる。コンピュータシステム１７１２に局所的なモデムは、電話回線上でデータを受け取り、このデータを赤外線信号へ変換するために赤外線トランスミッタを使用することができる。適切なサーキットリに連結された赤外線検出器は、赤外線信号から送られたデータを受け取り、バス１７２６上にデータを置くことができる。バス１７２６は、プロセッサ１７２２が命令を検索し実行するメインメモリ１７１６へデータを送る。メインメモリ１７１６によって受け取られた命令は、プロセッサ１７２２による実行の前又は後のいずれかで、記憶装置１７２０上に選択的に記憶されてもよい。
【００４７】コンピュータシステム１７１２はまたバス１７２６に連結された通信インターフェース１７２４を含む。通信インターフェース１７２４は他のシステムに対して双方向通信を提供する。例えば、通信インターフェース１７２４は、対応する種類の電話回線へのデータ通信接続を提供する総合サービスディジタルネットワーク（ＩＳＤＮ）のカード又はモデムであってもよい。通信は、例えば、ＬＡＮ（ローカルエリアネットワーク）へ通信を提供するためのＬＡＮであってもよい。通信インターフェース１７２４はまた、コンピュータシステム１７１２とワイアレスシステムとの間でワイアレス通信を実施するためのワイアレスカードであってもよい。任意のこのような実施の形態において、通信インターフェース１７２４は、種々のタイプの情報を示すデータストリームを運ぶ、電気的、電磁的、又は光学的信号を送受信する。
【００４８】通信インターフェース１７２４と外部デバイス及びシステムとの間のリンクは、一般的に、一つ以上のネットワーク又はは他のデバイスを介してデータ通信を提供する。例えば、リンクは、ホストコンピュータや、インターネットサービスプロバイダ（ＩＳＰ）によって操作されるデータ装置へのローカルネットワーク（図示せず）へ接続を提供してもよい。ＩＳＰは、現在は一般的に「インターネット」と呼ばれる全世界規模のパケットデータ通信ネットワークを介してデータ通信サービスを提供する。ローカルネットワークとインターネットは共に、ディジタルデータストリームを運搬する電気的、電磁的、又は光学的信号を使用する。コンピュータシステム１７１２に対してディジタルデータを送受する、種々のネットワークを介した信号、及びネットワークと通信インターフェース１７２４の間の信号送信の代表的な形態は情報をトランスポートするキャリアウェーブの形態である。
【００４９】コンピュータシステム１７１２は、通信インターフェース１７２４と、外部システム及びデバイスと、の間のリンクを介したネットワークを介して、プログラムコードを含むメッセージを送りデータを受け取ることができる。例えば、インターネットにおいて、サーバは、インターネット、ＩＳＰ、ローカルネットワーク、及び通信インターフェース１７２４を介してアプリケーションプログラムに必要とされるコードを伝送する。
【００５０】ネットワーク上で受け取られたプログラムコードはそれが受け取られた際にプロセッサ１７２２によって実行されてもよいし、及び／又は、後からの実行のために記憶デバイス１７２０等のメモリ内に記憶されてもよい。この方法において、コンピュータシステム１７１２は、キャリヤウェーブの形態でアプリケーションコードを得ることもできる。
【００５１】本発明によるカメラマウスのいくつかの実施の形態が以下に記述される。特別な特徴一つの実施の形態に関して記述されているが、当業者は一つの実施の形態について説明された原理が他の実施の形態に適用可能であることを認めるであろう。
【００５２】図１０は、本発明によるカメラマウスを示す図である。カメラマウス１１８は、カメラマウスボタン１１０、１１２、１１４、半透明ミラー１１６、及び信号ケーブル１２０を備える。
【００５３】カメラマウス１１８のトップは、オブザーバが半透明ミラー１１６を介して基体１２２をビューするウィンドウを有する。半透明ミラー１１６は、図１０において破線の○と□によって示されるターゲットエリアインジケータを有する。オブザーバは上に埋め込みコードを具現化した基体１２２のエリアの上にカメラマウス１１８を置く。カメラマウス１１８のカメラ（図示せず）は、カメラマウスボタン１１０、１１２、及び１１４のうち、一つ以上を起動させるオブザーバに応答して、ターゲットエリアインジケータによって定義付けられる基体１２２のエリアをキャプチャする。マイクロカメラによってキャプチャ画像は、処理エレメント（図示せず）によってマウス１１８内で局所的に処理されるか、又は、カメラマウス１１８に取付けられたデバイス内の処理エレメントによって処理するために信号ケーブル１２０へ送られる。
【００５４】基体１２２は基体上に具現化された埋め込みデータを有するので、画像内にキャプチャされた埋め込みデータは復号化され得る。このように、カメラマウス１１８によってユーザはカメラマウス１１８を基体１２２の特定のエリア上に置くことができ、ターゲットエリアインジケータ内に現れる基体１２２のエリアの画像をキャプチャすることができる。キャプチャ画像内の埋め込みコードは処理エレメントによって復号化されて、一つ以上のコードを展開する。これらのコードは、コンテクスト、ロケーション、及び／又は向き等の基体についての情報を表す。
【００５５】処理エレメントはコードを解析し、これらのコードに基づいて演算を実行してもよいし、又はこれらのコードをシンタックス（構文）キューに入れてカメラマウス１１８によってキャプチャされた画像から更なるコードを待機する。
【００５６】例えば、ロケーションが特定のドキュメントアイコンと対応付けられることを示すために復号化された基体１２２のエリアをユーザが最初にキャプチャする場合、ドキュメントアイコンのみを選択するだけではユーザからの完全な動作要求を構成しないので、このコードは、後からの解析のためのシンタックスキュー内に適切に配置される。次に、基体１２２のエリアの上にユーザがカメラマウスを移動し、プリンタアイコン選択を表すために復号化された画像をキャプチャする場合、処理エレメントはシンタックスキュー内のコードを考慮してこの新しい情報を解析し、プリンタアイコンによってフォローされるドキュメントアイコンの選択が、選択されたドキュメントが対応付けられたアイコンによって表されるプリンタによってプリントされるべきであることを示すことを決定する。これによって、各ユーザ選択が一般に一連の選択の一部としてキューされている一つ以上のコードを結果的に生じるか又は特定のシンタックス基準が満たされたため、結果的に動作が実行されるかのいずれかである。ユーザ選択及びアクションを信号送信するために一つ以上のボタンが使用され得る。
【００５７】図１１は、図１０に示されたカメラマウス１１８の切断側面図を示す図である。カメラマウス１１８は、イルミネータ１３２とカメラ１３４とＸＹモーションセンサ１３６と処理エレメント１３８とを含む。処理エレメント１３８はカメラマウス１１８の動作用信号を処理する。例えば、処理エレメント１３８はＸＹモーションセンサ１３６からの信号と、マイクロカメラ１３４からの画像と、を処理する。
【００５８】カメラマウス１１８と外部システムの間のパワー処理システムは変化し得る。カメラマウス１１８の異なる実施の形態は、カメラマウス１１８の内部及び外部で実行される異なる処理を対応しながら有していてもよい。例えば、一つの実施の形態において、処理エレメント１３８は信号を図９のシステムス１７１２等のシステムに渡すにすぎず、システム１７１２から信号を受取る。更に他の実施の形態において、カメラマウス１１８のエレメントは、信号をシステムへ送ったりシステムから信号を受け取ることによって、システム１７１２等の外部システムと直接通信する。他の実施の形態において、カメラマウス１１８は、マウス内に含まれた完全なプロセッサシステムを有する。更に、カメラマウス１１８はワイヤリングされた通信リンクを介して接続されているように図示されているが、ワイヤレス、無線通信、又は赤外線を含む任意の通信技術によって他のデバイスと接続されてもよい。
【００５９】ＸＹモーションセンサ１３６は、従来のマウス動作信号をコンピュータシステム１７１２へ送る。動作信号は従来の方法でコンピュータシステム１７１２によって使用されるか、又は、基体からの画像データを処理することと共に使用されてもよいし、情報をカメラマウス１１８のディスプレイ上にディスプレイする方法をコントロールするために使用されてもよい。例えば、マウス動作信号は、コンピュータシステム１７１２によって、ディスプレイ１７３０上のカーソルをコントロールするか又はカメラマウス１７５２上にディスプレイされるメニューを介してスクロールするために使用することができる。
【００６０】画像が照明を用いずに基体からキャプチャされるように基体が十分な照度を有する実施の形態においてはイルミネータ１５２は必要とされない。例えば、基体が裏側から照らされるか又はビューグラフプロジェクタ又はコンピュータスクリーンから光が照らされるシステムにおいて、イルミネータは必要とされなくなる。他の実施の形態においては、イルミネータ１３２及びＹＸセンサ１３６のどちらか又は両方が取り除かれてもよい。
【００６１】処理エレメント１３８はカメラ１３４からの画像も処理する。カメラ１３４は、半透明のミラー１６６から反射する基体１２２の画像を受け取る。ディスプレイ１５０上の画像をビューするオブザーバ１３０は、カメラマウスボタン１１０、１１２、又は１１４のうち、一つ以上を押すことによって画像をキャプチャしてもよい。マイクロカメラ１３４によってキャプチャされた基体１２２のエリアは、処理エレメント１３８によって処理される。図１１は、マウス１１８内に位置した処理エレメント１３８を示すが、処理の全体又は一部が信号ケーブル１２０に接続された処理エレメントによって外的に実行されてもよい。
【００６２】基体１２２は基体上に具現化された埋め込みコードを有するので、カメラ１３４によってキャプチャされた画像は埋め込みコードのエリアを含む。この埋め込みコードのエリアは、プロセッサによって、復号化され、解釈される。埋め込みデータは基体１２２をカバーし、埋め込みコードの各エリアはロケーションを表す固有のコードになるように復号化することができる。次に、固有のコードはシステムの特定のオブジェクト選択に対応付けることができる。ユーザがシステムエレメントの一つ以上のビジュアル表示の上にカメラマウス１１８を移動し、ビジュアル表示上又は近くのエリアをキャプチャする。各画像がキャプチャされると、画像内の埋め込みデータがキャプチャされ、復号化される。復号化された結果は次に対応付けられるシステムエレメントを決定するために解析される。キャプチャされたロケーションに対応付けられるシステムエレメントが一旦決定されると、もしあれば、任意のアクションを取るべきか否かを決定するために前もって選択されたシステムエレメントと共に解析される。例えば、図１０に戻ると、デビッドドキュメント（David Document）アイコンを囲むエリアがキャプチャされた場合、プロセッサはアイコンを囲む埋め込みコードを復号化する。復号化の欠陥は、キャプチャされたエリアがDavid Documentアイコンと対応付けられる。これは、次に、ユーザインターフェースデザインにおいて良好に理解されるように、更なる処理のために使用される。例えば、David Documentアイコンの選択に続いて、ユーザは、David Documentアイコンと対応付けられたドキュメントを開くためにカメラマウスボタン１１０，１１２、及び１１４の他のボタンを押すこともあり、これは従来のコンピュータディスプレイスクリーン上のアイコンをダブルクリックするのに類似している。従って、本発明の原理を用いて組み立てられたマウスは、ユーザが従来の電子ディスプレイと対話するのと同様に、基体と対話するために使用されてもよい。例えば、ユーザは特定のアイコンの上にカメラマウス１１８を移動すると共にアイコンを選択してもよく、これは電子ディスプレイアイコンの上にカーソルを移動することとマウスボタンを押すことによってアイコンを選択することに類似している。アイコン上の複数のクリックによって結果的に特定の動作が実行され、アイコンの選択のシーケンスによって他の動作が実行され、これも従来の電子ディスプレイを用いた電子ユーザインターフェースに類似している。
【００６３】図１２は、本発明によるディスプレイを有するカメラマウスの実施の形態を示す。この実施の形態において、オブザーバ１３０は、カメラマウス１１８の上部に位置するＬＣＤディスプレイ等のディスプレイ１５０をビューする。ディスプレイ１５０はカメラ１３４によってキャプチャされた画像に関する情報をディスプレイする。ディスプレイ１５０にディスプレイされる情報はカメラ１３４によってキャプチャされた画像に関するいかなる種類の情報であってもよい。一般に、情報は、カメラマウス１１８の操作の際にユーザを補助するための情報である。例えば、情報は、カメラ１３４によってキャプチャされる実際の画像と、キャプチャされた画像の表示と、キャプチャされた画像に関す以外にキャプチャされた実際の画像、又はキャプチャ画像を用いない単にキャプチャ画像に関する情報を有していてもよい。図１２において、カメラマウス１１８が基体１２２上のDavid's Documentアイコン上に位置決めされることをユーザに示すDavid's Documentアイコンがディスプレイされる。
【００６４】図１３は、カメラマウス１１８の切断側面図を示す図である。カメラマウス１１８は、カメラ１３４とＸＹモーションセンサ１３６とイルミネータ１５２と処理エレメント１３８とを含む。処理エレメント１３８はＸＹモーションセンサ１３６からの信号とカメラ１３４からの画像とを処理する。これらの画像は局所的に処理されてコンピュータシステム１７１２へ送られてもよいし、信号と画像を組み合わせてもよい。
【００６５】カメラ１３４は半透明ミラー１６６から反射した基体１２２の画像を受け取る。ディスプレイ１５０上の画像をビューするオブザーバ１３０は、カメラマウスボタン１１０、１１２、又は１１４のうち一つ以上を押すことによって選択してもよい。カメラ１３４によってキャプチャされる基体１２２のエリアは次に処理エレメント１３８によって処理される。図１３はマウス１１８内に位置する処理エレメント１３８を示すが、処理の全体又は一部が信号ケーブル１２０によってカメラマウス１１８に接続された処理エレメントによって外的に実行されてもよい。
【００６６】図１４は、本発明による画像位置合わせシステムの他の実施の形態を示す。カメラマウス１１８は、カメラマウスボタン１１０、１１２、及び１１４及び信号ケーブル１２０を有する。カメラマウス１１８におけるマイクロカメラ（図示せず）はカメラマウスボタン１１０、１１２、及び１１４のうち、一つ以上を起動させるオブザーバに応答して、ターゲットエリアインジケータによって定義付けられる基体１２２のエリアをキャプチャする。マイクロカメラによってキャプチャ画像は、処理エレメント（図示せず）によってマウス１１８内で局所的に処理されるか、又は、カメラマウス１１８に取付けられたデバイス内の処理エレメントによって処理するために信号ケーブル１２０上へ送られる。
【００６７】基体１２２は基体上に具体化された埋め込みデータを有するので、画像内にキャプチャされた埋め込みデータは復号化され得る。このように、カメラマウス１１８によってユーザが基体１２２の特定のエリア上にカメラマウス１１８を置き、次に、ディスプレイ１５０内にディスプレイされる、基体１２２のエリアの画像をキャプチャすることができる。キャプチャ画像内の埋め込みコードは、処理エレメントによって復号化され、復号化された情報が展開される。復号化された情報は、基体についてのコンテクスト、ロケーション、及び／又は向き等のいずれかを表す。処理エレメントは、復号化された情報を解析し、復号化された情報及びボタンコントロールに基づいて演算を実行するか、又はコード及びボタンコントロールをシンタックス（構文）キューに入れて、更なるコード及びボタンコントロールを待機する。
【００６８】復号化された情報に基づいて、画像情報が生成され、ディスプレイ１５０上に画像としてディスプレイされる。いくつかのタイプの画像情報がディスプレイされてもよい。例えば、その情報は、マイクロカメラ１３４によってキャプチャされた実際の画像、キャプチャ画像の表示、キャプチャ画像に関する他の情報以外でキャプチャされた実際の画像、又はキャプチャ画像のないキャプチャ画像に関する単なる情報、を有していてもよい。一つの実施の形態において、基体の表示は、検索され、キャプチャ画像に組み合わされて、ディスプレイ１５０上に複合画像を形成し、この複合画像は、キャプチャ画像とこのキャプチャ画像を囲む拡大されたエリアを示す。
【００６９】ディスプレイ１５０は、重畳された十字線を有するキャプチャ画像である、David's Documentアイコンを示す。ディスプレイ１５０はまた、そのアイコンがユーザによって選択されたことを示すDavid's Document画像２５０を示す。例えば、ユーザがマウスをDavid's Document上に置く場合、マウスは基体１２２からDavid's Document画像をキャプチャし、キャプチャされた画像をディスプレイ１５０上にディスプレイする。次にユーザがアイコンを選択するためにマウスボタンを起動させる場合、David's Documentアイコンの表示がDavid's Documentアイコン２５０としてディスプレイ１５０内にディスプレイされる。
【００７０】図１５は、カメラマウスディスプレイ上のディスプレイ情報の他の実施の形態を示す図である。図１５乃至図１９は、カメラマウス１１８を用いた例を示す一連のユーザ選択を示し、これによって、システムに特定の機能を実行させる。ディスプレイ１５０は、円形破線、矩形破線、十字破線によって示される十字カーソルを含む、より大きな画像キャプチャフィールドをディスプレイする。矩形ボックス内のキャプチャエリアしかディスプレイされない図１２とは異なり、図１５は、ディスプレイ１５０上の基体を表すより大きなエリアをディスプレイすることを示す。ユーザは、カメラマウスボタン１１０、１１２、又は１１４のうち一つのボタンを押すことによってキャプチャのためにターゲットエリア内のアイコンを選択する。
【００７１】図１６は、アイコンが選択されたことをユーザにフィードバックするためにディスプレイ上のアイコンをハイライトするところを示す。より詳細には、ユーザがDavid's Documentアイコンを選択した後、この選択は、例えば、異なるカラーのアイコンを示すことによって、ディスプレイ１５０内でハイライトされる。
【００７２】図１７は、共にキャリーされるドキュメントアイコンのハイライトされたアブストラクトビューを有するプリンタアイコンの画像の上に重畳された十字カーソルディスプレイを示す。図１６に示されるようにハイライトされている選択のポイントから続けて、アイコンが一旦ハイライトされると、カメラマウスボタン１１０，１１２、及び１１４のうちの一つを押すことによって更なる処理のためにこのアイコンが選択され得る。このアクションによってDavid's Documentアイコン２５０は右下コーナー内に出現され、次のアクションのためにアイコンが選択されたことを示す。プリンタアイコンがディスプレイ１５０上の十字線下に現れるまで基体の上にカメラマウス１１８を移動させるとともにカメラマウスボタン１１０，１１２、及び１１４のうちの一つを起動させることによって、マイクロカメラ１３４はプリンタアイコン画像を基体１２２からキャプチャし、キャプチャ画像内の埋め込みデータを処理エレメントによって処理して、プリンタアイコンに対応付けられたエリアがキャプチャされたことを決定する。次のアクションのためにキャプチャされるアイコン２５０はドキュメントアイコンであるので、処理エレメントは、キャプチャされたプリンタアイコンに対応付けられるプリンタ上のドキュメントアイコン２５０に対応付けられるドキュメントをプリントするようにカメラマウス１１８に接続されたシステムに指示する。
【００７３】図１８は、ドキュメントがプリンタに転写されたことを確認するカメラマウスディスプレイを示す。プリンタアイコンがディスプレイ１５０の十字線内に移動し、マウスボタンを押すなどしてユーザがプリンタアイコンを選択すると、システムはテキストの形態でディスプレイ１５０にフィードバックし、次に、David's Documentが選択されたプリンタアイコンに対応付けられたプリンタに引き渡されたことをユーザに知らせる。
【００７４】図１９は、メニューチョイス（選択）を行うためのカーソルスクロールドラッグ操作を示す。メニューチョイスはディスプレイ１５０上にディスプレイされ、従来のコンピュータ電子ディスプレイスクリーンと同様にスクロールされる。ユーザは、種々の方法でディスプレイされたメニューチョイスをスクロールしてもよい。例えば、ユーザはカメラマウス１１８を移動することによってメニューチョイスをスクロールしてもよく、これによって、マウスボールを移動させ、ＸＹモーション信号をコンピュータへ送り、順番に、カメラマウス１１８に選択部分がスクロールされていることをディスプレイ１５０上にビジュアル表示させるようにする。或いは、マウスボタンを使用することができる。例えば、メニューチョイスをスクロールするために左右のマウスボタンを使用することができ、所望されるメニューチョイスを選択するためにミドルキーを使用することができる。従って、ユーザには多種多様のメニューチョイスが提供されるとともに所望されるメニューチョイスを選択することができる。
【００７５】図２０は、ドキュメント画像と次のアクションのためにキャプチャされたハイライトアブストラクトビューアイコンとアイコンボタンとを示す。アイコンを選択し、このアイコンをオープンすることによって、アイコンに対応付けられた情報をディスプレイ１５０上にディスプレイすることができる。例えば、David'sDocumentアイコン２５０が選択されてオープンされると、ドキュメントのテキストを、ユーザによるレビューのために、ディスプレイ１５０上にディスプレイすることができる。従って、カメラマウス１１８のディスプレイ１５０は、基体１２２上の埋め込みコードと対話する方法のみならず、基体からキャプチャされた画像と対応付けられるビュー情報としても、使用することができる。ユーザは、クローズボタン２５２を選択することによってオープンされたドキュメントをクローズすることができる。例えば、マウスボタン１１６は、クローズボタン２５２を起動させて、テキストのディスプレイとディススプレイ１５０とをクローズするために使用することができる。
【００７６】図２１は、ハイライトされた選択アイコンを有する、拡張されたビュー上にディスプレイされる画像キャプチャフィールド境界及びカーソルを示す図である。より大きなディスプレイスクリーンを用いることによって、ユーザは、マイクロカメラによってキャプチャされる下層基体の表示のみならず、ウィンドウ１９４内の他の情報をビューすることもできる。
【００７７】図２１に示されるように、カメラマウス１１８は、側面取付けされたマウスボタン１９０及び１９１を含む。これらのボタンは、図１０に記述されているようにマウスボタン１１０、１１２、及び１１４と同等である。ウィンドウ１９４はマウス１１８のに使用に関連する任意の情報又は広告等の他の情報をディスプレイしてもよい。例えば、ウィンドウ１９４は、特定のアイコンと対応付けられるドキュメントのテキスト、クローズボタン２５２等のコマンドボタン、又は、David's Document２５０等のキャプチャされたアイコンを含んでいてもよい。
【００７８】図２２は図２１のカメラマウスの側面図を示し、カメラマウスの全長に沿って拡張されるディスプレイ１９２を示す。
【００７９】図２３は、マウス下の基体１２２のエリア全体をキャプチャしディスプレイすることが可能なカメラマウスの側面を示す図である。カメラマウス１１８は同カメラマウス１１８の全長全幅を横切って走る回路２８０を有する。回路２８０は、画像キャプチャセンサ２８４を照らすイルミネータ２８２に接続されている。キャプチャセンサ２８４は基体１２２から画像を受け取り、フルレングスのディスプレイスクリーン１９２の全て又は一部上にディスプレイするために回路２８０へこの画像情報を送る。カメラマウス１１８のフットプリント下の基体画像全体をキャプチャすることによって、マウス下の基体１２２のエリアに関するより多くの情報がユーザに与えられる。
【００８０】図２４は、テキストプリントＧＵＩ（グラフィカルユーザインターフェース）１１８を示す、埋め込みデータ上のテキスト上のカメラマウスを示す。カメラマウス１１８は、７行のテキストを上に有する埋め込みデータカーペット３００の上に位置決めされる。対象となる特定のエリアがディスプレイ１５０の十字線内にディスプレイされるまで、ユーザは、カメラマウス１１８を位置決めする。次に、選択されたエリア上で更なる動作が実行され得る。
【００８１】図２５は、埋め込みデータ上のカメラマウスを示す図である。より詳細には、図２５は、基体３００のコーディングスキームの例を示す。これらのコードは図示目的のみに示されている。システムのインプリメンテーションはグリフ内のコードを実施する。ディスプレイ１５０の破線のキャプチャエリアは、文字"conv."を囲む画像のキャプチャの結果としてキャプチャされるコードを示す。画像をキャプチャすることによって、カメラマウス１１８内の処理エレメントは、グリフアドレスカーペット３００のどのエリアからキャプチャ画像を得られるかを決定し、この決定に基づいて更なる動作を実行することができる。
【００８２】図２６は、テキストプリントＧＵＩを示す埋め込みデータ上のテキスト上のカメラマウスを示す図である。
【００８３】図２７は、埋め込みデータカーペット上のテキスト上のカメラマウス、より詳細には、カメラマウスの下の基体に対応する情報をディスプレイするために全長全幅のディスプレイを有するマウスを示す図である。これによって、カメラマウスのユーザがマウスのフットプリント下のエリア全体を可視化できる。
【００８４】図２８は、埋め込みデータカーペット上のテキスト上の全幅カメラマウス上の変換を示す図である。この実施の形態において、ユーザは、対象となる特定のエリア、この場合は、文字"critica" の上にマウスを位置決めし、マウスボタンを押すことによって埋め込みデータ３００上の対象となるエリアをキャプチャし、キャプチャ画像を処理する。対象となるキャプチャされたエリア内の埋め込みコードはどのロケーションが選択されたかを判定するために復号化される。復号化された情報に基づいて、処理エレメントは対象となるワードがワード"critical"であると判定し、このワードは次に処理エレメントによって変換され、この変換についてはカメラマウス上のウィンドウ２１０内に示されている。ウィンドウ２１０は、変換情報の他に情報のタイプについてもディスプレイすることもある。例えば、ウィンドウ２１０は、ワードのシノニム（同義語）又はテキストに関する他の情報を提供することもある。
【００８５】図２９は、埋め込みデータを有するテキスト上の大画面のカメラマウス上へのハイパーリンクアプリケーションを示し、より詳細には、対象となるキャプチャされたエリアに関する他の情報の用途を示す。図２９に示された実施例において、埋め込みデータカーペット３００上の対象となるエリアは、ワード"Xerox"である。ウィンドウ２２０は、"Xerox"に関する情報、この実施例では、"Xerox"のホームページ、をディスプレイしており、ウィンドウ２２２は何がディスプレイされているかを定義付ける情報、この実施例では、"Xerox"のウェブページへのハイパーリンク、を示している。ユーザは、マウスを移動させると共に更なる選択のためにマウスのいずれかの側のマウスボタンを起動することによって、ウィンドウ２２０及び２２２内の情報に基づいたより多くの情報を選択的に必要とする。

【出願人】	【識別番号】５９００００７９８【氏名又は名称】ゼロックスコーポレーション【氏名又は名称原語表記】ＸＥＲＯＸＣＯＲＰＯＲＡＴＩＯＮ
【出願日】	平成１２年１２月６日（２０００．１２．６）
【代理人】	【識別番号】１０００７９０４９【弁理士】【氏名又は名称】中島淳（外１名）
【公開番号】	特開２００１－３０６２４４（Ｐ２００１－３０６２４４Ａ）
【公開日】	平成１３年１１月２日（２００１．１１．２）
【出願番号】	特願２０００－３７１３８８（Ｐ２０００－３７１３８８）