トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 三次元立体データを生成するインタラクティブシステム
【発明者】 【氏名】趙 子毅

【氏名】陳 信嘉

【氏名】李 泉欣
【要約】 【課題】第１の時間スポットにおいて、同一の領域について、少なくとも２つの二次元映像を取得し、当該少なくとも２つの二次元映像の中から、三次元データを生成する方法を備える物件を基礎にした三次元立体データの生成方法を提供する。

【構成】アナロジー映像を個別に抽出するのに用いられて、デジタル二次元映像を生成する、２つの映像抽出部との間の距離と各々の焦点距離はすでに既知である少なくとも２つの映像抽出部と、当該２つの映像抽出部が個別に抽出したデジタル二次元映像を受信するとともに、その中の物件データを抽出する物件抽出装置と、物件データと、当該２つの映像抽出部との間の距離と、当該２つの映像抽出部の各々の焦点距離に基づいて、三次元データを生成するプロセッサ８３Ｌ、８３Ｒとを備える三次元立体データを生成する電子装置を提供する。
【特許請求の範囲】
【請求項１】
アナロジー映像を個別に抽出するのに用いられ、アナロジー・デジタルの転換を経てデジタル二次元映像を生成し、２つの映像抽出部との間の距離と各々の焦点距離はすでに既知である少なくとも２つの映像抽出部と、
２つの当該映像抽出部が個別に抽出したデジタル二次元映像を受信するとともに、その中の物件データを抽出する物件抽出装置と、
物件データと２つの当該映像抽出部との間の距離と、２つの当該映像抽出部の各々の焦点距離に基づいて三次元データを生成するプロセッサと、
当該三次元データを出力するのに用いられる出力インターフェイスと、
を備える三次元立体データを生成するインタラクティブシステム。
【請求項２】
発光源を有する請求項１記載の三次元立体データを生成するインタラクティブシステム。
【請求項３】
当該発光源は赤外線発光源であって、且つ少なくとも２つの当該映像抽出部が赤外線輝度映像を抽出する請求項２記載の三次元立体データを生成するインタラクティブシステム。
【請求項４】
当該発光源と少なくとも２つの当該映像抽出部は１つの空間領域の両端に分けて設けられ、且つ当該インタラクティブシステムはハンドユニットを有し、その上に当該発光源、又は少なくとも２つの当該映像抽出部が設けられる請求項２記載の三次元立体データを生成するインタラクティブシステム。
【請求項５】
当該発光源と少なくとも２つの当該映像抽出部は１つの空間領域の同一の端に設けられ、且つ当該インタラクティブシステムはハンドユニットを有し、前記反射光ブロックがハンドユニットの上に設けられる請求項２記載の三次元立体データを生成するインタラクティブシステム。
【請求項６】
当該物件抽出装置は少なくとも２つのユニットを有し、少なくとも２つの当該映像抽出部とそれぞれ対応して組み合わされ、当該プロセッサは少なくとも２つのユニットを有し、少なくとも２つの当該物件抽出装置のユニットとそれぞれ対応して組み合わされ、且つ当該インタラクティブシステムはさらに１つの周波数幅が２０ＫＢｙｔｅ／ｓｅｃ又はそれ以下の通信インターフェイスを有し、当該プロセッサの２つのユニットの間に設置される、又は１つのプロセッサのユニット内に統合される請求項１記載の三次元立体データを生成するインタラクティブシステム。
【請求項７】
当該物件抽出装置は、映像の色彩、映像の形状、映像の面積、映像の局部的なブライトスポット／ダークスポットの密度、映像の輝度、映像の模様のうちの１つ又は上記２つ以上に基づく方式を総合して物件を抽出する請求項１記載の三次元立体データを生成するインタラクティブシステム。
【請求項８】
１つの周波数幅が２０ＫＢｙｔｅ／ｓｅｃ又はそれ以下の通信インターフェイスを有し、当該プロセッサと当該物件抽出装置との間に設置される、又はプロセッサ内に統合される請求項１記載の三次元立体データを生成するインタラクティブシステム。
【請求項９】
当該プロセッサは少なくとも２つのユニットを有し、少なくとも２つの当該映像抽出部とそれぞれ対応して組み合わされ、且つ当該インタラクティブシステムはさらに１つの周波数幅が２０ＫＢｙｔｅ／ｓｅｃ又はそれ以下の通信インターフェイスを有し、当該プロセッサの２つのユニットの間に設置、又は１つのプロセッサのユニット内に統合される請求項１記載の三次元立体データを生成するインタラクティブシステム。
【請求項１０】
当該インタラクティブシステムは以下のシステム、ゲーム用インタラクティブシステム、又は携帯型電子装置、又は三次元物件追跡装置の１つである請求項１記載の三次元立体データを生成するインタラクティブシステム。
【請求項１１】
アナロジー映像を個別に抽出するのに用いられ、デジタル二次元映像を生成し、２つの映像抽出部との間の距離と各々の焦点距離は既知である、少なくとも２つの映像抽出部と、
当該２つの映像抽出部が個別に抽出したデジタル二次元映像を受信するとともに、その中の物件データを抽出する物件抽出装置と、
物件データと、当該２つの映像抽出部との間の距離と、当該２つの映像抽出部の各々の焦点距離に基づいて、三次元データを生成するプロセッサと、
を備える三次元立体データを生成する電子装置。
【請求項１２】
当該物件抽出装置は少なくとも２つのユニットを備え、少なくとも２つの当該映像抽出部とそれぞれ対応して組み合わされ、当該プロセッサは少なくとも２つのユニットを有し、少なくとも２つの当該物件抽出装置のユニットとそれぞれ対応して組み合わされ、且つ当該電子装置はさらに１つの周波数幅が２０ＫＢｙｔｅ／ｓｅｃ又はそれ以下の通信インターフェイスを有し、当該プロセッサの２つのユニットの間に設置、又は１つのプロセッサのユニット内に統合される請求項１１記載の三次元立体データを生成する電子装置。
【請求項１３】
当該物件抽出装置は、映像の色彩、形状、面積、局部的なブライトスポット／ダークスポットの密度、輝度、模様のいずれか１つ又は上記２つ以上に基づく方式を総合して、物件を抽出する請求項１１記載の三次元立体データを生成する電子装置。
【請求項１４】
１つの周波数幅が２０ＫＢｙｔｅ／ｓｅｃ又はそれ以下の通信インターフェイスを有し、当該プロセッサと当該物件抽出装置との間に設置される、又はプロセッサ内に統合される請求項１１記載の三次元立体データを生成する電子装置。
【請求項１５】
当該プロセッサは少なくとも２つのユニットを有し、当該少なくとも２つの映像抽出部とそれぞれ対応して組み合わされ、且つ当該電子装置はさらに１つの周波数幅が２０ＫＢｙｔｅ／ｓｅｃ又はそれ以下の通信インターフェイスを有し、当該プロセッサの２つのユニットの間に設置、又は１つのプロセッサのユニット内に統合される請求項１１記載の三次元立体データを生成する電子装置。
【請求項１６】
第１の時間スポットにおいて、同一の領域について少なくとも２つの二次元映像を取得し、
少なくとも２つの当該二次元映像の中から、物件データを個別に抽出し、
物件の間で対応関係し、
対応する物件に基づいて、三次元データを生成する方法と、
を具備する物件を基礎にした三次元立体データの生成方法。
【請求項１７】
第２の時間スポットにおいて、同一の領域について別の少なくとも２つの二次元映像を取得し、
当該別の少なくとも２つの二次元映像の中から物件データを個別に抽出し、
物件の間の対応関係を確立し、
対応する物件に基づいて三次元データを生成し、
三次元データの物件に対してマーカを付し、
第１の時間スポットと第２の時間スポットのマーカ物件を比較し、変位を決定する方法と、
を含む請求項１６記載の三次元立体データの生成方法。
【請求項１８】
さらに、三次元データを生成した後に、当該三次元データの中の物件に対して、マーカを付する方法を含む請求項１６記載の三次元立体データの生成方法。
【請求項１９】
物件データを抽出した後に、当該二次元物件に対してマーカを付し、
第２の時間スポットにおいて、同一の領域について別の少なくとも２つの二次元映像を取得し、
当該別の少なくとも２つの二次元映像の中から物件データを個別に抽出し、
前記物件マーカに基づいて物件の対応関係を得、
対応する物件に基づいて三次元データを生成する方法と、
を具備する請求項１６記載の三次元立体データの生成方法。
【請求項２０】
前記物件マーカに基づいて物件の対応関係を得た後に、当該対応関係が正確であるか否かを検証する方法を備えた請求項１９記載の三次元立体データの生成方法。
【請求項２１】
前記物件データ抽出の手順は、映像の色彩、形状、面積、局部的なブライトスポット／ダークスポットの密度、輝度、模様のうちのいずれか１つ又は上記２つ以上に基づく方式を総合して物件を抽出する請求項１６記載の三次元立体データの生成方法。
【請求項２２】
前記物件データ抽出の手順は、物件の重心、境界、形状、大小、特殊スポットを抽出する、のうちのいずれか１つ又は上記２つあるいは２つ以上を総合する方法を含む請求項１６記載の三次元立体データの生成方法。
【請求項２３】
前記対応関係確立の手順は、物件の重心の位置の最も近いもの、面積が重畳する範囲が大きいもの、形状の辺数の近いもの、模様の内容が最も近いもの、所定の条件に符号する状況に対応する方法の１つ又は上記２つ以上の方法を総合して、対応関係を確立する請求項１６記載の三次元立体データの生成方法。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、物件を基礎にした三次元立体データの生成装置と方法、及び当該装置の使用と方法のインタラクティブシステムに関するものである。
【背景技術】
【０００２】
現在、使用者末端の動作を観測して、双方向の動きをするシステムは、例えば射撃ゲームなど各種ある。この種のゲームにおいて、使用者はゲームユニット付属の指向装置（例えばバーチャル銃）を手に持ち、ディスプレイ上の画面に基づいて双方向的に反応し（例えば射撃する）、ゲームユニットは当該指向装置の移動を観測して、例えば敵に弾が当たる、建物が爆破されるなど、相応にディスプレイ上で反応する。
この種のインタラクティブシステムの欠点は、手に持った物件の二次元位置の変化を観測するだけで、前後方向の「深さ」の変化を考察できないことにある。従って、この種のインタラクティブゲームはすでに臨場感をかなり備えているが、まだ完全には使用者の動作状態に真に反応することはできない。
【０００３】
これに鑑み、米国の特許第６，７９５，０６８はそこで、物件の二次元位置に基づいて、その三次元状態を決定する方法を提出した。図１Ａ、１Ｂが示すように、当該発明は１つの強烈な色収差を備えた物件（例えばバット）を提供しており、この物件は上下２つの部分３０１と３０３とに分かれ、映像を捉えるのを至便にするために、この２つの部分は強烈な色収差を備えていなければならない。図１Ｂの３０５は、カメラ又は映像センサが捉えた二次元映像であり、その中の映像３０７は、物件の上方部分３０１の二次元映像である。二次元映像では、すべてのｘ−ｙ方向上のデータはいずれも既知であり、さらに利用する物件の上方の幅ｗ２と下方の幅ｗ１との間の比から、ｚ方向上のデータを取得するために、角度Φを求めることができる。しかし、当該物件は真の三次元空間の様々な位置の間で移動する可能性があり、二次元映像の様々なサイズの変化をもたらすので、正確さを求めるために、上方の幅ｗ２と下方の幅ｗ１の位置を任意に選び取ることはできず、当該発明の記述に基づいて、当該物件の上下両端の間を等距離に区分し、複数の幅の数値を取得するとともに、平均にしなければならない。
【０００４】
当該発明はすでに商品化に成功しているが、まだ以下の欠点がある。まず、システム全体は事前に物件の形状を定義しなければならず、また使用者は任意の形状の物件を使用することはできず、予め設定した物件を使用することしかできない。次に、物件の映像を捉える際には、色収差の対比が非常に重要であり、もし使用者が手荷物位置又はその他の原因によって見えなくなれば、システムの物件の形状に対する判断に影響を及ぼす。第３に、システムは物件について絶えず複数の幅の数値を演算しなければならず、プロセッサの演算負担をもたらす。
【０００５】
本発明は以上の従来技術の欠点を克服して、三次元立体データを生成するために、完全に異なる方法を提出する。また、本発明のいわゆる「三次元立体データの生成」は、当該三次元データに基づいて、ディスプレイ上で生成された三次元映像に対応する必要があることには限定されず、例えば、対応して生成された三次元データは、例えばバットを打って受けた強度を示すなど、更なる処理を実行して相応に反応してもよく、これもまた本発明の範囲に属する。
【０００６】
【特許文献１】米国特許第６，７９５，０６８号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、物件を基礎にした三次元立体データの生成装置を提供することを第１の目的としており、しかも前記従来技術の欠点はない。
本発明は、物件を基礎にした三次元立体データの生成方法を提供することを第２の目的としている。
本発明は、上記装置又は方法を使用することにより構成されるインタラクティブシステムを提供することを第３の目的としている。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の１つの実施例では、第１の時間スポットにおいて、同一の領域について、少なくとも２つの二次元映像を取得し、当該少なくとも２つの二次元映像の中から、特徴を備えた物件を個別に抽出して、物件の間の対応関係を確立し、対応する物件に基づいて、三次元データを生成する方法を備える物件を基礎にした三次元立体データの生成方法を提供した。
【０００９】
上記方法では、後続の演算を簡素化するために、物件を抽出した後に、当該二次元物件に対してマーカを付すか、又は三次元データを生成した後に、当該三次元データの中の物件に対して、マーカを付することができる。
このほか、本発明の別の実施例に基づいて、アナロジー映像を個別に抽出するのに用いられて、デジタル二次元映像を生成する少なくとも２つの映像抽出部であって、当該２つの映像抽出部との間の距離と各々の焦点距離はすでに既知である少なくとも２つの映像抽出部と、当該２つの映像抽出部が個別に抽出したデジタル二次元映像を受信するとともに、その中の物件データを抽出する物件抽出装置と、物件データと、当該２つの映像抽出部との間の距離と、当該２つの映像抽出部の各々の焦点距離に基づいて、三次元データを生成するプロセッサとを備える三次元立体データを生成する電子装置を提供した。
上記電子装置では、さらに、当該プロセッサと当該少なくとも２つの映像抽出部との間に設置される、又はプロセッサ内に統合される１つの低周波数幅を備えた通信インターフェイスを有することができる。
【００１０】
このほか、本発明の別の実施例に基づいて、アナロジー映像を個別に抽出するのに用いられて、アナロジー・デジタル変換を経てデジタル二次元映像を生成する少なくとも２つの映像抽出部であって、当該２つの映像抽出部との間の距離と、当該２つの映像抽出部の各々の焦点距離はすでに既知である少なくとも２つの映像抽出部と、当該２つの映像抽出部が個別に抽出したデジタル二次元映像を受信するとともに、その中の物件データを抽出する物件抽出装置と、物件データと当該２つの映像抽出部との間の距離と、当該２つの映像抽出部の各々の焦点距離に基づいて三次元データを生成するプロセッサと、当該三次元データを出力するのに用いられる出力インターフェイスとを備える三次元立体データを生成するのに用いられるインタラクティブシステムも提供した。
【００１１】
上記実施例におけるインタラクティブシステムは、さらに発光源を有することができ、且つ当該発光源は赤外線発光源であるのが好ましい。発光源と当該少なくとも２つの映像抽出部は１つの空間領域の両端に分けて設けるか、又は１つの空間領域の同一の端に設けることができ、後者の状況において、インタラクティブシステムは当該空間領域の別の端に設けられる反射光ブロックを別に備えている。
【００１２】
上記実施例におけるインタラクティブシステムは、さらに、当該プロセッサと当該少なくとも２つの映像抽出部との間に設置される、又はプロセッサ内に統合される１つの低周波数幅を備えた通信インターフェイスを有することができる。
以下、本発明の目的、技術内容、特徴及び達成される効果をより容易に理解してもらうために、具体的な実施例について詳細に説明する。
【発明を実施するための最良の形態】
【００１３】
本発明は、システムハードにおいても、また三次元立体データを生成する方法においても、いずれも従来技術とは異なる。本発明では、少なくとも１つの発光源と少なくとも２つのセンサが設置され、さらにセンサの発光源に対する検出結果に基づいて、それを三次元の立体データに転換する。本発明に基づいて、発光源は赤外線発光源を採用するのが好ましく、例えば、赤外線発光ダイオード（IR LED）にしてもよく、センサも対応して赤外線センサを採用するのがふさわしい。だが、その他の発光源とセンサを採用することもまた、本発明の範囲に属する。
【００１４】
以下、まず本発明の方法のフローについて説明する。図２を参照されたい。これは本発明の方法における１つの実施例であり、図が示すように、仮に２つのセンサ（左のセンサＬと右のセンサＲ）を使用して同一の領域を観測すると、この２つのセンサはまず、観測して得たアナロジー映像に基づいて、変換してデジタル二次元映像データを生成する。いわゆるアナロジー映像は事実上、センサが捉えた輝度と色度データを備えた複数のスポットであり、これらのスポットは光源、又は物体からの反射光である可能性がある。センサがこれらのスポットをデジタル二次元映像データに転換した後、当該二次元映像データはまず、１つの「物件抽出」の手順（手順Ｓ２１）を経るが、この手順において二次元映像データを分析し、それを「物件」に分類する。
【００１５】
いわゆる「物件」とは、決して実際の環境における１つの本当の物体を指すものではない。本発明では、「物件」は事実上、１枚の映像における相似した特性を有する一群の画素を指しており、従って実際の環境における１つの本当の物体に対応する必要がないばかりか、さらには１つの連続した総合体である必要もない。例えば、ディスプレイの左上方と右下方の２つの相連続しないブロックを、１つの物件と見なす可能性がある。
【００１６】
二次元映像データを物件に分類する方法は多種あり、例えば、一般の発光源を使用した状況においては、二次元映像の色彩に基づいて、又は形状、面積に基づいて、又は映像の局部的なブライドスポット／ダークスポットの密度に基づいて、又は映像の模様（相似する画素の連接関係）などに基づいて分類することができる。赤外線発光源を使用した状況においては、検出された輝度に基づいて、分類することができる。以上の様々な方法においては、二次元映像データのすべての部分を物件に分類する必要はない。例えば、輝度がある種の強度に達していない部分を、背景として見なすなどである。
【００１７】
さらに言えば、本発明の最良の方法では、物件を抽出した後であっても、物件全体について演算を行う必要はなく、意義を備えた物件の特徴を取得しさえすればそれでいい。例えば、まず二次元映像をある判断条件（例えば輝度の臨界値）に基づいて二分（binarization）して、比較的明るい部分を物件として定義し、さらに物件の中からその特徴を抽出し、物件の重心、境界、形状、大小、長さ対幅比、特殊スポット（例えばエンドスポット、コーナースポット、高曲率ポイント）などとすることができる。
【００１８】
特徴を抽出する目的は、複雑な演算を単純化できることにある。例えば、同一の出願者が出願した台湾特許第９４１４７５３１号出願案件は、後続の演算処理を加速するために、多数のデータを１つの簡単な重心ベクトルに簡素化している。
上記物件抽出の手順Ｓ２１を通じて、任意の二次元映像データについて、物件を抽出する、又はさらにその特徴を抽出することができる。従って、決して従来技術のように、予め物件の形状を定義するとともに、強烈な色収差でこれを際立たせる必要はない。
【００１９】
手順Ｓ２１では、左右２つのセンサが得た二次元映像データに対応して、物件を個別に抽出した後、続けて手順Ｓ２２では、システムは左右２つの映像の中の物件に対して、対応関係を付与する。図３を参照されたい。仮にＴ１の時間スポットでは、左のセンサが得た二次元映像の中から抽出された物件は１、２であり、右のセンサが得た二次元映像の中から抽出された物件は３、４であり、対応関係を付与する方法は、各物件の重心位置に基づいて、最も近いものを取って、対応関係を確立する、又は面積が重畳する範囲に基づいて、重畳が大きいものを取って、対応関係を確立する、又は形状の辺数（円形は無限多辺形と見なす）に基づいて、近いものと対応関係を確立する、又は模様に基づいて、模様の内容が最も近いものと対応関係を確立する、又は物件に基づいて、例えばモノクロの背景内に形成される1つの中空の物件、２つの中空の物件、中空のない物件を含むなど、所定の条件に合致する状況に対応して、対応関係を確立してもよい。
【００２０】
図３の上方が示す実施例では、左のセンサが得た映像の物件１と、右のセンサが得た物件３は、対応すると見なされ、左のセンサが得た映像の物件２と、右のセンサが得た物件４は、対応すると見なされる。
対応関係を確立した後、手順Ｓ２３では、各グループの物件の二次元データを三次元の立体データに転換することができる。その転換方法は図４Ａが示すように、仮に左右のセンサの中心位置の距離をＴとし、センサの焦点距離をｆとすると、その物件の左のセンサが得た二次元映像におけるｘ座標はｘｌであり、右のセンサが得た二次元映像におけるｘ座礁はｘｒであり（仮にセンサの中心位置を原点とすれば、ｘｒは右のセンサの中心位置より左にあるため、マイナス値である）、当該物件の距離センサの距離はＺであり、相似三角形に基づいて、
ｘｌ／ｆ＝Ｘ／Ｚ、且つ−ｘｒ／ｆ＝（Ｔ‐Ｘ）／Ｚ
に定理されるので、
当該物件の三次元データ、
Ｘ＝（Ｔ×ｘｌ）／（ｘｌ‐ｘｒ）
Ｙ＝（Ｔ×ｙｌ）／（ｘｌ‐ｘｒ）（うちｙｌは図で示されていない）
Ｚ＝ｆ×[Ｔ／（ｘｌ‐ｘｒ）]
を求め出すことができる。
【００２１】
この方式により即、物件の各スポットの三次元データを生成することができる。
図４Ａは、左右のセンサが平行に並んで同一準線上に位置する状況を示しているが、本発明では決してこれに限定されない。図４Ｂが示すように、仮に左右のセンサが同一準線上に位置せず、且つ互いに相対する角度を有していれば、２つのセンサの内部パラメータ、相対角度、相対距離に基づいて、得られた物件の三次元データを計算することができる。具体的な計算方法については、すでに本技術分野の技術者に熟知されているので、ここでは贅言せず、例えばＢｒｏｏｋｓ／Ｃｏｌｅ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏｍｐａｎｙが出版し、ＳｏｎｋａとＨｌａｖａｃ、Ｂｏｙｌｅの三氏が著した「Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ」の第２版、４６０−４６９頁を参考にすることができる。
【００２２】
もし物件抽出の過程で、演算を加速するが物件全体のデータは保存せず、物件の特徴の抽出だけを求めるならば、図４Ｃを参照されたいが、それでも物件の特徴、及び規定の転換原則に基づいて、三次元物件のデータ全体を原状に復することができる。もちろん、このデータ全体はオリジナルな物件全体のデータと完全に合致する必要はないが、応用面から言えば、常に完ぺきな三次元物件データを得る必要はない。例えば応用上、恐らく２つの異なる時間スポット間の物件の三次元変位だけを知る必要があれば、こうした状況においては、正確な形状については詳細に知る必要はない。図４Ｃが示すように、仮に抽出された特徴が２つのエンドスポットであれば、エンドスポットの三次元座標を得た後に、規定の長さ対幅比、又は形状などの変換原則に基づいて、物件の全体的な三次元データを原状に復することができる。
【００２３】
本発明に基づいて、各物件の三次元データを取得すると、次の手順Ｓ２４で、当該三次元物件に対して１つのマーカ（例えば、特徴的なコード、又はＩＤコードを付与する）を付けることができる。この手順の目的は、システムの記憶と演算を簡素化することにある。
さらに図３を参照されたい。仮にＴ１の後の時間スポットＴｎでは、左右２つのセンサが得た二次元物件は図の下方のように示され、同様に対応関係（５−７対応、６−８対応）を付与した後に、２つの物件の三次元データを算出するとともに、マーカを付けることができる。この時、比較することにより、５−７対応関係で得られた三次元物件データと、先の１−３対応関係で得られた三次元物件データに基づいて、両者が最も近いと分かれば、両者の間の三次元変位を計算することができ、インタラクティブシステムはこの変位に基づいて、相応に反応する。
【００２４】
以下、本発明の別の方法の実施例を説明する。図５Ａと図５Ｂ、図６を参照されたい。まず図５Ａ、時間スポットがＴ１の時の方法の手順を見ていただきたい。本実施例と前例との違いは、物件を抽出する手順Ｓ３１の後に、まず二次元物件に対してマーカを付ける（手順Ｓ３２）ことにある。マーカ付けを行って初めて、対応関係を確立する（手順Ｓ３３で、この時に図６の物件１１−１３と１２−１４は空間上における対応関係が確立される）。対応関係を確立すると、手順Ｓ３４に進み、各グループ物件の二次元データに基づいて三次元データを生成するが、三次元データを生成すると、当該三次元物件に対してはいかなるマーカも付けない。
【００２５】
さらに図５Ｂ、時間スポットがＴｎの時の方法の手順を見ていただきたい。ＴｎはＴ１の後のある時間スポットである。物件を抽出する手順Ｓ４１の後に、システムはまず抽出された二次元物件と、先の時間スポットＴ１のマーカ物件を比較して、当該物件と先のマーカ物件との間の関係を確立する（手順Ｓ４２）。これは図６に示されており、１１−１５と１３−１７の時間軸上における対応関係がそれぞれ確立される。１１−１３の間は対応関係を有しているので、１５−１７の間は比較をする過程を必要とせずに即、ロジック演算を通じてその対応関係を直接得ることができる。
【００２６】
このように、複数の物件を互いに比較するのに必要な演算時間とハードの負担を省くことができる。この後、さらにＳ４３で、二次元物件に対してマーカ付けを行う。その後、各グループの対応する二次元物件に基づいて三次元データを生成する（手順Ｓ４５）ことができる。本発明に基づいて、手順Ｓ４５の前または後において、手順Ｓ４４又はＳ４６（両者のうち１つを選択する、又はいずれも省略できるが、もちろん両者をいずれも採用できる）を選択的に進めることができ、物件の間の対応関係についてさらに検証する。
【００２７】
検証に必要な状況は以下の通りである。図７が示すように、仮に物件の対応関係が形状に基づいて確立されていれば、物件２５、２６の実際の三次元形体は円柱形であり、物件２５は第１円柱形の頂面である。物件２８は同一円柱形の側面であり、物件２６は第２円柱形の側面であり、物件２７は同一円柱形の頂面である。センサの観測角度、及び実際の物体の移動によって、時間スポットＴｎがもたらされると、物件２５と２７の形状は非常に近くなり、且つ物件２６と２８の形状も非常に近くなる。この時、システムは物件２５と２７は相対応し、２６と２８は相対応すると誤って判断する可能性がある。
【００２８】
もし実際の１つの物体の角度が変動するだけの場合（例えば、第１円柱形が変動するだけで、第２円柱形は動かない）、システムは複数の対応関係の組み合わせの中で演算して、差分が最も低いものを選び取るので、この時に誤判断が生じることはない。２つの実際の物体の移動がうまくいって相互対応がもたらされた時だけに、誤判断は生じる。
【００２９】
こうした誤判断の状況が発生する可能性は極めて低いが、本発明に基づいて、手順Ｓ４５で演算を行って三次元データを生成する前に、まず二次元物件の間の対応関係を慎重に検証することができる。検証の方法は、例えばまず各二次元物件の重心を求め出し、さらに各グループの対応関係を有する二次元物件について、その重心距離が最も近いか否かを検査することができる。図７の例では、左右のセンサが得た二次元映像を重ねて置くと、物件２５と２８の重心位置が最も近く、物件２６と２７の重心位置が最も近いので、システムはこれに基づいて対応関係を再確立することができる。対応関係を再確立した後に、さらに改めてマーカを付ける。
【００３０】
上記の重心位置が近いか否かに基づいて判断するのは、検証方法の１つに過ぎない。その他の方法も実行可能であり、例えば、各グループの対応関係を有する二次元物件が重畳する面積が、すべての可能な対応関係の中にあるか否かを計算することができ、面積が最大であり、又はもともと形状に基づいて対応関係を確立したのでなければ、この時に形状が対応するか否かに基づいてすべての対応関係を検査することができる。
【００３１】
手順Ｓ４５の前に手順Ｓ４４の検証を行うのでなければ、手順Ｓ４５の後、すでに三次元データを生成した後に、先に付けた二次元物件マーカと、三次元物件が合致するか否かを検査する（手順Ｓ４６）こともできる。合致しなければ、対応関係を再確立するとともに、改めて三次元データの計算を行う。前述したように、手順Ｓ４４とＳ４６については、両者のうち１つを取る、又はいずれも省略する、又はいずれも実行する（だが実用上、１つ採用するだけで十分足りる）ことができる。
【００３２】
本発明の前記各種の実施方法において、そのハード回路は、図８Ａ又は８Ｂが示した方法で確立することができる。まず図８Ａを参照されたい。左右のセンサ８１Ｌ、８１Ｒが検出した映像は、対応する物件抽出回路８２Ｌ、８２Ｒ（物件抽出回路は、例えば輝度を分析する回路にできる）にそれぞれ伝送され、されに物件抽出回路が生成した物件データを対応するプロセッサ８３Ｌ、８３Ｒに伝送する。プロセッサはデータ演算機能を備えたいかなる回路でもよく、例えばＣＰＵやＭＣＵ、ＤＳＰ、又はＡＳＩＣでもよい。センサと物件抽出回路、プロセッサは各々１つの集積回路、三者を１つの集積回路に統合する、又は図８Ａが示すようにセンサと物件抽出回路を１つの集積回路８０Ｌ、８０Ｒに統合し、プロセッサは単独で１つの集積回路にしてもよい。図８Ａが示す処理方法では、２つのプロセッサの１つ（例えば８３Ｌ）は、演算で得られた二次元データを別の１つのプロセッサ（例えば８３Ｒ）に伝送し、後者は対応する二次元物件データを計算して、三次元データを生成するとともに、出力インターフェイス８６を介して出力する。
【００３３】
図８Ｂが示すのは別のハードの方法であり、抽出後に得られた二次元物件データは同一のプロセッサ８４に伝送され、当該プロセッサが計算を行って三次元データを生成するとともに、出力インターフェイス８６を介して出力する。
【００３４】
前述したように、従来技術と比較すると、本発明は予め物件の形状を定義する必要はなく、且つ物件の使用についても色収差の条件に制限はない。このほか、上記ハード回路の構造から、本発明が重要な長所を有しているのを見て取ることができる。図８Ａの２つのプロセッサ８３Ｌ、８３Ｒとの間、又は図８Ｂが示す回路８０Ｌ、８０Ｒとプロセッサとの間においては、少量の物件データ、さらにはより少量の特徴を備えたデータ（複雑な映像全体のデータではない）を転送するだけなので、伝送と受信インターフェイス（通信インターフェース）に必要な周波数幅は非常に低く、しかもプロセッサの速度も非常に速い。
【００３５】
例えば、映像フレームレート（Frame Rate）＝２００Ｆ／ｓｅｃの状況においては、各映像の物件データは１００ＫＢｙｔｅ／ｓｅｃより少ないので、必要な周波数幅はわずか２０ＫＢｙｔｅ／ｓｅｃである。とくに、もし本発明の最良の実施形態を採用する場合は、赤外線発光源を使用し、輝度方式で物件を抽出するとともに、重心計算と物件マーカを組み合わせれば、さらにハードの負担を大幅に軽減することができ、伝送と受信インターフェイスばかりでなく、プロセッサに必要な計算量も最低まで引き下げることができる。従って、前述したように、プロセッサは高級なＣＰＵやＭＣＵ、ＤＳＰを採用する必要はなく、ＡＳＩＣで製作してもよい。前記通信インターフェイスは、図では示されていないが、独立して図８Ａの２つのプロセッサ８３Ｌ、８３Ｒとの間に設置することができ、又はプロセッサ８３Ｌ、８３Ｒ内に統合することもでき、又は図８Ｂが示す回路８０Ｌ、８０Ｒとプロセッサ８４との間、又はプロセッサ８４内に統合することもできる。
【００３６】
例えば図９−１１が示すように、本発明の方法又は回路を使用すれば、各種の形式のインタラクティブシステムを構築することができる。図９では発光源９１Ｌ、９１Ｒはディスプレイ９０の一端に設置し、センサ９２Ｌ、９２Ｒはハンドユニット９３の一端に設置している（発光源は下記と同様、赤外線発光源が比較的好ましく、図では２つの発光源が示されているが、例だけを挙げており、必要な発光源の数は最低でも１つだけある）。
【００３７】
図１０では、発光源９１Ｌ、９１Ｒはハンドユニット９３の一端に設置し、センサ９２Ｌ、９２Ｒはディスプレイ９０の一端に設置している。以上２種の方法では、発光源とセンサは１つの空間領域の両端にそれぞれ設けられている。図１１で、発光源９１Ｌ、９１Ｒとセンサ９２Ｌ、９２Ｒはいずれもディスプレイ９０の一端に設けており、ハンドユニット９３の上に反射光材質で作られた反射光ブロック９４を備えているだけでよい。反射光ブロック９４は１つのブロック又は複数のブロックでもよく、且つ形状に縛られない。図１１が示す処理方法はさらに１つの長所を有しており、ハンドユニット９３は電源をまったく必要とせず、従来技術と比較してより優れている。
【００３８】
本発明のインタラクティブシステムは各種のゲームプラットフォームに応用することができ、また三次元指標装置として、例えばＰＤＡや携帯電話、ノートブック型コンピュータなど携帯型装置の入力装置として用いることができ、又は三次元物体の位置の変化を追跡する必要のあるいかなる装置にも応用することができる。
【００３９】
以上、最良の実施例について本発明を説明したが、上記の記載は、本技術に熟達した技術者が本発明の内容を理解しやすいようにしたものにすぎず、本発明の特許範囲を限定するものではない。本技術に熟達した技術者は、本発明の精神において、各種の等価変化を考慮することができる。例を挙げて言えば、各実施例はいずれも２つのセンサを例にしているが、もちろん２つ以上のセンサを使用することもでき、示された２つのセンサは左右の配置になっているが、もちろん上下の配置に改めることもできる。センサは映像を抽出するためであり、そのためセンサを使用しなければ、映像を抽出できるその他の装置に代替して使用するのも、もちろん実行可能である。また、示された各回路は、各々が１つの独立した集積回路になる必要はなく、すでに説明した以外に、その他の部分についても、例えば出力インターフェイスとプロセッサを統合する、又はセンサと物件抽出回路、プロセッサ、出力インターフェイスすべてを１つの集積回路に統合するなど、同一の集積回路に統合することもできる。このほか、例えばディスプレイ９０はテレビ画面又は専属のゲームディスプレイなどにすることもでき、様々な等価変化の可能性を有している。本発明の概念と精神に基づいた均等変化または修正は、いずれも本発明の特許登録請求の範囲内に属する。
【図面の簡単な説明】
【００４０】
【図１Ａ】従来技術で、物件の二次元位置に基づいてその三次元の状態を決定する方法を示す模式図である。
【図１Ｂ】従来技術で、物件の二次元位置に基づいてその三次元の状態を決定する方法を示す模式図である。
【図２】本発明の方法の１つの実施例を示す模式図である。
【図３】物件を抽出した後に、いかに物件の空間と時間上における対応関係を示す模式図である。
【図４Ａ】各グループの対応物件の二次元データの三次元の立体データへの転換方法を示す模式図である。
【図４Ｂ】各グループの対応物件の二次元データの三次元の立体データへの転換方法を示す模式図である。
【図４Ｃ】各グループの対応物件の二次元データの三次元の立体データへの転換方法を示す模式図である。
【図５Ａ】本発明の方法の別の実施例を示す模式図である。
【図５Ｂ】本発明の方法の別の実施例を示す模式図である。
【図６】物件を抽出した後の物件の空間と時間上における対応関係の確立方法を示す模式図である。
【図７】対応関係の誤判断をもたらす可能性のある状況を示す模式図である。
【図８Ａ】本発明の達成を表すハード回路の実施例を示す模式図である。
【図８Ｂ】本発明の達成を表すハード回路の実施例を示す模式図である。
【図９】本発明の方法／回路のインタラクティブシステムを使用した３つの実施例を示す模式図である。
【図１０】本発明の方法／回路のインタラクティブシステムを使用した３つの実施例を示す模式図である。
【図１１】本発明の方法／回路のインタラクティブシステムを使用した３つの実施例を示す模式図である。
【符号の説明】
【００４１】
１、２、３、４、５、６、７、８、１１、１２、１３、１４、１５、１６、１７、１８、２５、２６、２７、２８：物件、Ｓ２１−Ｓ２４、Ｓ３１−Ｓ３４、Ｓ４１−Ｓ４６：手順、８０Ｌ、８０Ｒ：集積回路、８１Ｌ、８１Ｒ：センサ、８２Ｌ、８２Ｒ：物件抽出回路、８３Ｌ、８３Ｒ、８４：プロセッサ、８６：出力インターフェイス、９０：ディスプレイ、９１Ｌ、９１Ｒ：発光源、９２Ｌ、９２Ｒ：センサ、９３：ハンドユニット、９４：反射光ブロック
【出願人】 【識別番号】５０７２０８８１９
【氏名又は名称】原相科技股▲分▼有限公司
【出願日】 平成１９年６月２１日（２００７．６．２１）
【代理人】 【識別番号】１０００９３７７９
【弁理士】
【氏名又は名称】服部 雅紀
【公開番号】 特開２００８−４８３８６（Ｐ２００８−４８３８６Ａ）
【公開日】 平成２０年２月２８日（２００８．２．２８）
【出願番号】 特願２００７−１６３８６３（Ｐ２００７−１６３８６３）