トップ :: G 物理学 :: G06 計算;計数




【発明の名称】 視野映像生成装置、視野映像生成方法、視野映像生成プログラムおよびそのプログラムを記録した記録媒体
【発明者】 【氏名】竹前 嘉修
【住所又は居所】東京都千代田区大手町二丁目３番１号 日本電信電話株式会社内

【氏名】大塚 和弘
【住所又は居所】東京都千代田区大手町二丁目３番１号 日本電信電話株式会社内

【氏名】武川 直樹
【住所又は居所】東京都千代田区大手町二丁目３番１号 日本電信電話株式会社内
【要約】 【課題】実環境中に存在する人の視野に映っている情景を、映像として生成できるようにする。

【解決手段】３次元形状モデル獲得手段５は実環境の３次元形状モデルを獲得する。画像データ獲得手段３は実環境中に設置された複数のカメラを用いて画像データを獲得する。カメラパラメータ獲得手段１はカメラの特性を表すパラメータとして、位置、姿勢、焦点距離、レンズ中心のいずれか、または、それらの複数からなるパラメータを獲得する。視線計測手段８は人の眼球位置と視線方向を計測する。映像生成手段９は、実環境中の３次元形状データ、画像データ人の眼球位置と視線方向を利用し、人の眼球位置と視線方向に対応した映像を生成する。映像生成手段は、各カメラ姿勢、人の視線方向に基づいて、複数のカメラの画像データの中からテクスチャマッピングするカメラの画像データを選択する。
【特許請求の範囲】
【請求項１】 実環境の３次元形状モデルを獲得する「３次元形状モデル獲得手段」と、該実環境中に設置された複数のカメラを用いて画像データを獲得する「画像データ獲得手段」と、該カメラの特性を表すパラメータとして、位置、姿勢、焦点距離、レンズ中心のいずれか、または、それらの複数からなるパラメータを獲得する「カメラパラメータ獲得手段」と、人の眼球位置と視線方向を計測する「視線計測手段」と、前記「３次元形状モデル獲得手段」で獲得された実環境中の３次元形状データ、及び、前記「画像データ獲得手段」で獲得された画像データ、及び、前記「視線計測手段」により計測された人の眼球位置と視線方向を利用し、人の眼球位置と視線方向に対応した映像を生成する「映像生成手段」と、を備えたことを特徴とする視野映像生成装置。
【請求項２】 前記「映像生成手段」は、前記各カメラ姿勢、及び、前記「視線計測手段」により計測された人の視線方向に基づいて、前記「画像データ獲得手段」によって獲得された複数のカメラの画像データの中からテクスチャマッピングするカメラの画像データを選択する「画像データ選択手段」を備えたことを特徴とする請求項１に記載の視野映像生成装置。
【請求項３】 実環境の３次元形状モデルを獲得する「３次元形状モデル獲得手順」と、該実環境中に設置された複数のカメラを用いて画像データを獲得する「画像データ獲得手順」と、該カメラの特性を表すパラメータとして、位置、姿勢、焦点距離、レンズ中心のいずれか、または、それらの複数からなるパラメータを獲得する「カメラパラメータ獲得手順」と、人の眼球位置と視線方向を計測する「視線計測手順」と、前記「３次元形状モデル獲得手順」で獲得された実環境中の３次元形状データ、及び、前記「画像データ獲得手順」で獲得された画像データ、及び、前記「視線計測手順」により計測された人の眼球位置と視線方向を利用し、人の眼球位置と視線方向に対応した映像を生成する「映像生成手順」と、を有することを特徴とする視野映像生成方法。
【請求項４】 前記「映像生成手順」は、前記各カメラ姿勢、及び、前記「視線計測手順」により計測された人の視線方向に基づいて、前記「画像データ獲得手順」によって獲得された複数のカメラの画像データの中からテクスチャマッピングするカメラの画像データを選択する「画像データ選択手順」を有することを特徴とする請求項３に記載の視野映像生成方法。
【請求項５】 実環境の３次元形状モデルを獲得する「３次元形状モデル獲得手順」と、該実環境中に設置された複数のカメラを用いて画像データを獲得する「画像データ獲得手順」と、該カメラの特性を表すパラメータとして、位置、姿勢、焦点距離、レンズ中心のいずれか、または、それらの複数からなるパラメータを獲得する「カメラパラメータ獲得手順」と、人の眼球位置と視線方向を計測する「視線計測手順」と、前記「３次元形状モデル獲得手順」で獲得された実環境中の３次元形状データ、及び、前記「画像データ獲得手順」で獲得された画像データ、及び、前記「視線計測手順」により計測された人の眼球位置と視線方向を利用し、人の眼球位置と視線方向に対応した映像を生成する「映像生成手順」と、をコンピュータで実行可能に構成したことを特徴とする視野映像生成プログラム。
【請求項６】 前記「映像生成手順」は、前記各カメラ姿勢、及び、前記「視線計測手順」により計測された人の視線方向に基づいて、前記「画像データ獲得手順」によって獲得された複数のカメラの画像データの中からテクスチャマッピングするカメラの画像データを選択する「画像データ選択手順」を有することを特徴とする請求項５に記載の視野映像生成プログラム。
【請求項７】 実環境の３次元形状モデルを獲得する「３次元形状モデル獲得手順」と、該実環境中に設置された複数のカメラを用いて画像データを獲得する「画像データ獲得手順」と、該カメラの特性を表すパラメータとして、位置、姿勢、焦点距離、レンズ中心のいずれか、または、それらの複数からなるパラメータを獲得する「カメラパラメータ獲得手順」と、人の眼球位置と視線方向を計測する「視線計測手順」と、前記「３次元形状モデル獲得手順」で獲得された実環境中の３次元形状データ、及び、前記「画像データ獲得手順」で獲得された画像データ、及び、前記「視線計測手順」により計測された人の眼球位置と視線方向を利用し、人の眼球位置と視線方向に対応した映像を生成する「映像生成手順」と、を有するプログラムを記録したことを特徴とする視野映像生成プログラムを記録した記録媒体。
【請求項８】 前記「映像生成手順」は、前記各カメラ姿勢、及び、前記「視線計測手順」により計測された人の視線方向に基づいて、前記「画像データ獲得手順」によって獲得された複数のカメラの画像データの中からテクスチャマッピングするカメラの画像データを選択する「画像データ選択手順」を有することを特徴とする請求項７に記載の視野映像生成プログラムを記録した記録媒体。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、複数のカメラから得られる画像に基づき、新しい視点からの画像を計算機処理で生成する視野映像生成技術、並びに、人の眼球運動の計測技術の応用に関するものである。
【０００２】
【従来の技術】従来、実環境中にある同一対象を複数台のカメラより観測し、そこで得られた画像を処理することにより、実際にはカメラを設置していない位置・アングルにあたかもカメラを設置し、撮影したかのような任意視点の画像を生成する技術がある。その詳細は、例えば、下記の文献に開示される。
【０００３】しかしながら、この技術で画像を生成する場合、生成したい画像に対応する仮想カメラの視点の位置、方向のデータは利用者が別途、計画の上、計算機に与える必要があった。
【０００４】文献「斎藤英雄、“多視点画像からの自由視点映像生成技術の動向”、電学論Ｃ,１２１巻１０号、ＰＰ.１４９３−１４９９（２００１）」また、人の眼球位置や視線方向を計測する装置を用いて、頭部側面または前面に装着したカメラと併用することにより、カメラから得られた画像中に人の注視点を図示する技術がある。これは、認知科学や心理学などの学術分野において利用されている。
【０００５】
【発明が解決しようとする課題】前述のように、従来の任意視点の映像生成技術では、生成する映像の視点を人手で与える必要があり、人が実際に見ている情景を映像として自動的に合成することはできない。
【０００６】また、頭部に装着したカメラと視線計測装置を併用する場合、人が着目する大まかな対象は把握できるものの、得られる画像はあくまでも頭部の向きに対応する画像であり、本来、人が見ている画像、つまり、眼球が向いている先の画像を得ることができない。
【０００７】本発明は、認知科学や心理学などの学術分野において利用されている上述したような従来技術の有する欠点を解決し、実環境中に存在する人の視野に映っている情景を、映像として生成できる視野映像生成装置、方法、プログラムおよび記録媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】上記の課題を解決するため、本発明は以下の視野映像生成装置、方法、プログラムおよび記録媒体を特徴とする。
【０００９】（装置の発明）
（１）実環境の３次元形状モデルを獲得する「３次元形状モデル獲得手段」と、該実環境中に設置された複数のカメラを用いて画像データを獲得する「画像データ獲得手段」と、該カメラの特性を表すパラメータとして、位置、姿勢、焦点距離、レンズ中心のいずれか、または、それらの複数からなるパラメータを獲得する「カメラパラメータ獲得手段」と、人の眼球位置と視線方向を計測する「視線計測手段」と、前記「３次元形状モデル獲得手段」で獲得された実環境中の３次元形状データ、及び、前記「画像データ獲得手段」で獲得された画像データ、及び、前記「視線計測手段」により計測された人の眼球位置と視線方向を利用し、人の眼球位置と視線方向に対応した映像を生成する「映像生成手段」とを備えたことを特徴とする。
【００１０】（２）前記「映像生成手段」は、前記各カメラ姿勢、及び、前記「視線計測手段」により計測された人の視線方向に基づいて、前記「画像データ獲得手段」によって獲得された複数のカメラの画像データの中からテクスチャマッピングするカメラの画像データを選択する「画像データ選択手段」を備えたことを特徴とする。
【００１１】（方法の発明）
（３）実環境の３次元形状モデルを獲得する「３次元形状モデル獲得手順」と、該実環境中に設置された複数のカメラを用いて画像データを獲得する「画像データ獲得手順」と、該カメラの特性を表すパラメータとして、位置、姿勢、焦点距離、レンズ中心のいずれか、または、それらの複数からなるパラメータを獲得する「カメラパラメータ獲得手順」と、人の眼球位置と視線方向を計測する「視線計測手順」と、前記「３次元形状モデル獲得手順」で獲得された実環境中の３次元形状データ、及び、前記「画像データ獲得手順」で獲得された画像データ、及び、前記「視線計測手順」により計測された人の眼球位置と視線方向を利用し、人の眼球位置と視線方向に対応した映像を生成する「映像生成手順」とを有することを特徴とする。
【００１２】（４）前記「映像生成手順」は、前記各カメラ姿勢、及び、前記「視線計測手順」により計測された人の視線方向に基づいて、前記「画像データ獲得手順」によって獲得された複数のカメラの画像データの中からテクスチャマッピングするカメラの画像データを選択する「画像データ選択手順」を有することを特徴とする。
【００１３】（プログラムの発明）
（５）実環境の３次元形状モデルを獲得する「３次元形状モデル獲得手順」と、該実環境中に設置された複数のカメラを用いて画像データを獲得する「画像データ獲得手順」と、該カメラの特性を表すパラメータとして、位置、姿勢、焦点距離、レンズ中心のいずれか、または、それらの複数からなるパラメータを獲得する「カメラパラメータ獲得手順」と、人の眼球位置と視線方向を計測する「視線計測手順」と、前記「３次元形状モデル獲得手順」で獲得された実環境中の３次元形状データ、及び、前記「画像データ獲得手順」で獲得された画像データ、及び、前記「視線計測手順」により計測された人の眼球位置と視線方向を利用し、人の眼球位置と視線方向に対応した映像を生成する「映像生成手順」とをコンピュータで実行可能に構成したことを特徴とする。
【００１４】（６）前記「映像生成手順」は、前記各カメラ姿勢、及び、前記「視線計測手順」により計測された人の視線方向に基づいて、前記「画像データ獲得手順」によって獲得された複数のカメラの画像データの中からテクスチャマッピングするカメラの画像データを選択する「画像データ選択手順」を有することを特徴とする。
【００１５】（記録媒体の発明）
（７）実環境の３次元形状モデルを獲得する「３次元形状モデル獲得手順」と、該実環境中に設置された複数のカメラを用いて画像データを獲得する「画像データ獲得手順」と、該カメラの特性を表すパラメータとして、位置、姿勢、焦点距離、レンズ中心のいずれか、または、それらの複数からなるパラメータを獲得する「カメラパラメータ獲得手順」と、人の眼球位置と視線方向を計測する「視線計測手順」と、前記「３次元形状モデル獲得手順」で獲得された実環境中の３次元形状データ、及び、前記「画像データ獲得手順」で獲得された画像データ、及び、前記「視線計測手順」により計測された人の眼球位置と視線方向を利用し、人の眼球位置と視線方向に対応した映像を生成する「映像生成手順」とを有するプログラムを記録したことを特徴とする。
【００１６】（８）前記「映像生成手順」は、前記各カメラ姿勢、及び、前記「視線計測手順」により計測された人の視線方向に基づいて、前記「画像データ獲得手順」によって獲得された複数のカメラの画像データの中からテクスチャマッピングするカメラの画像データを選択する「画像データ選択手順」を有することを特徴とする。
【００１７】
【発明の実施の形態】以下、図面を用いて本発明の実施の形態を詳細に説明する。なお、ここでは一例として屋内環境における一形態を説明するが、本発明は屋内環境以外の環境においても同様に有効である。
【００１８】図１は、本発明の一実施形態（屋内環境）に関する視野映像生成装置の構成図である。この図においては、１はカメラパラメータ獲得手段、２はカメラキャリブレーション手段、３は画像データ獲得手段、４は屋内環境に設置した複数のカメラ、５は３次元モデル獲得手段、６は３次元形状計測手段、７は三角パッチ作成手段、８は視線計測手段、９は映像生成手段、１０は画像データ選択手段、１１は画像座標算出手段、１２はテクスチャマッピング手段からなる。
【００１９】図２は、本発明の一実施形態における、視野映像装置の全体を説明する図で、実環境中のカメラ、人、視線計測装置の配置、及び、カメラ、人、環境、各々に関する座標系を説明する図である。図においてワールド座標系Ｗとは、複数のカメラ、視線測定装置に共通な座標系である。
【００２０】また、図３は本発明の一実施形態（屋内環境）に関する視野映像装置を天井から見た外観を説明する図である。
【００２１】以下では、本発明の一実施形態における動作を具体的に説明する。ここでは、時刻ｔにおける人の眼球位置の視線方向に対応した一実施形態を説明するが、本発明は、時間的に変化する人の眼球位置と視線方向に対しても、同様に実現可能である。
【００２２】「カメラパラメータ獲得手段（１）」は、実環境内に設置した複数カメラと「カメラキャリブレーション手段（２）」からなり、複数設置した各カメラに対して、カメラパラメータを獲得する。
【００２３】カメラパラメータとは、ワールド座標系におけるカメラの姿勢、位置、焦点距離、レンズ歪み係数、レンズスケールファクター、画素サイズ、レンズ中心のいずれか、またはこれらを複数含んだものであり、ワールド座標系とカメラの画像座標系の幾何学的関係を表現したものである。
【００２４】まず、「カメラキャリブレーション手段（２）」では、一例として、実空間中から選んだ数点（例えば、図２に示す点ａ，ｂ，ｃ，ｄなど）に対し、ワールド座標系における３次元座標（Ｘ，Ｙ，Ｚ）とカメラの画像座標系における２次元座標（ｘ，ｙ）との対応点の組を入力として、Ｔｓａｉのカメラキャリブレーションアルゴリズムを適用することにより、カメラパラメータを出力する。その結果を記憶装置（ハードディスク、メモリなど）に記録する。
【００２５】Ｔｓａｉのキャリブレーションアルゴリズムによって算出されたカメラパラメータは、次の（１）式で表現され、実空間中のある点Ｐ（Ｘ，Ｙ，Ｚ）は画像上の点ｐ（ｘ，ｙ）に投影することが可能となる。
【００２６】
【数１】

【００２７】ここで、ｈはスケールファクタ、Ｐ１１,…,Ｐ１４はカメラパラメータを表す。なお、本発明は、Ｔｓａｉ以外のカメラキャリブレーション手法を用いても、同様に実現可能である。
【００２８】Ｔｓａｉのキャリブレーションアルゴリズムの参考文献「R.Tsai、“AVersatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf Tv Cameras and Lenses",IEEE Journal of Robotics and Automation RA-3,4,pp323-344(1987)」
次に、「画像データ獲得手段（３）」は、「屋内環境中に設置した複数のカメラ（４）」を用いて、それぞれの位置や方向から見た画像を次の（２）式に示すデータ形式で撮影し、記憶装置（ハードディスク、メモリなど）に記録する。
【００２９】なお、カメラの設置数、各カメラの姿勢や位置は、実空間上の同一点が少なくとも二つのカメラから撮影されるように選ぶ。ここで、撮影した画像データは、後に、３次元形状モデルにマッピングするテクスチャとして用いる。
【００３０】
【数２】

【００３１】ただし、ｎ：カメラの個数、ｘ：ｘ座標、ｙ：ｙ座標、Ｒ：赤成分を２５６階調で表現した濃度値、Ｇ：緑成分を２５６階調で表現した濃度値、Ｂ：青成分を２５６階調で表現した濃度値。
【００３２】次に、「３次元モデル獲得手段（５）」は、「３次元形状計測手段（６）」と「三角パッチ作成手段（７）」からなる。
【００３３】「３次元形状計測手段（６）」では、一般的な３次元形状計測手段として用いられているレーザーレンジファインダ、ステレオマッチング手法などを用いて、屋内環境の３次元表面形状を観測し、ワールド座標系における３次元座標（Ｘ，ＹＺ）の観測点群を獲得する。
【００３４】「三角パッチ作成手段（７）」では、ばらばらになっている３次元座標の点群を入力として、それらの点群を三角パッチの集合として表現することで、屋内環境を構成する３次元形状モデルを出力し、その結果を記憶装置（ハードディスク、メモリなど）に記録する。
【００３５】次に、「視線計測手段（８）」では、実環境中に存在する人の眼球位置と視線方向を取得する。一例として、非接触型で連続的に視線を計測できる視線測定装置を用いた場合を説明するが、本発明は、上記の以外の視線測定装置を用いても実現可能である。
【００３６】はじめに、当該視線測定装置をＴｓａｉの手法を用いてキャリブレーションを行い、視線測定装置のカメラ座標とワールド座標の幾何学的関係を求めておく。キャリブレーション済みの視線測定装置は、人の眼球位置と視線方向を視線データとして、例えばサンプリングレート３０Ｈｚで連続的に計測する。計測の結果得られた視線測定装置の座標系で表現されている人の眼球位置と視線方向を、ワールド座標系における人の眼球位置Ｓ（ｔ）＝（Ｓｘ（ｔ），Ｓｙ（ｔ），Ｓｚ（ｔ））と、視線方向ｋＥ（ｔ）＝（Ｅｘ（ｔ），Ｅｙ（ｔ），Ｅｚ（ｔ））に変換して出力し、その結果を記憶装置（ハードディスク、メモリ等）に記録する。
【００３７】視線測定装置の参考文献「大野健彦、武川直樹、吉川原、“眼球モデルに基づく視線測定システム−視線入力デバイスの実現に向けて−”、ＨＩ研究会93-7,pp.47-54(2001)」
次に、「映像生成手段（９）」は、「画像データ選択手段（１０）」と「画像座標算出手段（１１）」と「テクスチャマッピング手段（１２）」からなる。
【００３８】「画像データ選択手段（１０）」では、人の視点で見えている映像と近い画質にするために、「視線計測手段（８）」により獲得した人の視線方向と、「カメラパラメータ獲得手段（１）」により獲得した各カメラの光軸方向を入力して、それらのベクトルの成す角を計算することにより、テクスチャマッピングする画像データをどのカメラから撮影したものから構成するか決定し、その結果を記憶装置（ハードディスク、メモリ等）に記録する。
【００３９】具体的には、図３に示すように、ワールド座標における人の視線方向ベクトルＥ（ｔ）＝（Ｅｘ（ｔ），Ｅｙ（ｔ），Ｅｚ（ｔ））と、各カメラ光軸方向ベクトルＨｎ＝（Ｈｎｘ，Ｈｎｙ，Ｈｎｚ）（ｎ：カメラ番号）に着目して、それらのベクトルの成す角を（３）式によって算出する。
【００４０】
【数３】

【００４１】ただし、ｎはカメラ番号
次に、（３）式によって得られた角の値を調べ、小さい値を示すカメラから得られた画像を最も優先度の高いテクスチャマッピングの候補として、角度の小さい順に優先度をカメラ毎に決定する画像データとする。例えば、図３の場合は、Ｃ７の優先度が最も高く、次にＣ８となる。
【００４２】「画像座標算出手段（１１）」では、前記の「３次元形状モデル獲得手段（５）」により獲得した３次元形状モデルの各三角パッチの各頂点３次元座標（Ｘ，Ｙ，Ｚ）を入力として、「画像データ選択手段（１０）」により選択されたカメラのパラメータを用いることにより、それらの３次元座標が投影されている画像座標系における２次元座標（ｘ，ｙ）を算出し、その結果を配慮装置（ハードディスク、メモリ等）に記録する。
【００４３】「テクスチャマッピング手段（１２）」では、各三角パッチの各頂点３次元座標（Ｘ，Ｙ，Ｚ）が投影されている画像座標系における２次元座標（ｘ，ｙ）と、「画像データ選択手段（１０）」によって選択された画像データを入力として、それらの２次元座標（ｘ，ｙ）を結んだ各３角形領域の画像データを記憶装置から取り出し、それらを各三角パッチにテクスチャマッピングし、その結果をディスプレイ等の出力装置に出力する。
【００４４】また、各三角パッチの面の向きによっては、上記、最も優先度の高いカメラに対応する画像データだけでは、人の視点の前方にある三角パッチにマッピングするテクスチャが得られない場合がある。例えば、図３に示したように、カメラの光軸のベクトルと三角パッチの法線ベクトルの内積が正となる。すなわち、三角パッチの面がカメラの光軸に対して裏を向いている場合である。
【００４５】このとき、「画像データ選択手段（１０）」により得られた優先度の順にカメラから得られた画像データを選択し、カメラ光軸に対して三角パッチが表になる条件となるように、「画像座標算出手段（１１）」と「テクスチャマッピング手段（１２）」を繰り返す。
【００４６】以上の手段により、時刻ｔにおける人の眼球位置Ｓ（ｔ）＝（Ｓｘ（ｔ），Ｓｙ（ｔ），Ｓｚ（ｔ））と視線方向Ｅ（ｔ）＝（Ｅｘ（ｔ），Ｅｙ（ｔ），Ｅｚ（ｔ））に対応した視野映像生成が実現可能となる。
【００４７】なお、本手段は、時刻ｔが連続的に変化する場合も同様に実現できる。また、形状や物体の配置がリアルタイムに変化する場合にも同様に実現できることは明らかである。
【００４８】また、本発明は、図１に示した装置の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現すること、あるいは図１〜図３で示した処理手順をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク：登録商標）、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【００４９】
【発明の効果】以上、説明したように、本発明は、複数のカメラから得られる画像に基づき新しい視点からの画像を計算機上で生成する映像生成技術、並びに、人の眼球運動計測技術の応用によって、実環境中に存在する人の視野に映っている情景を、映像として生成できる装置を提供することができる。
【００５０】また、過去の研究から、人の視線には、その人の意図や興味、情動や気分など心理的な状態が反映しているとされている。本発明を用いれば、実環境中に存在する人の興味や行動の推移が観測可能となる。
【出願人】 【識別番号】０００００４２２６
【氏名又は名称】日本電信電話株式会社
【住所又は居所】東京都千代田区大手町二丁目３番１号
【出願日】 平成１４年２月２８日（２００２．２．２８）
【代理人】 【識別番号】１０００６２１９９
【弁理士】
【氏名又は名称】志賀 富士弥 （外２名）
【公開番号】 特開２００３−２５６８０４（Ｐ２００３−２５６８０４Ａ）
【公開日】 平成１５年９月１２日（２００３．９．１２）
【出願番号】 特願２００２−５２５５６（Ｐ２００２−５２５５６）