トップ :: G 物理学 :: G06 計算;計数




【発明の名称】 画像処理
【発明者】 【氏名】吉永 匠

【氏名】北村 操佳

【氏名】湯田 高志

【氏名】中西 仁
【要約】 【課題】描画処理を軽減し、画面の表現を多彩化し、且つキャラクタの動きを円滑に表現する。

【解決手段】画像処理手段２はムービー画像からなる背景画像データ３ｄと、ポリゴンデータによる立体画像とからなるキャラクタデータ４ｄとを合成してディスプレイ６に与える。ディスプレイ６には背景画像３とキャラクタ４とが合成された画像６０が表示される。背景画像データ３ｄの一部にキャラクタデータ４ｄとの陰面消去における優先度を判定するための３次元データからなる簡易モデル５ｄが設定される。画像処理手段２は、この簡易モデルに基づきキャラクタ４が背景３に隠れる部分を判定して画面消去している。この消去により、画面を３次元的に表現することができる。なお、より少ない演算量で、複雑な制御に依存することなく、音楽の再生とオブジェクトの動きとを合わせた画像も生成して表示できる。
【特許請求の範囲】
【請求項１】 ムービー画像を含む第１の表示体と、ポリゴンデータによる立体画像とからなる第２の表示体を表示手段に表示してなる画像処理装置であって、前記第１の表示体に前記第２の表示体との陰面消去における優先度を判定するための三次元データからなる簡易モデルを設定して画像処理を行なう画像処理手段を備える画像処理装置。
【請求項２】 前記第１の表示体がゲーム画面の背景を構成し、前記第２の表示体がこの背景上に表示されるキャラクタを構成する請求項１記載の画像処理装置。
【請求項３】 前記第１の表示体の内、前記ポリゴンデータの優先度を判定する必要がある部分のみを前記簡易モデルから構成した請求項１記載の画像処理装置。
【請求項４】 前記簡易モデルは、粗く設定されたポリゴンデータからなる３次元データである請求項１記載の画像処理装置。
【請求項５】 画像からなる第１の表示体と、ポリゴンデータによる立体画像からなる第２の表示体とを表示手段に表示してなる画像処理装置であって、前記第２の表示体に対する仮想カメラを設定し、この第２の表示体が第１の表示体上を移動する際に、前記第１の表示体に対するカメラ角度に前記仮想カメラの位置をほぼ一致させるようにこの仮想カメラの動きを制御し、この第２の表示体が前記第１の表示体を逆に動く場合には、前記第１の表示体を逆モーションに再生し、逆モーションの第１の表示体に対するカメラ角度に前記仮想カメラの位置をほぼ一致させる画像処理手段を有する画像処理装置。
【請求項６】 前記画像処理手段は、前記第１の表示体の内の前記第２の表示体が移動すべき領域を複数の区画に分けてある中の、一つの区画から他の区画に前記第２の表示体が移動する際に仮想カメラの位置を各区画についてのカメラの角度にほぼ一致させる請求項５記載の画像処理装置。
【請求項７】 ムービー画像からなる第１の表示体と、ポリゴンデータによる立体画像とからなる第２の表示体を表示手段に表示する画像処理方法であって、 前記第１の表示体の一部に３次元データからなる簡易モデルを設定し、この簡易モデルを用いて前記第２の表示体の陰面消去における優先度を判定することを特徴とする画像処理方法。
【請求項８】 画像からなる第１の表示体と、ポリゴンデータによる立体画像からなる第２の表示体とを表示手段に表示する画像処理方法であって、前記第２の表示体に対する仮想カメラを設定し、この第２の表示体が第１の表示体上を移動する際に、前記第１の表示体に対するカメラ位置・角度に前記仮想カメラの位置・角度をほぼ一致させるようにこの仮想カメラの動きを制御するとともに、この第２の表示体が前記第１の表示体を逆に動く場合には、前記第１の表示体を逆モーションに再生して、逆モーションの第１の表示体に対するカメラ角度に前記仮想カメラの位置をほぼ一致させることを特徴とする画像処理方法。
【請求項９】 コンピュータを請求項１乃至請求項８のいずれかに記載の画像処理手段や画像処理方法として機能させるためのプログラムを記載した記録媒体。
【請求項１０】 仮想空間に存在させたオブジェクトのモーションの画像をサウンドデータに合わせて表示手段の画面上に表示するようにしたことを特徴とする画像処理装置。
【請求項１１】 前記オブジェクトのモーションを前記サウンドデータの拍にリンクさせて表示する表示制御手段を備えたことを特徴とする請求項１０記載の画像処理装置。
【請求項１２】 前記サウンドデータに基づくサウンドを再生する再生手段を備える一方で、前記表示制御手段は、前記再生手段によるサウンドデータの再生情報を取得する第１の取得手段と、この取得手段により取得されたサウンドデータの再生情報を参照してゲームの再生位置を演算する演算手段と、この演算手段の演算結果とモーション進行データとに基づき仮想カメラのデータと前記オブジェクトのモーションを取得する第２の取得手段と、この第２の取得手段の取得結果に基づき前記オブジェクトのモーションをモニタ画面上に表示するための画像データを生成する生成手段とを備える請求項１１記載の画像処理装置。
【請求項１３】 前記第１の取得手段は前記再生手段によるサウンドデータの再生サンプル数（ｎｃｏｕｎｔ）及びサンプリング周波数（ｆｒｅｑ）を取得する手段であり、且つ、前記演算手段は前記再生サンプル数（ｎｃｏｕｎｔ）及びサンプリング周波数（ｆｒｅｑ）を参照して現在のフレーム数（ｆｒａｍｅ）及び拍数（ｂｅａｔ）を演算する手段である請求項１２記載の画像処理装置。
【請求項１４】 前記演算手段は、現在のフレーム数（ｆｒａｍｅ）及び拍数（ｂｅａｔ）をｆｒａｍｅ＝ｎｃｏｕｎｔ＊ＦＰＳ／ｆｒｅｑｂｅａｔ＝ｆｒａｍｅ／ｆｐｂ（ただし、ＦＰＳは１秒当たりのフレーム数、ｆｐｂは１拍数当たりのフレーム数である）により演算する手段である請求項１３記載の画像処理装置。
【請求項１５】 前記モーション進行データは、前記サウンドデータの拍数に応じてモーションを時系列で割り当てるためのデータである請求項１２記載の画像処理装置。
【請求項１６】 前記仮想カメラのデータは前記仮想空間における仮想カメラの視点情報であり、前記生成手段は、前記仮想カメラの視点情報に合致した視点情報を有するムービー画像を背景画像とした前記オブジェクトの画像データを生成する手段を有する請求項１２記載の画像処理装置。
【請求項１７】 前記生成手段は、前記オブジェクトのモーションを自動的に設定する第１の生成モード及び遊戯者からの操作情報を前記オブジェクトのモーションに反映させる第２の生成モードの何れか一方のモードの元に前記画像データを生成する手段である請求項１２記載の画像処理装置。
【請求項１８】 前記表示制御手段は、前記オブジェクトにあてがう背景の画像を当該オブジェクトの画像とは別個に形成する手段と、前記オブジェクトの画像と前記背景の画像とに対するカメラ視点及び光源の内の少なくとも一方の配置条件をほぼ同一に設定した状態で当該オブジェクトの画像と背景の画像とを合成させる手段とを備える請求項１１記載の画像処理装置。
【請求項１９】 前記背景の画像はムービー画像である請求項１８記載の画像処理装置。
【請求項２０】 請求項１０乃至１９の何れか一項に記載の画像処理装置において、前記サウンドデータはＡＤＸ圧縮されたＡＤＸデータとして提供される画像処理装置。
【請求項２１】 請求項１０乃至２０の何れかに記載の画像処理装置の前記各手段をコンピュータに実行させるためのプログラムを記録した記憶媒体。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は、アミューズメントセンターや家庭で使用可能なゲーム装置などに好適な画像処理装置、画像処理方法、及び記録媒体に関する。
【０００２】
【従来の技術】近年のコンピュータ技術の進歩に伴い、コンピュータグラフィックス技術を用いたビデオゲーム装置が広く利用されるようになってきた。このビデオゲーム装置はユーザーに広く受け入れられていて、多種多様なゲーム装置が数多く案出されるとともに、様々なゲームソフトも供給されている。
【０００３】このような画像処理機能を備えたゲーム装置は、一般に、操作装置を有するゲーム装置本体と、スピーカ等の音響発生手段と、映像を提供するディスプレイとで構成されている。このゲーム装置においては、ゲームの展開に伴ってディスプレイに表示されている背景画面を変化させるとともに、遊戯者の指示に従って背景画面内でキャラクタを移動させることができる。遊技者は、ディスプレイに表示されているゲーム展開に伴う背景画面の変化を見ながら、ジョイパッド等の操作装置を操作し、その背景画面内においてキャラクタを移動させて、ゲームを楽しむことができる。
【０００４】かかるゲーム装置のゲーム画面の生成には各種の方法が在る。その１つとして、ディスプレイ上に表示される画面の全てをポリゴンデータで作成すれば、３次元的な、すなわち立体的表現が可能になる。このとき、ゲーム空間の画像データは３次元データであるため、ゲーム空間における仮想カメラの角度（カメラの視点）を変化させることにより、あらゆる角度から見た画像を得ることができ、画面の表現の自由度が非常に高くなる。
【０００５】また、ゲーム画面の生成法として、コンピュータグラフィックスに拠るムービー画面を用いる方法も知られている。ここで、コンピュータグラフィックスに拠るムービー画面とは、ある位置から他の位置へ移動することが決められている一連の２次元の絵からなる画像データであって、その画面を見るカメラ角度が決められている画像データのことである。このムービー画面を使用した場合、きめが細かく綺麗な画面を提供でき、しかも、ゲーム装置による画像処理の負担が少ないという利点がある。
【０００６】このような状況下で、さらに別の画像処理機能を搭載したゲーム装置も既に使用に供されている。それは、画面に表示させたオブジェクト（キャラクタ）を音楽に合わせて躍らせる音楽ゲームの装置である。このゲーム装置の場合、音楽のテンポとオブジェクトの動き（モーション）との合致が強く望まれる。従来、この音楽に合わせた動きをキャラクタにさせるために、コンピュータシステムは音楽の再生と動き制御とを実時間ベースに制御している。
【０００７】
【発明が解決しようとする課題】このように従来のゲーム装置において、背景やキャラクタを含む画像の全てをポリゴンデータで表現する場合、多量のポリゴンデータを備えないと、画面が粗く表現されることになり、また、ポリゴンデータ同士の接続部分が表現されて全体に角張った画面となってしまう。さらに、多量のポリゴンデータをもって背景やキャラクタなどの画像を構成すると、画面はきめ細かくなってある程度多彩の表現が可能になるものの、画像処理に多大な負担がかかってしまう。
【０００８】また、コンピュータグラフィックスに拠るムービー画面を用いるゲーム画面生成法の場合、表示画面は２次元データであるため、平面的な表現となってしまい、３次元表現は不可能である。さらに、前記ムービー画面ではカメラ角度が固定されているため、画面表現の自由度が著しく低い。
【０００９】一方、前述した音楽ゲームを行なう画像処理の場合、実時間をベースにして音楽の再生及びオブジェクトの動きを制御するので、演算量が多くなり、制御も複雑であった。
【００１０】本発明は、このような従来のゲーム装置が有する問題を解決する画像処理機能を備えた画像処理装置、画像処理方法、及び記録媒体を提供する。
【００１１】具体的には、本発明は、ゲーム画面の表現を多彩化でき、ゲーム画面上で移動する表示体の動作をより円滑に表現でき、且つ描画処理量を著しく軽減できる画像処理を実現することを第１の目的とする。
【００１２】また、本発明は、より少ない演算量で、複雑な制御に依存することなく、融通性良く簡単に、音楽の再生とオブジェクトの動きとを合わせた（リンクさせた）画像を表示することができる画像処理を実現することを第２の目的とする。
【００１３】
【課題を解決するための手段】上述した第１の目的を達成するため、本発明に係る画像処理装置は、その１つの態様として、ムービー画像からなる第１の表示体と、ポリゴンデータによる立体画像とからなる第２の表示体を表示手段に表示してなる画像処理装置であって、前記第１の表示体の一部に前記第２の表示体との陰面消去における優先度を判定するための三次元データからなる簡易モデルを設定して画像処理を行なう画像処理手段を備えたことを特徴とする。
【００１４】好適には、前記第１の表示体がゲーム画面の背景を構成し、前記第２の表示体がこの背景上に表示されるキャラクタを構成する。また、前記第１の表示体の内、前記ポリゴンデータの優先度を判定する必要がある部分のみを前記簡易モデルから構成してもよい。
【００１５】例えば、前記簡易モデルは、粗く設定されたポリゴンデータからなる３次元データであることが好ましい。
【００１６】また、本発明に係る画像処理装置は、別の態様として、画像からなる第１の表示体と、ポリゴンデータによる立体画像からなる第２の表示体とを表示手段に表示してなる画像処理装置であって、前記第２の表示体に対する仮想カメラを設定し、この第２の表示体が第１の表示体上を移動する際に、前記第１の表示体に対するカメラ角度に前記仮想カメラの位置をほぼ一致させるようにこの仮想カメラの動きを制御し、この第２の表示体が前記第１の表示体を逆に動く場合には、前記第１の表示体を逆モーションに再生し、逆モーションの第１の表示体に対するカメラ角度に前記仮想カメラの位置をほぼ一致させる画像処理手段を有することを特徴とする。
【００１７】好ましくは、前記画像処理手段は、前記第１の表示体の内の前記第２の表示体が移動すべき領域を複数の区画に分けてある中の、一つの区画から他の区画に前記第２の表示体が移動する際に仮想カメラの位置を各区画についてのカメラの角度にほぼ一致させる手段である。
【００１８】一方、第１の目的を達成するため、本発明に係る画像処理方法の１つの態様によれば、ムービー画像からなる第１の表示体と、ポリゴンデータによる立体画像とからなる第２の表示体を表示手段に表示する画像処理方法であって、前記第１の表示体の一部に３次元データからなる簡易モデルを設定し、この簡易モデルを用いて前記第２の表示体の陰面消去における優先度を判定することを特徴とする。
【００１９】また、本発明に係る画像処理方法の別の態様によれば、画像からなる第１の表示体と、ポリゴンデータによる立体画像からなる第２の表示体とを表示手段に表示する画像処理方法であって、前記第２の表示体に対する仮想カメラを設定し、この第２の表示体が第１の表示体上を移動する際に、前記第１の表示体に対するカメラ角度に前記仮想カメラの位置をほぼ一致させるようにこの仮想カメラの動きを制御するとともに、この第２の表示体が前記第１の表示体を逆に動く場合には、前記第１の表示体を逆モーションに再生して、逆モーションの第１の表示体に対するカメラ角度に前記仮想カメラの位置をほぼ一致させることを特徴とする。
【００２０】さらに、上述の構成のいずれかに記載の画像処理手段や画像処理方法として機能させるためのプログラムを記載した記録媒体が提供される。
【００２１】以上のように、表示手段に表示させる背景等の画面の一部にムービー画面を使用することにより。画面の表現法を多彩化して表現の自由度を高めることができると同時に、描画処理を著しく軽減し、かつ、このムービー画面上のキャラクタ等からなる表示体の移動状態を円滑に表現することができる。
【００２２】さらに、前述した第２の目的を達成するため、本発明に係る画像処理装置は、仮想空間に存在させたオブジェクトのモーションの画像をサウンドデータに合わせて表示手段の画面上に表示するようにしたことを特徴とする。好適には、前記オブジェクトのモーションを前記サウンドデータの拍にリンクさせて表示する表示制御手段が備えられる。
【００２３】また、前記サウンドデータに基づくサウンドを再生する再生手段を備える一方で、前記表示制御手段は、前記再生手段によるサウンドデータの再生情報を取得する第１の取得手段と、この取得手段により取得されたサウンドデータの再生情報を参照してゲームの再生位置を演算する演算手段と、この演算手段の演算結果とモーション進行データとに基づき仮想カメラのデータと前記オブジェクトのモーションを取得する第２の取得手段と、この第２の取得手段の取得結果に基づき前記オブジェクトのモーションをモニタ画面上に表示するための画像データを生成する生成手段とを備えるようにしてもよい。
【００２４】また好適には、前記第１の取得手段は、前記再生手段によるサウンドデータの再生サンプル数（ｎｃｏｕｎｔ）及びサンプリング周波数（ｆｒｅｑ）を取得する手段であり、且つ、前記演算手段は前記再生サンプル数（ｎｃｏｕｎｔ）及びサンプリング周波数（ｆｒｅｑ）を参照して現在のフレーム数（ｆｒａｍｅ）及び拍数（ｂｅａｔ）を演算する手段である。
【００２５】このとき、例えば、前記演算手段は、現在のフレーム数（ｆｒａｍｅ）及び拍数（ｂｅａｔ）をｆｒａｍｅ＝ｎｃｏｕｎｔ＊ＦＰＳ／ｆｒｅｑｂｅａｔ＝ｆｒａｍｅ／ｆｐｂ（ただし、ＦＰＳは１秒当たりのフレーム数、ｆｐｂは１拍数当たりのフレーム数である）により演算する手段である。
【００２６】また、前記モーション進行データは、前記サウンドデータの拍数に応じてモーションを時系列で割り当てるためのデータであってもよい。
【００２７】また好適には、前記仮想カメラのデータは前記仮想空間における仮想カメラの視点情報であり、前記生成手段は、前記仮想カメラの視点情報に合致した視点情報を有するムービー画像を背景画像とした前記オブジェクトの画像データを生成する手段を有することである。
【００２８】また、前記生成手段は、前記オブジェクトのモーションを自動的に設定する第１の生成モード及び遊戯者からの操作情報を前記オブジェクトのモーションに反映させる第２の生成モードの何れか一方のモードの元に前記画像データを生成する手段であってもよい。
【００２９】さらに、前記表示制御手段は、前記オブジェクトにあてがう背景の画像を当該オブジェクトの画像とは別個に形成する手段と、前記オブジェクトの画像と前記背景の画像とに対するカメラ視点及び光源の内の少なくとも一方の配置条件をほぼ同一に設定した状態で当該オブジェクトの画像と背景の画像とを合成させる手段とを備えていてもよい。例えば、その背景の画像はムービー画像である。
【００３０】さらに、前記サウンドデータはＡＤＸ圧縮されたＡＤＸデータとして提供されることが好ましい。
【００３１】さらに、この第２の目的を達成する画像処理装置の前記各手段をコンピュータに実行させるためのプログラムを記録した記憶媒体が提供される。
【００３２】これにより、画面上のオブジェクトのモーション（動き）が音楽に合わせて躍らせる、いわゆる音楽ゲームを提供することができる。このゲームは、より少ない演算量で済み、複雑な制御に依存することなく、融通性良く簡単に処理できる。
【００３３】なお、前述した記録媒体には、例えば、フロッピーディスク、ハードディスク、磁気テープ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、ＲＯＭカートリッジ、バッテリバックアップ付きのＲＡＭメモリカートリッジ、フラッシュメモリ、不揮発性ＲＡＭカード等が挙げられる。また、記録媒体は、電話回線等の優先通信媒体、マイクロ波回線等の無線通信媒体等通信媒体も含む。インターネットもここでいう通信媒体に含まれる。要するに、何らかの手段で、コンピュータにプログラムをダウンロードさせて、所定の機能を備えるものであれば、本発明に係る記録媒体に含まれる。
【００３４】
【発明の実施の形態】以下、本発明の実施の形態を添付図面に基づき説明する。
【００３５】（第１の実施形態）図１〜図９を参照して、第１の実施形態を説明する。
【００３６】〔概要〕図１は、第１の実施形態の概要を説明するための説明図である。
【００３７】この図１において、符号１は、本発明の画像処理装置を実施したＴＶゲーム装置等のゲーム装置である。このゲーム装置１はゲームソフトを実行することができる。このＴＶゲーム装置１がゲームソフトを実行することにより、ＴＶゲーム装置１内には画像処理手段２が実現される。
【００３８】この画像処理手段２は、図１に示すように、コンピュータグラフィックスに基づくムービー画像で構成される背景画像（第１の表示体）のデータ３ｄと、ポリゴンデータによる立体画像で構成されるゲームのキャラクタ（第２の表示体）のデータ４ｄとを画像処理するとともに、表示すべき背景等の一部に、前記キャラクタデータ４ｄとの陰面消去における優先度を判定するための３次元データからなる簡易モデル５ad，５bdを設定してなる。 この簡易モデル５adは、図１に示すように、デスクデータ３adの輪郭に沿って点線で示している。同様に、簡易モデル５bdは、図１に示すように、壁面３bdの輪郭に沿って点線で示している。これら簡易モデル５ad，５bdを示す点線は、図面の作成上の都合で止む無く輪郭の内側に表示しているが、実際には実線と点線は同一位置にある。
【００３９】この画像処理手段２は、キャラクタデータ４ｄと簡易モデル５adとの優先度を判定するとともに、キャラクタデータ４ｄと簡易モデル５bdとの優先度を判定する。いまの場合、キャラクタデータ４ｄは簡易モデル５adより後ろ側にあるので、画像処理手段は、簡易モデル５adの方を優先して、キャラクタデータ４ｄの簡易モデル５adに隠れる部分を陰面消去する処理を実行する。また、キャラクタデータ４ｄは簡易モデル５bdの前側にあるので、画像処理手段２はキャラクタデータ４ｄの方を優先して、キャラクタデータ４ｄの後ろ側に相当する部分を陰面消去する処理を実行する。
【００４０】画像処理手段２は、上述の画像処理を実行し、かつ、キャラクタデータ４ｄと背景画面データ３ｄとを合成した後、この合成データを映像信号に変換してディスプレイ６に与える。これにより、ディスプレイ６には、図１に示すような、デスク３ａの後であって、壁面３ｂの前に、キャラクタ４が立った状態の画像６０が表示される。以下、このゲーム装置の具体的な説明を行う。
【００４１】〔ゲーム装置の構成〕図２は、このゲーム装置の概要を表すブロック図である。このゲーム装置１は、装置全体の制御を行うＣＰＵブロック１０、ゲーム画面の表示制御を行うビデオブロック１１、効果音等を生成するサウンドブロック１２、ＣＤ−ＲＯＭ９の読み出しを行うサブシステム１３等により構成されている。
【００４２】ＣＰＵブロック１０は、ＳＣＵ（System Control Unit ）１００、メインＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、サブＣＰＵ１０４、ＣＰＵバス１０５等により構成されている。
【００４３】メインＣＰＵ１０１は、装置全体の制御を行うものである。このメインＣＰＵ１０１は、内部にＤＳＰ（Digital Signal Processor）と同様の演算機能を備え、アプリケーションソフトを高速に実行可能である。ＲＡＭ１０２は、メインＣＰＵ１０１のワークエリアとして使用されるものである。ＲＯＭ１０３には、初期化処理用のイニシャルプログラム等が書き込まれている。ＳＣＵ１００は、バス１０５、１０６、１０７を制御することにより、メインＣＰＵ１０１、ＶＤＰ１２０、１３０、ＤＳＰ１４０、ＣＰＵ１４１等の間におけるデータ入出力を円滑に行うものである。また、ＳＣＵ１００は、内部にＤＭＡコントローラを備え、ゲーム中のスプライトデータをビデオブロック１１内のＶＲＡＭに転送することができる。これにより、ゲーム等のアプリケーションソフトを高速に実行することが可能である。
【００４４】サブＣＰＵ１０４は、ＳＭＰＣ（System Manager & Peripheral Control ）と呼ばれるもので、メインＣＰＵ１０１からの要求に応じて、操作装置（ペリフェラル）としてのＰＡＤ７ｂからのペリフェラルデータをケーブル７ｃ、コネクタ７ａを介して収集する機能等を備えている。メインＣＰＵ１０１はサブＣＰＵ１０４から受け取ったペリフェラルデータに基づき、例えばゲーム画面中のキャラクタを移動させる等の処理を行うものである。なお、コネクタ７ａには、ＰＡＤ、ジョイスティック、キーボード等のうちの任意のペリフェラルが接続可能である。サブＣＰＵ１０４は、コネクタ７ａ（本体側端子）に接続されたペリフェラルの種類を自動的に認識し、ペリフェラルの種類に応じた通信方式に従いペリフェラルデータ等を収集する機能を備えている。
【００４５】ビデオブロック１１は、ビデオゲームのポリゴンデータから成るキャラクタ等の描画を行うＶＤＰ（Video Display Processor ）１２０、背景画面の描画、ポリゴン画像データおよび背景画像の合成、クリッピング処理等を行うＶＤＰ１３０とを備えている。
【００４６】ＶＤＰ１２０はＶＲＡＭ１２１およびフレームバッファ１２２、１２３に接続されている。ビデオゲーム機のキャラクタを表すポリゴンの描画データはメインＣＰＵ１０１からＳＣＵ１００を介してＶＤＰ１２０に送られ、ＶＲＡＭ１２１に書き込まれる。ＶＲＡＭ１２１に書き込まれた描画データは、例えば、１６または８ビット／pixel の形式で描画用のフレームバッファ１２２または１２３に描画される。描画されたフレームバッファ１２２または１２３のデータはＶＤＰ１３０に送られる。描画を制御する情報は、メインＣＰＵ１０１からＳＣＵ１００を介してＶＤＰ１２０に与えられる。そして、ＶＤＰ１２０は、この指示に従い描画処理を実行する。
【００４７】ＶＤＰ１３０はＶＲＡＭ１３１に接続され、ＶＤＰ１３０から出力された画像データはメモリ１３２を介してエンコーダ１６０に出力される構成となっている。エンコーダ１６０は、この画像データに同期信号等を付加することにより映像信号を生成し、ＴＶ受像機６に出力する。これにより、ＴＶ受像機６にゲームの画面が表示される。
【００４８】サウンドブロック１２は、ＰＣＭ方式あるいはＦＭ方式に従い音声合成を行うＤＳＰ１４０と、このＤＳＰ１４０の制御等を行うＣＰＵ１４１とにより構成されている。ＤＳＰ１４０により生成された音声データは、Ｄ／Ａコンバータ１７０により２チャンネルの信号に変換された後にスピーカ６ａ，６ｂに出力される。
【００４９】このサブシステム１３は、ＣＤ−ＲＯＭ８の形態で供給されるアプリケーションソフトの読み込み、動画の再生等を行う機能を備えている。
【００５０】〔ゲーム装置の動作〕次に、上記ゲーム装置の動作を、図１を基にするとともに、図２〜９を参照して説明する。まず、装置全体の動作の流れを図３に基づき参照して説明する。
【００５１】このゲーム装置１において、メインＣＰＵ１０１は、一定時間毎に、図３の全体フローチャートに入り、データ処理周期でないときには（Ｓ１１；ＮＯ）、この処理を抜ける。また、データ処理周期のときには（Ｓ１１；ＹＥＳ）、以下の処理に移行する。
【００５２】まず、メインＣＰＵ１０１はゲーム処理を実行する（Ｓ１２）。つまり、このステップ１２において、メインＣＰＵ１０１は、ゲームの処理を行わなければならない事項について、例えばゲームソフト、ゲームの展開に対応して記憶しておいたデータ及びＰＡＤ７ｂからのペリフェラルデータ等を基にゲームを展開させる。
【００５３】次に、メインＣＰＵ１０１は画像処理手段２を実現させる。画像処理手段２は、前のステップにて得られたゲーム展開に伴うデータを基に、コンピュータグラフィクスによるムービー画面で構成された背景画面データを取り込むとともに、当該背景内において配置させるべきキャラクタデータを取り込み、これらを画像処理に付す（Ｓ１３）。
【００５４】この第１の実施形態では、ムービー画面で構成した背景画面データには、例えば当該背景画面内の各種部品等の輪郭に沿ってポリゴンで構成した簡易モデル（マスクモデル）が予め設定されている。画像処理手段２は、このポリゴンで構成された簡易モデルと、同様にポリゴンで構成されるキャラクタデータとの優先度を判定する。そして、簡易モデルの方がキャラクタデータより優先度が高いと判定された場合には、画像処理手段２はその簡易モデルがキャラクタデータと重なり合う部分についてキャラクタデータの上に当該モデルを配置して、そのモデル部分に背景画面データが表示されるように処理する。
【００５５】一方、画像処理手段２は、キャラクタデータの方が簡易モデルより優先度が高いと判定した場合には、その簡易モデルがキャラクタと重なり合う部分についてキャラクタデータが優先されるように処理する。
【００５６】そして、このような条件に応じて、画像処理手段２の一部を構成するビデオブロック１１において作成された映像信号は、ディスプレイ６に供給される（Ｓ１４）。これにより、ディスプレイ６には、ムービー画面に拠るきめ細か且つ綺麗な背景画面内にポリゴンで構成されたキャラクタが配置された画像が表示される。これは、あたかも立体的に表現された背景画面内をキャラクタが移動しているような状態として表示されることになる。 〔画像及び画像データの例〕まず、ディスプレイ上に表示される画面の例（図５参照）について説明する。
【００５７】その後、画像データの構成について以下の順序で説明する。すなわち、最初に画像データを全てポリゴンデータで構成した例（図６参照）について説明し、次に、画像データのうちの例えば背景画像データについて、コンピュータグラフィックスによるムービー画面データで形成し、この背景内の一部に陰面消去すべき位置にポリゴンデータで簡易モデルを設定した例（図７参照）について説明する。また、この簡易モデルとポリゴンデータで構成したキャラクタとの優先度を判定できるようにした画像データの例（図８参照）について説明することにする。
【００５８】Ａ．ディスプレイに表示される画像の例図５はディスプレイに表示される画面の説明図である。この図５に示すように、ディスプレイ６には、例えば画面６０ａに示すような内容が表示されているものとする。この画面６０ａには、一番手前に第１のエネミー３０ａが配置されていて、その奥側に、デスク３０ｂ、キャラクタ４０、及び格子状の仕切３０ｃと順次配置される。この仕切３０ｃの後ろに、第２のエネミー３０ｄ，３０ｄ、椅子３０ｅ，３０ｅ，…と配置される。さらに、椅子３０ｅ，３０ｅ，…の後ろにカウンター３０ｆ、このカウンタ３０ｆの内側に第３のエネミー３０ｇという順序で配置されている。なお、デスク３０ｂの上には、シャンデリア３０ｈが配置されている。
【００５９】Ｂ．画像データの全てをポリゴンデータで構成した例図６は、上記図５に示した画面６０ａを全てポリゴンで作成した場合の説明図である。この図６において、前述した画面６０ａの全てをポリゴンデータで作成する場合には、次のように画像データ６０d1を作成する必要がある。すなわち、画面データ６０d1において、一番手前にポリゴンデータで構成した第１のエネミーデータ３０adが配置されるようにする。次に、第１のエネミーデータ３０adの後ろ側となる位置に、ポリゴンデータで構成したデスクデータ３０bd、シャンデリアデータ３０hdが配置されるようにする。
【００６０】このデスクデータ３０bdの後ろ側に、ボリゴンデータで構成したキャラクタデータ４０ｄが配置されるようにする。以下、キャラクタデータ４０ｄの後ろ側に、格子状の仕切データ３０cd、次いで第２のエネミーデータ３０dd，３０dd、次いで椅子データ３０ed，３０ed，…と配置され、さらに、椅子データ３０ed，３０ed，…の後ろにカウンターデータ３０fd、そのカウンタデータ３０fdの内側にさらに第３のエネミーデータ３０gd，３０gd，…という順序で配置する必要がある。この場合、表示される画像６０をきめ細かに表現するためには、ポリゴンデータの数を多量にする必要がある。このようにすると、ゲーム装置１のメインＣＰＵ１０１やビデオブロック１１の処理負担が増大し、他の処理ができなくなる恐れがある。
【００６１】Ｃ．画像データ（背景）の一部を簡易ポリゴンデータで構成した例図７は、ポリゴンデータで構成する部分は背景の一部のみに限定し、その他の背景部分をコンピュータグラフィックスによるムービー画面で構成した場合の説明図である。
【００６２】この図７からも分かるように、この第１の実施形態では、ムービー画面で構成される背景画面データ３０の内、キャラクタデータ４０ｄとの優先度を判定する部分に、僅かなポリゴンデータで構成した簡易モデル５０bd，５０cd，５０fdを配置する。ムービー画面は、（ａ）：コードアドレスに対応した呼出アドレスと、（ｂ）：フレーム画像データ、（ｃ）：フレーム内オブジェクト（簡易モデル）データ、（ｄ）：ムービーのコースデータ（カメラの移動情報）を持っている。
【００６３】ここで、簡易モデル５０bdは、ムービー画面で構成されている背景画面のデスク部分の例えば輪郭部に配置されている。また、簡易モデル５０cdは、ムービー画面で構成されている背景の格子部分の例えば輪郭部に配置されている。また、簡易モデル５０fdは、ムービー画面で構成されている背景のカウンタ部分の例えば輪郭部に配置されている。この図からも理解できるように、各簡易モデル５０bd，５０cd，５０fdは、少ないポリゴンデータ数にて構成されているデータ６０d2として提供されている。
【００６４】Ｄ．画像データ（背景）の一部を簡易ポリゴンデータで構成し、これにキャラクタ等を配置した画像データの例図８は、背景の一部のみに僅かなポリゴンデータで構成した簡易モデルとキャラクタ等の関係を示す説明図である。この第１の実施形態では、図８に示すように、キャラクタデータ４０ｄは多数のポリゴンデータから構成されている。また、第１〜第３のエネミーデータ３０ad、３０bd、及び３０cdも、多数のポリゴンデータで構成されている。
【００６５】この内、第１のエネミーデータ３０adはデスクに配置した簡易モデル５０bdの前に、キャラクタ４０ｄはデスクに配置した簡易モデル５０bdの後ろ側で、かつ格子に配置した簡易モデル５０edの前に、第２のエネミー３０bdは格子に配置した簡易モデル簡易モデル５０edの後ろで、カウンタに配置した簡易モデル５０fdの前に、第３のエネミー３０gdはカウンタに配置した簡易モデル５０fdの後ろに、それぞれ配置されるようになっている。
【００６６】Ｅ．データの構成例図９は、この第１の実施形態におけるムービー画面が持つデータの構成例を示す説明図である。
【００６７】このコンピュータグラフィックスによるムービー画像は、ムービーデータＤ１，Ｄ２，…，Ｄｎを持っている。このムービーデータＤ１，Ｄ２，…，Ｄｎの各々は、フレーム画像データＦＤ1a，ＦＤ1b，…，ＦＤ1mを有している。また、このムービーデータＤ１，Ｄ２，…，Ｄｎに対して、カメラの移動データＣＤ１，ＣＤ２，…，ＣＤｎと、フレーム内の簡易モデルデータ６d1，６d2，…，６dnとを備えている。
【００６８】また、画像処理では、フレーム画像データＦＤ1a，ＦＤ1b，…，ＦＤ1mを基準フレームとし、例えばこのフレーム画像データＦＤ1aとフレーム画像データＦＤ1bとの間、フレーム画像データＦＤ1bとフレーム画像データＦＤ1cの間、フレーム画像データＦＤ1cとフレーム画像データＦＤ1dの間、…を補間することにより、連続した映像を作成することもできる。
【００６９】〔画像処理の具体的動作〕次に、図３のステップＳ１３において処理される画像処理について説明する。図４は、画像処理の具体的な動作について説明するためのフローチャートである。
【００７０】この図４において、画像処理手段２は、ゲームソフトを実行することにより得られる場面データを読み込む（Ｓ１３１）。次に、画像処理手段２は、前のステップで得た当該場面データを基に例えば図９に示すムービーデータＤ１に対する該当する場面のフレームデータＦＤ1aを読み込む（Ｓ１３２）。このムービー画面は、（ａ）：コードアドレスに対応した呼出アドレスと、（ｂ）：フレーム画像データ、（ｃ）：フレーム内オブジェクト（簡易モデル）データ、（ｄ）：ムービーのコースデータ（カメラの移動情報）に関するデータを有している。
【００７１】そして、画像処理手段２は、当該場面の簡易モデルデータ（例えば、図７のようなマスクモデル）を読み出す（Ｓ１３３）。この場合の簡易モデル（マスクモデル）は、無色のオブジェクトである。
【００７２】次いで、画像処理手段２は、例えば図８に示すように前記簡易モデルを仮想空間に配置する（Ｓ１３４）。そして、画像処理手段２は、図８に示すような画像データを基に、Ｚソート法やＺバッファ法を使用して、ゲームキャラクタデータと簡易モデルとのコリジョン判定を行う（Ｓ１３５）。
【００７３】このような判定を行った結果を基に、画像処理手段２は、ゲームキャラクタの修正表示する（Ｓ１３６）。しかる後に、画像処理手段２は、上記ムービー画面に関するデータに基づき視点変換処理を行なって（Ｓ１３７）、その処理結果のデータをフレームバッファ１２２、１２３に出力する（Ｓ１３８）。
【００７４】このような画像処理したことにより、ディスプレイ６には、図５に示すような画面６０ａが表示されることになる。
【００７５】このような実施形態によれば、コンピュータグラフィックスによるムービー画面を使用したことにより、きめが細かく且つ綺麗な画面を表示でき、しかも、ゲーム装置による画像処理の負担が少ないという利点がある。
【００７６】また、この実施形態によれば、背景の一部にマスクさせるために少ないポリゴンデータからなる簡易モデルを配置し、これにより背景とゲームキャラクタとのコリジョン判定を行うことにより、等価的な３次元的表示を行なうことができる。すなわち、この第１の実施形態によれば、画面の一部にムービー画面を使用することにより、画面の表現を多彩化するとともに描画処理を著しく軽減し、かつ、このムービー画面上において移動する表示体の動作をより円滑に表現できる。
【００７７】（第２の実施の形態）図１０〜１４に基づき、本発明の第２の実施形態を説明する。
【００７８】図１０は、本発明に係る第２の実施形態における画像処理の概要を説明するための図である。
【００７９】この図１０において、このＴＶゲーム装置などのゲーム装置１内には、上述したように、画像処理手段２が実現されている。
【００８０】この画像処理手段２は、図１０に示すように、コンピュータグラフィックスによるムービー画像で構成される背景画像（第１の表示体）データ３ｄと、ポリゴンデータによる立体画像で構成されるゲームキャラクタ（第２の表示体）データ４ｄとを画像処理して、ディスプレイ６に与える。ディスプレイ６には、図１０に示すような、デスク３ａの後であって、壁面３ｂの前に、キャラクタ４が立った状態の画像６０が表示されている。
【００８１】この画像処理手段２は、背景画像データ３ｄに対する仮想カメラ１５を設定し、ゲームキャラクタデータ４ｄが背景画像データ３ｄ上を移動する際に、背景画像データ３ｄに対するカメラ１６の角度に前記仮想カメラ１５の位置をほぼ一致させるように仮想カメラ１５の動きを制御し、一方、このゲームキャラクタデータ４ｄが前記背景画像データ３ｄを逆に動く場合には、前記背景画像データ３ｄを逆モーションに再生し、逆モーションの背景画像データ３ｄに対するカメラ１６の角度に前記仮想カメラ１５の位置をほぼ一致させるように制御させるようにしたものである。
【００８２】この際、画像処理手段２は、背景画面データ３ｄのうちゲームキャラクタデータ４ｄが移動すべき領域を複数の区画に分け、一つの区画から他の区画に前記キャラクタデータ４ｄが移動するときに仮想カメラ１５を当該移動に伴った画像を仮想的に撮影しながら、他の区画の最初の位置についてのカメラ１６の角度にほぼ一致させる制御するようにしたものである。
【００８３】この第２の実施の形態においても、第１の実施の形態で使用したゲーム装置１と同等のハードウエア構成のゲーム装置が使用される。このため、同一又は同様の構成要素には同一符号を用い、その説明を省略又は簡略化する。
【００８４】本実施形態のゲーム装置１にあっては、ＣＰＵブロック１０を中心として以下の如く、各種の画像処理が実行されている。この画像処理を、図１１〜１４の図面を参照して説明する。
【００８５】図１１は、第２の実施形態の動作例を説明するための図である。図１２は、その動作を説明するためのフローチャートである。図１３は図１２のサブルーチンである。図１４は、その動作の表示例を示す図である。
【００８６】この図１１において、領域 sp.Ａ， sp.Ｂ， sp.Ｃ， sp.Ｄ， sp.Ｅ，…、及び重なり領域 sp.Ａ−Ｂ， sp.Ｂ−Ｃ， sp.Ｂ−Ｄ， sp.Ｄ−Ｅ，…は、キャラクタが移動できる範囲である。丸で囲ったＡ，Ｂ，Ｃ，Ｄ，Ｅ，…は、カメラの位置である。
【００８７】移動画像データcam.Ａ−Ｂはカメラ位置Ａからカメラ位置Ｂへ移動する際のカメラワーク及びムービーを示す。移動画像データcam.Ｂ−Ａはカメラ位置Ｂからカメラ位置Ａへ移動する際のカメラワーク及びムービーを示す。この実施の形態では、カメラ位置Ａからカメラ位置Ｂへ移動するカメラワークの画像データと、カメラ位置Ｂからカメラ位置Ａへ移動するカメラワークの画像データとを独立にもっている。以下、同様である。
【００８８】同様に、移動画像データcam.Ｂ−Ｃはカメラ位置Ｂからカメラ位置Ｃへ移動する際のカメワーク及びムービーを示す。移動画像データcam.Ｃ−Ｂはカメラ位置Ｃからカメラ位置Ｂへ移動する際のカメワーク及びムービーを示す。
【００８９】同様に、移動画像データcam.Ｂ−Ｄはカメラ位置Ｂからカメラ位置Ｄへ移動する際のカメワーク及びムービーを示す。移動画像データcam.Ｄ−Ｂはカメラ位置Ｄからカメラ位置Ｂへ移動する際のカメワーク及びムービーを示す。
【００９０】同様に、移動画像データcam.Ｄ−Ｅはカメラ位置Ｄからカメラ位置Ｅへ移動する際のカメワーク及びムービーを示す。移動画像データcam.Ｅ−Ｄはカメラ位置Ｅからカメラ位置Ｄへ移動する際のカメワーク及びムービーを示す。
【００９１】キャラクタ４は領域 sp.Ａから移動を開始するものとすると、画像処理手段２は、キャラクタ４が領域 sp.Ａ及び重なり領域 sp.Ａ−Ｂ内にいると判定したときには、カメラ位置Ａにおいてカメラ１５Ａで写したフレーム（背景画像（画像データcam.Ａ））を表示するように処理する。
【００９２】キャラクタ４が重なり領域 sp.Ａ−Ｂから領域 sp.Ｂに移動したときには、カメラワーク及びムービー（移動画像データcam.Ａ−Ｂ）を再生し、最終フレームで止める。
【００９３】領域 sp.Ｂからは、図１１からも分かるように、３方向に移動できる。もちろん、分岐数はこれに限ることなく、いくつに分岐してもよい。
【００９４】キャラクタ４が重なり領域 sp.Ａ−Ｂから領域 SP.Ａに移動するときに、重なり領域sp.Ａ−Ｂに居るときには移動画像データcam.Ａ−Ｂの最終フレームのままにしておき、キャラクタ４が領域 sp.Ａに移った時点で移動画像データcam.Ｂ−Ａを再生し始め、カメラ１５をカメラ位置Ａに移して画面cam.Ａ（移動画像データcam.Ｂ−Ａの最終フレーム）を表示させるような処理を行う。
【００９５】また、領域 sp.Ｂから領域 sp.Ｃに進む場合は、重なり領域 sp.Ｂ−Ｃから領域 sp.Ｃに移った時点で再生し始め、領域 sp.Ｃ及び重なり領域 sp.Ｂ−Ｃにキャラクタ４がある間は、最終フレームを表示するようにする。
【００９６】さらに、領域 sp.Ｂから領域 sp.Ｄに進む場合は、重なり領域 sp.Ｂ−Ｄから領域 sp.Ｄに移った時点で再生し始め、領域 sp.Ｄ及び重なり領域 sp.Ｄ−Ｅにキャラクタ４がある間は、最終フレームを表示するようにする。
【００９７】なお、重なり領域 sp.Ａ−Ｂ等の中立地帯の幅は任意に設定でき、もちろん幅＝０であってもよい。
【００９８】図１４において、画像処理手段２は、コンピュータグラフィックスにより構成した所定の長さの通路３０ｊと階段３０ｋとを連続させて、ある背景画像データ３ｄを生成しているものとし、この背景画像データ３ｄはそれぞれ矢印Ｘ、Ｙ方向から見た背景画像データとして作成されているものとする。また、この背景画像データ３ｄは、矢印Ｘや矢印Ｙ方向から見て作成している。すなわち、背景画面のデータを撮影したカメラ１６の角度と、キャラクタ４を撮影する仮想カメラ１５の角度とを、ほぼ一致させている。
【００９９】ここで、両カメラ１５，１６の角度をほぼ一致させるとは、画面での見え方に不自然さがないような程度のことをいう。このムービーに対するカメラ１６の角度と、仮想カメラ１５の角度との範囲は、適宜決定される。
【０１００】このような背景画像データ３ｄの元にキャラクタデータ４ｄが移動してゆく状態を仮想カメラ１５で撮影しているものとする。まず、仮想カメラ１５Ａが丸で囲ったＡ点から背景画像データ３ｄとキャラクタデータ４ｄとを写しているものとする。キャラクタデータ４ｄの移動に伴って、ディスプレイ６には、画像６０ｂ，６０ｃ、６０ｄと移動してゆく画像が表示されることになる。
【０１０１】そして、重なり領域 sp.Ａ−Ｂから領域 sp.Ｂに移動すると、カメラ位置Ａに在ったカメラ１５Ａからカメラ位置Ｂのカメラ１５Ｂに移動する。カメラ位置Ａからカメラ位置Ｂに移動する際のカメラ１５のカメラワーク及びムービーを出力できるようになっている。このようにキャラクタが移動する場合の処理を、図１１〜１４を参照しながら以下に説明する。。
【０１０２】キャラクタが図１１の領域 sp.Ａを移動しているときには、画像処理手段によって図１２のステップＳ２１〜Ｓ２４の動作を繰り返している。なお、このステップＳ２１〜２４の処理は、第１の実施形態で説明した動作に相当する処理である。
【０１０３】この移動状態のとき、画像処理手段２は、背景画像データ３ｄとして、図１１に示すカメラ位置Ａからカメラ１５Ａで写した背景画像データ３ｊ（cam.Ａ）を得ている。
【０１０４】ステップＳ２１〜Ｓ２４の処理により実現される動作の概要は、第１の実施形態のときと同様に、以下のようになる。
【０１０５】まず、該当する場面のフレームデータＦＤ1aが読み込まれるとともに、当該場面の簡易モデルデータ５ｄが読み込まれ、前記簡易モデルデータ５ｄが仮想空間に配置される。そして、ゲームキャラクタデータ４ｄと簡易モデル５ｄとのコリジョン判定が行なわれ、ムービー画像中においてキャラクタを隠す必要があるか否かが判定され、その判定結果に対する処理が行われる（Ｓ２１：図１３）。
【０１０６】すなわち、図１３のサブルーチンに示す如く、該当する場面のフレームデータＦＤ1a及び簡易モデルデータ５ｄが読み込み、及び、簡易モデルデータ５ｄの仮想空間への配置（ステップＳ２０１）の後、ゲームキャラクタデータ４ｄと簡易モデルデータ５ｄとのコリジョン判定が行なわれ、ムービー画像中のキャラクタを隠す必要があるか否かが判定される（Ｓ２０２）。
【０１０７】まず、隠す必要がないときには（Ｓ２０２；ＮＯ）、何もしないでこの処理を通過する。また、隠す必要があるときには（Ｓ２０２；ＹＥＳ）、簡易モデルデータ５ｄがカメラ１５Ａのカメラ角度に合わせて配置される（Ｓ２０３）。この簡易モデルデータ５ｄとキャラクタデータ４ｄとの重なりあった部分には、ムービー画面が表示される。
【０１０８】次に、画像処理手段２は、遊戯者がＰＡＤ７ｂを操作することによって得られるペリフェラルデータを基にキャラクタデータをムービー画面データ中で移動させる（Ｓ２２）。
【０１０９】このステップＳ２１を終了すると、再び、前述のサブルーチン（図１３のステップＳ２０１〜Ｓ２０３）を実行する（Ｓ２２）。
【０１１０】そして、画像処理手段２は、ムービー画面データで構成した背景画面データのカメラ１５の位置を変更する必要があるかを判定する（Ｓ２４）。キャラクタデータ４ｄが領域sp.Ａ及び重なり領域 sp.Ａ−Ｂの内部にあるときには、このカメラ１５の位置の変更する必要がないと判定し（Ｓ２４；ＮＯ）、再び、ステップＳ２２以降の処理に移す。
【０１１１】ここで、画像処理手段２は、キャラクタが重なり領域 sp.Ａ−Ｂから領域 sp.Ｂに移動すると（図１１参照）、カメラ１５の位置を変更する必要があると判定され（Ｓ２４；ＹＥＳ）、図１１及び図１４に示すように、カメラ位置Ａに合ったカメラ１５Ａをカメラ位置Ｂに移動させてカメラ１５Ｂとする（Ｓ２５）。このカメラ移動に合わせて、移動画像データcam.Ａ−Ｂを再生する（Ｓ２５）。この際にも、キャラクタデータ４ｄと背景画像データ３ｄとの間で、重なり画像処理（図１３のサブルーチンのステップＳ２０１，Ｓ２０２）を処理する（Ｓ２６）。そして、画像処理手段２は、カメラ１５Ａで写したカメラ位置Ａからカメラ位置Ｂまでのフレーム及びこれに同期してムービーも表示させてゆき、最終フレームを表示して処理を終了する（Ｓ２７）。
【０１１２】このようにすることにより、ムービー画面で構成した階段３ｋの背景画像データ３ｄの上にキャラクタデータ４ｄが配置された映像信号となり、これがディスプレイ６に与えられて、図１４（ｃ）のような画像として表示される。
【０１１３】このような第２の実施形態によれば、ポリゴンで構成されたキャラクタの動きにリンクする形で、ムービーで表現された背景が移動するため、画面が著しく綺麗な状態の表現が可能のほかに、自由度の高い画像表現が可能になる。
【０１１４】上記各実施の形態における動作をコンピュータに実行させるためのプログラムを記録した媒体を設けることが好ましい。この媒体には、例えば、フロッピーディスク、ハードディスク、磁気テープ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、ＲＯＭカートリッジ、バッテリバックアップつきのＲＡＭメモリカートリッジ、フラッシュメモリ、不揮発性ＲＡＭカード等が挙げられる。
【０１１５】また、媒体は、電話回線等の優先通信媒体、マイクロ波回線等の無線通信媒体等通信媒体も含む。インターネットも、この通信媒体に含まれる。要するに、何らかの手段で、コンピュータにプログラムをダウンロードさせて、所定の機能を備えるものであれば、この媒体に含まれる。
【０１１６】（第３の実施形態）図１５〜２０を参照して、本発明の第３の実施形態を説明する。
【０１１７】この第３の実施形態に係るゲーム装置は、いわゆる音楽ゲームを行うもので、画面上に表示されたオブジェクトとしてのキャラクタは音楽に合わせてダンスをするゲームを行う。このダンスは、装置側でキャラクタを自動的に動かす動作（以下、「自動モーション」）と、音楽中に再生される台詞に相当した指令に反応して遊戯者が操作部を操作することによる動作（以下、「手動モーション」）とに分かれる。
【０１１８】例えば、ダンス音楽がＢＧＭとして流されながら、キャラクタは歩く、跳ねる、膝を左右に振るなどの所定の基本的な動きを自動モーションで行う。これに並行して、音楽の中で、例えば「アップ、アップ、ライト」という指令が発生された場合、遊戯者はこのコマンドに合うように操作部の方向キーを操作することによって、コマンドに対応した手動モーションを再生させようとする。このとき、遊戯者は操作部の例えば方向キーの上向きキーを２回、右向きキーを１回、それぞれ短い期間に押すことによって適切な動きをキャラクタに与えることができる。この操作の仕方が不適切であると、キャラクタの動きも適切なものにならない。また、このダンスの合間に敵のキャラクタを例えばガンで攻撃してこれを倒す、例えば「シュート」といった指令も音楽に含まれるので、このときは遊戯者は所定のボタン操作を行う必要がある。これらの操作がゲーム要素を構成するもので、操作の正確や迅速さがゲーム結果として判定される。
【０１１９】自動モーションデータも手動モーションデータも音声データのシーケンスに従って、モーションの開始タイミング、モーションを再生するための時間が事前にプログラムされている。後述のように、シーケンスとは、音声データの拍（ビート）の特性に対応し、１分間に再生されるビート数を含む。この制御の概要は、特定のモーションデータに応じた特定のモーションをキャラクタに何ビート目から何ビート間で再生するかということである。
【０１２０】既述の指令も音楽データの特定のビートのところにおいて存在し、指令が開始されると初期モーションがキャラクタに開始される。例えば、数フレーム間に適切なキー操作があった時、対応するモーションデータに基づいて適切なモーションが再生されるが、適切なキー操作が無かったときでは、キー操作に対応するモーションデータに基づいて不適切なモーションが再生される。これら手動モーションは、既述のように音声データのシーケンスによって制御されている。シーケンス制御の具体的な内容は後述する。
【０１２１】以下、この音楽ゲームにおいて、自動モーションについての制御について説明する。自動モーションを音楽に合わせ（同期、又はリンクさせる）、この制御を簡単に、演算量少なく、且つ、時間的に長短のある各種のモーションに容易に対処可能にすることができる。手動モーションの場合でも、同じである。このようなゲーム装置は以下のように構成される。図１５に本発明に係るゲーム装置の概観図を、図１６にその電気的なハードウェアブロック図を示す。また、音声の再生とキャラクタの動きとの同期のほか、背景映像であるムービー映像の再生もキャラクタの動きと動作させることも可能である。これにより、ムービー映像の再生と、キャラクタの動き、音声の再生が同期している。
【０１２２】本ゲーム装置は、図１５に示すように、ゲーム装置本体２０１、コントローラ２０２およびサブユニットとしてのバックアップメモリ２０３を相互に接続して構成される。
【０１２３】ゲーム装置本体２０１はゲーム進行を司る制御装置本体である。ゲーム装置本体２０１は、複数のコントローラ２０２がコネクタＣを介して接続可能になっている。またゲーム装置本体２０１はＣＤ−ＲＯＭ用ドライブ２１１を備え、ＣＤ−ＲＯＭ等の記録媒体を着脱自在に装着できるようになっている。
【０１２４】コントローラ２０２は、各遊戯者が操作する操作部としての構成を備えており、操作ボタン群２２１や十字キー２２２等を備え、コネクタＰを備えた接続コード２０４でゲーム装置本体２０１と接続可能になっている。コントローラ２０２は、バックアップメモリ２０３を着脱自在に備えている。
【０１２５】ゲーム装置本体２０１はコンピュータ装置類似の構成を備え、図１６に示すように、ＣＰＵブロック２３０，ビデオブロック２３１、サウンドブロック２３２および通信装置２３３などを備えている。
【０１２６】ＣＰＵブロック２３０は、バスアビータ３００、ＣＰＵ３０１、メインメモリ３０２、ＲＯＭ３０３およびＣＤ−ＲＯＭドライブ２１１を備えている。バスアビータ３００は、バスを介して相互に接続されるデバイスにバス占有時間を割り振ることにより、データの送受信を制御可能に構成されている。ＣＰＵ３０１は、メインメモリ３０２、ＲＯＭ３０３、ＣＤ−ＲＯＭドライブ２１１、ビデオブロック２３１およびサウンドブロック２３２、コントローラ２０２を介してバックアップメモリ２０３にアクセス可能に構成されている。
【０１２７】ＣＰＵ３０１は、ゲームの遂行するのに必要な各種の処理及び制御を行い、画像データをグラフィックメモリ３１１に転送し、また音声データをサウンドメモリ３２１に転送可能になっている。ＲＯＭ３０３は、イニシャルプログラムローダの格納領域である。ＲＯＭ３０３は、本発明の記録媒体を構成する要素であり、ＣＰＵ３０１の処理に必要なプログラムが予め記録されている。なお、この記録媒体としては他ほＣＤ−ＲＯＭなどを用いてもよい。
【０１２８】ＣＤ−ＲＯＭ用ドライブ２１１は、外部から供給されるデータの記録媒体としてＣＤ−ＲＯＭを用いているが、これに限ることなく他の各種記録媒体を読取可能に構成してもよい。また通信装置２３３を経由して、プログラムをメモリに転送するように構成してもよい。このように設定すれば遠隔地のサーバの固定ディスクなどからデータの転送が可能である。
【０１２９】ビデオブロック２３１は、ＶＤＰ（Ｖｉｄｅｏ Ｄｉｓｐｌａｙ Ｐｒｏｃｅｓｓｏｒ）３１０、グラフィックメモリ３１１およびビデオエンコーダ３１２を備えている。
【０１３０】これらの構成によりビデオブロック３１は、３Ｄ画像データ及びムービー画像を生成可能に構成されている。ビデオエンコーダ３１２は、ＶＤＰ３１０が生成した画像データをＮＴＳＣ方式等の所定のテレビジョン信号に変換し外部に接続されるメインモニタ２３５（テレビ受像機のブラウン管等）に出力可能に構成されている。
【０１３１】サウンドブロック２３２は、サウンドプロセッサ３２０、サウンドメモリ３２１及びＤ／Ａコンバータ３２２を備えている。これらの構成によりサウンドブロック２３２は、波形データに基づく音声合成を行って音響信号を出力可能に構成されている。Ｄ／Ａコンバータ３２２は、サウンドプロセッサ３２０により生成された音声データをアナログ信号に変換し、外部に接続されるスピーカ２３４（テレビ受像機のスピーカまたは音響装置のスピーカ）に出力可能に構成されている。
【０１３２】通信装置２３３は、例えばモデムやターミナルアダプタであり、本ゲーム装置２０１に接続可能に構成され、本ゲーム装置本体２０１と外部回線とを接続するアダプターとして機能可能になっている。通信装置２３３は、公衆回線網に接続されるインターネットサーバ等のゲーム供給用サーバから送信されたデータを受信し、ＣＰＵブロック２３０のバスに供給可能になっている。公衆回線網としては、加入者回線、専用線、有線無線の別を問わない。
【０１３３】次に、本ゲーム装置で扱われるデータ群を説明する。このデータ群には、ＡＤＸデータ、ゲーム進行データ、カメラデータ、モーションデータ群、モーション進行データ、ムービーデータ、及び操作情報に応じて演算されるキャラクタデータ等がある。
【０１３４】この内、ＡＤＸデータはここではＡＤＸ圧縮された音声データとして与えられる。音声データ（サウンドデータ）としては、ＭＩＤＩ（Musical Instrument Digital Interface）データ、ＰＣＭ、ＣＤＤＡ、ＡＤＰＣＭ（Adaptive Differential Pulse Code Modulation）などが含まれる。このＡＤＸデータは時間管理のためのマスタデータとして使用されるが、時間管理のマスタは既述のようにＡＤＸデータに限定されるものではない。ＡＤＸデータを使用しないときには、ムービーデータがマスタデータとなってもよいし、それがＭＩＤＩシーケンスであってもよい。
【０１３５】ここで使用されるＡＤＸライブラリは、既述のＡＤＸ圧縮された音声データを再生されるライブラリである。このライブラリの関数を使用することによって、ＡＤＸ圧縮された音声を簡単に再生することができる。再生位置関数により、現在再生されているサンプル数が取得できる。このサンプル数から現在のフレーム数が取得できる。メインメモリ上のカメラデータから、現フレームのデータを取得し、仮想カメラを設定する。同様に現フレームのゲームデータを取得し、データ処理を実行してゲーム処理を行う。
【０１３６】ゲーム進行データは、音楽１曲の拍数（ｎｂｅａｔ）、及び、フレーム数／拍数（ｆｐｂ）から成る。このため、ｆｐｂ×ｎｂｅａｔ＝トータルのフレーム数となる。１拍は標準で１５フレーム分の長さに設定されるが、音楽のＢＰＭ（拍数／分）に応じて変わる量である。各モーションデータの処理のタイミングはこの拍数の１又は複数分に対応させて設定される。このため、ＢＰＭ値が高ければ、同じモーションであってもテンポの早い動きを表現できるし、ＢＰＭ値が低ければその反対に、同じモーションを遅く表現できる。 カメラデータとしては総フレーム数分の仮想カメラの視点データ（位置、方向及び回転角度）が予め準備されている。
【０１３７】モーションデータ群は、キャラクタの動作に関する複数のモーションのデータから成る。複数のモーションは、モーション１、モーション２、モーション３、…、モーション（ｍ−１）といった具合に分割され、各モーションを例えば右足を一歩進める、左足を一歩進める、飛び上がるといった各動作に割り当てている。各モーションは、実際には、１拍又はｎ拍（ｎは整数）に対応するフレーム数から成る複数枚の画像フレームで表現される。
【０１３８】さらにモーション進行データは、図１７に示す如く、どのモーションをどのタイミングの拍数分で再生したらよいかを表すシーケンス情報を拍数列（時系列）として羅列したものである。
【０１３９】上述したカメラデータとムービーデータについては、同一フレーム間で１対１に対応したデータが作られている。ムービーデータ及びＡＤＸデータはＣＤ−ＲＯＭに格納され、カメラデータ、モーションデータ群、モーション進行データなどはＲＯＭから呼び出されてメインメモリ上に置かれる。
【０１４０】次に、ＣＰＵ３０１によって実行される図１８の処理を説明する。
【０１４１】ＣＰＵ３０１は、そのステップＳ１０１で所定のデータ処理周期か否かを判断し、ＹＥＳの判断となるときにステップＳ１０２以降の処理に入る。
【０１４２】すなわち、ＣＰＵ３０１は、操作部としてのコントローラ２から出力される、遊戯者の操作情報を読み込む（ステップＳ１０２）。
【０１４３】次いで、ＣＰＵ３０１はＡＤＸデータである音声データの再生を指令する（ステップＳ１０３）。この指令によりＡＤＸ再生ライブラリが呼び出され、ＣＤ−ＲＯＭからメインメモリ３０２にＡＤＸデータが転送され、そこで音声データにデコードされる。デコードされた音声データはサウンドメモリ３２１に転送され、サウンドプロセッサ３２０により処理されて、スピーカ２３４から音声として再生される。
【０１４４】次いで、ＣＰＵ３０１はＡＤＸデータ再生情報を取得する（ステップＳ１０４）。この取得する情報は、ＡＤＸデータの再生サンプル数（ｎｃｏｕｎｔ）及びサンプリング周波数（ｆｒｅｑ）であり、ＡＤＸ再生ライブラリから取得される。
【０１４５】次いで、ゲーム進行データから「フレーム数／拍」（＝ｆｐｂ）が読み出され、ゲーム再生位置として、現在のフレーム数（ｆｒａｍｅ）及び拍数（ｂｅａｔ）が演算される（ステップＳ１０５）。現在のフレーム数（つまりフレーム位置）は、ｆｒａｍｅ＝ｎｃｏｕｎｔ×ＦＰＳ／ｆｒｅｑの演算式に基づき演算され、現在の拍数は、ｂｅａｔ＝ｆｒａｍｅ／ｆｐｂの演算式に基づき演算される。ただし、ＦＰＳはアプリケーション内の固定値（ｆｒａｍｅ／ｓｅｃ）である。
【０１４６】次いで、このように演算されたフレーム数に対応した、３次元仮想空間内の仮想カメラ（仮想視点）の位置、方向及び回転角度、予め記憶しているカメラデータから読み出される（ステップＳ１０６）。
【０１４７】さらに、ＣＰＵ３０１により、ステップＳ１０４で演算した拍数に対応したモーションのデータが、予め記憶しているモーション進行データを参照して決められ、この決められたモーションのデータがモーションデータ群から読み出される（ステップＳ１０７）。なお、このモーションのデータは、遊戯者が手動モーションを指令したときの動きも加味されて設定される。
【０１４８】次いで、ゲーム処理を行う（ステップＳ１０８）。このゲーム処理には、３次元仮想空間内のカメラ（仮想視点）からポリゴンデータで成るキャラクタを２次元表示画像に投影する投影変換処理、仮想カメラの位置、方向、及び回転角度に合致したムービー画像（２次元の背景画像）の選択処理、遊戯者の操作状況、すなわち音声に含まれる手動モーション指令に対する操作状況に応じたゲーム成績の判定などが含まれる。なお、投影変換処理は、投影変換時の光源の位置及び方向をムービー画像作成時のそれに合わせて行われる。 このように作成されたキャラクタの画像データとムービー画像はビデオブロック３１に送られ、ムービー画像にキャラクタの画像が重ねられ、例えば図１９、２０に示す如く表示される（ステップＳ１０９）。
【０１４９】ムービー画像は、前述した実施形態で説明した如く、コンピュータグラフィックスによる２次元の画像であって、この画像を観察するカメラ（視点）の位置、角度、及び回転角度に応じて変わって見えることが自然であるので、それらの位置、角度、及び回転角度の各種の値に応じて予め作成されている。
【０１５０】このように仮想カメラの位置に合致し、背景が不自然に見えない程度の角度のムービー画像を選択することで、自然でリアル感のある画像を表示可能になる。
【０１５１】すなわち、ゲーム画面において既述の自動モーションが再生される際には、ムービーを作成したときのカメラ及び光源の位置に合わせて、３Ｄデータから成るキャラクタに対する仮想カメラ及び仮想光源の位置が設定されるようにプログラムされている。この自動モーション再生時は操作部への遊戯者の操作は無視されるので、ムービーを作成したときのカメラ視点及び光源の位置とキャラクタに対する仮想カメラ視点及び仮想光源の位置とを一致させることで済むのである。
【０１５２】手動モーションの場合には、３Ｄキャラクタに対する仮想カメラの位置を多彩化する必要から、３次元仮想空間に配置され得る仮想カメラの各位置に対応したカメラ（視点）からのムービー画像が多数、予め用意される。そして、３Ｄキャラクタに対して指定（操作）される仮想カメラの位置にあわせたムービー画像が選択され、これが背景画として描画される。
【０１５３】例えば、遊戯者がそれまではキャラクタを正面から見る視点を指令していた状態から、キャラクタの横顔を見るカメラ視点に切り換えたとする。すなわち、キャラクタに対して仮想カメラが正面にある状態から、同カメラが側面にある状態に切り換えられたとすると、モニタ２３５に表示されるムービー画像（背景画像）もキャラクタの画像と同時に変更される。つまり、上述したようにカメラ位置（カメラ視点）に応じてムービー画像も変えられ、リアル感のある画像となる。手動モーションによる再生のときには、仮想カメラの位置がキー操作の仕方に応じて変わる必要があるので、異なる仮想カメラの位置に対応した、異なる視点からのムービー画像が予め用意されるのである。
【０１５４】また、この手動モーションの再生時の上述した投影変換処理において、３次元仮想空間で使用する光源の位置及び方向を、ムービー画像を予め作成するときに用いたそれらに一致又は略一致させていることである。これにより、投影される画像の陰影がモニタ画面上で自然に見えるものとなる。
【０１５５】なお、ムービー画像を背景として併用することで、画面全部をポリゴンで表示する場合に比べて、画像の質を維持しながら、演算量を大幅に減らすことができる。
【０１５６】図１９は、ＡＤＸデータからデコードした音楽（ＢＧＭ）にのってキャラクタＣＨがフロア上でダンスを踊る画像の１シーンである。キャラクタＣＨはポリゴンデータで構成され、背景となるムービー画像ＢＫをバックにして表示される。このキャラクタＣＨは踊りに必要な歩く、跳ねるなどの自動モーションを音楽に合わせて行う。この途中で、音楽には「アップ」「ダウン」などの指示が含まれているので、遊戯者はこれに合わせてコントローラ２０２を操作すればよい。タイミング良くリズムに乗ってコントローラ２０２を操作できたときは、バランスのとれたダンスをキャラクタＣＨにさせることできる。
【０１５７】また、このゲームの途中では図２０に示す如く敵キャラクタＡＭが表示され、この敵キャラクタＡＭも所定時間一緒に踊る。そして、音楽から所定の指令、例えば「シュート」という言葉が聞こえたときには、遊戯者はコントローラ２０２の所定ボタンを押せばよい。これにより、キャラクタＣＨはガンで敵キャラクタＡＭを攻撃する。
【０１５８】このような遊戯者のコントローラ操作状況、すなわちタイミングや正確さがゲーム結果に反映され、音楽ゲームを楽しむことができる。
【０１５９】このときに、キャラクタＣＨ、ＡＭのモーションは音楽にリンクして表示される。この表示は、予めゲーム進行データ及びモーション進行データを用いて行うので、モーションの音楽へのリンクを実時間で制御する場合に比べて、処理が簡単で、演算量も少なくなる。とくに、モーション進行データによって音楽の長さ、すなわちゲーム時間全てをカバーする拍数それぞれにモーションを割り当てているから、時間管理となるマスターの時間進行上の自由度が高いという利点ある。すなわち、ゲーム速度を様々に変更でき、融通性が効くという利点がある。スローモーション、早回しなど、フレーム速度（フレーム／秒）が異なる（例えばＰＡＬなど）場合であっても、プログラムを殆ど変更することなく、容易に対処できるという利点がある。
【０１６０】さらに、本実施形態にあっては、カメラ視点が変更された場合でも、その視点の向きと背景の向きとが殆ど一致した状態で表示されるので、演算量が少ない状態を維持しながらも、方向性に関して違和感の無い自然な画像を提供できる。加えて、ポリゴンで表すキャラクタに対する投影変換時の光源位置とムービー画像に対する光源位置も殆ど一致しているので、陰影に関しても違和感の無い自然な画像を提供できる。
【０１６１】なお、図２０において、図面左下の「ギュー・ターン」とは、キャラクタのシンボルであり、これが表示されることがキャラクタ側、すなわち遊戯者側に操作を促していることを意味している。このシンボルが既述の敵キャラクタＡＭのシンボルからこのキャラクタＣＨのシンボルに切り替えられることにより、遊戯者は自身の入力を必要とする順番であることを認識する。敵キャラクタの場合には、敵キャラクタから遊戯者へ攻撃などの画像処理がコンピュータの処理によって実行される。
【０１６２】本発明は上述した実施形態記載の構成に限定されるものではなく、当業者であれば、特許請求の範囲の要旨を逸脱しない範囲でさらに適宜な態様で実施可能なものである。
【０１６３】
【発明の効果】以上説明したように、本発明の１つの態様によれば、コンピュータグラフィックスによるムービー画像からなる第１の表示体と、ポリゴンデータによる立体画像とからなる第２の表示体とを備え、第１の表示体の一部に前記第２の表示体との陰面消去における優先度を判定するための三次元データからなる簡易モデルを設定したので、画面の表現を多彩化するとともに描画処理を著しく軽減し、かつ、このムービー画面上において移動する表示体の動作をより円滑に表現できる。
【０１６４】本発明の別の態様によれば、ポリゴンで構成されたキャラクタの動きにリンクする形で、ムービーで表現された背景が移動するため、画面が著しく綺麗な状態の表現が可能であり、また自由度の高い画像表現が可能になる。
【０１６５】さらに、本発明の別の態様によれば、ゲームに必要なデータ群の一部に、ゲーム進行データやモーション進行データを持たせることで、より少ない演算量で、複雑な制御を行うことなく、音楽の再生とオブジェクトの動きとを合わせた（リンクさせた）画像を表示することができ、しかも、プログラムを殆ど変更すること無く、ゲーム速度を種々の値に変更可能な融通性の高い画像処理を提供できる。
【出願人】 【識別番号】０００１３２４７１
【氏名又は名称】株式会社セガ
【出願日】 平成１１年１２月２０日（１９９９．１２．２０）
【代理人】 【識別番号】１０００７９１０８
【弁理士】
【氏名又は名称】稲葉 良幸 （外２名）
【公開番号】 特開２００１−１４８０３５（Ｐ２００１−１４８０３５Ａ）
【公開日】 平成１３年５月２９日（２００１．５．２９）
【出願番号】 特願平１１−３６１８３８