トップ :: H 電気 :: H04 電気通信技術

【発明の名称】 シーン抽出システムおよびシーン抽出方法
【発明者】 【氏名】金城 直人
【住所又は居所】神奈川県足柄上郡開成町宮台７９８番地 富士写真フイルム株式会社内
【課題】複数の撮影シーンの画像データのなかから、特定被写体の特定姿勢のシーン、またはこの被写体の特定の動作タイミングのシーンの画像データを抽出するシーン抽出システムおよびシーン抽出方法を提供する。

【解決手段】複数の撮影シーンの画像データを取得するとともに撮影シーンの各々の撮影時刻情報、撮影位置情報および撮影方向情報を含む撮影情報を取得して、各々の撮影シーンの前記画像データとその撮影情報とをそれぞれを関連づけて記憶し、この撮影情報と特定被写体の位置情報および姿勢関連情報ならびに取得時刻情報を含む被写体情報とを照合して、複数の撮影シーンの画像データのなかから特定被写体の特定姿勢のシーンの画像データを抽出する。
【特許請求の範囲】
【請求項１】
少なくとも特定被写体が含まれた複数の撮影シーンの中から、前記特定被写体の特定姿勢のシーンの画像データを抽出するシーン抽出システムであって、
少なくとも前記特定被写体が含まれるシーンを撮影して、前記複数の撮影シーンの画像データを取得する撮影手段と、
前記撮影手段に備えられ、前記複数の撮影シーンの各々の撮影時刻情報、前記撮影手段の位置情報および撮影方向情報を含む撮影情報を取得する撮影情報取得手段と、
各々の前記撮影シーンの前記画像データとその撮影情報とを、それぞれを関連づけて記憶する第１記憶手段と、
前記特定被写体に携帯され、または取り付けられ、前記特定被写体の位置情報および姿勢関連情報ならびに取得時刻情報を含む被写体情報を取得する被写体情報取得手段と、
前記撮影情報取得手段によって取得された前記撮影情報と前記被写体情報取得手段によって取得された前記被写体情報とを照合し、前記第１記憶手段に記憶された前記複数の撮影シーンの画像データのなかから、前記特定被写体の前記特定姿勢のシーンの画像データを抽出するシーン抽出手段と、を有することを特徴とするシーン抽出システム。
【請求項２】
前記被写体情報取得手段は、前記特定被写体の位置を検出して前記位置情報を取得する位置検出手段、および前記特定被写体の姿勢に関連する情報を検出して前記姿勢関連情報を取得する姿勢関連情報取得手段を含む請求項１に記載のシーン抽出システム。
【請求項３】
前記位置検出手段は、前記特定被写体の位置検出機能付き携帯機器、前記特定被写体に携帯されるＧＰＳ機器または前記特定被写体に取り付けられる位置センサであり、
前記姿勢関連情報取得手段は、前記特定被写体に固定的に取り付けられ、前記特定被写体の正面向きの姿勢を含む向きに関する情報を検出する方位センサ、前記特定被写体の動いた瞬間、静止した瞬間または所定速度で移動中を含む動きの姿勢に関する情報を取得するための前記動いた瞬間、前記静止した瞬間または前記所定速度で移動中であることを検出する、前記特定被写体に取り付けられる加速度センサまたは前記特定被写体に携帯される加速度センサ付き携帯機器、および前記特定被写体の動き出す瞬間を含む移動開始姿勢に関する情報を取得するための前記動き出す瞬間または着地の瞬間を検出する、前記特定被写体の靴底に取り付けられる圧力センサの少なくとも１つである請求項１または２に記載のシーン抽出システム。
【請求項４】
さらに、前記複数の撮影シーンの中から抽出する前記特定被写体の特定姿勢のシーンを抽出条件として指定する抽出条件指定手段を有し、
前記シーン抽出手段は、前記撮影情報と前記被写体情報とを照合し、前記抽出条件指定手段によって指定された前記特定姿勢のシーンの画像データを抽出する請求項１〜３のいずれかに記載のシーン抽出システム。
【請求項５】
さらに、前記被写体情報取得手段によって取得された前記被写体情報を記憶する第２記憶手段を有し、
前記シーン抽出手段は、前記第１記憶手段から前記撮影情報を、前記第２記憶手段から前記被写体情報を読み出し、読み出された前記撮影情報と前記被写体情報とを照合し、前記抽出条件指定手段によって指定された前記特定姿勢のシーンの画像データを抽出する請求項１〜４のいずれかに記載のシーン抽出システム。
【請求項６】
前記シーン抽出手段は、
前記撮影情報と前記被写体情報とを照合し、前記撮影シーンの前記撮影情報の前記撮影手段の位置情報および撮影方向情報と、この撮影情報の前記撮影時刻情報と一致もしくは略一致する前記被写体情報の前記所得時刻情報を持つ前記被写体情報の前記特定被写体の位置情報および姿勢関連情報とを検出し、検出された前記撮影情報の前記撮影手段の位置情報および撮影方向情報および前記被写体情報の前記特定被写体の位置情報および姿勢関連情報から、前記撮影シーン内の前記特定被写体の姿勢を特定して姿勢情報を得、得られた前記姿勢情報が前記特定姿勢を表すか否かを判断し、前記姿勢情報が前記特定姿勢を表す時に、前記姿勢情報が得られる前記撮影情報と関連付けられた前記撮影シーンの前記画像データを、前記特定姿勢のシーンの画像データとして前記第１記憶手段から抽出する請求項１〜５のいずれかに記載のシーン抽出システム。
【請求項７】
前記シーン抽出手段は、
前記撮影情報と前記被写体情報とを照合し、前記画像データの各々が表す撮影シーンにおける前記特定被写体のシーン内姿勢情報を検出するシーン内姿勢情報検出手段と、
前記シーン内姿勢情報が、前記特定姿勢を表しているか否かを判断する比較手段と、
前記姿勢情報が前記特定姿勢を表す時に、前記第１記憶手段から、前記姿勢情報が得られる前記撮影シーンの前記画像データを、前記特定姿勢のシーンの画像データとして読み出す読出手段とを有し、
読み出された前記画像データを前記特定姿勢のシーンの画像データとして抽出するものである請求項１〜６のいずれかに記載のシーン抽出システム。
【請求項８】
前記シーン抽出手段は、
前記撮影情報と前記被写体情報とを照合し、前記画像データの各々が表す撮影シーンにおける前記特定被写体のシーン内姿勢情報を検出するシーン内姿勢情報検出手段と、
このシーン内姿勢情報が検出された前記撮影情報を用いて前記第１記憶手段から当該撮影シーンの画像データを読み出し、読み出した画像データと対応づけて前記シーン内姿勢情報を前記画像データの付属情報として記憶しておく第３記憶手段と、
前記特定被写体の特定姿勢を表す姿勢情報を用いて、前記第３記憶手段を検索し、前記姿勢情報と一致するシーン内姿勢情報を前記付属情報として持つ前記画像データを読み出す検索手段とを有し、
読み出された前記画像データを前記特定姿勢のシーンの画像データとして抽出するものである請求項１〜６のいずれかに記載のシーン抽出システム。
【請求項９】
前記画像データは、静止画像データである請求項１〜８のいずれかに記載のシーン抽出システム。
【請求項１０】
前記画像データは、動画像データである請求項項１〜８のいずれかに記載のシーン抽出システム。
【請求項１１】
前記撮影手段は、それぞれ、その位置情報および撮影方向情報ならびに撮影時刻情報を検出する機能を持つ複数台の撮影情報取得手段付きカメラであり、
この複数台のカメラで撮影された同一または略同一の撮影シーンの前記特定被写体の前記画像データおよびこれに関連付けられた前記撮影情報ならびに前記被写体情報取得手段で取得された被写体情報を記憶する第４の記憶手段を有し、
前記シーン抽出手段は、自動検索機能および自動編集処理機能を有し、撮影された複数の撮影シーンの中から、前記特定被写体の前記特定姿勢を指定し、前記第４の記憶手段の自動検索および自動編集処理を行い、指定された前記特定被写体の前記特定姿勢の画像データ、または前記特定姿勢に近い所望の姿勢の画像データを抽出するものである請求項１〜１０のいずれかに記載のシーン抽出システム。
【請求項１２】
前記特定被写体が、複数であり、
前記シーン抽出手段は、前記複数の特定被写体の全員の前記特定姿勢が揃ったシーン、もしくは、前記複数の特定被写体の各人の前記特定姿勢のずれが所定角度以下であるシーンの画像データを抽出するものである請求項１〜１１のいずれかに記載のシーン抽出システム。
【請求項１３】
さらに、前記シーン抽出手段によって抽出された前記特定被写体の前記特定姿勢のシーンの画像データから、所望の姿勢のシーンの画像を編集する画像編集手段を有する請求項１〜１２のいずれかに記載のシーン抽出システム。
【請求項１４】
前記画像編集手段は、前記シーン抽出手段によって抽出された前記特定被写体の前記特定姿勢のシーンの画像データから、前記所望の姿勢のシーンの画像を編集する際に、前記被写体情報および撮影情報の少なくとも一方に基づいたＣＧ画像を作成する請求項１３に記載のシーン抽出システム。
【請求項１５】
少なくとも特定被写体が含まれた複数の撮影シーンの中から、前記特定被写体の特定姿勢のシーンの画像データを抽出するに際し、
少なくとも前記特定被写体が含まれるシーンを撮影して、前記複数の撮影シーンの画像データを取得すると共に、前記複数の撮影シーンの各々の撮影時刻情報、前記撮影手段の位置情報および撮影方向情報を含む撮影情報と、前記特定被写体の位置情報および姿勢関連情報ならびに取得時刻情報を含む被写体情報とを取得し、
各々の前記撮影シーンの前記画像データとその撮影情報とを、それぞれを関連づけて第１記憶手段に記憶させ、
前記第１記憶手段に記憶された前記撮影情報を読み出し、読み出された前記撮影情報と前記被写体情報とを照合し、前記複数の撮影シーンの中から、前記特定姿勢のシーンの画像データを抽出することを特徴とするシーン抽出方法。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、複数の撮影シーンの画像データの中から、特定被写体の特定姿勢のシーン、またはこの特定被写体の特定の動作タイミングの姿勢のシーンの画像データを抽出するシーン抽出システムおよびシーン抽出方法に関する。
【背景技術】
【０００２】
例えば、競技場で行われるスポーツ競技などにおいて、特定の競技者を被写体としてこの競技者のプレーを撮影して、この競技者の特定姿勢のシーンの画像データ（競技者の体の向きが特定方向であるシーンの画像の画像データ）や、特定の動作タイミングの姿勢のシーンの画像データ（競技者が特定の動作をしている瞬間の姿勢のシーンの画像の画像データ）を得ようとした場合、撮影者自身は、特定の競技者のプレーの撮影に追われることとなり、スポーツ競技を集中して観戦することができない。
しかも、このような場合、競技者と撮影者との距離は大きく離れていることが多く、競技者のプレーの好適な画像を撮影するためには高性能のズーム機能を有する高価なカメラを用いる必要がある。このような高性能のズーム機能を有するカメラを利用した場合、撮影範囲が非常に狭い範囲となるため、一般のスポーツ観戦者では、被写体の姿を追従して撮影することは困難であり、被写体である特定の競技者の特定姿勢のシーンの画像データを得ることは困難である。
【０００３】
スポーツ競技中の競技者が好適に撮影された、特定姿勢のシーンの画像データを得るためには、プロの撮影者（プロカメラマン）による撮影で得られた画像データを入手する方法がある。近年、デジタル画像技術の進展、インターネット回線の大容量化の進行やデジタル放送の充実によって、静止画像データや動画像データを、インターネットに接続されたパーソナルコンピュータなど、ユーザが所持する所定の端末へと配信する画像（画像データ）配信サービスが多く行われている。このような画像配信サービスを利用することで、一般のユーザ（一般のスポーツ観戦者）であっても、プロカメラマンによる撮影で得られた画像データを、サービス提供者のサーバから自分の所有するパーソナルコンピュータへダウンロードするなどして取得することができる。
【０００４】
しかし、特定の被写体の特定姿勢のシーンの画像データや、特定の動作タイミングの姿勢シーンの画像データを得ようとした場合、プロカメラマンの撮影した複数のシーンの画像データから、ユーザまたはサービス提供者が実際にこれらの画像データの画像を見て確認し、所望の特定姿勢のシーンの画像の画像データを抽出する必要がある。このような抽出作業は、ユーザにとってもサービス提供者にとっても手間がかかる作業である。
【０００５】
下記特許文献１では、特定の被写体のシーン（特定の被写体が写っているシーン）の画像データを自動的に抽出してユーザに提供する画像識別方法が開示されている。特許文献１では、撮影するカメラに位置センサと方位センサを設置し、このカメラで撮影した画像に対応した撮影時刻を記憶しておき、それとともに被写体の位置を位置センサで検出して時系列の位置情報を取得している。そして、取得されたカメラの位置情報と方位情報および被写体の位置情報との対応から、該カメラで撮影した画像それぞれについて被写体が撮影されているか否かを判定し、複数のシーンの画像データから、特定被写体のシーンの画像データを自動的に抽出してユーザに提供している。
【特許文献１】特開２００３−１９９０３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に記載の画像識別方法では、被写体の位置情報のみに基づいて、該カメラによって撮影されたシーンが特定被写体のシーンであるか否かを判定して抽出している。このような、位置情報のみに基づいた情報では、抽出した複数の被写体のシーンがどのような姿勢のシーンであるか（すなわち、シーン中、被写体はどのような体の向きであるか）、どのような動作タイミング（シーン中、被写体は静止しているか、動いているか、動き出そうとしているか）といった情報まではわからない。
【０００７】
このような特許文献１における画像識別方法では、ユーザが所望する特定被写体の特定姿勢のシーンの画像データを得ようとした場合、この画像を配信するサービス提供者またはユーザが、抽出された複数の被写体のシーンの画像を見て、シーン中の特定被写体の姿勢を確認することで、複数の特定被写体のシーンの中からユーザの希望に応じた、特定被写体の特定姿勢のシーンの画像データを抽出する必要があり、多大な手間を要する。
本件発明は、以上のような問題点を解決するためになされたものであり、複数の撮影シーンの画像データのなかから、特定被写体の特定姿勢のシーン、またはこの被写体の特定の動作タイミングのシーンの画像データを抽出するシーン抽出システムおよびシーン抽出方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目標を達成するために、本発明は、少なくとも特定被写体が含まれた複数の撮影シーンの中から、前記特定被写体の特定姿勢のシーンの画像データを抽出するシーン抽出システムであって、少なくとも前記特定被写体が含まれるシーンを撮影して、前記複数の撮影シーンの画像データを取得する撮影手段と、前記撮影手段に備えられ、前記複数の撮影シーンの各々の撮影時刻情報、前記撮影手段の位置情報および撮影方向情報を含む撮影情報を取得する撮影情報取得手段と、各々の前記撮影シーンの前記画像データとその撮影情報とを、それぞれを関連づけて記憶する第１記憶手段と、前記特定被写体に携帯され、または取り付けられ、前記特定被写体の位置情報および姿勢関連情報ならびに取得時刻情報を含む被写体情報を取得する被写体情報取得手段と、前記撮影情報取得手段によって取得された前記撮影情報と前記被写体情報取得手段によって取得された前記被写体情報とを照合し、前記第１記憶手段に記憶された前記特定姿勢のシーンの画像データを抽出するシーン抽出手段と、を有することを特徴とするシーン抽出システムを提供する。
【０００９】
前記被写体情報取得手段は、前記特定被写体の位置を検出して前記位置情報を取得する位置検出手段および前記特定被写体の姿勢に関連する情報を検出して前記姿勢関連情報を取得する姿勢関連情報取得手段を含むことが好ましい。
【００１０】
また、前記位置検出手段は、前記特定被写体の位置検出機能付き携帯機器、前記特定被写体に携帯されるＧＰＳ機器または前記特定被写体に取り付けられる位置センサであり、前記姿勢関連情報取得手段は、前記特定被写体に固定的に取り付けられ、前記特定被写体の正面向きの姿勢を含む向きに関する情報を検出する方位センサ、前記特定被写体の動いた瞬間、静止した瞬間または所定速度で移動中を含む動きの姿勢に関する情報を取得するための前記動いた瞬間、前記静止した瞬間または前記所定速度で移動中であることを検出する、前記特定被写体に取り付けられる加速度センサまたは前記特定被写体に携帯される加速度センサ付き携帯機器、および前記特定被写体の動き出す瞬間を含む移動開始姿勢に関する情報を取得するための前記動き出す瞬間または着地の瞬間を検出する、前記特定被写体の靴底に取り付けられる圧力センサの少なくとも１つであることが好ましい。
【００１１】
さらに、前記被写体情報取得手段によって取得された前記被写体情報を記憶する第２記憶手段を有し、前記シーン抽出手段は、前記第１記憶手段から前記撮影情報を、前記第２記憶手段から前記被写体情報を読み出し、読み出された前記撮影情報と前記被写体情報とを照合し、前記抽出条件指定手段によって指定された前記特定姿勢のシーンの画像データを抽出することが好ましい。
【００１２】
さらに、前記複数の撮影シーンの中から抽出する前記特定被写体の特定姿勢のシーンを抽出条件として指定する抽出条件指定手段を有し、
前記シーン抽出手段は、前記撮影情報と前記被写体情報とを照合し、前記抽出条件指定手段によって指定された前記特定姿勢のシーンの画像データを抽出することが好ましい。
【００１３】
なお、前記シーン抽出手段は、前記撮影情報と前記被写体情報とを照合し、前記撮影シーンの前記撮影情報の前記撮影手段の位置情報および撮影方向情報と、この撮影情報の前記撮影時刻情報と一致もしくは略一致する前記被写体情報の前記取得時刻情報を持つ前記被写体情報の前記特定被写体の位置情報および姿勢関連情報とを検出し、検出された前記撮影情報の前記撮影手段の位置情報および撮影方向情報および前記被写体情報の前記特定被写体の位置情報および姿勢関連情報から、前記撮影シーン内の前記特定被写体の姿勢を特定して姿勢情報を得、得られた前記姿勢情報が前記特定姿勢を表すか否かを判断し、前記姿勢情報が前記特定姿勢を表す時に、前記姿勢情報が得られる前記撮影情報と関連付けられた前記撮影シーンの前記画像データを、前記特定姿勢のシーンの画像データとして前記第１記憶手段から読み出すことが好ましい。
【００１４】
前記シーン抽出手段は、前記撮影情報と前記被写体情報とを照合し、前記画像データの各々が表す撮影シーンにおける前記特定被写体のシーン内姿勢情報を検出するシーン内姿勢情報検出手段と、前記シーン内姿勢情報が、前記特定姿勢を表しているか否かを判断する比較手段と、前記姿勢情報が前記特定姿勢を表す時に、前記第１記憶手段から、前記姿勢情報が得られる前記撮影シーンの前記画像データを、前記特定姿勢のシーンの画像データとして読み出す読出手段とを有し、読み出された前記画像データを前記特定姿勢のシーンの画像データとして抽出することが好ましい。
【００１５】
前記シーン抽出手段は、前記撮影情報と前記被写体情報とを照合し、前記画像データの各々が表す撮影シーンにおける前記特定被写体のシーン内姿勢情報を検出するシーン内姿勢情報検出手段と、このシーン内姿勢情報が検出された前記撮影情報を用いて前記第１記憶手段から当該撮影シーンの画像データを読み出し、読み出した画像データと対応づけて前記シーン内姿勢情報を前記画像データの付属情報として記憶しておく第３記憶手段と、前記特定被写体の特定姿勢を表す姿勢情報を用いて、前記第３記憶手段を検索し、前記姿勢情報と一致するシーン内姿勢情報を前記付属情報として持つ前記画像データを読み出す検索手段とを有し、読み出された前記画像データを前記特定姿勢のシーンの画像データとして抽出するものであることが好ましい。
【００１６】
なお、前記画像データは、静止画像データであってもよく、また、前記画像データは、動画像データであってもよい。
【００１７】
また、前記撮影手段は、それぞれ、その位置情報および撮影方向情報ならびに撮影時刻情報を検出する機能を持つ複数台の撮影情報取得手段付きカメラであり、この複数台のカメラで撮影された同一または略同一の撮影シーンの前記特定被写体の前記画像データおよびこれに関連付けられた前記撮影情報ならびに前記被写体情報取得手段で取得された被写体情報を記憶する第４の記憶手段を有し、前記シーン抽出手段は、自動検索機能および自動編集処理機能を有し、撮影された複数の撮影シーンの中から、前記特定被写体の前記特定姿勢を指定し、前記第４の記憶手段の自動検索および自動編集処理を行い、指定された前記特定被写体の前記特定姿勢の画像データ、または前記特定姿勢に近い所望の姿勢の画像データを抽出することが好ましい。
【００１８】
前記特定被写体が、複数であり、前記シーン抽出手段は、前記複数の特定被写体の全員の前記特定姿勢が揃ったシーン、もしくは、前記複数の特定被写体の各人の前記特定姿勢のずれが所定角度以下であるシーンの画像データを抽出することが好ましい。
【００１９】
さらに、前記シーン抽出手段によって抽出された前記特定被写体の前記特定姿勢のシーンの画像データから、所望の姿勢のシーンの画像を編集する画像編集手段を有することが好ましい。
【００２０】
また、前記画像編集手段は、前記シーン抽出手段によって抽出された前記特定被写体の前記特定姿勢のシーンの画像データから、前記所望の姿勢のシーンの画像を編集する際に、前記被写体情報および撮影情報の少なくとも一方に基づいたＣＧ画像を作成することが好ましい。
【００２１】
また、本発明は、少なくとも特定被写体が含まれた複数の撮影シーンの中から、前記特定被写体の特定姿勢のシーンの画像データを抽出するに際し、少なくとも前記特定被写体が含まれるシーンを撮影して、前記複数の撮影シーンの画像データを取得すると共に、前記複数の撮影シーンの各々の撮影時刻情報、前記撮影手段の位置情報および撮影方向情報を含む撮影情報を取得し、各々の前記撮影シーンの前記画像データとその撮影情報とを、それぞれを関連づけて第１記憶手段に記憶させ、前記第１記憶手段に記憶された前記撮影情報を読み出し、読み出された前記撮影情報と前記被写体情報取得手段によって取得された前記被写体情報とを照合し、前記複数の撮影シーンの中から、前記特定姿勢のシーンの画像データを抽出することを特徴とするシーン抽出方法も併せて提供する。
【発明の効果】
【００２２】
本発明のシーン抽出システムおよびシーン抽出方法によれば、複数のシーンの画像データのなかから、特定被写体の特定姿勢のシーン、または特定被写体の特定の動作タイミングの姿勢のシーンの画像データを自動的に抽出することができる。
また、本発明のシーン抽出方法およびシーン抽出システムでは、各画像データに、各画像データが表す画像のシーン内の被写体の姿勢関連情報が付属されており、これを利用することで各画像データの編集や加工を容易に行うことができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の、シーン抽出システムおよびシーン抽出方法について、添付の図面に示される好適実施例を基に詳細に説明する。
【００２４】
図１は本発明のシーン抽出システムの一実施形態であるシーン抽出システム１０が示されている。本第１実施形態のシーン抽出システム１０は、カメラマン１２により、例えば観光地やテーマパーク、イベント会場、公園等の任意の撮影場所においてその場に居合わせた任意の人物を被写体として撮影を行ったり、または競技場で行われるスポーツ競技の競技者を被写体として撮影を行い、この撮影で撮影された複数の画像から、特定の被写体が、特定の姿勢で撮影された画像を自動的に抽出することを可能とするシステムである。
【００２５】
シーン抽出システム１０は、カメラマン１２が携帯する本発明の撮影手段に対応する撮影手段１４と、撮影手段１４に備えられた本発明の撮影情報取得手段に対応する装置センサユニット１５と、被写体１６が携帯する、本発明の被写体情報取得手段に対応する携帯機器１８と、撮影手段１４および携帯機器１８で取得された、画像データおよび各種情報を記憶して、これら画像データおよび各情報を処理することで、複数の画像データから所望のシーンの画像データを抽出するデータ処理装置２０と、データ処置装置２０に画像抽出のための抽出条件を指示入力する抽出条件入力手段（抽出条件指定手段）２２を有して構成されている。データ処理装置２０は、撮影手段１４による撮影で得られた複数の画像データと、撮影情報取得手段１５によって取得される撮影情報、および携帯機器１８によって取得される被写体情報を取得して、これら画像データおよび各種情報の処理および記憶をおこない、抽出条件入力手段２２によって入力された抽出条件に基づいて、特定の被写体の特定の姿勢のシーンの画像データを抽出する部位である。撮影情報および被写体情報については後に詳述する。
なおデータ処理装置２０には、抽出された画像データの画像をこの画像データの付属情報に基づいて編集して出力する画像出力装置２４が接続されている。
【００２６】
データ処理装置２０は、ワークステーション等のコンピュータから成り、ＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ、入出力ポート２０Ｄがバス２０Ｅを介して互いに接続され、入出力ポート２０Ｄに通信制御装置（例えばモデム又はルータ）２６、メディアドライバ２８、ハードディスク装置（ＨＤＤ）３０が各々接続されて構成されている。
【００２７】
データ処理装置２０のＨＤＤ３０には、本発明のシーン抽出方法（詳細は後述する）をデータ処理装置２０のＣＰＵ２０Ａによって実行するための画像抽出プログラムが予めインストールされており、ＣＰＵ２０Ａが画像抽出プログラムを実行することで、データ処理装置２０を構成するコンピュータが、撮影情報と被写体情報とを照合して前記画像データの各々が表す撮影シーンにおける前記特定被写体のシーン内姿勢情報を検出し、このシーン内姿勢情報が前記特定姿勢を表しているか否かを判断し、前記姿勢情報が前記特定姿勢を表す時に、第１記憶手段から、対応する姿勢情報が得られる撮影シーンの画像データを特定姿勢のシーンの画像データとして読み出す。データ処理装置２０を構成するコンピュータは、請求項１記載のシーン抽出手段、および請求項７記載のシーン内姿勢情報検出手段、比較手段、読出手段に対応している。
【００２８】
また、ハードディスク装置（ＨＤＤ）３０には、撮影手段１４によって撮影された画像の画像データと撮影手段１４によって取得される各画像データに対応する、後述する撮影情報とをそれぞれ関連付けて記憶しておく、第１の記憶手段である撮影情報データベース３０Ａ（以降、撮影情報ＤＢ３０Ａとする）と、携帯機器１８によって取得される、後述する被写体情報を記憶しておく、第２の記憶手段である被写体情報データベース３０Ｂ（以降、被写体情報ＤＢ３０Ｂとする）と、データ処理装置２０によるデータ処理によって得られた各画像データに対応するシーン内姿勢情報を、各画像の付属情報として各画像データに関連付けて記憶しておく、第３の記憶手段である付属情報データベース３０Ｄ（以降、付属情報ＤＢ３０Ｃとする）を備えている。これらの各記憶手段はそれぞれ個別の情報記憶媒体であってもよいし、１つの記憶媒体の複数の記憶領域の１つ１つに対応するものであってもよい。
【００２９】
シーン抽出システム１０によって抽出可能な画像データを取得する撮影手段１４は、カメラマン１２に所持されて、カメラマン１２が被写体１４を撮影することで、被写体１４が撮影されたシーンの画像を少なくとも含む、複数のシーンの画像データを得るものである。撮影手段１４は、ＧＰＳシステムを利用して撮影時の現在位置情報（撮影位置情報）を検出するＧＰＳ機器（撮影位置情報検出器１５ａ）、撮影方向（すなわち、撮影時の撮影手段１４の向き《方位、さらには仰角》）を検出する撮影方向検出器１５ｂおよび撮影時の時刻（撮影時刻情報）を検出する（撮影時刻情報検出器１５ｃ）、を備える本発明の 撮影情報取得手段に対応する撮影装置センサ１５が搭載されている。以降、上記撮影位置情報、撮影方向情報、撮影日時情報とを併せて撮影情報とする。
この撮影手段１４は静止画像の撮影（静止画像データの取得）を行うデジタルスチルカメラであってもよいし、動画像の撮影（動画像データの取得）を行うデジタルビデオカメラであってもよい。
撮影位置情報検出器は、ＧＰＳ機能によって位置検出を行うものに限定されず、例えばＩＣタグ等の無線通信機器を用いて現在位置を検出するものであってもよく、公知の位置検出手段が利用可能である。
なお、撮影方向情報検出器１５ｂとしては、例えば、撮影手段１４の所定位置に方位センサを設置したものがあげられる。この方位センサとしては、例えば地磁気を利用して方位を検出する方位センサや、ジャイロを用いて所定の軸回りの角速度を検出することで傾斜各を検出する方位センサなど、公知のセンサが利用可能である。
【００３０】
画像抽出システム１０では、カメラマン１２が撮影を行う度に（すなわち、撮影手段１４がデジタルビデオカメラの場合は常時）、撮影画像データと撮影情報とが、撮影手段１４および撮影装置センサ１５からデータ処理装置２０へと通信制御手段２６を介して送信される。データ処理装置２０へと送られた、撮影手段１４で撮影された画像データとこの画像データに対応する撮影情報とは、それぞれ関連付けられて撮影情報ＤＢ３０Ａに記憶される。撮影手段１４からデータ処理装置２０への画像データおよび撮影情報の送信は、無線通信であってもよく、電気ケーブルや光ケーブルを利用した有線通信であってもよい。また、上記画像データおよび撮影情報は、撮影手段１４によって記録メディア３２（例えばスマートメディア(R)、コンパクトフラッシュ(R)、メモリスティック(R)等）に一旦記録されて、メディアドライバ２８を介し、記録メディア３２からデータ処理装置２０の所定部位に記録されてもよい。
【００３１】
また、被写体１６（カメラマン１２による撮影の被写体）は、ＧＰＳシステムを利用して被写体の位置情報を常時検出するＧＰＳ機能（被写体位置情報検出器１８ａ）、被写体の姿勢の情報（被写体姿勢情報）を検出する被写体姿勢情報検出器１８ｂ、およびこれらの検出機能によって検出された各情報に対応する被写体時刻情報を検出する計時機能（被写体時刻情報検出器１８ｃ）が搭載された、本発明の被写体情報取得手段に対応する所定の携帯機器１８を所持している。以降、これら被写体位置情報、被写体姿勢情報、被写体時刻情報を併せて被写体情報とする。
【００３２】
被写体姿勢情報とは、被写体１６の姿勢に関連する本発明の姿勢関連情報であり、被写体１６の体の向き（体の正面が向く方向）の情報、被写体１６の動いた瞬間、静止した瞬間または所定速度で移動中を含む動きの姿勢に関する情報、および被写体１６の動き出す瞬間を含む移動開始姿勢に関する情報を少なくとも１つは含んだ情報である。
【００３３】
被写体姿勢情報として被写体１６の体の向き（体の正面が向く方向）の情報を検出する場合、被写体姿勢情報検出器１８ｂの例としては、例えば、被写体の衣服や眼鏡、服等の被写体に対する位置がほぼ固定の装身具に設置した方位センサがあげられる。この方位センサとしては、例えば地磁気を利用して方位を検出する方位センサや、ジャイロを用いて所定の軸回りの角速度を検出することで傾斜各を検出する方位センサなど、公知のセンサが利用可能である。
【００３４】
また、被写体姿勢情報として被写体１６の動いた瞬間、静止した瞬間または所定速度で移動中を含む動きの姿勢に関する情報を検出する場合、被写体姿勢情報検出器１８ｂの例としては、例えば、被写体の加速度を計測する加速度センサがあげられる。この場合、シーン中の特定の被写体の加速度の条件を画像抽出の条件として設定することで、例えば被写体が動き出した瞬間、静止した瞬間、秒速Ｎ／ｍで移動中、等、特定の被写体の特定の動作のタイミングの姿勢のシーンの画像データを自動的に抽出することができる。
【００３５】
また、被写体姿勢情報として被写体１６の動き出す瞬間を含む移動開始姿勢に関する情報を検出する場合、被写体姿勢情報検出器１８ｂの例としては、例えば、被写体の靴底に設置され、人体が地面から受ける圧力を検出する圧力センサがあげられる。この場合、被写体の足が地面から受ける圧力（被写体圧力情報）の条件を画像抽出の条件として設定することで、例えば、特定の被写体が動き出そうと足に力を入れて地面を踏みしめた瞬間や、跳躍した被写体が着地した瞬間など、特定の被写体の特定の動作のタイミングの姿勢のシーンの画像データを自動的に抽出することができる。
【００３６】
また、例えば野球やテニスなどの球技のように、被写体が所定の道具をもって物体に圧力を加えて行う動作における姿勢の画像を抽出する場合、例えば、野球のバットやテニスのラケット、またはボールなどに圧力センサを設置しておくことで、バットやラケットなどがボールに衝突した瞬間のシーンの画像データを抽出することが可能である。本発明の画像抽出方法における被写体姿勢情報は、特定被写体の姿勢に関連する情報であればよく、特に限定されない。
【００３７】
また、被写体位置情報とともに計測される被写体姿勢情報は、方位センサや圧力センサなど、被写体に備えられてセンサによって取得されることに限定されない。例えば、被写体の時系列の位置情報から被写体の移動方向を検出し、被写体が被写体の正面方向に常に移動すると仮定し、この進行方向を被写体情報の一部として用いてもよい。このような形態は、例えば被写体の移動方向に対して被写体の姿勢（体の向き）がほぼ特定されている場合（例えば、陸上の短距離走競技など）において、特定の被写体の特定の姿勢の画像を撮影する際に有効である。本発明の画像撮影システムおよび画像抽出方法における被写体姿勢情報は特に限定されない。
【００３８】
カメラマン１２が撮影を行っている最中、被写体情報は、携帯機器１８からデータ処理装置２０へと通信制御手段２６を介して送信され、被写体情報ＤＢ３０Ｂに記憶される。
携帯機器１８からデータ処理装置２０への被写体情報の送信は、無線通信であってもよく、電気ケーブルや光ケーブルを利用した有線通信であってもよい。また、上記被写体情報は、携帯機器１８によって記録メディア３２（例えばスマートメディア(R)、コンパクトフラッシュ(R)、メモリスティック(R)等）に一旦記録されて、メディアドライバ２８を介し、記録メディア３２からデータ処理装置２０の所定部位に記録されてもよい。
【００３９】
抽出条件入力手段２２は、データ処理装置２０に対して、抽出するシーンの条件を入力する部位である。この抽出条件としては、シーン内の被写体の条件（人物の場合、シーン内に誰が写っているかの条件）、およびこのシーン内の被写体の姿勢の条件（画像内の被写体の向きなど）が入力される。抽出条件としては、シーン内の被写体の姿勢（体の向き）に範囲を設定して、これら範囲内に特定の被写体姿勢が入ることを抽出条件として入力してもよい。例えば、所定の被写体の体の向きが、正面方向±Ｎ°（Ｎは任意）といった条件を抽出条件としてもよい。
この抽出条件の入力は、例えばデータ処理装置２２に接続されたキーボード等による入力指示に応じて抽出条件を入力してもよく、また、例えば、データ処理装置２０が所定の通信網に接続されている場合など、この通信網を介してこの通信網に接続されたＰＣなどの端末から入力してもよい。この場合、抽出条件入力手段２２は通信制御手段２６を介してデータ処理装置２０と接続されている。
【００４０】
抽出画像データ編集出力手段２４は、抽出条件入力手段２２から入力された条件に応じてデータ処理装置２０によって抽出された画像データを編集して出力する。画像データの出力形態としては、例えば抽出した画像データを所定の記憶媒体に記憶することで出力してもよく、また、例えばデータ処理装置２０に接続されたディスプレイに画像データの画像を表示することで出力してもよく、またデータ処理装置２０に接続されたプリンタによって抽出された画像データの画像をプリントとして出力してもよい。
また、図２に示す態様においては、ネットワークを介して端末４２に画像データを送信し、例えば端末４２の記憶装置にこの画像データを記憶してもよく、また、デジタルテレビ放送の場合など端末４２の表示画面にこの画像データの画像を表示することで出力してもよい。また、例えば通信網４０に接続されたプリンタ４６（例えばラボ店などに設置されている）からプリントとして出力してもよい。
抽出画像データ編集出力手段２４において行う画像編集の内容については後に詳述する。
【００４１】
図２は、シーン抽出システム１０が所定の通信網４０に接続された例を示す概略図である。通信網４０はインターネット回線やケーブルＴＶ回線、またはデジタルテレビ放送の回線（双方向データ通信が可能）など種々のデータ回線であり特に限定されない。
この例では、シーン抽出システム１０のデータ処理装置２０は通信制御手段２６を介して通信網４０に接続されている。この通信網４０には画像データや上記各情報の送受信を行うことが可能な、例えば一般家庭に設置されたホームサーバなどの端末４２が接続されている。抽出画像条件はこのような端末４２から所定の通信網４０を介してデータ処理装置２０に入力することも可能である。この例では端末４２が抽出条件入力手段２２に対応している。端末４２は一般家庭に設置されたホームサーバであることに限らず、例えば上述のテーマパークや競技場の出入り口に設置された所定の抽出条件入力専用装置などであってもよい。抽出条件入力手段２２の形態は特に限定されない。
【００４２】
次に本第１実施形態の画像抽出システム１０によって行われる、本発明のシーン抽出方法の一実施形態について説明する。図３は、本発明のシーン抽出方法の一実施形態のフローチャート図である。
【００４３】
まず、カメラマン１２により、例えば観光地やテーマパーク、イベント会場、公園等の任意の撮影場所においてその場に居合わせた任意の人物を被写体とした撮影、または競技場で行われるスポーツ競技の競技者を被写体とした撮影が開始される（ステップＳ１００）。以下の説明では、カメラマン１４が所持するデジタルビデオカメラ（撮影手段１４）によって、被写体の動画像を撮影し、この動画像の複数のコマ画像データ（動画像を構成する複数の静止画像それぞれの画像データ）から、特定被写体の特定の体の向きのシーン（正面向きのシーン、横向きのシーン、後ろ向きのシーンなど）の画像データを、特定被写体の特定姿勢のシーンの画像データとして抽出する場合を例に説明する。
【００４４】
カメラマン１２による撮影が開始されると、被写体１６に携帯された携帯機器１８によって被写体１６の被写体情報が取得される（ステップＳ１０２）。被写体情報の取得は、カメラマン１２による撮影が行われている間中行われ、個々の被写体の位置情報、姿勢関連情報（この場合、被写体の体の向きの情報）、および時刻情報が連続して取得される。
【００４５】
携帯機器１８によって取得された被写体情報は、上述のようにデータ処理装置２０に送られて被写体情報ＤＢ３０Ｂに記憶される（ステップＳ１０４）。なお、被写体１６が複数である場合（特にカメラマン１２によって複数の被写体１６を無作為に撮影する場合）など、被写体情報の送信に際しては、被写体１６それぞれの現在位置を表す被写体位置情報、および被写体の姿勢を表す被写体姿勢情報、その情報に対応する時刻情報に加え、前記顧客を特定するための情報（被写体ＩＤ情報）も同時に通知されることが好ましい。
なお、カメラマン１２によって撮影が行われている間中、常時、携帯機器１８からリアルタイムで被写体位置情報、被写体姿勢情報が送信される場合、データ処理装置２０が計時機能を備えていれば、携帯機器１８から被写体情報を受信したタイミングに応じて、計時機能で計測された時刻情報を被写体情報と対応づけて被写体情報ＤＢ３０Ｃに記憶しておけばよい。本発明の被写体時刻情報の取得はこのようにして行われてもよい。
【００４６】
カメラマンが撮影を行っている間中、常に上記処理を行うことにより、被写体情報ＤＢ３０Ｂには、個々の被写体を単位として、被写体情報（或る日時における被写体の位置情報および姿勢情報を表す、被写体時刻情報と被写体位置情報と被写体姿勢情報の組）が複数記憶されることになり、被写体情報ＤＢに記憶された被写体情報群を参照することで、個々の被写体の移動履歴を判断することが可能となる。
なお、この被写体移動情報は携帯機器１８からリアルタイムでデータ処理装置２０に通知されることに限定されず、例えば上述のように、撮影中は携帯機器１８によって所定に記憶メディアに記憶され、撮影が終了した後にデータ処理装置２０に通知されても構わない。
【００４７】
一方、カメラマン１２は、撮影が開始されると撮影手段１４によって被写体１６を撮影する。この際、上述のように画像データとともに撮影情報が取得される（ステップＳ１０６）。撮影情報の取得は、少なくとも撮影手段１４によって画像データが取得されるたびに（すなわち撮影のたびに）行われ、動画像を撮影している場合は動画像の撮影の間中、撮影位置情報、撮影方向情報、および撮影時刻情報が連続的に取得される。
【００４８】
撮影手段１４によって取得された撮影情報は、対応する画像データと関連付けられて撮影情報ＤＢ３０Ａに記憶される（ステップＳ１０８）。すなわち各画像データそれぞれが、いつ（撮影時刻情報）、どの位置から（撮影位置情報）、撮影手段１４の撮影レンズをどちらに向けて（撮影方向情報）撮影されたかの情報が、各画像データにそれぞれ関連付けられて、撮影情報ＤＢ３０Ａに記憶される。
なお、撮影手段１４（カメラマン１２）が複数である場合など、撮影画像データおよび撮影情報の送信に際しては、撮影手段１４を特定するための情報（カメラＩＤ情報）も同時に送信されることが好ましい。
なお、カメラマン１２によって撮影が行われている間中、常時、撮影手段１４からリアルタイムで撮影手段１４の現在の撮影位置情報、撮影方向情報が送信される場合、データ処理装置２０が計時機能を備えていれば、撮影手段１４から画像データおよび撮影情報を受信したタイミングに応じて、計時機能で計測された時刻情報を画像データおよび撮影情報と対応づけて撮影情報ＤＢ３０Ａに記憶しておけばよい。画像データおよび撮影情報の取得はこのようにして行われてもよい。
【００４９】
カメラマン１２が撮影を行っている最中、常に上記処理を行うことにより、撮影情報ＤＢ３０Ａには、個々の撮影手段１４を単位として、撮影情報（画像データと、撮影情報である、撮影時刻情報と撮影位置情報と撮影方向情報の組）が複数記憶される。
【００５０】
カメラマン１２による撮影が全て終了し、撮影情報ＤＢ３０Ａへの撮影情報の記憶、および被写体情報ＤＢ３０Ｂへの被写体情報の記憶が全て終了すると、データ処理装置２０のＨＤＤ３０に予めインストールされたシーン抽出プログラムによって、データ処理装置２０を構成するコンピュータが、撮影情報ＤＢ３０Ａから撮影情報を、また被写体情報ＤＢ３０Ｂから被写体情報をそれぞれ読み出し、それぞれを照合することで各画像データのシーン内の被写体の姿勢（体の向き）の情報を検出する（ステップＳ１１０）。
【００５１】
このシーン内の被写体の姿勢情報の検出は以下のように行われる。まず、データ処理装置２０では、撮影情報が読み出されると、各撮影手段１４による撮影で得られた各画像データに対応する撮影位置情報および撮影方向情報から、各画像データのシーンの範囲を割り出す（すなわち、撮影手段１４による撮影範囲を割り出す）。各画像データに対応するシーンの範囲および撮影時刻情報と、被写体情報における被写体時刻情報とを照合して、各画像データに撮影された撮影時刻にこの画像データに対応するシーンの範囲に存在した被写体を全て抽出する。
そして、抽出した被写体それぞれの被写体姿勢情報（体の向きを表す）と撮影方向情報（カメラの撮影レンズの向きを表す）とを照合し、各画像データのシーンにおいて各被写体はどのような姿勢で（どのような体の方向で）あるかの情報である、シーン内姿勢情報を検出する。
このように検出されたシーン内姿勢情報は、対応する画像データと関連付けられて、この画像データの付属情報として、対応する画像データとともに付属情報ＤＢ３０Ｃに記憶される。（ステップＳ１１２）。
【００５２】
次に、シーン抽出条件が入力指示される（ステップＳ１１４）。シーン抽出条件は上述のように、シーン内の被写体（人物の場合、誰が撮影されているか等）、およびこの被写体の姿勢（シーン内姿勢情報）の条件が入力される。例えば、被写体１６が人物で複数の被写体がいる場合、抽出条件としては誰が（どの被写体１６）が、どのような体の向きで撮影されているか（正面向きに撮影された画像であるか、横向きで撮影された画像であるか、後ろ向きで撮影された画像であるか等）が条件として入力される。
なお、このシーン抽出条件の入力指示は、例えば、カメラマン１２による撮影開始の前に予め行われていてもよく、後述のシーン抽出に先駆けて行われていればシーン抽出条件の入力のタイミングは特に限定されない。
【００５３】
データ処置装置２０では、入力されたシーン抽出条件に基づいて、付属情報ＤＢ３０Ｃ内を検索しシーン抽出条件の内容を満たすシーンの画像データを抽出する（ステップＳ１１６）。この画像データの抽出は、入力されたシーン抽出条件と、各画像データに付属された付属情報（すなわち、シーン内姿勢情報）とを照合することで行われる。すなわち、入力されたシーン抽出条件と各画像データの付属情報とを比較し、各画像データ毎に、入力された抽出条件で指定された被写体の条件および姿勢の条件を満たすシーンの画像データであるか否かを判定する。そして、この判定が肯定された、すなわちシーン抽出条件で設定された姿勢情報の撮影シーンの画像データを読み出し、この読み出した画像データを特定シーンの特定姿勢のシーンの画像データとして抽出する。
【００５４】
本発明のシーン抽出方法およびシーン抽出システムによると、このようにして複数の撮影シーンの画像データのなかから、特定の被写体の特定のシーンの画像データを自動的に抽出することが可能である。
【００５５】
本発明の画像抽出方法では、複数の被写体の姿勢情報を基に、シーン中の複数の被写体全員の姿勢の範囲を抽出条件に設定して、特定シーンの画像データを抽出することも可能である。例えば、シーン中の複数の被写体全員の体の方向が全て正面を向いた画像データや、全て横を向いた画像データなど、シーン中の複数の被写体の姿勢に応じた種々の条件で、所望のシーンの画像データを抽出してもよい。
また、複数の撮影手段１４によって被写体１６を撮影した場合など、この複数台のカメラで撮影された同一または略同一の撮影シーンの特定被写体の画像データの中から、特定被写体の特定姿勢の画像データ、または特定姿勢に近い所望の姿勢の画像データを抽出してもよい。
【００５６】
このようにして抽出された画像データは、付属情報ともに上述の画像編集出力部２４に送信し、この画像編集出力部２４において付属情報に基づいた様々な編集を行って出力することが可能である。
【００５７】
このような画像編集は、データ処理装置２０に接続された画像編集・出力手段２４においておこなうことができる。例えば、画像データの付属情報として上述のシーン内姿勢情報に加え、この画像データに対応する撮影時刻情報を添付していれば、特定の被写体の特定の姿勢のシーンの画像データを、撮影時刻に応じて時系列に並べて出力することができる（例えば、人物を撮影した動画などで人物を正面から向いた画像のみ、連続して表示することができる。）。
【００５８】
また、本発明のシーン抽出方法およびシーン抽出システムによれば、画像データに付属された付属情報を利用することで、実際に撮影されたシーンのみではなく、実際には撮影されていないシーンをＣＧで高精度に作製することも可能である。例えば、特定被写体について、この特定被写体に対する視点ポイントおよび観察タイミングを指定することで、指定した観察タイミングで指定した視点から特定被写体を観察した際に見えるシーンを、ＣＧを交えて再現して画像データとして出力することもできる。
【００５９】
以下、データ処理装置２０および画像編集・出力手段２４を備える放送局から、通信網４９を介し一般家庭の端末４２へ所定のスポーツ競技の動画像データを配信する場合を例に、このＣＧを交えて再現したシーンの画像データの編集出力（以降、ＣＧシーンの出力とする）について説明する。
この例では、スポーツ競技中の複数の被写体１６は、それぞれ上記携帯機器１８を携帯しており、放送局（データ処理装置２０および画像編集・出力手段２４を備えている）から配信される動画像データの各コマ画像データそれぞれには、各競技者（被写体１６）の被写体情報（被写体位置情報、被写体姿勢情報、被写体時刻情報）が、付属情報として添付されて各端末４２へ配信されている。
【００６０】
端末４２では上記スポーツ競技の動画像データを付属情報とともに一旦記憶手段に記憶しておき、ユーザ（端末４２の操作者）がこの動画像データを再生し、表示画面に表示された動画像データのシーンを見て、上記所定のタイミングを指定するタイミング指定情報、および上記所定の視点を指定する視点指定情報、および上記特定の被写体を指定する被写体指定情報を放送局に指定する。放送局では、このタイミング指定情報、視点指定情報、被写体指定情報に応じて、動画像データの付属情報（すなわち、各被写体情報）に基づき、被写体指定情報で指定された特定の競技者（被写体１６）を観察した際のシーンを、ＣＧを交えて端末４２の表示画面に表示する。
【００６１】
この例では、端末４２から、ユーザが指定する上記所定のタイミング指定情報、視点指定情報、および被写体指定情報（以下、まとめてユーザ指定情報とする）が放送局に送信されて、放送局において指定情報に基づいてユーザが所望するシーンの画像データを抽出するか、または不足しているシーンの画像データをＣＧで作成（補完）し、ユーザに送信する。なお、このＣＧの作製は放送局が行うことに限定されず、ユーザから放送局に指定情報を送信して、放送局が、この指定情報に関わる所定の被写体情報などのパラメータ（ＣＧ作成に必要なパラメータ）を端末４２に送信することで、端末４２においてこの指定情報を基にＣＧを作成してもよい。
【００６２】
まず、ユーザは放送局から配信された競技の動画像データの画像（動画像）を見ながら、上記所定のタイミング指定情報を送信する。例えばゴールシーンの画像データ（ＣＧシーンも含む）が欲しいと所望するユーザが、放送局から配信されたサッカー競技の動画像データにおけるゴールシーンのタイミングを放送局側に指定する。このような動画像データにおけるタイミング指定情報は、ユーザが希望するタイミングに対応するコマ画像を選択することで行えばよい。例えば放送局側で動画像データの複数のコマ画像データそれぞれを特定するコマ画像ＩＤをそれぞれのコマ画像データに付属させておき、ユーザが動画像データのうち１つのコマ画像データを指定することで、対応するコマ画像ＩＤ情報が放送局側に送信される。なお、このタイミングの指定は１コマ単位で指定してもよく、または所定の１コマの前後ｎ秒間（ｎは任意）など所定の時間幅をもたせた範囲で設定可能であれば好ましい。
【００６３】
端末４２からタイミング指定情報が送信されると、放送局からこのタイミングでの競技場全体の状態を示す平面図が送られて、端末４２の表示画面に表示される。図４は、このようにして放送局側から端末４２へと送信された競技場の平面図の一例を示す図である。この平面図では、ユーザが指定したタイミングにおける競技場内の各被写体１６の位置や競技場内の撮影手段１４の位置、および競技場内の主要な物品の位置（例えば、サッカーの場合ではゴールやスタンドやセンターラインなど）が表示されている。
【００６４】
端末４２では、ユーザによって、図４に示す競技場平面図を用いて視点ポイントおよび特定の競技者（被写体）が選択されて、上記視点指定情報および上記被写体指定情報の送信が行われる。ユーザが行う視点ポイントの選択は、例えば、端末４２の表示画面に図４に示すような競技場平面図が表示されて、この競技場平面図を見ながら任意の場所を指定することで行われる。または、予め設定された複数の視点のうち所望の視点を選択することで行われてもよい。この視点ポイントの選択および特定被写体の選択は、ユーザが端末４２の表示画面を見ながら行う、いわゆるＧＵＩ（Ｇｒａｐｈｉｃ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）で行われる。視点ポイントとしては、図４中Ｐ１〜Ｐ３で表されるような固定ポイントであってもよいし、競技者Ａ、Ｂなどの動くポイントであってもよい。あるいは、視点ポイントを上記所定のタイミングにおける上記特定選手の視線方向（あるいは視野）といった様に設定してもかまわない。また指定する被写体としては、競技者であってもよい、また、例えば、固定点Ｐ１〜Ｐ３など固定点を被写体として指定して放送局サーバーにＣＧ画像を要求してもよい。
【００６５】
放送局は、ユーザが指定した視点ポイントから、ユーザが指定した被写体を見たシミュレーションＣＧ画像を作成して端末４２へ送信する。この際、シミュレーションＣＧ画像が、ユーザの指定情報に基づいて抽出された画像データ、およびこの画像データの付属情報に基づき作成される。放送局では、例えば、ユーザの指定するタイミングで、ユーザの指定する視点ポイントから被写体を見たシーンの画像データを抽出する。このシーンに対応する画像データがない場合は、このシーンを表すＣＧ画像を作成してユーザ側に送信する。このＣＧ画像は、動画像データの各画像データの付属情報である、ユーザが指定したタイミングでの被写体の姿勢情報を基に作成される。
【００６６】
この際、放送局では、複数のシーンの画像データから、ユーザが指定したタイミングでの被写体の姿勢情報により近いシーンの画像データ（以降、サブ画像データとする）を抽出し、この抽出したサブ画像データを基にＣＧ画像データを作成することが好ましい。これにより、抽出されたサブ画像データをＣＧのマッピングの際の元画像データとして用いることができ、よりリアルなシーンを再現するＣＧ画像データを作成することができる。
【００６７】
なお、ここで作成されるＣＧ画像データは、ユーザの要求に応じて、作成精度を設定することができ、通常の場合（ユーザから特に高精度のＣＧ作成の要求がなかった場合）、作成されるＣＧ画像は人形モデル程度でよい。なお、被写体（競技者など）の体格データなどを予め取得しておき、この質感データを人形モデルに反映させることで、よりリアルなシーンを再現するＣＧ画像データを作成することができる。また、例えば、被写体が実際装着しているユニフォームや競技場の背景のＣＧデータを用意し、ユーザに配信するＣＧ画像データに反映させることで、よりリアルなＣＧ画像データをユーザに提供することができる。また、実写映像（実際の画像データ）から、被写体の足（両足の位置）や腕の振り（両腕の位置、頂点）やタイミングなどを認識し、ＣＧ画像データが再現するシーン中の被写体の動きに反映させる（すなわち、被写体の体の位置やタイミングに反映させる）ことで、よりリアルなＣＧ画像データを作成することができる。更に、上記サブ画像データから顔領域を抽出して、ＣＧの人形モデルの顔に貼り付けることで更にリアルなＣＧ画像を得ることができる。また、例えば、被写体の加速度データを利用して、加速度を意図的に強調して再現することも好ましい。ＣＧの作成に用いられる付属情報は、シーン内被写体情報であってもよいし、また撮影情報であっても構わない。ＣＧの作成に用いられる付属情報は特に限定されない。
【００６８】
また、本発明のシーン抽出システムおよびシーン抽出方法では、不特定多数の画像データそれぞれに付属情報としてシーン内被写体姿勢情報を添付しておくことで、このシーン内被写体姿勢情報を、例えば、シーン内の顔領域または人物領域の抽出処理におけるパターンマッチングの条件絞込みに利用することができる。すなわち、画像データの画像から顔領域または人物の領域を抽出する顔領域または人物領域抽出処理において、この画像のシーンにおける被写体のシーン内姿勢情報に対応した認識アルゴリズムで画像内の被写体を検出することができる。
【００６９】
例えば、シーンにおける被写体の姿勢が正面であることを示す付属情報（姿勢関連情報）が添付された画像データについては、認識アルゴリズムとして正面を向いた顔を認識するための認識用パターンを用いてマッチングを行えばよいし、被写体の姿勢が斜め向きであることを示す付属情報（姿勢関連情報）が添付された画像データについては、認識アルゴリズムとして斜めを向いた顔を認識するための認識用パターンを用いてマッチングを行えばよい。このように、各画像データそれぞれの付属情報に対応した認識アルゴリズムを用いて被写体抽出を行うことで、被写体の抽出精度が向上して、結果、シーンの濃度制御や人物トリミング（被写体である人物を拡大したり画像中央に移動したり等）の精度が向上する。
【００７０】
このようなシーン抽出システム１０は、例えば、顧客からの注文に応じて、サービス提供者が撮影した複数のシーンの画像データの中から、特定被写体の特定の姿勢のシーンの画像データを出力し、出力した画像データ（または画像データの画像）を顧客に提供する特定画像出力サービスに好適に利用できる。
このような特定画像出力サービスの例としては、例えば、観光地やテーマパーク、イベント会場、公園等の任意の撮影場所において、その場に居合わせた任意の顧客を被写体１６（携帯機器１８を携帯している）として、カメラマン１２が撮影を行い、撮影された顧客（被写体１６）からの注文条件（上述の画像抽出条件を少なくとも含んだ、サービスに関連した注文条件）に応じて、サービス提供者側がデータ処理装置２０を用いて、自動的に特定被写体の特定姿勢（または動作のタイミング）のシーンの画像データを抽出し、この画像データを顧客（被写体１６）に提供するサービスが挙げられる。
【００７１】
また、他の例として、任意の競技（例えば野球、サッカー、陸上競技等）が開催される競技場において、カメラマン１２によって競技者を被写体１６として撮影を行い、撮影した複数のシーンの画像データのなかから、特定被写体（競技者）の特定の姿勢（または特定の動作のタイミング）のシーンの画像データを顧客に提供する特定画像抽出サービスの形態が挙げられる（以降、第２のサービス形態とする）。
【００７２】
本発明の画像抽出システムおよび画像抽出方法を、このような特定画像出力サービスに利用することで、例えば顧客が観光地やテーマパーク、イベント会場、公園等の特定の施設へ出向いた際、カメラマン１２によって顧客を被写体とする撮影が行われた際、また、任意の競技（例えば野球、サッカー、陸上競技等）が開催される競技場において、カメラマン１２により、競技者を被写体１６として撮影が行われた際、撮影によって得られた画像データのうち、各顧客が所望する（またはサービス提供者が任意に設定してもよい）特定の被写体の特定の姿勢（または動作のタイミング）のシーンの画像データを、顧客およびサービス提供者双方の手間をかけずに自動的に抽出することができる。
【００７３】
例えば、第２のサービス形態を例とした場合、上記サッカーなどの競技場に上記画像抽出システム１０を設置しておき、被写体１６である競技者に携帯機器１８を携帯させ（ユニフォームなどの所定位置に固定しておく）、撮影手段１４によって競技中の被写体１６を撮影するとともに、上記画像抽出方法によって撮影手段１４による撮影で得られた各画像データに対応する姿勢情報を各画像データの付属情報として記憶しておく。そして、競技終了（撮影手段１４による撮影終了）とともに、付属情報に基づいて、撮影された競技者毎に撮影された姿勢に基づいて自動的に抽出させることで、サービス提供者は、不特定多数のシーンの画像データを、手間をかけずに素早く、被写体毎に、さらには被写体の姿勢毎に分類することができる。また、被写体の加速度のデータを用いることで、姿勢だけでなく動作のタイミング（動いているとき、静止している画像）など各被写体毎の画像データを種々に分類して、競技場の出口で選択しやすい形に分類して販売することができる。また、予め顧客から注文条件を受け付けておくことで、競技終了と同時に競技場の出口で販売することも可能である。また上記ＣＧ画像データ出力方法を利用することで、例えば競技場で写真やＤＶＤを販売するにあたって、例えば、顧客が実写画像の一覧からシーンを選択し、実写画像とともにこの実写画像の付属情報として、編集可能なＣＧを作成して追加することもできる。また、例えば、遊園地内での顧客自身の経路における視野（遊園地内で顧客の見た風景）を再現したＣＧを提供することもできる。
【００７４】
本発明のシーン抽出システムおよびシーン抽出方法を、このような特定画像出力サービスに利用することで、このサービスのサービス提供者およびユーザ双方が手間をかけることなく、自動的にユーザが所望する特定被写体の特定の姿勢の（または所望の動作タイミング）シーンの画像データを抽出することができる。これにより、コストをかけずに、素早く、ユーザが希望するシーンの画像データを抽出することができ、安い価格でサービスを提供することができる。また、各画像データそれぞれに関連付けて記憶されている各画像データの付属情報を用いることで、上記ＣＧ画像の出力など種々のバリエーションのサービスを提供することができる。本発明のシーン抽出システムおよびシーン抽出方法をこのような特定画像出力サービスに利用すれば、このような利点によって、サービス提供者側は提供するサービスをユーザから利用される機会が増加するといった利点がある。
【００７５】
本実施形態の画像抽出システム１０では、撮影情報と被写体情報とを照合して特定被写体の特定姿勢のシーンの画像データを抽出することができればよく、データ処理装置２０において、例えば、撮影情報取得手段から送信される撮影情報と、被写体情報取得手段から送信される被写体情報とをリアルタイムに受信し、リアルタイムでこれらの情報を照合することで特定被写体の特定姿勢のシーンの画像データを抽出してもよい。本発明の画像抽出システム１０では、被写体情報記憶手段（第２の記憶手段）、付属情報ＤＢ３０Ｃ（第３の記憶手段）は必ずしも備えていなくても構わない。また、同様に、データ処理装置２０のコンピュータに対応するシーン内姿勢情報検出手段、比較手段および読出手段も必ずしも備えていなくとも構わない。
【００７６】
本発明の画像抽出システムは、被写体情報記憶手段（第２の記憶手段）を有することで、抽出画像をリアルタイムで選択することに限らず、所望のタイミングで特定被写体の特定姿勢の画像データを抽出することができる。また、シーン内姿勢情報検出手段、比較手段、および読出手段とを有することで、シーンにおける被写体の具体的な姿勢の情報を表すシーン内姿勢情報を基に抽出する画像を選択することができ、より高精度な抽出が可能となる。また、付属情報ＤＢ３０Ｃ（第３の記憶手段）を有することで、このシーン内姿勢情報と各画像データとをそれぞれ対応づけて記憶しておくことができ。撮影終了後の所望のタイミングで、画像データを高精度に抽出することが可能である。このような各画像データそれぞれに付属されたシーン内被写体姿勢情報を用いた、上述の種々の画像編集が可能となる。本発明の画像抽出システムでは、被写体情報記憶手段（第２の記憶手段）、付属情報ＤＢ３０Ｃ（第３の記憶手段）、シーン内姿勢情報検出手段、比較手段、および読出手段を備えることが好ましい。
【００７７】
以上、本発明のシーン抽出システムおよびシーン抽出方法について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【図面の簡単な説明】
【００７８】
【図１】本発明のシーン抽出システムの一例の概略を示す構成図である。
【図２】本発明のシーン抽出システムの一例が、所定の通信網に接続された例を示す概略図である。
【図３】本発明のシーン抽出方法の一例の流れを示すフローチャート図である。
【図４】本発明のシーン抽出方法の一例において、放送局側から端末へと送信される競技場の平面図の一例の概略を示す図である。
【符号の説明】
【００７９】
１０ シーン抽出システム
１２ カメラマン
１４ 撮影手段
１５ 撮影情報取得手段
１６ 被写体
１８ 携帯機器
２０ データ処理装置
２２ 抽出条件入力手段
２４ 抽出画像データ編集出力手段
２６ 通信制御装置
２８ メディアドライブ
３０ ハードディスク装置（ＨＤＤ）
３２ 記録メディア
４０ 通信網
４２ 端末
【出願人】 【識別番号】０００００５２０１
【氏名又は名称】富士写真フイルム株式会社
【住所又は居所】神奈川県南足柄市中沼２１０番地
【出願日】 平成１６年３月２６日（２００４．３．２６）
【代理人】 【識別番号】１０００８０１５９
【弁理士】
【氏名又は名称】渡辺 望稔

【識別番号】１０００９０２１７
【弁理士】
【氏名又は名称】三和 晴子

【識別番号】１００１１２６４５
【弁理士】
【氏名又は名称】福島 弘薫
【公開番号】 特開２００５−２８６３７７（Ｐ２００５−２８６３７７Ａ）
【公開日】 平成１７年１０月１３日（２００５．１０．１３）
【出願番号】 特願２００４−９３０４０（Ｐ２００４−９３０４０）