トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 撮像装置及びプログラム
【発明者】 【氏名】浜田 玲

【氏名】松井 紳一
【要約】 【課題】運動体の運動パラメータの推定を適正に行って、この結果、ボールの位置の検出を適正に行う。

【構成】デジタルカメラ１００は、スポーツの種類に応じて用いられ、高速度で運動するボールを含む画像を連続して撮像して、複数の画像情報を出力する撮像部１と、撮像部１から出力された画像情報の各々に基づいて、画像の所定位置にボールが存する確度に係る評価値を算出して、ボールが所定の運動パラメータに従って運動したと推定して、複数の評価値を統合して統合評価値を算出するとともに、当該統合評価値に基づいて、ボールの運動パラメータを推定するＣＰＵ７１とを備えている。
【特許請求の範囲】
【請求項１】
高速度で運動する運動体を含む画像を連続して撮像して、複数の画像情報を出力する撮像手段と、
前記撮像手段から出力された前記画像情報の各々に基づいて、前記画像の所定位置に前記運動体が存する確度に係る評価値を算出する評価値算出手段と、
前記運動体が所定の運動パラメータに従って運動したと推定して、前記評価値算出手段により算出された複数の前記評価値を統合して統合評価値を算出する評価値統合手段と、
前記評価値統合手段により算出された統合評価値に基づいて、前記運動体の運動パラメータを推定する運動パラメータ推定手段とを備えることを特徴とする撮像装置。
【請求項２】
前記評価値算出手段は、
前記運動体の想定される運動速度範囲に基づいて、前記画像における前記運動体の位置を推定する運動体推定手段を備え、
前記評価値統合手段は、
前記運動速度範囲に基づいて、前記画像における前記運動体の想定される想定動きベクトルを推定する想定動きベクトル推定手段と、
前記想定動きベクトル推定手段により推定された前記想定動きベクトルに係る前記運動体を含む画像の撮像順序に基づいて当該想定動きベクトルを補正して、補正済み動きベクトルを算出する補正済み動きベクトル算出手段とを備え、
前記運動体推定手段により推定された前記運動体の位置と、前記想定動きベクトル推定手段により推定された前記想定動きベクトルと、前記補正済み動きベクトル算出手段により算出された前記補正済み動きベクトルに基づいて、前記統合評価値を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記運動速度範囲はスポーツの種類に応じて求められることを特徴とする請求項２に記載の撮像装置。
【請求項４】
コンピュータに、
高速度で運動する運動体を含む画像に係る複数の連続した画像情報の各々に基づいて、前記画像の所定位置に前記運動体が存する確度に係る評価値を算出する機能と、
前記運動体が所定の運動パラメータに従って運動したと推定して、複数の前記評価値を統合して統合評価値を算出する機能と、
算出された統合評価値に基づいて、前記運動体の運動パラメータを推定する機能と、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、高速で運動する運動体を撮像する撮像装置及びプログラムに関する。
【背景技術】
【０００２】
従来、野球やテニス等のスポーツで用いるボールの速度を測定する装置としては、スピードガンが良く知られている。
このスピードガンは、例えば、ボールによる反射波のドップラー効果を測定して、ボールの速度を推定するようになっていることから、ボールの運動方向に沿ってスピードガンを設置する必要があるため、ボールとの衝突のリスクが高いという問題がある。さらに、運動するボールのどの時点での測定結果であるのかといった正確性の検証が困難であるといった問題もある。
【０００３】
そこで、ボールとの衝突を回避する上で、当該ボールの運動方向に略直交する方向側から運動中のボールを撮像して、その画像情報を用いて、ボールの運動速度を測定する方法が考えられる。
この方法によりボールの運動速度を測定するためにはボールの認識や追跡を適正に行う必要があるところ、画像を用いてボールを認識する手法としては、球形の物体を認識する点に着目して、Hough変換などの輪郭情報から検出する幾何的な方法１や、運動する物体という点に着目して、フレーム間差分画像を二値化する方法２等が考えられる（例えば、特許文献１参照）。
【特許文献１】特開２００２−２１６１３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、ボールが高速で運動することから、強い照明下にて露光時間を短くしてボールがぶれずに本来の形を保った状態で撮像される条件を作る必要がある。
しかしながら、屋内や曇天時では、テニスボールやゴルフボール等の軌跡を撮像しようとすると、１／３００秒程度の露光時間は必要となるが、この程度の露光時間では、ボールは理想的な円形（図７（ａ）参照）とならず著しくぶれ、円形からはほど遠いレーストラックに近い形状（図７（ｂ）参照）となってしまう。また、ボールは背景の濃淡と混ざってしまい、特に、ボールの混合割合の少なくなる両端のエッジ、及び照明のあたりにくい下側のエッジは非常に不明確となってしまう。従って、ボールのエッジが曖昧なため、方法１の幾何形状認識手法は適用困難であるといった問題がある。
【０００５】
また、照度不足のため露光時間を長くする必要があるが、この場合、手ぶれがさらに激しくなる上、蛍光灯フリッカーに起因する照明変動の問題が生じるという問題もあった。
さらに、ＣＭＯＳ型イメージセンサのハイスピードカメラは、ほとんどがローリングシャッター方式であり、運動歪みと激しいフレーム内照明変動が生じるという問題もある。特に、フレーム内照明変動は補正が困難であり、方法２のフレーム間差分を用いる方法だけでは好結果を得られない。
また、平均輝度の比較から輝度補正を施せば、ある程度のボールの検出は可能であったが、差分画像を二値化する際にフレーム内照明変動の影響による偏りが生じてしまい、背景が単純な場合でさえ、精度良くボールの所定位置（例えば中心位置）を捉えることができないという問題もある。
【０００６】
そこで、本発明の課題は、運動体の運動パラメータの推定を適正に行うことができ、この結果、ボールの位置の検出を適正に行うことができる撮像装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明の撮像装置（例えば、図１のデジタルカメラ１００等）は、
高速度で運動する運動体を含む画像を連続して撮像して、複数の画像情報を出力する撮像手段（例えば、図１の撮像部１等）と、
前記撮像手段から出力された前記画像情報の各々に基づいて、前記画像の所定位置に前記運動体が存する確度に係る評価値を算出する評価値算出手段（例えば、図１のＣＰＵ７１等）と、
前記運動体が所定の運動パラメータに従って運動したと推定して、前記評価値算出手段により算出された複数の前記評価値を統合して統合評価値を算出する評価値統合手段（例えば、図１のＣＰＵ７１等）と、
前記評価値統合手段により算出された統合評価値に基づいて、前記運動体の運動パラメータを推定する運動パラメータ推定手段（例えば、図１のＣＰＵ７１等）とを備えることを特徴としている。
【０００８】
請求項２に記載の発明は、請求項１に記載の撮像装置において、
前記評価値算出手段は、
前記運動体の想定される運動速度範囲に基づいて、前記画像における前記運動体の位置を推定する運動体推定手段（例えば、図１のＣＰＵ７１等）を備え、
前記評価値統合手段は、
前記運動速度範囲に基づいて、前記画像における前記運動体の想定される想定動きベクトルを推定する想定動きベクトル推定手段（例えば、図１のＣＰＵ７１等）と、
前記想定動きベクトル推定手段により推定された前記想定動きベクトルに係る前記運動体を含む画像の撮像順序に基づいて当該想定動きベクトルを補正して、補正済み動きベクトルを算出する補正済み動きベクトル算出手段（例えば、図１のＣＰＵ７１等）とを備え、
前記運動体推定手段により推定された前記運動体の位置と、前記想定動きベクトル推定手段により推定された前記想定動きベクトルと、前記補正済み動きベクトル算出手段により算出された前記補正済み動きベクトルに基づいて、前記統合評価値を算出することを特徴としている。
【０００９】
請求項３に記載の発明は、請求項２に記載の撮像装置において、
前記運動速度範囲はスポーツの種類に応じて求められることを特徴としている。
【００１０】
請求項４に記載の発明のプログラムは、
コンピュータ（例えば、図１のデジタルカメラ１００等）に、
高速度で運動する運動体を含む画像に係る複数の連続した画像情報の各々に基づいて、前記画像の所定位置に前記運動体が存する確度に係る評価値を算出する機能と、
前記運動体が所定の運動パラメータに従って運動したと推定して、複数の前記評価値を統合して統合評価値を算出する機能と、
算出された統合評価値に基づいて、前記運動体の運動パラメータを推定する機能と、
を実現させることを特徴としている。
【発明の効果】
【００１１】
本発明によれば、各画像にて運動体の位置の推定を適正に行うことができない場合であっても、運動体の運動パラメータの推定を適正に行うことができ、この結果、運動体の位置の検出を適正に行うことができる。
【発明を実施するための最良の形態】
【００１２】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態のデジタルカメラ１００の概略構成を示すブロック図である。
【００１３】
本実施形態のデジタルカメラ（撮像装置）１００は、例えば、野球、テニス、ゴルフといったスポーツシーンにて高速度で運動するボール等の運動体を撮像して、その運動速度を推定するものである。
具体的には、デジタルカメラ１００は、例えば、図１に示すように、ボール等の被写体を撮像する撮像部１と、この撮像部１による被写体の撮像の際に駆動する撮像補助部２と、撮像部１により撮像された画像を表示する表示部３、当該デジタルカメラ１００の所定操作を行うための操作部４と、撮像された画像を記録する記録媒体５と、外部機器との接続用のＵＳＢ端子６と、これら各部を制御する制御部７等を備えて構成されている。
【００１４】
撮像部１は、例えば、フォーカス機能及びズーム機能を有し、複数の撮像レンズからなる撮像レンズ群１１と、この撮像レンズ群１１を通過した被写体像を二次元の画像信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等からなる電子撮像部１２と、この電子撮像部１２から出力される画像信号に対して所定の画像処理を施す映像信号処理部１３と、画像処理後の画像信号を一時的に記憶する画像メモリ１４と、ＣＰＵ７１の制御下にて、電子撮像部１２及び映像信号処理部１３を制御するための撮影制御部１５等を備えている。
【００１５】
また、撮像部１は、例えば、ユーザによる操作部４のモード設定ボタン４１ｂの所定操作に基づいて連続撮像モードに切り換えられた場合に、高速度で撮像を連続して行うことができ、具体的には、露光時間を１／３００秒として３００ｆｐｓで撮像（画像の取り込み）を行うことができるようになっている。
即ち、撮像部１は、撮像手段として、スポーツの種類に応じて使用されるボール等の運動体が高速度で運動中に、当該運動体を含む画像を電子撮像部１２により連続して撮像して複数の画像フレーム（画像情報）を映像信号処理部１３に出力するようになっている。
【００１６】
撮像補助部２は、例えば、撮像レンズ群１１に接続されたフォーカス機構部（図示略）を駆動させるためのフォーカス駆動部２１と、撮像レンズ群１１に接続されたズーム機構部（図示略）を駆動させるためのズーム駆動部２２等を備えている。
これらフォーカス駆動部２１及びズーム駆動部２２は、例えば、撮影制御部１５に接続され、撮影制御部１５の制御下にて駆動するようになっている。
【００１７】
表示部３は、例えば、ＣＰＵ７１から適宜出力される表示データを一時的に保存するビデオメモリ（ＶＲＡＭ）を備える表示制御部３１と、この表示制御部３１からの出力信号に基づいて所定の画像を表示する液晶モニタ等の画像表示部３２等を備えている。
【００１８】
操作部４は、例えば、当該デジタルカメラ１００の各部に設けられ、撮像部１による被写体の撮像を指示するシャッターボタン４１ａ、撮像モードを通常撮像モードや連続撮像モード等に切り替えて設定するためのモード設定ボタン４１ｂ、撮像シーンとして野球、テニス、ゴルフ等のスポーツの種類を選択するためのスポーツ選択ボタン４１ｃ等の各種操作スイッチ等を備える操作入力部４１と、この操作入力部４１から入力された操作信号をＣＰＵ７１に入力するための入力回路４２等を備えている。
【００１９】
記録媒体５としては、例えば、カード型の不揮発性メモリ（フラッシュメモリ）やハードディスク等を適用することができる。
【００２０】
制御部７は、例えば、デジタルカメラ１００の各部を統括的に制御するＣＰＵ７１と、ＣＰＵ７１の動作に必要な各種プログラムやデータを記憶するプログラムメモリ７２と、画像データ記憶用の内蔵フラッシュメモリであるデータメモリ７３等を備えている。
【００２１】
プログラムメモリ７２は、例えば、評価値算出プログラム７２ａ、ぶれ幅範囲推定プログラム７２ｂ、運動体推定プログラム７２ｃ、評価値統合プログラム７２ｄ、想定動きベクトル推定プログラム７２ｅ、補正済み動きベクトル算出プログラム７２ｆ、運動パラメータ推定プログラム７２ｇ等を記憶している。
【００２２】
評価値算出プログラム７２ａは、ＣＰＵ７１を評価値算出手段として機能させるものである。即ち、評価値算出プログラム７２ａは、連続して撮像され電子撮像部１２から出力された複数の画像フレームの各々に基づいて、画像の所定位置にボールが存する確度に係る評価値を算出する評価値算出処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、評価値算出処理では、ボールのぶれ幅範囲を推定するぶれ幅範囲推定処理を実行して、その後に、算出された評価値に基づいて運動体推定処理を実行するようになっている（詳細後述）。
【００２３】
ぶれ幅範囲推定プログラム７２ｂは、ＣＰＵ７１をぶれ幅範囲推定手段として機能させるものである。即ち、ぶれ幅範囲推定プログラム７２ｂは、各種スポーツシーンでのスポーツの種類に応じたボールの想定される運動速度範囲に基づいて、画像にてボールのぼやけが生じるであろうと予想されるぶれ幅範囲ｒを推定するぶれ幅範囲推定処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、ＣＰＵ７１によるぶれ幅範囲推定プログラム７２ｂの実行に基づいて、ユーザによるスポーツ選択ボタン４１ｃの所定操作に基づいて選択されたスポーツにて用いられるボールの運動速度範囲、ボールの画像上における大まかな寸法（半径）、撮像部１の露光時間（例えば、１／３００秒程度）に基づいて、ボールのぶれ幅範囲ｒを推定するようになっている。
【００２４】
ここで、ボールのぶれ幅範囲ｒの推定方法について、図２を参照してより詳細に説明する。
先ず、ボールが写っている画像フレームに基づいて、ボールの半径ｒ０の画像上における大まかな大きさ（寸法）を指定する。
半径ｒ０の大きさの指定は、例えば、ユーザによる操作部の所定操作に基づいてボールの画像距離単位の大きさを直接指定するようにしても良いし、当該画像上にて基準となる物体（例えば、人間の身長等）を指定して、当該基準物体との比率を用いてボールの半径ｒ０を間接的に導出するようにしても良いし、実際のボールの物理的な大きさとボールまでの物理的な距離とデジタルカメラ１００の焦点距離を指定してボールの半径ｒ０を間接的に導出するようにしても良い。
なお、ボールを静止状態で長時間露光して撮像することができる場合、例えば、当該ボールの径を円のHough変換等によって認識しても良い。
【００２５】
そして、ボールの半径ｒ０と撮像時の露光時間とボールの運動速度範囲に応じた運動画素距離ｓに基づいて、ボールのぶれ幅範囲ｒを推定する。
ここで、ボールの運動画素距離ｓは、例えば、スポーツの種類に応じたボールの運動速度範囲と撮像時の露光時間に基づいて規定され、その最小値をｓ１とし最大値をｓ２とする。
具体的には、ボールのぶれ幅範囲の最小値ｒ１（＝max（ｒ０，ｓ１／２））は、ボールのぶれが大きくなるとレーストラック形状の両端の半円状の部分の輝度が次第に薄くなることを考慮して、その後の処理に余裕を持たせるためにボールの半径ｒ０とボールの運動画素距離ｓ１の大きい方とする。また、ボールのぶれ幅範囲の最大値ｒ２（＝ｒ０＋ｓ２／２）は、ボールの半径ｒ０とボールの運動画素距離ｓ２の和とする。
【００２６】
なお、ボールの運動速度範囲は、例えば、野球の投手の投球速度を測定する場合には、時速１００〜１６０km程度である。
【００２７】
運動体推定プログラム７２ｃは、ＣＰＵ７１を運動体推定手段として機能させるものである。即ち、運動体推定プログラム７２ｃは、ぶれ幅範囲推定処理にて推定されたボールのぶれ幅範囲に基づいて、撮像部１から出力され入力された画像フレームを解析して画像におけるボールの位置を推定する運動体推定処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、ＣＰＵ７１による運動体推定プログラム７２ｃの実行に基づいて、ボールのぶれ幅範囲とその種類（半径ｒ）に応じて寸法が規定される領域である第１領域Ａ１と、第１領域Ａ１に隣合う外側の領域である第２領域Ａ２の画素の分離度に基づいて、画像におけるボールの位置を推定するようになっている。
【００２８】
ここで、運動体推定処理について、図２を参照してより詳細に説明する。
運動体推定処理は、画像の所定位置にボールが存する確度に係る評価値として第１領域Ａ１と第２領域Ａ２の画素の分離度を算出し、当該分離度は第１領域Ａ１（内側）がボールの輪郭に対応した大きさとなるときに最大値となることを考慮してボールの位置を推定するようになっている。
具体的には、例えば、図２に示すように、画像Ｇ上の所定の座標（ｘ，ｙ）を中心として、（ｘ−２ｒ，ｙ−２ｒ０）、（ｘ−２ｒ，ｙ＋２ｒ０）、（ｘ＋２ｒ，ｙ−２ｒ０）、（ｘ＋２ｒ，ｙ＋２ｒ０）を頂点とする矩形領域を全体領域Ａ０とし、このうち、（ｘ−ｒ，ｙ−ｒ０）、（ｘ−ｒ，ｙ＋ｒ０）、（ｘ＋ｒ，ｙ−ｒ０）、（ｘ＋ｒ，ｙ＋ｒ０）を頂点とする矩形領域を第１領域Ａ１とし、全体領域Ａ０のうちの第１領域Ａ１以外の領域を第２領域Ａ２とする。
そして、全体領域Ａ０の画素数を「Ｎ」、各画素値（輝度値）を「Ｐｉ」、画素値平均を「Ｐmave」とし、第１領域Ａ１の画素数を「ｎ１」、画素値平均を「Ｐ１ave」とし、第２領域Ａ２の画素数を「ｎ２」、画素値平均を「Ｐ２ave」とした場合に、分離度ηは、下記式（１）のように表される。
【数１】


なお、画素値としては、例えば、輝度値に代えて特定の色成分や色相等を利用しても良い。
【００２９】
式（１）の分離度ηは、全体の変動に占める第１領域Ａ１と第２領域Ａ２の領域間の変動の割合を示しており、領域間を最良に分離するときに最大値をとるようになっている。
即ち、１枚の入力画像フレームにおいて、中心座標（ｘ，ｙ）を所定の座標に固定した状態で、ボールのぶれ幅範囲ｒを最小値ｒ１から最大値ｒ２まで所定の刻み幅（例えば、１〜数画素）で変更してループにより各々の分離度ηを算出する。
【００３０】
ここで、上記の分離度ηは、０〜１の範囲に正規化された値であるため、異なる大きさや形状の領域に適用しても単純に比較することができる点で有用である。
つまり、評価値は分離度ηに限られるものではないが、分離度η以外を用いる場合、即ち、例えば、テンプレートマッチング等の場合には、差分二乗和を領域画素数で除算して適合率に変更するなどの正規化が必要となる場合がある。
【００３１】
評価値統合プログラム７２ｄは、ＣＰＵ７１を評価値統合手段として機能させるものである。即ち、評価値統合プログラム７２ｄは、ボールが所定方向に所定速度（運動パラメータ）で運動したと推定して、評価値算出処理により算出された複数の評価値を累算（統合）して統合評価値を算出する評価値累算処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、ＣＰＵ７１による評価値統合プログラム７２ｄの実行に基づいて、運動体位置推定処理にて推定されたボールの位置と、想定動きベクトル推定処理（後述）にて推定されるボールの想定動きベクトルと、補正済み動きベクトル算出処理（後述）にて算出される補正済み動きベクトルに基づいて、統合評価値を算出するようになっている。
【００３２】
先ず、想定動きベクトル推定処理について説明する。
想定動きベクトル推定処理は、ＣＰＵ７１による想定動きベクトル推定プログラム７２ｅの実行に基づいて実行される。
想定動きベクトル推定プログラム７２ｅは、スポーツシーンでのボールの想定される運動速度範囲及びフレーム間隔に基づいて、画像におけるボールの想定される想定動きベクトル「ｘｄ」、「ｙｄ」を推定する想定動きベクトル推定処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
ここで、想定動きベクトル推定プログラム７２ｅは、ＣＰＵ７１を想定動きベクトル推定手段として機能させるものである。
【００３３】
次に、補正済み動きベクトル算出処理について説明する。
補正済み動きベクトル算出処理は、ＣＰＵ７１による補正済み動きベクトル算出プログラム７２ｆの実行に基づいて実行される。
補正済み動きベクトル算出プログラム７２ｆは、後述するループにより想定動きベクトルが変更される毎に、当該想定動きベクトルに係るボールを含む画像の撮像順序に基づいて、想定動きベクトル「ｘｄ」、「ｙｄ」を補正して、補正済み動きベクトル「ｘ’ｄ」、「ｙ’ｄ」を算出する処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
ここで、補正済み動きベクトル算出プログラム７２ｆは、ＣＰＵ７１を補正済み動きベクトル算出手段として機能させるものである。
【００３４】
より具体的には、ＣＰＵ７１は、下記式（２）に従って、ｘ軸方向（左右幅方向）の想定動きベクトル「ｘｄ」に画像フレームの撮像番号ｐを乗算するとともに、動きベクトルの算出に係る画像枚数（即ち、総画像枚数Ｌから基準画像（ｐ＝０）１枚を引いた枚数）で除算して、補正済み動きベクトル「ｘ’ｄ」を算出するようになっている。また、ＣＰＵ７１は、下記式（３）に従って、ｙ軸方向（上下方向）の想定動きベクトル「ｙｄ」に画像フレームの撮像番号ｐを乗算するとともに、動きベクトルの算出に係る画像枚数で除算して、補正済み動きベクトル「ｙ’ｄ」を算出するようになっている。
【数２】


【数３】


【００３５】
そして、評価値累算処理にて、ＣＰＵ７１は、ボールの位置（ｘ，ｙ）をそれぞれ所定の刻み幅で変更してループを回すとともに、想定動きベクトル推定処理にて推定されたボールの動きベクトル（ｘｄ，ｙｄ）をボールの運動速度範囲に応じた運動画素距離ｓに基づいて変更してループを回し、補正済み動きベクトル算出処理にて補正済み動きベクトル（ｘ’ｄ，ｙ’ｄ）を算出して、下記式（４）に従って、累算評価値を表す４次元実数配列Ａ[ｘ] [ｙ] [ｘｄ] [ｙｄ]の値を加算していく。
【数４】


これにより、例えば、図３（ａ）〜図３（ｄ）に示すように、総画像枚数Ｌが３枚の場合、所定位置（ｘ，ｙ）にてボールの基準画像（ｐ＝０）に１枚目の画像（ｐ＝１）及び２枚目の画像（ｐ＝２）が補正済み動きベクトル（ｘ’ｄ，ｙ’ｄ）の分ずつずらした状態で加算（累算）されていくこととなる（図３（ｄ）参照）。
なお、図３（ａ）〜図３（ｄ）はボール輪郭を模式的に示した説明図であり、実際に輪郭処理を行うわけではない。また、図３（ａ）〜図３（ｄ）における標識「○」、「△」、「□」は、ボールの背景に存する背景画像（静物体）の存在する位置を模式的に表している。
【００３６】
なお、配列Ａに関するループのうち、ボールの位置（ｘ，ｙ）の刻み幅は、適宜適当な値に設定することで、メモリの容量と処理時間の削減を図ることができる。
【００３７】
運動パラメータ推定プログラム７２ｇは、ＣＰＵ７１を運動パラメータ推定手段として機能させるものである。即ち、運動パラメータ推定プログラム７２ｇは、評価値累算処理により算出された統合評価値に基づいて、ボールの運動速度（運動パラメータ）を推定する運動パラメータ推定処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、ＣＰＵ７１は、全ての画像ｐに関するループが終了すると、運動パラメータ推定プログラム７２ｇの実行に基づいて、配列Ａの各要素のうち、最大値を示す「ｘmax」、「ｙmax」、「ｘdmax」、「ｙdmax」を探索して、当該最大値を示す要素に基づいてボールの推定位置を（ｘmax，ｙmax）とし、基準画像（ｐ＝０）と「Ｌ−１」番目の画像の間の推定動きベクトルを（ｘdmax，ｙdmax）とする。そして、ＣＰＵ７１は、ボールの推定位置（ｘmax，ｙmax）と推定動きベクトルを（ｘdmax，ｙdmax）から画素距離ｄ（図３（ｄ）参照）を算出して、画像フレーム間隔と物理距離に対する所定の変換係数に基づいて、ボールの速度に換算するようになっている。
【００３８】
次に、速度算出処理について図４〜図６を参照して説明する。
ここで、図４は、速度算出処理に係る動作の一例を示すフローチャートである。
【００３９】
速度算出処理にあっては、図４に示すように、ＣＰＵ７１は、評価値累算処理に係る４次元実数配列Ａの全ての要素[ｘ] [ｙ] [ｘｄ] [ｙｄ]の値をクリアする（ステップＳ１）。
続けて、総画像枚数Ｌの各画像に関して、評価値算出処理及び評価値累算処理をループにより演算する処理を行う（ステップＳ２１〜ステップＳ２６）。
【００４０】
ＣＰＵ７１は、処理対象となる画像ｐを記録媒体等から読み出し、当該画像が入力されると（ステップＳ２２）、先ず、評価値算出処理を行う（ステップＳ２３）。
【００４１】
以下に、評価値算出処理について図５を参照して説明する。
図５は、評価値算出処理に係る動作の一例を示すフローチャートである。
【００４２】
評価値算出処理にあっては、図５に示すように、ＣＰＵ７１は、ボールの中心座標（ｘ，ｙ）を所定の刻み幅で変更するとともに、ボールのぶれ幅範囲ｒを所定の刻み幅で変更してループにより分離度ηを算出するようになっている。
即ち、ＣＰＵ７１は、ボールの中心座標（ｘ，ｙ）のうち、座標ｙに関するループ（ループ１）の演算（ステップＳ２０１〜Ｓ２１１）の中で、座標ｘに関するループ（ループ２）の演算（ステップＳ２０２〜Ｓ２１０）を行い、その中でボールのぶれ幅範囲ｒに関するループ（ループ３）の演算（ステップＳ２０４〜Ｓ２０８）を行う。
【００４３】
先ず、ＣＰＵ７１は、ユーザによるスポーツ選択ボタン４１ｃの所定操作に基づいて所定のスポーツが選択されると、プログラムメモリ７２から読み出した評価値算出プログラム７２ａの実行に基づいて、ボールの中心座標（ｘ，ｙ）のうち、座標ｙを所定の座標に固定し、続けて、座標ｘを所定の座標に固定する（ステップＳ２０１及びＳ２０２）。
【００４４】
次に、ＣＰＵ７１は、分離度記憶用メモリの値ｍをクリアし（ステップＳ２０３）、続けて、ぶれ幅範囲推定プログラム７２ｂの実行に基づいてボールのぶれ幅範囲を推定した後、運動体推定プログラム７２ｃの実行に基づいて、ボールのぶれ幅範囲ｒを最小値ｒ１から最大値ｒ２の範囲で変更してループ３により分離度ηを算出する（ステップＳ２０４〜Ｓ２０８）。具体的には、ＣＰＵ７１は、分離度ηを算出する毎に（ステップＳ２０５）、分離度記憶用メモリの値ｍと比較して（ステップＳ２０６）、算出された分離度ηの方が大きいと判定されると（ステップＳ２０６；ＹＥＳ）、当該分離度ηに係る評価値ｖ（ｘ，ｙ，ｒ）に分離度記憶用メモリの値ｍを書き換えるようになっている（ステップＳ２０７）。
上記の処理は、ボールのぶれ幅範囲ｒを最小値ｒ１から最大値ｒ２の間で変更して、全ての分離度ηが算出されると、ぶれ幅範囲ｒに関するループ３を終了する（ステップＳ２０８）。
これにより、ｒに関して最大の分離度が分離度記憶用メモリに記憶された状態となる。
【００４５】
続けて、ＣＰＵ７１は、分離度記憶用メモリの値ｍ、即ち、ｒに関して最大の分離度を（ｘ，ｙ）に関する評価値とし、２次元実数配列Ｆ[ｘ] [ｙ]に格納する（ステップＳ２０９）。
ここで、分離度最大値を与えたときのぶれ幅範囲ｒについては、例えば、異常値を除外する目的で所定のメモリに保存するようにしても良い。
【００４６】
そして、ＣＰＵ７１は、上記の処理をボールの中心座標候補（ｘ，ｙ）のうち、座標ｙを所定の座標に固定した状態で、座標ｘを所定の刻み幅（例えば、１〜数画素）で変更してループ２を行って分離度ηを算出し、全ての分離度ηが算出されると、座標ｘに関するループ２を終了する（ステップＳ２０２〜Ｓ２１０）。
また、ＣＰＵ７１は、ボールの中心座標（ｘ，ｙ）のうち、座標ｙを所定の刻み幅（例えば、１〜数画素）で変更してループ１を行って分離度ηを算出し、全ての分離度ηが算出されると、座標ｙに関するループ１を終了する（ステップＳ２０１〜Ｓ２１１）。
【００４７】
上記の処理によって、各座標（ｘ，ｙ）毎に求められた評価値の配列Ｆ[ｘ] [ｙ]が構成された。この配列Ｆを、分離度マップと呼ぶことにする。
【００４８】
次に、ＣＰＵ７１は、分離度マップの差分計算を行う（ステップＳ２４）。
即ち、ＣＰＵ７１は、２枚目以降の画像フレームに対する分離度マップＦｉに対して、その直前の画像フレームに対する分離度マップＦｉ−１との間でフレーム間差分をとる分離度マップの差分計算を行う。具体的には、ｉ番目の画像フレームの分離度マップＦｉ[ｘ] [ｙ]からｉ−１番目の画像フレームの分離度マップＦｉ−１[ｘ] [ｙ]を画素毎に減算して、減算後の値をｉ番目の画像フレームの分離度マップ差分Ｄｉ[ｘ] [ｙ]とする。
或いは、差分値そのものの代わりに、画素毎にＦｉ[ｘ] [ｙ] ＞Ｆｉ−１[ｘ] [ｙ]となるか否かを判定して、Ｆｉ[ｘ] [ｙ] ＞Ｆｉ−１[ｘ] [ｙ]となるならばＤｉ[ｘ] [ｙ]＝Ｆｉ[ｘ] [ｙ]とし、それ以外はＤｉ[ｘ] [ｙ]＝０とするマスク処理を行うようにしても良い。
【００４９】
この分離度マップの差分計算により、静物体の影響を除去することができる。
つまり、背景にボールと略等しい大きさの静物体（或いは、図柄模様等）が存在する場合には、分離度がボール同様に高くなって、全ての画像フレームについて評価値の累算を行っても、紛らわしい静物体が残ってしまい、さらに、ほぼ等しい間隔で並んでいる場合には運動するボールと誤認される虞もあるためである。
ここで、画像の輝度値のフレーム間差分を直接とると、フレーム間やフレーム内の照明変動により静物体を正しく除去することができない虞があるが、分離度は輝度値の大きさに捉われずに正規化された値であるため、分離度マップのフレーム間差分は適正に静物体を除去することができると考えられる。
【００５０】
なお、当該差分計算は、一種のフレーム間差分であるので、手持ち撮像の場合には、可能なら動き補償を行うべきである。ただし、ハイスピードカメラの場合、カメラの動きが小さく、それに対して分離度マップの隣接画素間の相関が強いため、動き補償を省略しても通常は問題とはならないと考えられる。
【００５１】
その後、ＣＰＵ７１は、評価値累算処理を行う（ステップＳ２５；図４参照）。
以下に、評価値累算処理について図６を参照して説明する。
図７は、評価値累算処理に係る動作の一例を示すフローチャートである。
【００５２】
評価値累算処理にあっては、図６に示すように、ＣＰＵ７１は、ボールの中心座標（ｘ，ｙ）を所定の刻み幅で変更するとともに、ボールの想定動きベクトル（ｘｄ，ｙｄ）を所定の刻み幅で変更して、補正済み動きベクトルの算出後、４次元実数配列Ａの値を算出するようになっている。
即ち、ＣＰＵ７１は、ボールの中心座標（ｘ，ｙ）のうち、座標ｙに関するループ（ループ４）の演算（ステップＳ３０１〜Ｓ３１１）の中で、座標ｘに関するループ（ループ５）の演算（ステップＳ３０２〜Ｓ３１０）を行い、さらに、その中で、動きベクトル（ｘｄ，ｙｄ）のうち、ｙ軸動きベクトルに関するループ（ループ６）の演算（ステップＳ３０３〜ステップＳ３０９）を行い、さらに、その中で、ｘ軸動きベクトルに関するループ（ループ７）の演算（ステップＳ３０４〜Ｓ３０８）を行う。
【００５３】
先ず、ＣＰＵ７１は、プログラムメモリ７２から読み出した評価値統合プログラム７２ｄの実行に基づいて、ボールの中心座標（ｘ，ｙ）のうち、座標ｙを所定の座標に固定し、続けて、座標ｘを所定の座標に固定する（ステップＳ３０１及びＳ３０２）。
【００５４】
次に、ＣＰＵ７１は、想定動きベクトル推定プログラム７２ｅの実行に基づいて、ボールの動きベクトル（ｘｄ，ｙｄ）を推定した後、当該動きベクトル（ｘｄ，ｙｄ）のうち、ｙ軸動きベクトルを固定した後、ｘ軸動きベクトルをボールの運動速度範囲に応じた運動画素距離ｓに基づいて変更してループを回す（ステップＳ３０４）。
続けて、ＣＰＵ７１は、補正済み動きベクトル算出プログラム７２ｆの実行に基づいて、補正済み動きベクトル「ｘ’ｄ」、「ｙ’ｄ」を算出する（ステップＳ３０５及びＳ３０６）。
次に、ＣＰＵ７１は、ボールの位置（ｘ，ｙ）、ボールの動きベクトル（ｘｄ，ｙｄ）、補正済み動きベクトル（ｘ’ｄ，ｙ’ｄ）に基づいて、４次元実数配列Ａ[ｘ] [ｙ] [ｘｄ] [ｙｄ]にＦ[ｘ＋ｘ’ｄ] [ｙ＋ｙ’ｄ]を加算する（ステップＳ３０７）。
上記の処理は、ｘ軸動きベクトルをボールの運動速度範囲に応じた運動画素距離ｓに基づいて変更して、配列Ａに全て加算されると、ｘ軸動きベクトルに関するループ７を終了する（ステップＳ３０８）。
【００５５】
そして、ＣＰＵ７１は、上記の処理をボールの中心座標（ｘ，ｙ）を固定した状態で、ｙ軸動きベクトルをボールの運動速度範囲に応じた運動画素距離ｓに基づいて変更してループ６を回して、配列Ａに全て加算されると、ｙ軸動きベクトルに関するループ６を終了する（ステップＳ３０３〜Ｓ３０９）。
また、ＣＰＵ７１は、ボールの中心座標（ｘ，ｙ）のうち、座標ｙを所定の座標に固定した状態で、座標ｘを所定の刻み幅（例えば、１〜数画素）で変更してループ５を回して、配列Ａに全て加算されると、座標ｘに関するループ５を終了する（ステップＳ３０２〜Ｓ３１０）。
また、ＣＰＵ７１は、ボールの中心座標（ｘ，ｙ）のうち、座標ｙを所定の刻み幅（例えば、１〜数画素）で変更してループ４を回して、配列Ａに全て加算されると、座標ｙに関するループ４を終了する（ステップＳ３０１〜Ｓ３１１）。
【００５６】
そして、全ての画像ｐに関するループが終了すると（ステップＳ２６；図４参照）、ＣＰＵ７１は、プログラムメモリ７２から読み出した運動パラメータ推定プログラム７２ｇの実行に基づいて、配列Ａの各要素のうち、最大値を探索して、その指標値「ｘmax」、「ｙmax」、「ｘdmax」、「ｙdmax」を取得（保持）する（ステップＳ３）。
次に、ＣＰＵ７１は、最大値を示す要素に基づいてボールの推定位置を（ｘmax，ｙmax）とし、基準画像（ｐ＝０）と「Ｌ−１」番目の画像の間の推定動きベクトルを（ｘdmax，ｙdmax）として、ボールの推定位置（ｘmax，ｙmax）と推定動きベクトルを（ｘdmax，ｙdmax）から画素距離ｄ（図３（ｄ）参照）を算出する（ステップＳ４）。
続けて、ＣＰＵ７１は、画素距離ｄを画像フレーム間隔と物理距離に対する所定の変換係数に基づいて、物体の速度に換算して（ステップＳ５）、画像表示部に表示させる（ステップＳ６）。
【００５７】
以上のように、本実施形態のデジタルカメラ１００によれば、連写画像にて、各画像の所定位置にボールが存する確度に係る評価値を累算して統合評価値を算出することができる。即ち、スポーツシーンでのボールの想定される運動速度範囲を考慮して画像情報の解析を行って、画像におけるボールの位置を算出して、各画像の所定位置にボールが存する確度に係る評価値を算出することができる。そして、連写画像の各画像におけるボールの位置（ｘ，ｙ）と想定動きベクトル（ｘｄ，ｙｄ）と補正済み動きベクトル（ｘ’ｄ，ｙ’ｄ）に基づいて、４次元実数配列Ａを用いて統合評価値を適正に算出することができる。
従って、各画像にてボールの位置の推定を適正に行うことができない場合であっても、統合評価値に基づいてボールの運動速度の推定を適正に行うことができ、ボールの位置の検出を適正に行うことができる。
つまり、ボールと同じような運動をしていない限り、多少紛らわしい物体であっても誤認識されることはなくなって、照明変動を補償して背景差分画像を作成するといった処理を行わずに原画像をそのまま処理することができる。
このように、画像情報のみからボールの速度を適正に算出することができ、スポーツや計測等においてデジタルカメラ１００をスピードガンとして代替することができる。
【００５８】
また、評価値Ｆ[ｘ] [ｙ]の累算を行ってボールの速度を推定する際に、算出された評価値Ｆ[ｘ] [ｙ]を単に用いるのではなく、分離度マップ差分Ｄｉ[ｘ] [ｙ]を計算して当該差分値を用いることにより、背景画像中の静物体の影響を除去することができ、ボールの速度の推定をよりロバストに行うことができる。
【００５９】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、４次元評価値配列Ａに関する累算は、画像の縦横の次元と対応する２次元評価値を時間軸に並べた３次元の時空間としてみた場合に、３次元空間内の直線に対する重みつき投票とみなすことができ、従って、空間直線のHough変換によって累算を行っても良い。
また、ループの順番を換えることで、４次元評価値配列Ａは、配列でなく単純変数ですませることもできる。即ち、フレーム毎の評価値算出処理を所定フレーム枚数N分、先に行っておき、その結果を全て３次元配列Ｆ[ｐ] [ｘ] [ｙ]（ｐは０からＮ−１）に保存しておく。そして、評価値累算ループを外側からｘ、ｙ、ｘｄ、ｙｄ、ｐの順番で行えば、累算ループと最大値探索ループを一つに統合でき、単純に累算評価値の最大値aとその最大値を与える動きベクトル値を保持するだけですむ。
なお、評価値算出、評価値累算及び最大値探索に係る具体的な演算処理は、上記実施形態と同様であり、その説明は省略するものとする。
【００６０】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態では、デジタルカメラ１００をプログラムが記録されたパーソナルコンピュータ（ＰＣ）等の外部機器とＵＳＢ端子６を介して接続して、ボールの撮像画像データを転送し、当該ＰＣにてボールの運動速度の推定処理を行うようにしても良い。
【００６１】
また、評価値累算処理における評価値の統合方法は、上記実施形態における評価値の累算に限られるものではなく、例えば、二乗平均等の方法であっても良い。
【００６２】
さらに、上記実施形態では、ボールの運動を等速直線運動として説明したが、これに限られるものではなく、例えば、放物線軌道の運動であっても良く、この場合、画像フレームの取得タイミングに応じて垂直方向の座標をｙ軸方向に動きベクトルｙ’ｄだけずらして評価値を取得しても良い。
【００６３】
また、上記実施形態では、全ての画像の評価値を累算するようにしたが、処理の高速化の観点からは、例えば、評価値が所定の値以上の座標についてのみ累算を行うようにしても良いし、所定の撮像順序の画像までに所定値以上の累算評価値が得られた座標のみ、それ以降の評価値の累算を行うようにしても良い。
【００６４】
さらに、上記実施形態における評価値算出処理及び評価値累算処理中の各ループの順序は、例示したものに限られるものではなく、適宜変更することができる。
【００６５】
加えて、上記実施形態では、評価値算出処理後に、分離度マップの差分計算を行うようにしたが、これに限られるものではなく、当該差分計算を行うか否かは適宜変更することができる。即ち、背景がほとんど平坦であればボールの誤認は生じないと考えられるので、評価値算出処理後に評価値累算処理を行うようにしても良い。
【００６６】
また、上記実施形態では、原画像を直接処理するようにしたが、背景差分画像を用いても良く、この場合、画像枚数が少ない場合等に特に有用であると考えられる。
【００６７】
さらに、フレーム間の手ぶれ除去する回路やソフトウェア処理、例えば、背景物体の運動ベクトル検出値に基づく平行運動、アフィン変換、射影変換等の画像処理を行うようにしても良く、この場合、三脚を使わずに、且つ、フレームレートが比較的低い画像や望遠画像等に対して検出精度を向上させることができる。
【００６８】
また、上記実施形態では、第１領域Ａ１及び第２領域Ａ２として外形矩形状の領域を例示したが、領域の形状はこれに限られるものではなく、例えば、ボールのぼやけを考慮してレーストラック形状としても良い。また、例えば、ゴルフのティーショット等のようにボールの運動方向が水平方向よりもずれて傾く場合、即ち、その傾きを検出したりスポーツの性質上ボールの運動方向が傾くことがわかっている場合には、第１領域Ａ１及び第２領域Ａ２に所定の角度をつけて傾けても良い。
【００６９】
さらに、上記実施形態では、運動体として、野球、テニス、ゴルフといった球技に用いられるボールを例示したが、運動体の形状はこれに限られるものではなく、例えば、バドミントンのシャトルといった球形以外の運動体であっても良い。即ち、高速度撮像では、運動体の輪郭はぼやけて、テクスチャも平均化されてしまうので、極端に不均質な物体でない限り、平面視にて矩形やレーストラック形状のものであっても良い。
【図面の簡単な説明】
【００７０】
【図１】本発明を適用した一実施形態のデジタルカメラの概略構成を示すブロック図である。
【図２】図１のデジタルカメラによる分離度算出処理に係る第１領域及び第２領域を模式的に示す図である。
【図３】図１のデジタルカメラによる評価値累算処理に係る画像フレームを模式的に示す図である。
【図４】図１のデジタルカメラによる速度算出処理に係る動作の一例を示すフローチャートである。
【図５】図１のデジタルカメラによる評価値算出処理に係る動作の一例を示すフローチャートである。
【図６】図１のデジタルカメラによる評価値累算処理に係る動作の一例を示すフローチャートである。
【図７】デジタルカメラにより高速度撮像された画像を模式的に示す図である。
【符号の説明】
【００７１】
１００ デジタルカメラ（撮像装置）
１ 撮像部（撮像手段）
７１ ＣＰＵ（評価値算出手段、ぶれ幅範囲推定手段、運動体推定手段、評価値統合手段、想定動きベクトル推定手段、補正済み動きベクトル算出手段、運動パラメータ推定手段）
Ｇ 画像フレーム
Ａ１ 第１領域
Ａ２ 第２領域
【出願人】 【識別番号】０００００１４４３
【氏名又は名称】カシオ計算機株式会社
【出願日】 平成１８年８月３１日（２００６．８．３１）
【代理人】 【識別番号】１０００９００３３
【弁理士】
【氏名又は名称】荒船 博司

【識別番号】１０００９３０４５
【弁理士】
【氏名又は名称】荒船 良男
【公開番号】 特開２００８−６０９７４（Ｐ２００８−６０９７４Ａ）
【公開日】 平成２０年３月１３日（２００８．３．１３）
【出願番号】 特願２００６−２３６３４６（Ｐ２００６−２３６３４６）