トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 画像処理装置、画像処理方法およびプログラム
【発明者】 【氏名】小野 博明
【要約】 【課題】フレーム画像における被写体の動きを考慮して、軌跡合成画像を表示するための最適な撮像制御を行う。

【構成】軌跡生成部２００は、撮像された入力画像について軌跡合成画像を生成する。被写体状態検出部３００は、入力画像における被写体の状態を検出する。入力制御部５４６は、被写体状態検出部３００において検出された被写体の動く速度に応じて撮像間隔および露光時間を算出し、これら撮像間隔および露光時間に基づいて前記撮像の制御を行う。また、撮像制御部５４６は、被写体状態検出部３００において被写体が動いている状態であることが検出されている場合に入力画像を撮像するよう制御する。
【特許請求の範囲】
【請求項１】
時系列に入力される入力画像における被写体の状態を検出する被写体状態検出手段と、
前記検出された被写体の状態に応じて前記入力画像の撮像を制御する撮像制御手段と、
前記撮像制御手段によって撮像制御された入力画像の対応する画素位置の画素値を合成して出力画像として出力する画像合成手段と
を具備することを特徴とする画像処理装置。
【請求項２】
前記出力画像は前記被写体の軌跡を示す画像であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像合成手段は、
前記入力画像から所定の数の入力画像を選択画像として選択する画像選択手段と、
前記選択画像の対応する画素位置のそれぞれについて前記選択画像の画素値の中で所定の分布を有する画素値を背景画像の対応する画素位置の画素値として生成する背景生成手段と、
前記背景画像の画素値を保持する背景画像保持手段と、
前記出力画像の画素値を保持する出力画像保持手段と、
前記入力画像の画素値が背景画像保持手段に保持された前記背景画像の対応する画素値と相違する程度を示す相違度を生成する相違度生成手段と、
前記出力画像の画素値について前記相違度に応じて前記入力画像の対応する画素位置の画素値を合成して新たな出力画像の画素値として前記出力画像保持手段に保持させる出力画像合成手段とを具備する
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記被写体状態検出手段は、前記被写体の状態として前記被写体の動きを検出し、
前記撮像制御手段は、前記検出された被写体の動く速度に応じて撮像間隔を算出し、前記撮像間隔に基づいて前記撮像の制御を行う
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記撮像制御手段は、前記検出された被写体の動く速度が速いほど前記撮像間隔が短くなるようにする
ことを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記被写体状態検出手段は、前記被写体の状態として前記被写体の動きを検出し、
前記撮像制御手段は、前記検出された被写体の動く速度に応じて露光時間を算出し、前記露光時間に基づいて前記撮像の制御を行う
ことを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記撮像制御手段は、前記検出された被写体の動く速度が速いほど前記露光時間が短くなるようにする
ことを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記被写体状態検出手段は、前記被写体の状態として前記被写体の動きを検出し、
前記撮像制御手段は、前記被写体が動いている状態であれば前記入力画像を撮像するよう制御し、前記被写体が静止している状態であれば前記入力画像の撮像を停止するよう制御する
ことを特徴とする請求項１記載の画像処理装置。
【請求項９】
前記入力画像の撮像開始位置の指定を検出する開始検出手段をさらに具備し、
前記撮像制御手段は、前記撮像開始位置以降において、前記被写体が動いている状態であれば前記入力画像を撮像するよう制御し、前記被写体が静止している状態であれば前記入力画像の撮像を停止するよう制御する
ことを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記入力画像の撮像終了位置の指定を検出する終了検出手段をさらに具備し、
前記撮像制御手段は、前記撮像開始位置と前記撮像終了位置との間において、前記被写体が動いている状態であれば前記入力画像を撮像するよう制御し、前記被写体が静止している状態であれば前記入力画像の撮像を停止するよう制御する
ことを特徴とする請求項９記載の画像処理装置。
【請求項１１】
時系列に入力される入力画像における被写体の状態として前記被写体の動きを検出する被写体状態検出手順と、
前記検出された被写体の動く速度に応じて撮像間隔または露光時間を算出する算出手順と、
前記撮像間隔または前記露光時間に基づいて前記入力画像の撮像を制御する撮像制御手順と、
前記撮像制御された入力画像の対応する画素位置の画素値を合成して出力画像として出力する画像合成手順と
を具備することを特徴とする画像処理方法。
【請求項１２】
時系列に入力される入力画像における被写体の状態として前記被写体の動きを検出する被写体状態検出手順と、
前記検出された被写体の動く速度に応じて撮像間隔または露光時間を算出する算出手順と、
前記撮像間隔または前記露光時間に基づいて前記入力画像の撮像を制御する撮像制御手順と、
前記撮像制御された入力画像の対応する画素位置の画素値を合成して出力画像として出力する画像合成手順と
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に時系列に撮像された撮像画像における軌跡を表示する画像処理装置、および、その画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
時系列に撮像された複数の撮像画像（以下、フレーム画像という。）から動被写体の軌跡を示す画像（以下、軌跡合成画像という。）を生成する方法として、映像データから複数のフレーム画像を抽出し、輝度値に応じた重みを付けて一枚の静止画像を合成する方法が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開平１０−２９０４５０号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述の従来技術では、各フレーム画像における同一位置の画素において、輝度値の平均値からの距離が輝度値の分散以上離れている画素には大きい重みを付けて、輝度値の平均値からの距離が輝度値の分散以下に収まっている画素には小さい重みを付けて合成が行われ、その結果が出力画像の同一位置の画素として出力される。
【０００４】
しかしながら、従来技術では、フレーム画像を連写するために、撮像間隔や露光時間などをユーザが予め設定しなければならない。動被写体軌跡生成および再生が可能な撮像装置においては、動被写体の軌跡生成に最適な撮像間隔や露光時間をユーザが判断するのは困難である。そのため、設定した撮像間隔が長過ぎるために動被写体の軌跡画像における時間毎の軌跡の間隔が空いて軌跡が見難くなり、また、露光時間が長過ぎるために動被写体のブレが大きくなって軌跡が見難くなるといった不具合が生じ得る。
【０００５】
そこで、本発明は、フレーム画像における被写体の動きを考慮して、軌跡合成画像を表示するための最適な撮像制御を行うことを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、時系列に入力される入力画像における被写体の状態を検出する被写体状態検出手段と、上記検出された被写体の状態に応じて上記入力画像の撮像を制御する撮像制御手段と、上記撮像制御手段によって撮像制御された入力画像の対応する画素位置の画素値を合成して出力画像として出力する画像合成手段とを具備することを特徴とする画像処理装置である。これにより、被写体の状態に応じて合成対象となる入力画像の撮像を制御させるという作用をもたらす。
【０００７】
また、この第１の側面において、上記出力画像は上記被写体の軌跡を示す画像とすることができる。
【０００８】
また、この第１の側面において、上記画像合成手段が、上記入力画像から所定の数の入力画像を選択画像として選択する画像選択手段と、上記選択画像の対応する画素位置のそれぞれについて上記選択画像の画素値の中で所定の分布を有する画素値を背景画像の対応する画素位置の画素値として生成する背景生成手段と、上記背景画像の画素値を保持する背景画像保持手段と、上記出力画像の画素値を保持する出力画像保持手段と、上記入力画像の画素値が背景画像保持手段に保持された上記背景画像の対応する画素値と相違する程度を示す相違度を生成する相違度生成手段と、上記出力画像の画素値について上記相違度に応じて上記入力画像の対応する画素位置の画素値を合成して新たな出力画像の画素値として上記出力画像保持手段に保持させる出力画像合成手段とを具備することができる。これにより、時系列に入力される入力画像によって背景画像を更新し、入力画像の画素値との間の相違度に応じて出力画像の画素値を生成させるという作用をもたらす。
【０００９】
また、この第１の側面において、上記被写体状態検出手段が、上記被写体の状態として上記被写体の動きを検出し、上記撮像制御手段が、上記検出された被写体の動く速度に応じて撮像間隔を算出し、上記撮像間隔に基づいて上記撮像の制御を行うようにしてもよい。これにより、被写体の状態に応じて最適な撮像間隔で撮像を行わせるという作用をもたらす。例えば、上記撮像制御手段が、上記検出された被写体の動く速度が速いほど上記撮像間隔が短くなるようにしてもよい。
【００１０】
また、この第１の側面において、上記被写体状態検出手段が、上記被写体の状態として上記被写体の動きを検出し、上記撮像制御手段が、上記検出された被写体の動く速度に応じて露光時間を算出し、上記露光時間に基づいて上記撮像の制御を行うようにしてもよい。これにより、被写体の状態に応じて最適な露光時間で撮像を行わせるという作用をもたらす。例えば、上記撮像制御手段は、上記検出された被写体の動く速度が速いほど上記露光時間が短くなるようにしてもよい。
【００１１】
また、この第１の側面において、上記被写体状態検出手段が、上記被写体の状態として上記被写体の動きを検出し、上記撮像制御手段が、上記被写体が動いている状態であれば上記入力画像を撮像するよう制御し、上記被写体が静止している状態であれば上記入力画像の撮像を停止するよう制御するようにしてもよい。これにより、被写体が動いている状態に限り入力画像を撮像させるという作用をもたらす。
【００１２】
さらに、この第１の側面において、上記入力画像の撮像開始位置の指定を検出する開始検出手段をさらに具備し、上記撮像制御手段が、上記撮像開始位置以降において、上記被写体が動いている状態であれば上記入力画像を撮像するよう制御し、上記被写体が静止している状態であれば上記入力画像の撮像を停止するよう制御するようにしてもよい。これにより、指定された撮像開始位置以降において、被写体が動いている状態に限り入力画像を撮像させるという作用をもたらす。
【００１３】
さらに、この第１の側面において、上記入力画像の撮像終了位置の指定を検出する終了検出手段をさらに具備し、上記撮像制御手段が、上記撮像開始位置と上記撮像終了位置との間において、上記被写体が動いている状態であれば上記入力画像を撮像するよう制御し、上記被写体が静止している状態であれば上記入力画像の撮像を停止するよう制御するようにしてもよい。これにより、指定された開始位置と終了位置との間において、被写体が動いている状態に限り入力画像を撮像させるという作用をもたらす。
【発明の効果】
【００１４】
本発明によれば、フレーム画像における被写体の動きを考慮して、軌跡合成画像を表示するための最適な撮像制御を行うことができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００１５】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００１６】
図１は、本発明の実施の形態における画像処理装置の一態様としての撮像装置の一構成例を示す図である。この撮像装置は、大別して光学系、信号処理系、記録系、表示系、および、制御系から構成される。
【００１７】
光学系は、被写体の光画像を集光するレンズ１１と、光画像の光量を調整する絞り１２と、集光された光画像を光電変換して電気信号に変換する撮像素子１３とから構成される。撮像素子１３は、例えば、ＣＣＤ（Charge Coupled Devices）イメージセンサなどにより実現される。
【００１８】
信号処理系は、撮像素子１３からの電気信号をサンプリングするサンプリング回路２１と、サンプリング回路２１から供給されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路２２と、Ａ／Ｄ変換回路２２から入力されるデジタル信号に所定の画像処理を施す画像処理回路２３とから構成される。サンプリング回路２１は、例えば、相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）によって実現される。これにより、撮像素子１３で発生するノイズが軽減される。なお、画像処理回路２３により実行される処理の詳細については後述する。
【００１９】
記録系は、画像信号を記憶するメモリ３２と、画像処理回路２３によって処理された画像信号を符号化してメモリ３２に記録し、また、メモリ３２から画像信号を読み出して復号し、画像処理回路２３に供給する符号化／復号器３１とから構成される。
【００２０】
表示系は、画像処理回路２３によって処理された画像信号をアナログ化するＤ／Ａ変換回路４１と、アナログ化された画像信号を後段の表示部４３に適合する形式のビデオ信号にエンコードするビデオエンコーダ４２と、入力されるビデオ信号に対応する画像を表示する表示部４３とから構成される。表示部４３は、例えば、ＬＣＤ（Liquid Crystal Display）等により実現され、ファインダとしての機能も有する。
【００２１】
制御系は、撮像素子１３、サンプリング回路２１、Ａ／Ｄ変換回路２２、および、画像処理回路２３の動作タイミングを制御するタイミング生成器５１と、ユーザによるシャッタ操作やその他のコマンド入力を受け付けるための操作入力受付部５２と、周辺機器を接続するためのドライバ５３と、撮像装置全体を制御する制御部５４とから構成される。ドライバ５３には、磁気ディスク、光ディスク、光磁気ディスク、または、半導体メモリ等が接続される。制御部５４は、これらに記憶されている制御用プログラムを、ドライバ５３を介して読み出し、読み出した制御用プログラムや操作入力受付部５２から入力されるユーザからのコマンド等に基づいて制御を行う。
【００２２】
画像処理回路２３、符号化／復号器３１、メモリ３２、タイミング生成器５１、操作入力受付部５２、および、制御部５４は、バス５９を介して相互に接続されている。
【００２３】
この撮像装置において、被写体の光学画像（入射光）は、レンズ１１および絞り１２を介して撮像素子１３に入射され、撮像素子１３によって光電変換されて電気信号となる。得られた電気信号は、サンプリング回路２１によってノイズ成分が除去され、Ａ／Ｄ変換回路２２によってデジタル化された後、画像処理回路２３が内蔵する（図示しない）画像メモリに一時格納される。
【００２４】
なお、通常の状態では、タイミング生成器５１による信号処理系に対する制御により、画像処理回路２３の内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理回路２３の内蔵する画像メモリの画像信号は、Ｄ／Ａ変換回路４１によってアナログ信号に変換され、ビデオエンコーダ４２によってビデオ信号に変換されて対応する画像が表示部４３に表示される。
【００２５】
表示部４３は、撮像装置のファインダとしての役割も担っている。ユーザが操作入力受付部５２に含まれるシャッターボタンを押下した場合、制御部５４は、タイミング生成器５１に対して、シャッターボタンが押下された直後の画像信号を保持するように、すなわち、画像処理回路２３の画像メモリに画像信号が上書きされないように、信号処理系を制御する。画像処理回路２３の画像メモリに保持された画像データは、符号化／復号器３１によって符号化されてメモリ３２に記録される。以上のような撮像装置の動作によって、１枚の画像データの取込みが完了する。
【００２６】
図２は、本発明の実施の形態における撮像装置の制御部５４の周辺の一構成例を示す図である。制御部５４は、操作入力受付部５２において受け付けられた操作入力に従って、Ａ／Ｄ変換回路２２または符号化／復号器３１から出力された入力画像を画像処理回路２３に供給し、その結果を後段のＤ／Ａ変換回路４１または符号化／復号器３１に出力するものである。この制御部５４は、撮像開始検出部５４１と、撮像終了検出部５４２と、撮像間隔検出部５４３と、露光時間検出部５４４とを備えている。また、操作入力受付部５２は、ユーザによる撮像操作入力、撮像間隔および露光時間の設定をそれぞれ受け付ける撮像操作受付部５２１と、撮像間隔設定部５２３と、露光時間設定部５２４とを備えている。また、画像処理回路２３は、軌跡合成画像を生成する軌跡生成部２００と、被写体の状態を検出する被写体状態検出部３００とを備えている。
【００２７】
被写体状態検出部３００は、撮像制御部５４６から供給された入力画像における被写体の状態を検出するものである。この被写体状態検出部３００は、被写体の動き（方向および量）を表すベクトル（動きベクトル：Optical Flow）を算出する。この動きベクトルを求めるにあたっては、連続するフレームから画像データ中の移動物体がどの向きにどれ位の速さで移動したかを計算することになる。その代表的な方法として知られるブロックマッチングでは、あるフレームにおける画素点が次フレームのどの位置に移動したかを探索することにより動きベクトルが得られる。この場合の画素点としては、探索のし易さ等の観点から特徴点が用いられることが多い。この被写体状態検出部３００によって検出された被写体の状態は、撮像制御部５４６に供給される。
【００２８】
操作入力受付部５２において、撮像操作受付部５２１は、ユーザによる撮像のための操作を受け付けるものであり、例えば、デジタルスチルカメラにおけるシャッターボタンに対応する。連写モードにおいて、このシャッターボタンが押下され続けている間、一定の間隔で連続撮像（連写）が行われる。撮像間隔設定部５２３は、連写モードによる撮像の際の各フレームの時間的間隔が設定されるものである。撮像間隔は、ユーザによって予め設定され、もしくは、撮像装置として固定的に設定される。露光時間設定部５２４は、撮像の際の露光時間が設定されるものである。露光時間とは、撮像素子１３に光画像が当る時間である。
【００２９】
制御部５４において、撮像開始検出部５４１は、撮像操作受付部５２１において受け付けられた撮像操作に基づいて撮像の開始が指示されたことを検出するものである。撮像終了検出部５４２は、撮像操作受付部５２１において受け付けられた撮像操作に基づいて撮像の終了が指示されたことを検出するものである。例えば、通常の連写モードにおいては、シャッターボタンが押下されると撮像の開始を意味し、シャッターボタンの押下が解除されると撮像の終了を意味する。
【００３０】
撮像間隔検出部５４３は、撮像間隔設定部５２３に設定された撮像間隔を取得するものである。露光時間検出部５４４は、露光時間設定部５２４に設定された露光時間を取得するものである。
【００３１】
撮像制御部５４６は、Ａ／Ｄ変換回路２２または符号化／復号器３１から出力された入力画像の撮像を制御するものである。この撮像制御部５４６は、撮像開始検出部５４１によって検出された撮像開始位置から撮像終了検出部５４２によって検出された撮像終了位置に至るまでの間、入力画像を撮像するように制御する。このとき、撮像制御部５４６は、被写体状態検出部３００によって検出された被写体の状態に応じて入力画像の撮像を制御することができる。例えば、被写体が動いている状態にあることを被写体状態検出部３００が検出している間に限って、入力画像を撮像するようにしてもよい。なお、撮像開始位置の時刻から撮像終了位置の時刻までの時間を撮像間隔で割った値が連続撮像枚数となる。
【００３２】
また、撮像制御部５４６は、撮像間隔検出部５４３によって取得された撮像間隔に従って連続撮像を行うよう制御を行う。但し、ユーザが撮像間隔設定部５２３において適切な撮像間隔を設定することは必ずしも容易ではないため、撮像制御部５４６は、被写体状態検出部３００によって検出された被写体の状態に応じて撮像間隔を算出し、その撮像間隔に基づいて撮像の制御を行う。例えば、被写体状態検出部３００によって検出された被写体の動く速度が速いほど撮像間隔が短くなるようにし、被写体の動く速度が遅いほど撮像間隔が長くなるようにする。すなわち、被写体の動きが速い場合に撮像間隔が長いと、被写体の軌跡を生成した際に時刻毎の軌跡が散在して、被写体の軌跡の視認性が低下してしまうからである。
【００３３】
撮像制御部５４６において、時間単位（例えば、秒単位）の撮像間隔ｉは次式により算出される。
ｉ＝（Ｍｕ／Ｍｏ）×ｉｏ
但し、Ｍｏは被写体状態検出部３００によって検出された被写体の動き量（動きベクトルの大きさ）をピクセル単位で示すものであり、Ｍｕはユーザによって設定された動被写体の軌跡画像上の軌跡における被写体の動き量をピクセル単位で示すものである。例えば、動被写体を５０ピクセル毎に移動させた際の軌跡画像を得たい場合には、Ｍｕ＝５０を設定することになる。また、ｉｏは被写体の動きベクトル検出時の撮像間隔を時間単位（例えば、秒単位）で示すものである。
【００３４】
また、撮像制御部５４６は、露光時間検出部５４４によって取得された露光時間に従って撮像を行うよう制御を行う。但し、ユーザが露光時間設定部５２４において適切な露光時間を設定することは必ずしも容易ではないため、撮像制御部５４６は、被写体状態検出部３００によって検出された被写体の状態に応じて露光時間を算出し、その露光時間に基づいて撮像の制御を行う。例えば、被写体状態検出部３００によって検出された被写体の動く速度が速いほど露光時間が短くなるようにし、被写体の動く速度が遅いほど露光時間が長くなるようにする。すなわち、露光時間が短いほど動被写体のブレが少なくなる一方で、露光時間が短すぎると信号雑音比（Ｓ／Ｎ比：Signal to Noise ratio）が悪化してしまうため、Ｓ／Ｎ比の維持と動被写体のブレ抑止のバランスを考慮して露光時間を自動的に算出することは動被写体の軌跡を生成するために有用である。
【００３５】
なお、このようにして算出された撮像間隔および露光時間は、タイミング生成器５１に供給され、光学系および信号処理系における制御に用いられることになる。
【００３６】
図３は、本発明の実施の形態における軌跡生成例を示す図である。ここでは、時刻ｔ−１および時刻ｔにおける物体の軌跡が示されている。ベクトルｖは、時刻ｔ−１から時刻ｔに至る際の動被写体の動きベクトルを表している。この動きベクトルは、被写体状態検出部３００によって検出される。
【００３７】
図３（ａ）における動きベクトルを基準とすると、同図（ｂ）のように、動きベクトルの大きさが大きい場合には、被写体の動きが速いということを意味する。この場合、撮像の際には、同図（ａ）の場合よりも撮像間隔を短くした方が、ユーザにとって軌跡合成画像が見易くなると考えられる。
【００３８】
一方、同図（ｃ）のように、動きベクトルの大きさが小さい場合には、被写体の動きが遅いということを意味する。この場合、撮像の際には、同図（ａ）の場合よりも撮像間隔を長くした方が、ユーザにとって軌跡合成画像が見易くなると考えられる。
【００３９】
図４は、本発明の実施の形態における撮像装置の画像処理回路２３の一構成例を示す図である。この画像処理回路２３は、軌跡画素フレーム選択部２２１と、背景画素フレーム選択部２２２と、背景生成部２３１と、背景画像保持部２６１と、相違度生成部２４０と、軌跡合成部２５０と、軌跡合成画像保持部２７０とを備えている。この画像処理回路２３は、動被写体の移動する途中の状態を複数枚の軌跡合成画像として表示するものであり、ｎ枚の入力画像２１０が予め判明していることを想定する。
【００４０】
背景画素フレーム選択部２２２は、時系列に撮像されたｎ枚のｐ×ｑ画素からなる入力画像２１０（Ｉ１〜Ｉｎ）において対応する画素位置のｎ個の画素値の中から背景値の生成に必要な画素値を選択するものである。選択されたフレームは、信号線２２８を介して、背景生成部２３１に順次供給されていく。
【００４１】
なお、この背景画素フレーム選択部２２２は、ｎ枚の中から入力画像を間引いて利用することにより、ｎ枚全てを用いる場合と比べて背景値の生成のための処理を簡略化することができる。例えば、背景画素フレーム選択部２２２によって選択される画素値を「ｎ／１０」枚に間引くことにより、処理の高速化を図ることができる。
【００４２】
背景生成部２３１は、信号線２２８を介して背景画素フレーム選択部２２２から供給された画素値に基づいて背景値を生成するものである。この背景生成部２３１によって生成された背景値は、信号線２３９を介して背景画像保持部２６１に供給される。
【００４３】
背景画像保持部２６１は、信号線２３９を介して背景生成部２３１から供給されたｐ×ｑ画素からなる背景画像を保持するものである。この背景画像保持部２６１に保持された背景画像は、信号線２６９を介して相違度生成部２４０に供給される。
【００４４】
軌跡画素フレーム選択部２２１は、時系列に撮像されたｎ枚のｐ×ｑ画素からなる入力画像２１０（Ｉ１〜Ｉｎ）において対応する画素位置のｎ個の画素値を選択するものである。すなわち、背景画素フレーム選択部２２２とは異なり、軌跡画素フレーム選択部２２１は間引きを行うことなく全ての入力画像を選択する。
【００４５】
相違度生成部２４０は、信号線２６９を介して背景画像保持部２６１から供給された背景画像の画素値と、信号線２２９を介して軌跡画素フレーム選択部２２１から供給されたフレームの画素値との画素位置毎の相違度を生成するものである。すなわち、相違度生成部２４０は、ｐ×ｑ組の対応する画素値同士の距離を算出して、ｐ×ｑ組分の相違度を生成する。
【００４６】
軌跡合成画像保持部２７０は、ｐ×ｑ画素からなる軌跡合成画像を保持するものである。この軌跡合成画像保持部２７０に保持された軌跡合成画像は、信号線２７９を介して軌跡合成部２５０に供給される。軌跡合成部２５０は、信号線２７９を介して軌跡合成画像保持部２７０から供給された軌跡合成画像Ｓｔ−１の画素値と、信号線２２９を介して軌跡画素フレーム選択部２２１から供給されたフレームＩｔの画素値とを合成して新たな軌跡合成画像Ｓｔ（２９０）を生成するものである。すなわち、軌跡合成部２５０は、軌跡合成画像保持部２７０に保持される軌跡合成画像を新たなフレームによって更新していくことによって、軌跡合成画像保持部２７０にその時点の軌跡合成画像を保持させる。
【００４７】
図５は、本発明の実施の形態における画像処理回路２３の背景生成部２３１の一構成例を示す図である。この背景生成部２３１は、ヒストグラム生成部２３２と、背景値判定部２３３とを備えている。
【００４８】
ヒストグラム生成部２３２は、信号線２２８を介して背景画素フレーム選択部２２２から供給されたｎ個の画素値についてヒストグラムを生成するものである。このヒストグラムは、画素値の大きさに対する出現頻度を表すものである。例えば、画素値が図６のような分布を示している場合を想定すると、そのヒストグラムは図７のようになる。すなわち、図６の１３個の画素値において、画素値ａの出現頻度が２回、画素値ｂの出現頻度が１回、画素値ｃの出現頻度が７回、画素値ｄの出現頻度が１回、画素値ｅの出現頻度が２回であることから、図７のようなヒストグラムが生成される。
【００４９】
なお、ヒストグラムは、輝度のみであれば図７のように一次元のヒストグラムになるが、ＲＧＢ形式の画素値であれば三次元のヒストグラムになる。すなわち、定義する色空間に応じた次元のヒストグラムが生成される。
【００５０】
背景値判定部２３３は、ヒストグラム生成部２３２において生成されたヒストグラムに基づいて、背景値を判定するものである。具体的には、背景値判定部２３３は、ヒストグラムにおいて最も頻度の高い画素値を背景値であると判定する。例えば、図６の例であれば、最頻値を示す画素値ｃが背景値であると判定される。
【００５１】
図８は、本発明の実施の形態における画像処理回路２３の相違度生成部２４０の一構成例を示す図である。この相違度生成部２４０は、距離算出部２４１と、相違度算出部２４２と、距離閾値設定部２４５とを備えている。
【００５２】
距離算出部２４１は、信号線２６９を介して背景画像保持部２６１から供給された背景値と、信号線２２９を介して軌跡画素フレーム選択部２２１から供給された画素値との間の距離を算出するものである。なお、この場合の距離は、例えば色空間上の距離などを意味する。
【００５３】
相違度算出部２４２は、距離算出部２４１によって算出された距離に応じて、背景値と入力画像の画素値との相違度を算出するものである。すなわち、この相違度算出部２４２は、入力画像において動被写体と背景とを区別して、両者が異なるものであることを相違度として示すものである。相違度は、例えば、動被写体に対して「１」、背景に対して「０」が付与されるように算出するものであるが、両者を完全には区別できない場合には、その中間値をとることもある。
【００５４】
相違度を算出する際、相違度算出部２４２は、画像の品質による誤差を考慮して、背景と動被写体とを区別するための距離の閾値（距離閾値）を想定する。すなわち、背景値と入力画像の画素値との間の距離が距離閾値以内であれば両者を完全には区別できないものとして扱い、距離閾値を越える場合には両者は完全に区別できるものとして扱う。その結果、例えば、背景値と入力画像の画素値との間の距離が距離閾値を越える場合には相違度として最大値の「１」が算出され、距離閾値以内の場合には距離に比例するように相違度が算出される。なお、距離閾値は、距離閾値設定部２４５に予め設定される。
【００５５】
図９は、本発明の実施の形態における画像処理回路２３の軌跡合成部２５０の一構成例を示す図である。この軌跡合成部２５０は、軌跡合成比率算出部２５１と、軌跡合成値更新部２５２とを備えている。
【００５６】
軌跡合成比率算出部２５１は、信号線２４９を介して相違度生成部２４０から供給された相違度に基づいて軌跡合成の合成比率（軌跡合成比率β）を生成するものである。軌跡合成比率βの具体的な算出方法としては、例えば、フレームＩｔの画素値と背景画像Ｂｔ−１との相違度が大きい場合には、フレームＩｔの画素値の寄与度が大きくなるような軌跡合成比率を決定することが考えられる。これにより、背景と異なる領域ほど軌跡合成値への寄与率が高くなり、よりはっきりとした動被写体の軌跡を得ることができる。
【００５７】
軌跡合成値更新部２５２は、軌跡合成比率算出部２５１によって生成された軌跡合成比率βに応じて、信号線２７９を介して軌跡合成画像保持部２７０から供給された軌跡合成画像を、信号線２２９を介して軌跡画素フレーム選択部２２１から供給されたフレームによって更新するものである。
【００５８】
ここで、座標（ｘ，ｙ）におけるフレームＩｔの画素値をＩ（ｘ，ｙ，ｔ）、同じく軌跡合成画像Ｓｔ−１の画素値をＳ（ｘ，ｙ，ｔ−１）とすると、新たな軌跡合成画像Ｓｔの画素値Ｓ（ｘ，ｙ，ｔ）は、次式により得られる。
Ｓ（ｘ，ｙ，ｔ）＝β×Ｉ（ｘ，ｙ，ｔ）＋（１−β）×Ｓ（ｘ，ｙ，ｔ−１）
【００５９】
軌跡合成値更新部２５２は、上式の処理を全ての画素に対して行う。
【００６０】
また、他の軌跡合成の手法として、相違度に基づいて２種類の算出規則を用いて軌跡合成比率を算出することが考えられる。すなわち、相違度が小さい背景領域における軌跡合成比率の算出規則を、相違度が大きい動被写体領域の算出規則とは別にして、相違度が小さくてもある程度の軌跡合成比率を与える。これにより、動被写体軌跡領域が古くなればなるほど背景の寄与率が高くなり、動被写体の軌跡がフェードアウトされたように見せることができる。つまり、新しい時刻の軌跡ははっきりしているが、時間が経つにつれて軌跡が背景に溶け込んでフェードアウトしていくようにすることが可能となる。
【００６１】
例えば、図１０のような５枚のフレームを合成する際、軌跡をはっきり残したい場合には、軌跡合成比率βとして、相違度が大きい動被写体領域には「１」、相違度が小さい背景領域には「０」を与えれば、図１１のような結果を得ることができる。一方、軌跡をフェードアウトさせたい場合には、軌跡合成比率βとして、動被写体領域には「１」、背景領域には「０．３」乃至「０．５」程度を与えれば、図１２のような結果を得ることができる。
【００６２】
図１３は、本発明の実施の形態における撮像制御部５４６による撮像制御の例を示す図である。図１３（ａ）は、ユーザから指定された撮像開始位置、撮像終了位置、撮像間隔および露光時間を操作入力受付部５２によって受け付けて、これらに従って撮像制御を行う場合の例である。この場合、指定された撮像開始位置の時刻ｔ１から、指定された撮像終了位置の時刻ｔ２までの間が撮像期間となる。この撮像期間において、撮像間隔４０２および露光時間４０１に基づいて連続撮像が行われる。連続撮像枚数は、撮像期間を撮像間隔４０２で割った値になる。なお、露光時間４０１は、撮像間隔４０２以下の値にしか指定することができない。
【００６３】
図１３（ｂ）は、撮像開始位置だけを操作入力受付部５２によって受け付けて、被写体状態検出部３００によって検出された被写体の動きベクトルに基づいて、撮像間隔、露光時間、撮像期間などを自動算出する場合の例である。この場合、被写体の動きベクトルの大きさが所定の大きさ以上である期間を被写体動き有りと判定し、被写体動き有りの期間だけ撮像を行う。すなわち、ユーザが指定した撮像開始位置の時刻ｔ３以降で被写体動き有りの期間（時刻ｔ４からｔ５までの期間）だけ撮像を行い、被写体動きが有りから無しの状態に遷移した時点で撮像を自動的に終了する。また、この場合、被写体状態検出部３００によって検出された被写体の動きベクトルに基づいて、上述のように動被写体の動きの軌跡生成に最適な撮像間隔および露光時間が算出される。
【００６４】
図１３（ｃ）は、被写体の動きと撮像制御とを連動させる場合の例である。この例では、撮像開始位置および撮像終了位置を操作入力受付部５２によって受け付けて、被写体状態検出部３００によって検出された被写体の動きベクトルに基づいて、撮像間隔、露光時間、撮像期間などを自動算出する。撮像開始位置および撮像終了位置が被写体動き有りの期間（時刻ｔ６からｔ９までの期間）に含まれるときは、撮像期間は撮像開始位置の時刻ｔ７と撮像終了位置の時刻ｔ８の間の期間になる。なお、撮像開始位置の時刻が被写体動き有りの期間外である場合には被写体動き有りの開始位置が撮像期間の開始位置になり、撮像終了位置の時刻が被写体動き有りの期間外である場合には被写体動き有りの終了位置が撮像期間の終了位置になる。
【００６５】
図１４は、本発明の実施の形態における撮像装置の画像処理回路２３による処理手順の一例を示す流れ図である。
【００６６】
まず、背景生成の対象となるフレームが全て選択される（ステップＳ９４１）。この処理は、背景画素フレーム選択部２２２によって行われる。そして、この選択されたフレームによって背景画像が生成される（ステップＳ９４２）。この処理は、背景生成部２３１によって行われる。
【００６７】
次に、軌跡合成の対象となるフレームが入力画像として選択される（ステップＳ９４３）。この処理は、軌跡画素フレーム選択部２２１によって行われる。そして、背景画像および入力画像から両者の相違度が生成される（ステップＳ９４４）。この処理は、相違度生成部２４０によって行われる。
【００６８】
そして、相違度に基づいて軌跡合成画像が更新される（ステップＳ９４５）。この処理は、軌跡合成部２５０によって行われる。
【００６９】
軌跡合成の対象となるフレームが全て選択された場合には終了となり、そうでない場合はステップＳ９４３以降の処理が繰り返される（ステップＳ９４６）。
【００７０】
このように、本発明の実施の形態によれば、被写体状態検出部３００において検出された被写体の状態を撮像制御部５４６に反映させることによって、軌跡合成画像の生成のために最適な撮像の制御を行うことができる。
【００７１】
なお、本発明の実施の形態では、軌跡合成画像を生成する際に（その直前に）背景画像を生成する構成例について説明したが、予め生成されていた背景画像を利用するようにしても構わない。例えば、図１５の変形例のように、背景画像保持部２６１に保持されて相違度生成部２４０に供給された背景画像を背景画像保存部２０６に保存しておく。そして、その後、軌跡合成画像を生成する際には、背景生成部２３１による背景画像の生成を行わずに、背景画像保存部２０６に保存されていた背景画像を復元して背景画像保持部２６１に保持させる。
【００７２】
これにより、同じ入力画像について軌跡合成画像を何度も生成する場合、背景画像の生成を省くことができる。背景生成のための計算コストは、軌跡合成画像の生成の場合よりも高くなるのが一般的であり、これを省略することによる効果は高い。例えば、連射撮像された複数フレーム、軌跡合成画像および背景画像を保存した後、表示部４３において対象シーンの軌跡動画の再生を行う場合などに有効である。
【００７３】
図１５において、軌跡画素フレーム選択部２２１、背景画素フレーム選択部２２２、背景生成部２３１、背景画像保持部２６１、相違度生成部２４０、軌跡合成部２５０、および、軌跡合成画像保持部２７０の構成および動作は、図４の例と同様である。この例では、画像処理回路２３が、Ａ／Ｄ変換回路２２から信号線２０１を介して供給された入力画像を受け、その入力画像、背景画像および軌跡合成画像を、それぞれ信号線２０７、２０８および２０９を介して後段のＤ／Ａ変換回路４１や符号化／復号器３１に供給することを想定している。
【００７４】
カメラ信号処理部２０２は、Ａ／Ｄ変換回路２２によってデジタル信号に変換された入力画像に対して、ＲＧＢ同時化処理、カラーマトリックス処理、および、ガンマ処理などを施して、その結果を出力するものである。通常の画像出力の場合は、このカメラ信号処理部２０２の結果が信号線２０７を介してそのまま出力される。
【００７５】
入力画像保持部２０３は、軌跡画素フレーム選択部２２１および背景画素フレーム選択部２２２に供給する入力画像を保持するものである。ここでは、図４の例と同様に、ｎ枚の入力画像（Ｉ１〜Ｉｎ）が保持されるものとする。入力画像保存部２０５は、カメラ信号処理部２０２から供給された入力画像を保存するものである。入力画像保持部２０３は、撮像中の画像を入力画像とする場合にはカメラ信号処理部２０２から供給された画像を入力画像として保持し、過去に保存された画像を入力画像とする場合には入力画像保存部２０５に保存された画像を復元して入力画像として保持する。
【００７６】
背景画像保存部２０６は、背景画像保持部２６１に保持された背景画像を保存するものである。背景画像保存部２０６は、信号線２０８を介して背景画像保持部２６１から供給された背景画像を一旦保存する。その後、背景画像保存部２０６に保存された背景画像は、必要に応じて復元されて背景画像保持部２６１に保持される。すなわち、軌跡合成画像を生成する際に（その直前に）背景画像を生成する場合には、背景画像保持部２６１は背景生成部２３１から供給される背景画像を保持する。一方、以前に保存した背景画像を用いて軌跡合成画像を生成する場合には、背景画像保持部２６１は背景画像保存部２０６に保存された背景画像を復元して保持する。
【００７７】
軌跡合成部２５０から出力された軌跡合成画像は、軌跡合成画像保持部２７０に保持されるとともに、信号線２０９を介して後段のＤ／Ａ変換回路４１や符号化／復号器３１に供給される。
【００７８】
図１６は、本発明の実施の形態における撮像装置の撮像の際の処理手順の一例を示す流れ図である。まず、撮像開始検出部５４１によって撮像の開始が検出されると（ステップＳ９５１）、入力画像の撮像が行われる（ステップＳ９５２）。この撮像の際には、被写体状態検出部３００によって被写体の状態が検出される（ステップＳ９５３）。そして、この被写体の状態に応じて撮像間隔および露光時間が算出され（ステップＳ９５４およびＳ９５５）、これら撮像間隔および露光時間に基づいて撮像制御が行われる。
【００７９】
この撮像は、撮像終了検出部５４２によって撮像の終了が検出されるまで繰り返される（ステップＳ９５６）。撮像操作受付部５２１においてシャッターボタンの押下の解除が受け付けられた場合や、被写体状態検出部３００において被写体が静止した状態であることが検出された場合に撮像の終了が検出される。
【００８０】
撮像が終了すると、背景生成部２３１において背景画像が生成される（ステップＳ９５７）。すなわち、図１４のように背景生成の対象となるフレームが全て選択され（ステップＳ９４１）、この選択されたフレームによって背景画像が生成される（ステップＳ９４２）。
【００８１】
そして、軌跡合成部２５０によって軌跡合成画像が生成される（ステップＳ９５８）。また、入力画像や背景画像が、それぞれ入力画像保存部２０５や背景画像保存部２０６に保存される（ステップＳ９５９）。なお、このステップＳ９５９において保存された背景画像は、軌跡合成画像の再生の際に復元されて背景画像保持部２６１に保持される。
【００８２】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【００８３】
すなわち、請求項１において、被写体状態検出手段は例えば被写体状態検出部３００に対応する。また、撮像制御手段は例えば撮像制御部５４６に対応する。また、画像合成手段は例えば軌跡生成部２００に対応する。
【００８４】
また、請求項３において、画像選択手段は例えば背景画素フレーム選択手段２２２に対応する。また、背景生成手段は例えば背景生成部２３１に対応する。また、背景画像保持手段は例えば背景画像保持部２６１に対応する。また、出力画像保持手段は例えば軌跡合成画像保持部２７０に対応する。また、相違度生成手段は例えば相違度生成部２４０に対応する。また、出力画像合成手段は例えば軌跡合成部２５０に対応する。
【００８５】
また、請求項９において、開始検出手段は例えば撮像開始検出部５４１に対応する。
【００８６】
また、請求項１０において、終了検出手段は例えば撮像終了検出部５４２に対応する。
【００８７】
また、請求項１１および１２において、被写体状態検出手順は例えばステップＳ９５３に対応する。また、算出手順は例えばステップＳ９５４またはＳ９５５に対応する。また、撮像制御手順は例えばステップＳ９５２に対応する。また、画像合成手順は例えばステップＳ９５８に対応する。
【００８８】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施の形態における画像処理装置の一態様としての撮像装置の一構成例を示す図である。
【図２】本発明の実施の形態における撮像装置の制御部５４の周辺の一構成例を示す図である。
【図３】本発明の実施の形態における軌跡生成例を示す図である。
【図４】本発明の実施の形態における撮像装置の画像処理回路２３の一構成例を示す図である。
【図５】本発明の実施の形態における画像処理回路２３の背景生成部２３１の一構成例を示す図である。
【図６】画素値の分布例を示す図である。
【図７】画素値の分布に基づいたヒストグラムの一例を示す図である。
【図８】本発明の実施の形態における画像処理回路２３の相違度生成部２４０の一構成例を示す図である。
【図９】本発明の実施の形態における画像処理回路２３の軌跡合成部２５０の一構成例を示す図である。
【図１０】入力画像の一例を示す図である。
【図１１】軌跡合成動画における各フレームの一例を示す図である。
【図１２】軌跡合成動画における各フレームの他の例を示す図である。
【図１３】本発明の実施の形態における撮像制御部５４６による撮像制御の例を示す図である。
【図１４】本発明の実施の形態における撮像装置の画像処理回路２３による処理手順の一例を示す流れ図である。
【図１５】本発明の実施の形態における撮像装置の画像処理回路２３の変形例を示す図である。
【図１６】本発明の実施の形態における撮像装置の撮像の際の処理手順の一例を示す流れ図である。
【符号の説明】
【００９０】
１１ レンズ
１２ 絞り
１３ 撮像素子
２１ サンプリング回路
２２ Ａ／Ｄ変換回路
２３ 画像処理回路
３１ 符号化／復号器
３２ メモリ
４１ Ｄ／Ａ変換回路
４２ ビデオエンコーダ
４３ 表示部
５１ タイミング生成器
５２ 操作入力受付部
５３ ドライバ
５４ 制御部
５９ バス
２００ 軌跡生成部
２０２ カメラ信号処理部
２０３ 入力画像保持部
２０５ 入力画像保存部
２０６ 背景画像保存部
２２１ 軌跡画素フレーム選択部
２２２ 背景画素フレーム選択部
２３１ 背景生成部
２３２ ヒストグラム生成部
２３３ 背景値判定部
２４０ 相違度生成部
２４１ 距離算出部
２４２ 相違度算出部
２４５ 距離閾値設定部
２５０ 軌跡合成部
２５１ 軌跡合成比率算出部
２５２ 軌跡合成値更新部
２６１ 背景画像保持部
２７０ 軌跡合成画像保持部
３００ 被写体状態検出部
５２１ 撮像操作受付部
５２３ 撮像間隔設定部
５２４ 露光時間設定部
５４１ 撮像開始検出部
５４２ 撮像終了検出部
５４３ 撮像間隔検出部
５４４ 露光時間検出部
５４６ 撮像制御部
【出願人】 【識別番号】０００００２１８５
【氏名又は名称】ソニー株式会社
【出願日】 平成１８年７月２７日（２００６．７．２７）
【代理人】 【識別番号】１００１１２９５５
【弁理士】
【氏名又は名称】丸島 敏一
【公開番号】 特開２００８−３５０２８（Ｐ２００８−３５０２８Ａ）
【公開日】 平成２０年２月１４日（２００８．２．１４）
【出願番号】 特願２００６−２０４３１９（Ｐ２００６−２０４３１９）