トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 撮像装置、手ぶれ補正方法およびプログラム
【発明者】 【氏名】阿部 達朗

【氏名】山宮 秀次
【要約】 【課題】ユーザーの撮影状況に合わせて手ぶれ補正を最適化することができる撮像装置、手ぶれ補正方法およびプログラムを提供する。

【構成】制御部２００は、動き検出部２１０の位置と速度の実測値から周波数特性を解析する周波数解析部２００ａと、撮像装置１０の位置と速度の予測値を算出する状態予測部２００ｂと、実測値を蓄積して状態予測部２００ｂへ出力する状態蓄積部２００ｃと、動き検出部２１０の実測値と状態予測部２００ｂの予測値との差分を出力する差分検出部２００ｄと、差分検出部２００ｄからの出力を周波数特性に基づいて調整して手ぶれ補正部２１１へ出力する補正量調整部２００ｅと、差分検出部２００ｄからの出力に基づいて手ぶれ補正のモードを判定して手ぶれ補正部２１１の動作モードを制御するモード判定部２００ｆとから構成される。
【特許請求の範囲】
【請求項１】
撮像装置の位置と速度を実測値として検出する動き検出部と、
前記実測値の周波数特性を解析する周波数解析部と、
前記周波数特性に基づいて位置と速度の予測値を算出する状態予測部と、
前記実測値と前記予測値との差分を算出する差分検出部と、
前記周波数特性に基づいて補正パラメータを算出し、前記差分と前記補正パラメータに基づいて補正量を出力する補正量調整部とを有することを特徴とする撮像装置。
【請求項２】
前記周波数解析部は、一定の周期で解析を繰り返して前記周波数特性を更新することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記補正量調整部は、予め定められた補正パラメータテーブルより前記周波数に対応づけられた補正パラメータを選択して使用することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記状態予測部は、カルマンフィルタを用いて構成され、前記周波数特性に基づいて観測ノイズと状態ノイズの信用度の組み合わせを変化させることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記状態予測部は、予め定められた信用度テーブルより前記周波数特性に対応づけられた信用度を選択して使用することを特徴とする請求項４に記載の撮像装置。
【請求項６】
撮像装置の位置と速度を実測値として検出する動き検出ステップと、
前記実測値の周波数特性を解析する周波数解析ステップと、
前記周波数特性に基づいて位置と速度の予測値を算出する状態予測ステップと、
前記実測値と前記予測値との差分を算出する差分検出ステップと、
前記周波数特性に基づいて補正パラメータを算出し、前記差分と前記補正パラメータに基づいて補正量を出力する補正量調整ステップとを有することを特徴とする手ぶれ補正方法。
【請求項７】
前記周波数解析ステップは、一定の周期で解析を繰り返して前記周波数特性を更新することを特徴とする請求項６に記載の手ぶれ補正方法。
【請求項８】
前記状態予測ステップは、カルマンフィルタを用いて実行され、前記周波数特性に基づいて観測ノイズと状態ノイズの信用度の組み合わせを変化させることを特徴とする請求項６に記載の手ぶれ補正方法。
【請求項９】
手ぶれ補正方法をコンピュータに実行させるためのプログラムであって、
撮像装置の位置と速度を実測値として検出する動き検出ステップと、
前記実測値の周波数特性を解析する周波数解析ステップと、
前記周波数特性に基づいて位置と速度の予測値を算出する状態予測ステップと、
前記実測値と前記予測値との差分を算出する差分検出ステップと、
前記周波数特性に基づいて補正パラメータを算出し、前記差分と前記補正パラメータに基づいて補正量を出力する補正量調整ステップと、
を有することを特徴とするプログラム。
【請求項１０】
前記周波数解析ステップは、一定の周期で解析を繰り返して前記周波数特性を更新することを特徴とする請求項９に記載のプログラム。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、手ぶれ補正機能を有する撮像装置、手ぶれ補正方法およびプログラムに関し、特にユーザーの撮影状況に合わせて手ぶれ補正を最適化することができる撮像装置、手ぶれ補正方法およびプログラムに関する。
【背景技術】
【０００２】
従来の技術として、ユーザーの特性に合わせて手ぶれ補正を行う撮像装置がある（例えば、特許文献１）。
【０００３】
この撮像装置によると、ユーザーの手ぶれの周波数特性を入力または測定し、手ぶれ補正設定テーブルからその周波数特性に最適化された設定値を読み込むことでユーザーに対して最適な手ぶれ補正を行うことができる。
【特許文献１】特開２００６−５０６７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来の撮像装置によると、録画を開始する前に、予めユーザーの手ぶれの周波数特性に基づいて手ぶれ補正設定テーブルから最適な設定値を読み出し、撮像装置の使用中は選択された設定値に固定されるため、ユーザーの撮影状況によって周波数特性が変化する場合には自動で対応することができない。
【０００５】
従って、本発明の目的は、ユーザーの撮影状況に合わせて手ぶれ補正を最適化することができる撮像装置、手ぶれ補正方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
（１）本発明は上記目的を達成するため、撮像装置の位置と速度を実測値として検出する動き検出部と、前記実測値の周波数特性を解析する周波数解析部と、前記周波数特性に基づいて位置と速度の予測値を算出する状態予測部と、前記実測値と前記予測値との差分を算出する差分検出部と、前記周波数特性に基づいて補正パラメータを算出し、前記差分と前記補正パラメータに基づいて補正量を出力する補正量調整部とを有することを特徴とする撮像装置を提供する。
【０００７】
このような構成によれば、ユーザーの手ぶれの周波数特性を測定して、周波数特性に基づいて予測値と補正量を算出するため、ユーザーに最適化されるだけでなく、逐次変わるユーザーの撮影状況に最適化された手ぶれ補正機能を有する撮像装置が可能となる。
【０００８】
（２）また、本発明は上記目的を達成するため、撮像装置の位置と速度を実測値として検出する動き検出ステップと、前記実測値の周波数特性を解析する周波数解析ステップと、前記周波数特性に基づいて位置と速度の予測値を算出する状態予測ステップと、前記実測値と前記予測値との差分を算出する差分検出ステップと、前記周波数特性に基づいて補正パラメータを算出し、前記差分と前記補正パラメータに基づいて補正量を出力する補正量調整ステップとを有することを特徴とする手ぶれ補正方法を提供する。
【０００９】
このような方法によれば、（１）と同等の効果を有する手ぶれ補正方法が可能となる。
【００１０】
（３）また、本発明は上記目的を達成するため、手ぶれ補正方法をコンピュータに実行させるためのプログラムであって、撮像装置の位置と速度を実測値として検出する動き検出ステップと、前記実測値の周波数特性を解析する周波数解析ステップと、前記周波数特性に基づいて位置と速度の予測値を算出する状態予測ステップと、前記実測値と前記予測値との差分を算出する差分検出ステップと、前記周波数特性に基づいて補正パラメータを算出し、前記差分と前記補正パラメータに基づいて補正量を出力する補正量調整ステップと、を有することを特徴とするプログラムを提供する。
【００１１】
このようなプログラムによれば、（１）と同等の効果を有するプログラムが可能となる。
【発明の効果】
【００１２】
本発明によれば、ユーザーの撮影状況に応じた手ぶれ補正が可能となる。
【発明を実施するための最良の形態】
【００１３】
以下に、本発明の撮像装置の実施の形態を図面を参考にして詳細に説明する。
【００１４】
［実施の形態］
（撮像装置の構成）
図１（ａ）は、本発明の実施の形態に関する撮像装置の前面方向からの斜視図である。図１（ｂ）は、本発明の実施の形態に関する撮像装置の背面方向からの斜視図である。
【００１５】
撮像装置１０は、内部にＣＣＤや、ＣＰＵ、小型のＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の電子部品を有する本体１００と、ズーム機能を有しＣＣＤに結像するための複数のレンズ群よりなるレンズ１０１と、手ぶれ補正機能のオンおよびオフ状態を制御可能な手ぶれ補正スイッチ１０２と、レンズ１０１のズーム状態を電子制御で操作可能なズームボタン１０３と、本体１００の側部に可動式で取り付けられ、文字、画像等を表示する表示部２０４を有するモニタ１０４と、各種操作が可能なキー入力部２０１とを有する。
【００１６】
キー入力部２０１は、手ぶれ補正スイッチ１０２とズームボタン１０３を含み、動画の記録の開始および停止を制御可能な録画スイッチ２０１ａと、メニュー項目を選択および決定可能なメニュースイッチ２０１ｂとを有する。
【００１７】
図２は、本発明の実施の形態に関する撮像装置の概略構成図である。
【００１８】
撮像装置１０は、キー入力部２０１の操作に従って各部に命令を送信し、各部の信号処理を行う制御部２００と、レンズ１０１のズーム状態を制御するレンズ制御部２０３と、入射する像を画像信号として電気的に出力するＣＣＤ２０９と、ＣＣＤ２０９の信号をデジタルに変換するＡ／Ｄ変換部２０８と、Ａ／Ｄ変換部２０８の出力を手ぶれに合わせて加工する手ぶれ補正部２１１と、撮像装置１０の位置および速度を測定する動き検出部２１０と、入力される画像信号を統括的に管理する信号処理部２０２と、画像信号を一時的に保存するためのメモリ２０７と、画像信号の圧縮および伸張を行う動画コーデック部２０６と、圧縮された画像信号を記憶する記憶部２０５と、撮影時および再生時の画像モニタとしての表示部２０４とを有する。
【００１９】
（ソフトウェアの構成）
図３は、本発明の実施の形態におけるソフトウェア構成を示す概略図である。
【００２０】
撮像装置１０の手ぶれ補正を実行するためのソフトウェアは、制御部２００により処理され動作するものであって、動き検出部２１０の位置と速度の実測値から周波数特性を解析する周波数解析部２００ａと、撮像装置１０の位置と速度の予測値を算出する状態予測部２００ｂと、実測値を蓄積して状態予測部２００ｂへ出力する状態蓄積部２００ｃと、動き検出部２１０の実測値と状態予測部２００ｂの予測値との差分を出力する差分検出部２００ｄと、差分検出部２００ｄからの出力を周波数特性に基づいて調整して手ぶれ補正部２１１へ出力する補正量調整部２００ｅと、差分検出部２００ｄからの出力に基づいて手ぶれ補正のモードを判定して手ぶれ補正部２１１の動作モードを制御するモード判定部２００ｆとから構成される。
【００２１】
（状態予測部の構成）
図４は、本発明の実施の形態における状態予測部の構成を示す概略図である。
【００２２】
状態予測部２００ｂは、カルマンフィルタにより構成され、動き検出部２１０から出力される実測値と、状態蓄積部２００ｃから得られる過去の実測値とを用いて位置と速度の予測値を計算する。また、状態予測部２００ｂは、位置を抽出する位置成分抽出部２０００ｂと、カルマンフィルタのパラメータを周波数解析部２００ａの出力に基づき設定するパラメータ設定部２００１ｂとを有する。
【００２３】
（動作）
以下に、本発明の実施の形態における撮像装置の動作を図１から図５を参照しつつ説明する。
【００２４】
（状態予測部の動作）
カルマンフィルタは、３つのゲインＫｔ、Ｈｔ、およびＦｔを付与する部分からなり、実測値とダイナミクスに基づきノイズを除去して、モデル対象の状態を推定する手法である。
【００２５】
カルマンフィルタを本実施の形態における状態予測部２００ｂに適用する場合、まず撮像装置１０の状態のダイナミクスを線形差分運動方程式として表現し、これを状態方程式と呼ぶ。撮像装置１０の動きは局所的に等速直線運動するモデルを仮定し、撮像装置１０の位置と速度をパラメータとして次式で表す状態方程式を定義する。状態方程式には、手ぶれや風邪揺れなどの外乱による状態ノイズが付加される。
【数１】


【００２６】
ここで、ｘｔは位置、ｖｔは速度、ｗｔは状態ノイズ、Δｔは動き検出部２１０における検出時間間隔をそれぞれ表す。式（１）、（２）の状態方程式によって、状態予測部２００ｂにおけるゲインＦｔが決まる。
【００２７】
次に、動き検出部２１０による撮像装置１０の位置の実測値を次式で示す観測方程式によって定義する。観測方程式には、動き検出部２１０が動きを検出する際のマッチング誤差や量子化誤差による検出ノイズが付加される。
【数２】


【００２８】
ここで、ｙｔは位置の実測値、Ｓｔは検出ノイズをそれぞれ表す。
【００２９】
式（３）、（４）の観測方程式によって、状態予測部２００ｂにおけるゲインＨｔが決まる。次に、各時刻ｔの位置の実測値ｙｔから、逐次的に時刻ｔにおける状態の濾波推定値、および次の時刻ｔ＋１における状態の予測推定値を求める。
【数３】


【００３０】
ここで、


は時刻ｔにおける濾波推定値、


は時刻ｔ＋１における予測推定値、Ｑｔは、検出ノイズＳｔの共分散行列をそれぞれ表す。
【００３１】
上記の逐次処理を繰り返すことにより、各時刻での濾波推定値を求めることが可能になる。また式（５）〜（９）によって、状態予測部２００ｂにおけるゲインＫｔを算出することができる。位置成分抽出部２０００ｂは、状態の濾波推定値である位置成分と速度成分から、位置成分のみを抽出して差分検出部２００ｄへ位置の予測値を出力する。
【００３２】
状態ノイズの共分散行列Ｑｔと観測ノイズの共分散行列Ｒｔのどちらを信用するかで、予測値の精度と応答特性が変化する。例えば、観測ノイズの共分散行列Ｒｔを信用すれば、予測値の精度が上がるが、状態の変化に追従しにくくなる。また、状態ノイズの共分散行列Ｑｔを信用すれば、予測値の精度は下がるが、状態の変化に追従しやすくなる。
【００３３】
パラメータ設定部２００１ｂは、ＲｔおよびＱｔの信用度の組み合わせを周波数解析部２００ａの出力に基づき変化させる。その結果、状態予測部２００ｂは、周波数特性に最適な予測値を出力することが可能となる。
【００３４】
信用度の組み合わせは、予め周波数特性に基づいて最適化された複数の設定値よりなる信用度テーブル用意し、周波数特性に基づいて信用度としての設定値を読み出すことにより対応する。
【００３５】
図５は、本発明の実施の形態に関する撮像装置の手ぶれ補正の動作を示すフローチャートである。
【００３６】
まず、手ぶれ補正スイッチ１０２を押下することで手ぶれ補正機能を起動する（Ｓ１１）。次に、動き検出部２１０から出力される位置と速度の実測値を周波数解析部２００ａにおいてフーリエ変換し、周波数分布の中心となる周波数を周波数特性として出力する（Ｓ１２）。次に、状態予測部２００ｂのパラメータ設定部２００１ｂにおいて、周波数特性に基づいて状態ノイズと観測ノイズの信用度の組み合わせを変化させる（Ｓ１３）。
【００３７】
次に、差分検出部２００ｄにおいて、位置の実測値と予測値とから差分を算出する（Ｓ１４）。差分は、モード判定部２００ｆへと入力され、差分の振る舞いより撮像装置１０の状態が判定される（Ｓ１５）。差分がある周期で正の値と負の値を交互に出力するような場合は、手ぶれ状態と判定し、まず、補正量調整部２００ｅが周波数特性に基づいて差分から補正量を算出する（Ｓ１６）。その後、補正量を手ぶれ補正部２１１に入力することで手ぶれ補正機能を実行する（Ｓ１７）。
【００３８】
また、差分が一定の符号を有する場合は、パンもしくはチルト等の撮影動作を行っていると判定し、手ぶれ補正部２１１の処理を停止する（Ｓ１８）。
【００３９】
次に、手ぶれ補正スイッチ１０２を再び押下することで手ぶれ補正機能を停止することができ、制御部２００が停止命令を受信した場合は（Ｓ１９；Ｙｅｓ）、手ぶれ補正機能を停止させて（Ｓ２０）、処理を終了する。
【００４０】
手ぶれ補正命令がない場合は（Ｓ１９；Ｎｏ）、一定周期で周波数の解析が更新されＳ１２〜Ｓ１７の処理が繰り返される。
【００４１】
手ぶれ補正部２１１は、Ａ／Ｄ変換部２０８より出力された映像信号を撮像装置１０の位置に基づいてオフセットしてトリミングすることにより、手ぶれをキャンセルした映像を信号処理部２０２へと出力する。
【００４２】
補正量調整部２００ｅは、予め周波数特性に基づいて最適化された複数の設定値よりなる補正パラメータテーブルを用意し、周波数特性に基づいて補正パラメータとしての設定値を読み出すことにより対応する。
【００４３】
（実施の形態の効果）
上記した実施の形態によると、ユーザーの手ぶれの周波数特性を測定して、周波数特性に基づいて予測値と補正量を算出するため、ユーザーに最適化されるだけでなく、逐次変わるユーザーの撮影状況、例えば風による影響や足場の振動による影響等がある場合にも、その撮影状況における周波数特性に対して最適化された手ぶれ補正が可能となる。
【００４４】
また、周波数特性に対応づけた信用度テーブルと補正パラメータテーブルを用意したため、処理の度に計算を繰り返す必要がなくなり、手ぶれ補正処理の時間短縮となる。
【００４５】
なお、本実施の形態では動画撮影において説明したが、静止画撮影時における手ぶれに関しても同様の効果を得ることが可能である。
【図面の簡単な説明】
【００４６】
【図１】（ａ）は、本発明の実施の形態に関する撮像装置の前面方向からの斜視図である。（ｂ）は、本発明の実施の形態に関する撮像装置の背面方向からの斜視図である。
【図２】本発明の実施の形態に関する撮像装置の概略構成図である。
【図３】本発明の実施の形態におけるソフトウェア構成を示す概略図である。
【図４】本発明の実施の形態における状態予測部の構成を示す概略図である。
【図５】本発明の実施の形態に関する撮像装置の手ぶれ補正の動作を示すフローチャートである。
【符号の説明】
【００４７】
１０…撮像装置、１００…本体、１０１…レンズ、１０２…補正スイッチ、１０３…ズームボタン、１０４…モニタ、２００…制御部、２００ａ…周波数解析部、２００ｂ…状態予測部、２００ｃ…状態蓄積部、２００ｄ…差分検出部、２００ｅ…補正量調整部、２００ｆ…モード判定部、２０１…キー入力部、２０１ｂ…メニュースイッチ、２０１ａ…録画スイッチ、２０２…信号処理部、２０３…レンズ制御部、２０４…表示部、２０５…記憶部、２０６…動画コーデック部、２０７…メモリ、２０８…Ａ／Ｄ変換部、２０９…ＣＣＤ、２１０…動き検出部、２１１…手ぶれ補正部、２０００ｂ…位置成分抽出部、２００１ｂ…パラメータ設定部
【出願人】 【識別番号】０００００３０７８
【氏名又は名称】株式会社東芝
【出願日】 平成１８年６月２９日（２００６．６．２９）
【代理人】 【識別番号】１０００７１５２６
【弁理士】
【氏名又は名称】平田 忠雄

【識別番号】１０００９９５９７
【弁理士】
【氏名又は名称】角田 賢二

【識別番号】１００１２４２３５
【弁理士】
【氏名又は名称】中村 恵子

【識別番号】１００１２４２４６
【弁理士】
【氏名又は名称】遠藤 和光
【公開番号】 特開２００８−１１２５２（Ｐ２００８−１１２５２Ａ）
【公開日】 平成２０年１月１７日（２００８．１．１７）
【出願番号】 特願２００６−１８０２６９（Ｐ２００６−１８０２６９）