トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 撮像装置、制御方法、およびプログラム
【発明者】 【氏名】坂井 謙一
【要約】 【課題】動画記録用の画像と静止画記録用の画像の記録先となるメモリの帯域を抑えることができるようにする。

【構成】動画の記録中に静止画の記録が指示された場合、DRAM１３に記録された動画記録用のデータを対象として動画圧縮処理部２４によりそれまで行われていた圧縮処理は中断され、リアルタイム処理として行う必要のある、カメラ信号処理部２３により得られた動画記録用のデータを記録することと、前処理部２２により得られた静止画記録用のデータを記録することが、DRAM１３へのアクセスを伴う処理として優先的に行われる。本発明は、動画の撮影機能と静止画の撮影機能を有する機器に適用することができる。
【特許請求の範囲】
【請求項１】
動画の記録中に静止画の記録を行うことが可能な撮像装置において、
イメージャにより取り込まれた画像を静止画記録用のデータとして記録するとともに、前記イメージャにより取り込まれた前記画像の解像度を変換して得られた画像を動画記録用のデータとして記録するメモリと、
前記メモリに記録された前記動画記録用のデータを対象とした圧縮処理を前記メモリを用いて行う圧縮手段と、
動画の記録中に静止画の記録が指示された時、前記メモリに対するアクセスを伴う処理である前記圧縮手段による圧縮処理と、前記静止画記録用のデータを記録させる処理と、前記動画記録用のデータを記録させる処理のうち、前記圧縮手段による圧縮処理を中断させ、前記静止画記録用のデータを記録させる処理と、前記動画記録用のデータを記録させる処理を優先的に行わせる制御手段と
を備える撮像装置。
【請求項２】
前記動画記録用のデータである画像は、前記静止画記録用のデータである画像より解像度の低い画像である
請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記圧縮手段による圧縮処理を、前記静止画記録用のデータを前記メモリに記録させ終わるまで中断させる
請求項１に記載の撮像装置。
【請求項４】
前記制御手段は、さらに、静止画の記録が指示された時までに前記圧縮手段により圧縮され、前記メモリに記録されている圧縮済みの動画のデータを前記メモリから他の記録媒体に転送することも中断させる
請求項１に記載の撮像装置。
【請求項５】
前記制御手段は、静止画の記録が指示されることに応じて前記静止画記録用のデータを前記メモリに記録させ終わってから、圧縮処理の対象になるデータとして前記メモリに記録されている前記動画記録用のデータと前記圧縮手段により圧縮処理の対象にされている前記動画記録用のデータの関係が圧縮処理を中断させる前と同じ関係になるまでの間、中断させる前より速い速度で前記圧縮手段に前記動画記録用のデータの圧縮を行わせる
請求項１に記載の撮像装置。
【請求項６】
前記制御手段は、中断させる前より速い速度で前記圧縮手段に前記動画記録用のデータの圧縮を行わせている間、次の静止画の記録を禁止させる
請求項５に記載の撮像装置。
【請求項７】
動画の記録中に静止画の記録を行うことが可能な、イメージャにより取り込まれた画像を静止画記録用のデータとして記録するとともに、前記イメージャにより取り込まれた前記画像の解像度を変換して得られた画像を動画記録用のデータとして記録するメモリを有する撮像装置の制御方法において、
前記メモリに記録された前記動画記録用のデータを対象とした圧縮処理を前記メモリを用いて行い、
動画の記録中に静止画の記録が指示された時、前記メモリに対するアクセスを伴う処理である圧縮処理と、前記静止画記録用のデータを記録させる処理と、前記動画記録用のデータを記録させる処理のうち、圧縮処理を中断させ、前記静止画記録用のデータを記録させる処理と、前記動画記録用のデータを記録させる処理を優先的に行わせる
ステップを含む制御方法。
【請求項８】
動画の記録中に静止画の記録を行うことが可能な、イメージャにより取り込まれた画像を静止画記録用のデータとして記録するとともに、前記イメージャにより取り込まれた前記画像の解像度を変換して得られた画像を動画記録用のデータとして記録するメモリを有する撮像装置の制御をコンピュータに実行させるプログラムにおいて、
前記メモリに記録された前記動画記録用のデータを対象とした圧縮処理を前記メモリを用いて行い、
動画の記録中に静止画の記録が指示された時、前記メモリに対するアクセスを伴う処理である圧縮処理と、前記静止画記録用のデータを記録させる処理と、前記動画記録用のデータを記録させる処理のうち、圧縮処理を中断させ、前記静止画記録用のデータを記録させる処理と、前記動画記録用のデータを記録させる処理を優先的に行わせる
ステップを含むプログラム。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、撮像装置、制御方法、およびプログラムに関し、特に、動画の記録中に静止画の記録を行うことが可能な撮像装置において、動画記録用の画像と静止画記録用の画像の記録先となるメモリの帯域を抑えることができるようにした撮像装置、制御方法、およびプログラムに関する。
【背景技術】
【０００２】
近年販売されているデジタルスチルカメラには、一般的に、静止画の撮影機能の他に動画の撮影機能も設けられている。特許文献１には、記録する動画の符号量を抑えることができるようにする技術が記載されている。
【特許文献１】特開２０００−１３８９４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
動画を記録する前に行われる圧縮処理は比較的処理量の多い処理であり、また、圧縮処理に使うメモリへのアクセスも頻繁に行われるため、動画を記録するだけならまだしも、同時に静止画のキャプチャをも行おうとした場合、用いられるメモリが同じメモリであるときには、動画の圧縮処理のためのメモリへのアクセスと、静止画をキャプチャするためのメモリへのアクセスが重なり、確保しておく必要のあるメモリ帯域が大きくなってしまう。
【０００４】
例えば、動画の記録中に、動画の解像度よりも高い解像度の静止画を記録しようとした場合、動画の記録用の画像とは別に、それより高い解像度の画像を静止画の記録用の画像としてメモリにキャプチャしておく必要がある。
【０００５】
このことは、デジタルスチルカメラだけでなく、静止画の撮影機能が搭載されたビデオカメラにおいて動画の記録中に静止画の記録を行うときも同様である。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、動画の記録中に静止画の記録を行うことが可能な撮像装置において、動画記録用の画像と静止画記録用の画像の記録先となるメモリの帯域を抑えることができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面の撮像装置は、動画の記録中に静止画の記録を行うことが可能な撮像装置において、イメージャにより取り込まれた画像を静止画記録用のデータとして記録するとともに、前記イメージャにより取り込まれた前記画像の解像度を変換して得られた画像を動画記録用のデータとして記録するメモリと、前記メモリに記録された前記動画記録用のデータを対象とした圧縮処理を前記メモリを用いて行う圧縮手段と、動画の記録中に静止画の記録が指示された時、前記メモリに対するアクセスを伴う処理である前記圧縮手段による圧縮処理と、前記静止画記録用のデータを記録させる処理と、前記動画記録用のデータを記録させる処理のうち、前記圧縮手段による圧縮処理を中断させ、前記静止画記録用のデータを記録させる処理と、前記動画記録用のデータを記録させる処理を優先的に行わせる制御手段ととを備える。
【０００８】
前記動画記録用のデータである画像は、前記静止画記録用のデータである画像より解像度の低い画像であるようにすることができる。
【０００９】
前記制御手段には、前記圧縮手段による圧縮処理を、前記静止画記録用のデータを前記メモリに記録させ終わるまで中断させることができる。
【００１０】
前記制御手段には、さらに、静止画の記録が指示された時までに前記圧縮手段により圧縮され、前記メモリに記録されている圧縮済みの動画のデータを前記メモリから他の記録媒体に転送することも中断させることができる。
【００１１】
前記制御手段には、静止画の記録が指示されることに応じて前記静止画記録用のデータを前記メモリに記録させ終わってから、圧縮処理の対象になるデータとして前記メモリに記録されている前記動画記録用のデータと前記圧縮手段により圧縮処理の対象にされている前記動画記録用のデータの関係が圧縮処理を中断させる前と同じ関係になるまでの間、中断させる前より速い速度で前記圧縮手段に前記動画記録用のデータの圧縮を行わせることができる。
【００１２】
前記制御手段には、中断させる前より速い速度で前記圧縮手段に前記動画記録用のデータの圧縮を行わせている間、次の静止画の記録を禁止させることができる。
【００１３】
本発明の一側面の制御方法またはプログラムは、メモリに記録された動画記録用のデータを対象とした圧縮処理を前記メモリを用いて行い、動画の記録中に静止画の記録が指示された時、前記メモリに対するアクセスを伴う処理である圧縮処理と、静止画記録用のデータを記録させる処理と、前記動画記録用のデータを記録させる処理のうち、圧縮処理を中断させ、前記静止画記録用のデータを記録させる処理と、前記動画記録用のデータを記録させる処理を優先的に行わせるステップを含む。
【００１４】
本発明の一側面においては、動画の記録中に静止画の記録が指示された時、メモリに対するアクセスを伴う処理である圧縮処理と、静止画記録用のデータを記録させる処理と、動画記録用のデータを記録させる処理のうち、圧縮処理が中断され、静止画記録用のデータを記録させる処理と、動画記録用のデータを記録させる処理が優先的に行われる。
【発明の効果】
【００１５】
本発明の一側面によれば、動画記録用の画像と静止画記録用の画像の記録先となるメモリの帯域を抑えることができる。
【発明を実施するための最良の形態】
【００１６】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外には対応しないものであることを意味するものでもない。
【００１７】
本発明の一側面の撮像装置（例えば、図１の撮像装置１）は、動画の記録中に静止画の記録を行うことが可能な撮像装置において、イメージャにより取り込まれた画像を静止画記録用のデータとして記録するとともに、前記イメージャにより取り込まれた前記画像の解像度を変換して得られた画像を動画記録用のデータとして記録するメモリ（例えば、図１のDRAM１３）と、前記メモリに記録された前記動画記録用のデータを対象とした圧縮処理を前記メモリを用いて行う圧縮手段（例えば、図１の動画圧縮処理部２４）と、動画の記録中に静止画の記録が指示された時、前記メモリに対するアクセスを伴う処理である前記圧縮手段による圧縮処理と、前記静止画記録用のデータを記録させる処理と、前記動画記録用のデータを記録させる処理のうち、前記圧縮手段による圧縮処理を中断させ、前記静止画記録用のデータを記録させる処理と、前記動画記録用のデータを記録させる処理を優先的に行わせる制御手段（例えば、図１のCPU２１）とを備える。
【００１８】
本発明の一側面の制御方法またはプログラムは、メモリに記録された動画記録用のデータを対象とした圧縮処理を前記メモリを用いて行い、動画の記録中に静止画の記録が指示された時、前記メモリに対するアクセスを伴う処理である圧縮処理と、静止画記録用のデータを記録させる処理と、前記動画記録用のデータを記録させる処理のうち、圧縮処理を中断させ、前記静止画記録用のデータを記録させる処理と、前記動画記録用のデータを記録させる処理を優先的に行わせるステップ（例えば、図７のステップＳ３）を含む。
【００１９】
以下、本発明の実施の形態について図を参照して説明する。
【００２０】
図１は、本発明の一実施形態に係る撮像装置１の構成例を示すブロック図である。
【００２１】
撮像装置１は例えばデジタルビデオカメラであり、動画の記録中であっても、イメージャにより取り込まれた同じ画像を元に、動画の記録と、動画の解像度よりも高い解像度の静止画の記録を行うことができるようになされている。
【００２２】
図１に示されるように、撮像装置１は、例えば、イメージャ１１、信号処理チップ１２、DRAM(Dynamic Random Access Memory)１３、記録メディア１４から構成される。図１に示される構成の他に、レンズ、バッテリなども撮像装置１には設けられる。
【００２３】
イメージャ１１は、レンズを介して入射する被写体からの光を受光して光電変換を行い、受光量に応じたアナログの画像信号に対してA/D(Analog/Digital)変換を施してから、デジタル信号の画像データを信号処理チップ１２に出力する。イメージャ１１は、CCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子と、A/D変換を行う回路などにより構成される。A/D変換を行う回路などはイメージャ１１の後段にイメージャ１１とは別に設けられるようにしてもよい。
【００２４】
信号処理チップ１２は、CPU(Central Processing Unit)２１、前処理部２２、カメラ信号処理部２３、動画圧縮処理部２４、記録メディアI/F２５、内部バス２６、およびメモリコントローラ２７より構成され、イメージャ１１からの出力であるRAWデータに対して各種の処理を施し、処理を施すことによって得られた動画や静止画を記録メディア１４に記録させる。信号処理チップ１２による処理には、適宜、DRAM１３が用いられる。
【００２５】
記録メディア１４は、テープ、DVD(Digital Versatile Disc)、メモリカードなどの、撮像装置１に対して着脱式の記録媒体であったり、ハードディスクなどの撮像装置１に内蔵される固定式の記録媒体である。
【００２６】
信号処理チップ１２のCPU２１は、あらかじめ用意されるプログラムを実行し、前処理部２２、カメラ信号処理部２３、動画圧縮処理部２４、記録メディアI/F２５を制御する。
【００２７】
前処理部２２は、CPU２１による制御に従って、イメージャ１１から供給されたRAWデータに対して前処理を施す。例えば、ノイズリダクション処理、ホワイトバランス調整処理、ガンマ補正処理などが前処理として行われる。前処理部２２により前処理が施されたRAWデータは、そのデータが動画の記録に用いるデータである場合には内部バス２６を介してカメラ信号処理部２３に出力され、静止画の記録が指示されたときに得られたデータである場合には、静止画記録用のデータとして、内部バス２６を介してメモリコントローラ２７に出力される。
【００２８】
カメラ信号処理部２３は、前処理部２２から内部バス２６を介して供給されたRAWデータに対してカメラ信号処理を施す。例えば、輝度信号、色差信号を生成する色差分離マトリックス処理や、解像度を動画の記録フォーマットに応じた解像度に変換する解像度変換処理などがカメラ信号処理として行われる。例えば、撮像装置１において記録される動画の解像度は、静止画の解像度よりも低いものとされる。カメラ信号処理部２３によりカメラ信号処理が施されることによって得られた色差データは、動画記録用のデータとして、内部バス２６を介してメモリコントローラ２７に出力される。
【００２９】
このように、撮像装置１においては、イメージャ１１により取り込まれた画像の解像度を落とした画像が動画記録用のデータとして用いられ、解像度を落としていない、イメージャ１１により取り込まれたそのままの画像が静止画記録用のデータとして用いられる。
【００３０】
動画圧縮処理部２４は、カメラ信号処理部２３によりカメラ信号処理が施され、DRAM１３に記録された色差データを内部バス２６、メモリコントローラ２７を介して読み出し、読み出した色差データを対象として、MPEG(Moving Picture Experts Group)1，MPEG2，MPEG4，H.264，JPEG(Joint Photographic Expert Group)2000などのフォーマットに応じた圧縮処理を行う。
【００３１】
動きベクトルの検出やウェーブレット変換などよりなる圧縮処理はDRAM１３を用いて行われ、圧縮処理によって得られた圧縮済みの動画のデータはDRAM１３に記録される。従って、動画圧縮処理部２４により圧縮処理が行われている間、DRAM１３に対するアクセスが動画圧縮処理部２４により頻繁に行われることになる。DRAM１３に記録された圧縮済みの動画のデータは、所定のタイミングで内部バス２６を介して記録メディアI/F２５に転送される。
【００３２】
記録メディアI/F２５は、内部バス２６を介して供給された圧縮済みの動画のデータを記録メディア１４に記録させる。記録メディアI/F２５に対しては、例えば、動画の記録中に供給される圧縮済みの動画のデータの他に、DRAM１３からメモリコントローラ２７により読み出され、所定の信号処理が施された静止画のデータが供給される。静止画記録用のデータとしてDRAM１３に記録されたRAWデータに対しては、例えば、JPEGなどの圧縮処理がCPU２１により施される。
【００３３】
メモリコントローラ２７は、内部バス２６を介して供給されたデータをDRAM１３に記録させるとともに、内部バス２６を介して接続される各部からのアクセスに応じてDRAM１３からデータを読み出し、各部に出力する。
【００３４】
このような構成を有する撮像装置１においては、DRAM１３へのアクセスを伴う処理として、動画の記録中には、動画記録用のデータである色差データをDRAM１３に記録させるカメラ信号処理部２３の処理と、色差データを圧縮する動画圧縮処理部２４の処理が少なくとも行われるが、動画の記録中に静止画の記録が指示された時には、その指示がされた時にイメージャ１１により取り込まれた静止画記録用のデータとしてのRAWデータをDRAM１３に記録させるまでの間（静止画のキャプチャが行われるまでの間）、動画圧縮処理部２４による圧縮処理は中断され、静止画のキャプチャと、色差データをDRAM１３に記録させるカメラ信号処理部２３の処理が優先的に行われるようになされている。
【００３５】
ここで、動画の記録中のデータの流れ、静止画の記録だけが指示されたときのデータの流れ、および、動画の記録中に静止画の記録が指示されたときのデータの流れについてそれぞれ説明する。
【００３６】
図２は、動画の記録中のデータの流れの例を示す図である。説明の便宜上、音声データの流れは省略している。
【００３７】
動画の記録中、イメージャ１１から出力されたRAWデータは、矢印Ａ1に示されるように前処理部２２に出力され、前処理が施される。前処理が施されたRAWデータは矢印Ａ2に示されるように内部バス２６を介してカメラ信号処理部２３に出力され、カメラ信号処理が施される。
【００３８】
カメラ信号処理が施されることによって得られた色差データは、矢印Ａ3に示されるように、内部バス２６、メモリコントローラ２７を介してDRAM１３に出力され、動画記録用のデータとして記録される。
【００３９】
動画記録用のデータである色差データがDRAM１３に記録された時、矢印Ａ4に示されるように、DRAM１３に対するアクセスが動画圧縮処理部２４により複数回行われ、色差データを対象とした圧縮処理が行われる。動画圧縮処理部２４による圧縮処理によって得られ、DRAM１３に記録された圧縮済みの動画のデータは、所定のタイミングで、矢印Ａ5に示されるように、メモリコントローラ２７、内部バス２６を介して記録メディアI/F２５に転送され、記録メディアI/F２５により記録メディア１４に記録される。
【００４０】
図３は、静止画の記録だけが指示されたときのデータの流れの例を示す図である。
【００４１】
静止画の記録が指示された時、その時にイメージャ１１により取り込まれ、イメージャ１１から出力されたRAWデータは、矢印Ａ11に示されるように、前処理部２２に出力され、前処理部２２において前処理が施された後、内部バス２６、コントローラ２６を介してDRAM１３に出力されて、静止画記録用のデータとして記録される。
【００４２】
DRAM１３に記録されたRAWデータは、所定のタイミングで読み出され、圧縮処理などがCPU２１により施された後、記録メディアI/F２５に転送され、記録メディアI/F２５により記録メディア１４に記録される。
【００４３】
イメージャ１１からのRAWデータの読み出しが所定の周波数のクロックに同期して行われることから、このように、RAWデータをDRAM１３に記録させる静止画のキャプチャはリアルタイム処理となるが、DRAM１３に一度記録されたRAWデータに対して圧縮処理などを施し、静止画を記録メディア１４に記録させる処理は、リアルタイム処理として行う必要のない処理であり、静止画のキャプチャ後、所定のタイミングで行われる。
【００４４】
なお、イメージャ１１から出力されたRAWデータに前処理、カメラ信号処理を施し、得られた色差データをDRAM１３に記録させる動画の記録中の処理も、イメージャ１１からRAWデータが出力されてくる毎に行う必要のあるリアルタイム処理となる。一方、DRAM１３に記録された色差データを対象とした圧縮処理は、リアルタイム処理として行う必要のない処理となる。
【００４５】
図４は、動画の記録中に静止画の記録が指示されたときのデータの流れの例を示す図である。
【００４６】
動画の記録中に静止画の記録が指示された時、撮像装置１内におけるデータの流れは、図２に示されるものから図４に示されるものに切り換えられる。すなわち、図４に示されるように、動画圧縮処理部２４によりそれまで行われていた動画の圧縮処理は中断される。図４には、図２の矢印Ａ4に対応するDRAM１３−動画圧縮処理部２４間の矢印は示されていない。
【００４７】
また、静止画の記録が指示された時にイメージャ１１により取り込まれたRAWデータは、矢印Ａ21に示されるように、前処理部２２において前処理が施された後、内部バス２６、コントローラ２６を介してDRAM１３に出力され、静止画記録用のデータとして記録される。前処理部２２から出力されたデータは静止画記録用のデータとしてDRAM１３に出力されるとともに、分岐され、矢印Ａ22に示されるように、内部バス２６を介してカメラ信号処理部２３にも出力される。
【００４８】
カメラ信号処理部２３に出力されたRAWデータに対してはカメラ信号処理が施され、カメラ信号処理が施されることによって得られた色差データは、矢印Ａ23に示されるように、内部バス２６、メモリコントローラ２７を介してDRAM１３に出力され、動画記録用のデータとして記録される。静止画のキャプチャによって動画の記録が途切れてしまうのを防ぐために、動画圧縮処理部２４による圧縮処理は中断されたとしても、イメージャ１１から出力されたRAWデータから得られた色差データをDRAM１３に記録させることは続けられる。
【００４９】
例えば、DRAM１３には複数のバンクが形成されており、カメラ信号処理部２３により生成された色差データを記録するためのバンクと、動画圧縮処理部２４が圧縮処理に用い、圧縮済みの動画のデータを記録するバンクは異なるバンクとして用意される。これにより、動画圧縮処理部２４による圧縮処理が再開されたとしても、圧縮が施される前の色差データが圧縮済みの動画のデータによって上書きされてしまうことが防止される。
【００５０】
中断前の圧縮処理により得られ、記録メディア１４に転送されずにDRAM１３に残っていた圧縮済みの動画のデータは、それを仮にDRAM１３から読み出し、記録メディア１４に転送したとしても、データ量が比較的少なく、非圧縮のデータを読み出し／書き込みする場合に較べてDRAM１３のメモリ帯域を使わないで済むことから、矢印Ａ24に示されるように、矢印Ａ21で表される静止画のキャプチャや、矢印Ａ23で表される色差データをDRAM１３に記録させる処理と並行して記録メディア１４に転送される。
【００５１】
静止画のキャプチャが終了した時、データの流れは図２に示されるものとなり、動画圧縮処理部２４による圧縮処理は、その時までにDRAM１３に記録されている色差データを対象として再開される。
【００５２】
図５は、動画の記録中に静止画の記録が指示された場合でも中断することなく、動画圧縮処理部２４による圧縮処理が続けられたときのデータの流れの例を示す図である。
【００５３】
静止画の記録が指示されることに応じて圧縮処理を中断するとしたとき、図４に示されるように、DRAM１３に対するアクセスは矢印Ａ21，Ａ23，Ａ24で表されるアクセスだけであるのに対し、静止画の記録が指示された場合でも圧縮処理を中断しないとしたとき、図５に示されるように、DRAM１３に対するアクセスは矢印Ａ31，Ａ33，Ａ34，Ａ35で表されるアクセスとなり、動画圧縮処理部２４による分だけ、DRAM１３に対するアクセスが多く行われる。
【００５４】
このように、動画の記録中に静止画の記録が指示された場合にはリアルタイム処理を優先的に行い、リアルタイム処理として行う必要のない圧縮処理を中断することにより、DRAM１３に対するアクセスが同時に集中して行われることを抑えることができる。従って、静止画の記録が指示された場合でも圧縮処理を中断しないときに較べて、帯域の狭いメモリをDRAM１３として用いることが可能となる。
【００５５】
具体的には、カメラ信号処理の結果である色差データをDRAM１３に記録させるのに１００MByte/s、圧縮処理中のデータの読み出し／書き込みに５００MByte/s、静止画のキャプチャに４００MByte/sのメモリ帯域が必要な場合、圧縮済みの動画のデータをDRAM１３から記録メディア１４に転送することを考慮しないとすると、図５に示されるように、動画の記録中に静止画の記録が指示された場合でも圧縮処理を中断せずにそれらの処理を同時に行うには１０００MByte/sのメモリ帯域がDRAM１３の最大の帯域として求められることになるが、図４に示されるように、静止画の記録が指示されることに応じて圧縮処理を中断することにより、色差データをDRAM１３に記録させるのに必要な１００MByte/sと、圧縮処理に必要な５００MByte/sをあわせた６００MByte/sの、動画の記録だけを行うのに必要な分のメモリ帯域だけDRAM１３に確保されていればよく、より狭い帯域しかないメモリをDRAM１３として用いることが可能となる。
【００５６】
また、１回の読み出し／書き込みのデータ量を固定として、読み出し／書き込みのタイミングを規定するクロックの周波数を上げることによって必要なメモリ帯域を確保しようとする場合、求められる最大の帯域を抑えることができることにより、クロックの周波数を上げる必要がなくなり、撮像装置１全体の消費電力を抑えることもできる。
【００５７】
さらに、例えば、圧縮処理の性能をわずか１％だけ向上させておくことにより、１００フレームを取り込む毎に１枚、すなわち、およそ４秒に１枚の静止画のキャプチャが可能となり、実用上も問題がない。ここで、１％だけ向上させる圧縮処理の性能の基準とは、１フレームの時間を固定として、１００フレームの動画処理に１００フレームの時間がかかるようなエンジン性能のことであり、それを１％だけ向上させておくとは、１００フレームの動画の圧縮処理を９９フレーム分の時間で処理することができる性能にしてくことである。
【００５８】
以上のように、静止画の記録が指示されることに応じて圧縮処理を中断する場合、DRAM１３には、圧縮処理が再開されるまでにイメージャ１１により取り込まれ、カメラ信号処理部２３により生成された色差データが全て記録されることになることから、再開後の一定期間、圧縮処理は、中断前よりも速い速度で行われる。
【００５９】
図６は、圧縮処理の速度の例を示す図である。図６において、横軸は時間軸を表す。
【００６０】
内側に数字が示される１つの四角はイメージャ１１により取り込まれ、処理の対象になる１フレームの画像を表す。図６の上段のフレーム１乃至１０は、カメラ信号処理部２３によりカメラ信号処理の対象とされるフレームを表し、その下の段のフレーム１乃至９は、動画圧縮処理部２４により圧縮処理の対象とされるフレームを表す。
【００６１】
すなわち、図６の例においては、カメラ信号処理が行われることによってフレーム１の色差データがDRAM１３に記録され、続けて、フレーム２がカメラ信号処理の対象とされる時刻ｔ1から時刻ｔ2の間に、その１フレーム前のフレーム１を対象とした圧縮処理が行われる。
【００６２】
同様に、カメラ信号処理が行われることによってフレーム２の色差データがDRAM１３に記録され、続けて、フレーム３がカメラ信号処理の対象とされる時刻ｔ3から時刻ｔ4の間に、その１フレーム前のフレーム２を対象とした圧縮処理が行われる。また、カメラ信号処理が行われることによってフレーム３の色差データがDRAM１３に記録され、続けて、フレーム４がカメラ信号処理の対象とされる時刻ｔ5から時刻ｔ6の間に、その１フレーム前のフレーム３を対象とした圧縮処理が行われる。
【００６３】
このように、図６は、静止画のキャプチャにより中断される前の通常時の圧縮処理が、カメラ信号処理の対象になっているフレームの１フレーム前のフレームを対象として行われる場合の例を示している。
【００６４】
例えば、図６に示されるように、フレーム５がカメラ信号処理の対象になったのと同じ時刻である時刻ｔ7に静止画の記録が指示されたとき、その直前に色差データがDRAM１３に記録されたフレーム４の圧縮処理は中断される。圧縮処理の中断は、静止画のキャプチャが終わるまで続けられ、時刻ｔ8において再開されたとき、時刻ｔ8から時刻ｔ9の間においては、中断される直前に色差データがDRAM１３に記録されたフレーム４を対象とした圧縮処理が行われる。フレーム４を対象とした圧縮処理が行われている時刻ｔ8から時刻ｔ9の間にはフレーム６を対象としたカメラ信号処理が行われているから、この例においては、静止画のキャプチャが１回行われる毎に、１フレーム分だけ、通常時と較べて圧縮処理に遅延が生じることになる。
【００６５】
再開後、圧縮処理は通常時と較べて速い速度で行われ、図６の例においては、時刻ｔ9から時刻ｔ10の間にフレーム５を対象とした圧縮処理が行われ、時刻ｔ10から時刻ｔ11の間にフレーム６を対象とした圧縮処理が行われている。また、時刻ｔ11から時刻ｔ12の間にフレーム７を対象とした圧縮処理が行われている。時刻ｔ9−ｔ10，ｔ10−ｔ11，ｔ11−ｔ12間の時間は、中断前に１フレームを圧縮するのにかかっていた時刻ｔ1−ｔ3間の時間などと較べて短い。
【００６６】
フレーム７を対象とした圧縮処理が終了し、圧縮処理の状態が、カメラ信号処理の対象になっているフレームより１フレームだけ前のフレームを対象として行うことができるような通常時の状態に追いついたとき、それ以降、再度、圧縮処理は通常時と同じ速度で行われる。
【００６７】
図６の例においては、フレーム９を対象としたカメラ信号処理が行われている時刻ｔ13から時刻ｔ14の間には、その１フレーム前のフレーム８を対象とした圧縮処理が行われ、フレーム１０を対象としたカメラ信号処理が行われている時刻ｔ15から時刻ｔ16の間には、その１フレーム前のフレーム９を対象とした圧縮処理が行われている。圧縮処理に要する撮像装置１の負担を考慮して、例えば、通常時の状態に圧縮処理の状態が追いつくまで、次の静止画のキャプチャは禁止される。
【００６８】
このように、再開後、圧縮処理が通常時と較べて速い速度で行われるようにすることにより、いわば圧縮処理待ちの状態の動画記録用のデータがDRAM１３に記録され続けることを防ぐことができる。
【００６９】
次に、図７のフローチャートを参照して、圧縮処理を制御するCPU２１の処理について説明する。
【００７０】
この処理は例えば動画の記録中に行われる。動画の記録中、図２を参照して説明したように、カメラ信号処理部２３により生成された色差データがDRAM１３に記録されるとともに、DRAM１３に記録された色差データを対象として、順次、動画圧縮処理部２４により圧縮処理が行われる。圧縮済みの動画のデータは記録メディアI/F２５に転送され、記録メディアI/F２５により記録メディア１４に記録される。
【００７１】
ステップＳ１において、CPU２１は、静止画のキャプチャを許可できるか否かを判定する。ここでは、上述したように、直前に行われた静止画のキャプチャによって、圧縮処理の状態が通常時の状態に追いついておらず、速い速度で処理を行っている状態にあるとき、次の静止画のキャプチャは禁止され、一方、圧縮処理の状態が通常時の状態にあるとき、静止画のキャプチャは許可される。
【００７２】
CPU２１は、ステップＳ１において、静止画のキャプチャを許可できると判定した場合、ステップＳ２に進み、次に、ユーザにより静止画の撮影が指示され、キャプチャの要求があったか否かを判定する。
【００７３】
ステップＳ２において、CPU２１は、キャプチャの要求があったと判定した場合、ステップＳ３に進み、動画圧縮処理部２４を制御し、圧縮処理を停止させる。
【００７４】
ステップＳ４において、CPU２１は、前処理部２２を制御し、前処理を施したRAWデータをDRAM１３に出力させることによって静止画のキャプチャを行わせる。また、CPU２１は、次の静止画のキャプチャを禁止する状態とする。その後、処理はステップＳ１に戻り、それ以降の処理が繰り返される。
【００７５】
一方、CPU２１は、ステップＳ１において、圧縮処理の状態が通常時の状態に追いついていないことから、静止画のキャプチャを許可することができないと判定した場合、または、ステップＳ２において、キャプチャの要求がないと判定した場合、ステップＳ５に進む。
【００７６】
ステップＳ５において、CPU２１は、動画圧縮処理部２４を制御し、DRAM１３に記録されている色差データを対象とした圧縮処理を行わせる。例えば、CPU２１は、圧縮処理が再開された後であり、静止画のキャプチャを禁止している場合、通常時よりも速い速度で圧縮処理を行わせ、静止画のキャプチャを禁止していない場合、通常時と同じ速度で圧縮処理を行わせる。
【００７７】
ステップＳ６において、CPU２１は、圧縮処理の状態が通常時の状態に追いついているか否かを判定し、追いついていないと判定した場合、ステップＳ７に進み、静止画のキャプチャを禁止する。
【００７８】
一方、ステップＳ６において、CPU２１は、圧縮処理の状態が通常時の状態に追いついていると判定した場合、ステップＳ８に進み、静止画のキャプチャを許可する。
【００７９】
ステップＳ７またはステップＳ８において静止画のキャプチャの許可／不許可が選択された後、処理はステップＳ１に戻り、動画の記録が終了されるまでの間、ステップＳ１以降の処理が続けられる。
【００８０】
以上の処理により、動画の記録中に静止画をキャプチャするときのDRAM１３へのアクセスを緩和し、DRAM１３に確保しておく必要のある最大のメモリ帯域を軽減させることができる。また、クロックの周波数を抑えることができ、消費電力を減らすことも可能となる。
【００８１】
なお、以上においては、動画記録中に１枚の静止画をキャプチャする場合について説明したが、DRAM１３の容量に余裕があれば、静止画のキャプチャが可能になるまでの間隔を短縮させたり、キャプチャ可能な枚数を増加させることもできる。また、圧縮処理の性能を高めることによっても、静止画のキャプチャが可能になるまでの間隔を短縮させることができる。
【００８２】
また、以上においては、図４を参照して説明したように、中断前の圧縮処理により得られ、記録メディア１４に転送されずにDRAM１３に残っていた圧縮済みの動画のデータは、データ量が比較的少ないことから、静止画のキャプチャや、色差データをDRAM１３に記録させる処理と並行して記録メディア１４に転送されるとしたが、この圧縮済みの動画のデータを記録メディア１４に転送する処理さえも、静止画のキャプチャが行われている間は中断されるようにしてもよい。これにより、静止画のキャプチャが行われている間でも圧縮済みの動画のデータが記録メディア１４に転送される場合に較べて、DRAM１３に必要なメモリ帯域をさらに抑えることができる。
【００８３】
以上においては、撮像装置１はデジタルビデオカメラである場合について説明したが、動画の撮影機能と静止画の撮影機能を有する機器であれば、デジタルスチルカメラ、携帯電話機などの各種の機器に上述した機能は適用することができる。
【００８４】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００８５】
図８は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。
【００８６】
CPU(Central Processing Unit)１０１は、ROM(Read Only Memory)１０２、または記憶部１０８に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)１０３には、CPU１０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU１０１、ROM１０２、およびRAM１０３は、バス１０４により相互に接続されている。
【００８７】
CPU１０１にはまた、バス１０４を介して入出力インターフェース１０５が接続されている。入出力インターフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続されている。CPU１０１は、入力部１０６から入力される指令に対応して各種の処理を実行する。そして、CPU１０１は、処理の結果を出力部１０７に出力する。
【００８８】
入出力インターフェース１０５に接続されている記憶部１０８は、例えばハードディスクからなり、CPU１０１が実行するプログラムや各種のデータを記憶する。通信部１０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【００８９】
入出力インターフェース１０５に接続されているドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１０８に転送され、記憶される。
【００９０】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図８に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１、または、プログラムが一時的もしくは永続的に格納されるROM１０２や、記憶部１０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部１０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【００９１】
なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【００９２】
【図１】本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】動画の記録中のデータの流れの例を示す図である。
【図３】静止画の記録だけが指示されたときのデータの流れの例を示す図である。
【図４】動画の記録中に静止画の記録が指示されたときのデータの流れの例を示す図である。
【図５】動画の記録中に静止画の記録が指示された場合でも圧縮処理が続けられたときのデータの流れの例を示す図である。
【図６】圧縮処理の速度の例を示す図である。
【図７】圧縮処理を制御する処理について説明するフローチャートである。
【図８】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【００９３】
１ 撮像装置， １１ イメージャ， １２ 信号処理チップ， １３ DRAM， １４ 記録メディア， ２１ CPU， ２３ カメラ信号処理部， ２４ 動画圧縮処理部
【出願人】 【識別番号】０００００２１８５
【氏名又は名称】ソニー株式会社
【出願日】 平成１８年８月１６日（２００６．８．１６）
【代理人】 【識別番号】１０００８２１３１
【弁理士】
【氏名又は名称】稲本 義雄
【公開番号】 特開２００８−４８１７３（Ｐ２００８−４８１７３Ａ）
【公開日】 平成２０年２月２８日（２００８．２．２８）
【出願番号】 特願２００６−２２１９９５（Ｐ２００６−２２１９９５）