トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 撮像装置および撮像方法
【発明者】 【氏名】久米 勉

【氏名】石井 真也

【氏名】山田 徳一郎

【要約】 【課題】画像データを、出力に関わらないフレームレートで処理した後、出力に適したフレームレートに変換して出力する。

【構成】ビデオ出力がPALである場合の画像データの記録処理において、表示信号処理部63は、バス16を介して、メモリ19に記録されている、フレームレート30Hzの画像データの供給を受けて、フレームレートの比に対応した間引きによるフレームレート変換方法により、フレームレートをNTSCの29.97Hzに変換して、表示部21、およびコーディックICインターフェース64に出力し、かつ、フレームレートをPALの25Hzに変換して、ビデオ出力インターフェース22に出力する。本発明は、デジタルカメラに適応することができる。
【特許請求の範囲】
【請求項1】
被写体像を撮像する撮像手段と、
前記撮像手段により撮像されて得られた画像データから第1のフレームレートを有する画像データを生成する生成手段と、
前記生成手段により生成された前記第1のフレームレートを有する画像データを、前記第1のフレームレートよりも低い第2のフレームレートを有する第1のビデオフォーマット、または、前記第1のフレームレートよりも低い第3のフレームレートを有する第2のビデオフォーマットに対応する画像データに変換するとともに、前記第2のビデオフォーマットに対応する画像データを、前記第1のフレームレートを有する画像データに変換する変換手段と、
前記変換手段により変換された前記第1のビデオフォーマットに対応する画像データを出力する第1の出力手段と、
前記変換手段により変換された前記第2のビデオフォーマットに対応する画像データを、前記第2のビデオフォーマットに対応する画像データを圧縮伸張する圧縮伸張部に出力する第2の出力手段と、
前記圧縮伸張部により伸張された前記第2のビデオフォーマットに対応する画像データの取得、前記変換手段による前記第2のビデオフォーマットに対応する画像データの前記第1のフレームレートを有する画像データへの変換、および、変換後の前記第1のフレームレートを有する画像データの前記第1のビデオフォーマットに対応する画像データへの変換、並びに、変換後の前記第1のビデオフォーマットに対応する画像データの前記第1の出力手段による出力を制御する制御手段と
を備える撮像装置。
【請求項2】
被写体像を撮像する撮像装置の撮像方法において、
被写体像を撮像し、
撮像されて得られた画像データから第1のフレームレートを有する画像データを生成し、
前記第1のフレームレートを有する画像データを、前記第1のフレームレートよりも低い第2のフレームレートを有する第1のビデオフォーマット、または、前記第1のフレームレートよりも低い第3のフレームレートを有する第2のビデオフォーマットに対応する画像データに変換するとともに、前記第2のビデオフォーマットに対応する画像データを、前記第1のフレームレートを有する画像データに変換し、
変換された前記第1のビデオフォーマットに対応する画像データを出力し、
変換された前記第2のビデオフォーマットに対応する画像データを、前記第2のビデオフォーマットに対応する画像データを圧縮伸張する圧縮伸張部に出力し、
前記圧縮伸張部により伸張された前記第2のビデオフォーマットに対応する画像データを取得し、取得された前記第2のビデオフォーマットに対応する画像データを前記第1のフレームレートを有する画像データへ変換し、変換後の前記第1のフレームレートを有する画像データを前記第1のビデオフォーマットに対応する画像データへ変換し、変換後の前記第1のビデオフォーマットに対応する画像データを出力する処理を制御する
ステップを含む撮像方法。
【発明の詳細な説明】【技術分野】
【0001】
本発明は、撮像装置および撮像方法に関し、特に、所定のフォーマットで画像出力を行う場合に用いて好適な、撮像装置および撮像方法に関する。
【背景技術】
【0002】
デジタルカメラ(デジタルスチルカメラ、デジタルビデオカメラ、並びに、静止画および動画を撮像可能なデジタルカメラ)においては、撮像する画像を確認するために、光学ファインダに代わって、液晶ファインダが用いられる。また、デジタルカメラは、例えば、テレビジョン受像機などのモニタを用いて、撮像した画像を表示させるために、内部に記録している画像データを外部の表示機器に出力するためのビデオ出力端子を備えている。
【0003】
ビデオ出力のフォーマットとしては、例えば、NTSC(National Television System Committee)方式や、PAL(Phase Alternating Line)方式などがある。PALは、1962年に西ドイツで提案されたカラーテレビジョン放送の標準であり、走査線が625本(50フィールド)、フレームレートは、25フレーム/秒、画面比(アスペクト比)3:4で、主にフランスを除く西ヨーロッパ各国で採用されている。NTSCは、1953年に標準化されたカラーテレビジョン信号方式であり、走査線が525本(60フィールド)、フレームレートは、29.97フレーム/秒、画面比(アスペクト比)3:4で、主にアメリカと日本で採用されている。
【0004】
従来のデジタルカメラでは、装置内の処理の全体が、ビデオ出力のフォーマットに合わせて、PALやNTSCのフレームレートにあわせた基準クロックで動作していたため、液晶ファインダにもPALやNTSCの映像が表示されていた。
【0005】
図1は、従来のデジタルカメラ1の構成を示すブロック図である。なお、図中、実線は画像信号の授受を示すものであり、点線は制御信号の授受を示すものであり、一点破線は符号信号の授受を示すものであり、二点破線は同期信号の授受を示すものである。
【0006】
CCD(Charge Coupled Device:電化結合素子)カメラ部11で撮像された画像信号は、A/D変換部12でデジタル信号に変換されて、信号処理部13に入力される。信号処理部13は、入力された信号に対して、例えば、ガンマ処理や、RGB信号をY/Cb/Cr信号に変換する処理などを行い、処理後の画像データを、メモリコントローラ14に供給する。
【0007】
メモリコントローラ14は、CPU(Central Processing Unit)15の制御に従って、入力された画像データを、バス16を介して、メモリ19に書き込んで記録させたり、メモリ19に書き込まれている画像データを、バス16を介して、画像圧縮処理部17や解像度変換処理部18に供給して処理させ、再びメモリ19に記録させる。また、メモリコントローラ14は、メモリ19に記録されている信号処理部13において処理された状態の画像データ、あるいは、必要に応じて画像圧縮処理部17、もしくは解像度変換処理部18によって処理された画像データを、バス16を介して、表示信号処理部20に供給したり、バス16を介して読み込み、ドライブ23に出力する。
【0008】
CPU15は、デジタルカメラ1の動作を制御するものであり、後述する同期信号生成部31から、基準となるタイミング信号の入力を受け、信号処理部13、メモリコントローラ14、および、表示信号処理部20の動作を制御するための制御信号を生成して出力する。
【0009】
画像圧縮処理部17は、供給された画像データを、例えば、JPEGなどの所定の圧縮符号化方法で圧縮符号化(ソフトウェアコーディング)する。解像度変換処理部18は、供給されたデータに対して、水平、もしくは垂直の画像解像度変換処理を行う。
【0010】
表示信号処理部20は、バス16を介して、メモリ19に記録された画像データの入力を受け、内部に有する同期信号生成部31が生成する基準信号に基づいて、 表示部21に出力して表示するのに適した信号、もしくは、ビデオ出力インターフェース22を介して外部の機器に出力するのに適した信号に変換する処理を実行する。同期信号生成部31が生成する基準信号は、CCDカメラ部11、信号処理部13、およびCPU15に供給される。
【0011】
表示部21は、例えば、液晶パネルなどより構成され、表示信号処理部20から供給された所定の表示フォーマット(例えば、PALやNTSC)の画像データを表示する。ビデオ出力インターフェース22は、所定のインターフェース形式で、外部の機器と接続され、表示信号処理部20から供給された所定のビデオ出力フォーマット(例えば、PALやNTSC)の画像データを外部の機器に出力する。なお、ビデオ出力インターフェース22と外部の機器は、有線で接続されていても、無線で接続されていても良い。
【0012】
また、メモリコントローラ14には、必要に応じて、ドライブ23が接続され、磁気ディスク41、光ディスク42、光磁気ディスク43、あるいは、半導体メモリ44などが装着され、例えば、メモリコントローラ14の処理により、画像圧縮処理部17において圧縮処理された画像が供給され、これらの記録媒体に記録される。
【0013】
撮影時において、CCDカメラ部11から入力された信号は、A/D変換部12でデジタル信号に変換されて、信号処理部13に入力される。信号処理部13は、入力された信号に対して、例えば、ガンマ処理や、RGB信号をY/Cb/Cr信号に変換する処理などを行い、処理後の画像データを、メモリコントローラ14に供給する。画像のサイズ変換がある場合、画像データは、メモリコントローラ14の処理により、バス16を介して、解像度変換処理部18に供給されて、水平、垂直の画像変換が行われ、変換されたデータが、メモリコントローラ14の処理により、バス16を介して、メモリ19に記録される。
【0014】
画像データが、ドライブ23に装着されている記録媒体などに記録される場合、画像データは、メモリコントローラ14の処理により、バス16を介して、画像圧縮処理部17に供給され、例えば、JPEGなどの所定の圧縮符号化方式によって圧縮される。圧縮された画像データは、再び、メモリコントローラ14の処理により、ドライブ23に出力されて、磁気ディスク41、光ディスク42、光磁気ディスク43、あるいは、半導体メモリ44などの記録媒体に記録される。
【0015】
特に、動画像の撮影時には、CCDカメラ部11で撮像され、A/D変換部12および信号処理部13で所定の処理を施された画像信号は、メモリコントローラ14の処理により、メモリ19にフレーム毎に記録される。メモリコントローラ14は、CPU15の制御を受け、画像圧縮処理部17に、メモリ19に記録された画像信号を供給する。画像圧縮処理部17は、動画のフレームレートの仕様(例えば、15フレーム/秒や、16.6フレーム/秒)に従って、供給された画像信号に対して画像圧縮を施す。すなわち、画像圧縮処理部17は、フレームレートの仕様が15フレーム/秒の場合には、供給された画像信号を66.6msec毎の画像に圧縮し、フレームレートの仕様が16.6フレーム/秒の場合には、供給された画像信号を60msecおきの画像に圧縮する。圧縮処理後の画像データは、メモリコントローラ14の処理により、メモリ19、もしくは、ドライブ23に装着された記録媒体に書き込まれる。
【0016】
以上説明した処理のタイミングの基準になっているのは、表示信号処理部20内の同期信号生成部31が発生している垂直同期信号VDであり、この信号が、CPU15や信号処理部13に入力されて、必要な信号の処理やCPU15の処理の基準となっている。
【0017】
従来においては、この基準のタイミング(垂直同期信号VD)は、ビデオ出力インターフェースから出力されるビデオ信号のフォーマット(例えば、NTSCやPALなど)のフレームレートを基準として発生されていた。
【発明の開示】
【発明が解決しようとする課題】
【0018】
多くの場合、液晶ファインダに用いられている表示部21の液晶パネルの走査線の数は、NTSCに合わせて240本である。このような液晶パネルを用いてPALで動作するデジタルスチルカメラにおいては、液晶パネルに画像を表示する場合に、走査線の間引きを行っていた。
【0019】
NTSCに合わせた走査線を有する液晶パネルにPALの画像を表示させる場合、走査線の間引きを行うために、画像が劣化してしまう。また、このような場合、表示内容にOSD(On Screen Display)による文字情報が含まれているとき、走査線の間引きによって文字が欠けてしまうという問題が生じる。
【0020】
近年、撮像素子であるCCDの性能向上にともなって、動画の表示におけるフレームレートの向上や、画質の向上が求められている。上述したように、従来のデジタルカメラ1において、処理の基準になっているのは、ビデオ出力のフォーマットに合わせて発生される垂直同期信号VDである。従って、CCDカメラ部11、信号処理部13、およびCPU15は、ビデオ出力のフォーマットに合わせて、PAL方式やNTSC方式を基準としたタイミングで動作している。
【0021】
しかしながら、処理の基準がNTSCやPALである場合、商品の形態として、2つのフォーマットができてしまうのは好ましくなく、動画を撮影する際にフレームレートが異なる画像データを処理する必要が生じてしまうことは避けたい。そのため、従来のデジタルカメラにおいては、より低いフレームレートであるPALの場合の25フレーム/秒のフレームレートにあわせて画像処理を行うように設定してしまうことになり、NTSC動作でも25フレーム/秒のフレームレートで処理してしまう。すなわち、高フレームレートを実現することができなくなる。
【0022】
また、画像圧縮処理部17の処理により、動画の圧縮ファイルをソフトウェアで作成する場合、NTSC方式に合わせた29.97Hzの周波数は、画像と音声の同期を取りにくい周波数であった。このため、画像圧縮処理部17において、実際にソフトウェアでエンコードを行うにあたっては、NTSC方式によらないフレームレート(例えば、15フレーム/秒、16.6フレーム/秒、あるいは、30フレーム/秒)などが選択されていた。
【0023】
しかしながら、画像圧縮処理部17において、ソフトウェアの処理によってエンコードを行う場合、動きベクトルなどを用いた高圧縮を行うことができないため、ビットレートを大きく下げることができず、高画質を得ることもできない。また、ソフトウェアの処理によってエンコードを行う場合、撮影モードと再生モードとで、基準となるタイミングが同一でなくてはならない。
【0024】
それに対して、動画像を高画質で撮像して記録するためには、専用のコーディックIC(Integrated Circuit)を用いてエンコードを行うようにすると好適である。近年では、動画像を高画質で撮像して記録するために適した専用のコーディックICが数多く開発され、商品化されている。
【0025】
しかしながら、既に商品化されているコーディックICは、従来のビデオ出力に合わせて、PAL方式やNTSC方式で動作するように設定されている。また、コーディックICを用いることは、コストアップになるため、ソフトウェアでフレームレートの高いエンコードを行う方式と、専用のコーディックICで高画質のエンコードを行う方式との双方が可能なシステムが求められている。双方のエンコード方式が可能なシステムであれば、コストと品質の要求に基づいて、コーディックICを利用しない構成、および、コーディックICを利用する構成のビデオカメラのいずれにおいても対応することが可能な、すなわち、コーディックICを接続可能なビデオカメラを構成することができる。
【0026】
本発明はこのような状況に鑑みてなされたものであり、高フレームレートのソフトウェアでの動画エンコード、および、外部コーディックICによる高画質動画エンコードの双方を可能とし、再生処理の基準のタイミングを、ビデオ出力される動画像のフォーマットによらず一定のタイミングで行い、かつ、表示される画質の劣化をなくすことができるようにするものである。
【課題を解決するための手段】
【0027】
本発明の一側面の撮像装置は、被写体像を撮像する撮像手段と、前記撮像手段により撮像されて得られた画像データから第1のフレームレートを有する画像データを生成する生成手段と、前記生成手段により生成された前記第1のフレームレートを有する画像データを、前記第1のフレームレートよりも低い第2のフレームレートを有する第1のビデオフォーマット、または、前記第1のフレームレートよりも低い第3のフレームレートを有する第2のビデオフォーマットに対応する画像データに変換するとともに、前記第2のビデオフォーマットに対応する画像データを、前記第1のフレームレートを有する画像データに変換する変換手段と、前記変換手段により変換された前記第1のビデオフォーマットに対応する画像データを出力する第1の出力手段と、前記変換手段により変換された前記第2のビデオフォーマットに対応する画像データを、前記第2のビデオフォーマットに対応する画像データを圧縮伸張する圧縮伸張部に出力する第2の出力手段と、前記圧縮伸張部により伸張された前記第2のビデオフォーマットに対応する画像データの取得、前記変換手段による前記第2のビデオフォーマットに対応する画像データの前記第1のフレームレートを有する画像データへの変換、および、変換後の前記第1のフレームレートを有する画像データの前記第1のビデオフォーマットに対応する画像データへの変換、並びに、変換後の前記第1のビデオフォーマットに対応する画像データの前記第1の出力手段による出力を制御する制御手段とを備える。
【0028】
本発明の一側面の撮像方法は、被写体像を撮像する撮像装置の撮像方法であって、被写体像を撮像し、撮像されて得られた画像データから第1のフレームレートを有する画像データを生成し、前記第1のフレームレートを有する画像データを、前記第1のフレームレートよりも低い第2のフレームレートを有する第1のビデオフォーマット、または、前記第1のフレームレートよりも低い第3のフレームレートを有する第2のビデオフォーマットに対応する画像データに変換するとともに、前記第2のビデオフォーマットに対応する画像データを、前記第1のフレームレートを有する画像データに変換し、変換された前記第1のビデオフォーマットに対応する画像データを出力し、変換された前記第2のビデオフォーマットに対応する画像データを、前記第2のビデオフォーマットに対応する画像データを圧縮伸張する圧縮伸張部に出力し、前記圧縮伸張部により伸張された前記第2のビデオフォーマットに対応する画像データを取得し、取得された前記第2のビデオフォーマットに対応する画像データを前記第1のフレームレートを有する画像データへ変換し、変換後の前記第1のフレームレートを有する画像データを前記第1のビデオフォーマットに対応する画像データへ変換し、変換後の前記第1のビデオフォーマットに対応する画像データを出力する処理を制御するステップを含む。
【0029】
本発明の一側面においては、被写体像が撮像され、撮像されて得られた画像データから第1のフレームレートを有する画像データが生成され、前記第1のフレームレートを有する画像データが、前記第1のフレームレートよりも低い第2のフレームレートを有する第1のビデオフォーマット、または、前記第1のフレームレートよりも低い第3のフレームレートを有する第2のビデオフォーマットに対応する画像データに変換され、前記第2のビデオフォーマットに対応する画像データが、前記第2のビデオフォーマットに対応する画像データを圧縮伸張する圧縮伸張部に出力され、前記圧縮伸張部により伸張された前記第2のビデオフォーマットに対応する画像データが取得され、取得された前記第2のビデオフォーマットに対応する画像データが前記第1のフレームレートを有する画像データへ変換され、変換後の前記第1のフレームレートを有する画像データが前記第1のビデオフォーマットに対応する画像データへ変換されて、変換後の前記第1のビデオフォーマットに対応する画像データが出力される。
【発明の効果】
【0030】
本発明によれば、取得された画像データを所定のフレームレートで出力することができる。
また、本発明によれば、取得された画像データを出力に関わらないフレームレートで処理した後、出力に適したフレームレートに変換して出力することができるので、高フレームレートのソフトウェアでの動画エンコード、および、外部コーディックICによる高画質動画エンコードの双方を行うことができる。
更に、本発明によれば、画像処理の基準のタイミングを、ビデオ出力される動画像のフォーマットによらず一定のタイミングで行うことができ、更に、表示される画質の劣化をなくすことができる。
【発明を実施するための最良の形態】
【0031】
以下、図を参照して、本発明の実施の形態について説明する。
【0032】
図2は、本発明を適用した、デジタルカメラ51の構成を示すブロック図である。
【0033】
なお、従来の場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【0034】
すなわち、図2のデジタルカメラ51は、メモリコントローラ14に代わって、メモリコントローラ61が備えられ、CPU15に代わって、CPU62が備えられ、同期信号生成部31を有する表示信号処理部20に変わって、同期信号生成部71を有する表示信号処理部63が備えられ、新たに、コーディックICインターフェース64が備えられている以外は、図1のデジタルカメラ1と基本的に同様の構成を有するものである。
【0035】
また、図2においても、図1における場合と同様に、図中、実線は画像信号の授受を示すものであり、点線は制御信号の授受を示すものであり、一点破線は符号信号の授受を示すものであり、二点破線は同期信号の授受を示すものである。
【0036】
同期信号生成部71は、CCDカメラ部11、信号処理部13、およびCPU62に供給する第1の基準信号である垂直同期信号VD1以外に、CPU62およびコーディックICインターフェース64に供給する第2の基準信号である垂直同期信号VD2および水平同期信号HD1を発生する。
【0037】
第1の基準信号である垂直同期信号VD1は、従来における基準信号である垂直同期信号VDに対応するものであるが、従来における場合と異なり、出力のビデオ信号のNTSC、もしくはPALを基準とした周波数が発生されるのではなく、例えば、60Hzや120Hzなどの所定の周波数が発生される。そして、第2の基準信号である垂直同期信号VD2および水平同期信号HD1は、CPU62、および、コーディックICインターフェース64に供給され、例えば、PALやNTSCなどの画像フォーマットを基準とした周波数が発生される。以下、垂直同期信号VD1は、フィールド周波数60Hz(フレーム周波数30Hz)であるものとして説明する。
【0038】
メモリコントローラ61は、CPU62の制御に従って、入力された画像データを、バス16を介して、メモリ19に書き込んで記録させたり、必要に応じて、メモリ19に記録されている画像データを、バス16を介して、画像圧縮処理部17や解像度変換処理部18に供給する。また、メモリコントローラ61は、CPU62の制御に従って、メモリ19に記録されている画像データ(必要に応じて、画像圧縮処理部17、あるいは、解像度変換処理部18で処理されている画像データ)を、バス16を介して表示信号処理部63に供給したり、バス16を介して読み出し、ドライブ23に出力する。これらの処理において、メモリコントローラ61は、CPU62から供給されたアドレス設定信号に基づいて、メモリ19の所定のアドレスに画像データを記録させたり、メモリ19の所定のアドレスから画像データを読み込む。
【0039】
また、メモリコントローラ61は、コーディックICインターフェース64および表示信号処理部63を介して入力された、コーディックICにより処理された画像データを、ドライブ23に出力して、装着されている記録媒体に記録させる。
【0040】
CPU62は、デジタルカメラ51の動作を制御するものであり、同期信号生成部71から、基準となるタイミング信号(第1の基準信号である垂直同期信号VD1、並びに、第2の基準信号である垂直同期信号VD2および水平同期信号HD1)の入力を受け、信号処理部13、メモリコントローラ61、および、表示信号処理部63の動作を制御するための制御信号を生成して出力したり、メモリ19のアドレス設定信号を生成し、メモリコントローラ61に出力する。
【0041】
表示信号処理部63は、メモリコントローラ14の処理により、メモリ19に記録された画像データの入力を受け、内部に有する同期信号生成部71が生成する基準信号に基づいて、表示部21に出力して表示するのに適した信号、ビデオ出力インターフェース22を介して外部の機器に出力するのに適した信号、もしくは、コーディックICインターフェース64を介して、デジタルカメラ51の外部に接続されているコーディックICに出力するのに適した信号に変換する処理を実行する。また、表示信号処理部63は、コーディックICインターフェース64を介して、コーディックICにより処理された画像データの入力を受け、メモリコントローラ61の制御により、メモリ19に出力する。
【0042】
同期信号生成部71が生成する基準信号は、第1の基準信号である垂直同期信号VD1と、第2の基準信号である垂直同期信号VD2および水平同期信号HD1との2系列である。上述したように、CCDカメラ部11、信号処理部13、およびCPU62には、第1の基準信号である垂直同期信号VD1が供給され、CPU62およびコーディックICインターフェース64には、第2の基準信号である垂直同期信号VD2および水平同期信号HD1が供給される。
【0043】
コーディックICインターフェース64は、デジタルカメラ51の外部に接続される図示しないコーディックICとのインターフェースであり、表示信号処理部63から供給された画像データをコーディックICに出力するとともに、コーディックICから、処理された画像データの入力を受け、表示信号処理部63に供給する。
【0044】
また、ドライブ23に装着されている磁気ディスク41、光ディスク42、光磁気ディスク43、あるいは、半導体メモリ44などには、メモリコントローラ61の処理により、必要な処理が施された画像信号が記録される。更に、ドライブ23に装着されている磁気ディスク41、光ディスク42、光磁気ディスク43、あるいは、半導体メモリ44など記録されていたプログラムは、必要に応じて、CPU62により読み込まれて実行されたり、メモリコントローラ61の処理によりメモリ19に記録されて、CPU62により読み込まれて実行される。
【0045】
このようなデジタルカメラ51において、フレームレートを向上するには、デジタルビデオカメラ51内の画像処理を、ビデオ出力のPALやNTSCに関わらず、一定の周期で行い、表示部21における表示画像のフォーマットと、コーディックICが対応する画像のフォーマットを同一のものとし、ビデオ出力のみをPAL、もしくはNTSCで、任意に行えるようにすればよい。デジタルビデオカメラ51内の画像処理を、ビデオ出力のPALやNTSCに関わらず、一定の周期で行うようにすれば、例えば、CCDなどの素子の性能が向上することにより、出力される画像データのフレームレートにかかわらず、画像処理のフレームレートを更に高くすることが可能となる。すなわち、ソフトウェアコーディングなどの処理を、更に高フレームレートで行うようにすることができる。
【0046】
この場合、表示信号処理部63は、表示部21を構成する液晶パネルに合致した走査線数の画像信号を出力することができるので、例えば、画像劣化やOSDの文字抜けなどの問題を解決することができる。更に、デジタルカメラ51は、このような構成をとることにより、ビデオ出力のフォーマットによらず高画質の動画の記録/再生が可能となる。そして、コーディックICインターフェース64に接続されているコーディックICが対応している画像フォーマットが、NTSC方式であるか、PAL方式であるかにかかわらず、ビデオ出力インターフェース22に接続される機器によって、ビデオ出力のフレームレートを、NTSC方式およびPAL方式のうちのいずれでも任意に選択することが可能となる。
【0047】
次に、デジタルビデオカメラ51の動作について説明する。
【0048】
撮影時において、CCDカメラ部11および信号処理部13は、同期信号生成部71により発生された第1の基準信号である垂直同期信号VD1の入力を受け、フィールド周波数60Hzを最小単位とするタイミングで動作を行う。
【0049】
CCDカメラ部11で撮像された画像信号は、A/D変換部12でデジタル信号に変換されて、信号処理部13に入力される。信号処理部13は、入力された信号に対して、例えば、ガンマ処理や、RGB信号をY/Cb/Cr信号に変換する処理などを行い、処理後の画像データを、メモリコントローラ61に供給する。
【0050】
メモリコントローラ61は、CPU62の制御に従って、入力された画像データを、バス16を介して、メモリ19に書き込んで記録させる。また、メモリコントローラ61は、メモリ19に記録されている画像データを、必要に応じて、バス16を介して、画像圧縮処理部17や解像度変換処理部18に供給して処理させ、再びメモリ19に記録させる。そして、メモリコントローラ61は、CPU62の制御に従って、メモリ19に記録されている画像データを、バス16を介して、表示信号処理部63に供給する。
【0051】
ここで、メモリコントローラ61に供給され、メモリ19に記録されたり、画像圧縮処理部17や解像度変換処理部18において処理される画像データは、第1の基準信号である垂直同期信号VD1を基準とした、30Hzのフレームレートを有する画像データである。
【0052】
表示信号処理部63は、入力された画像データを表示させる場合、表示部21を構成する液晶パネルに合致した走査線数の画像信号を表示部21に出力する。すなわち、表示信号処理部63は、入力された30Hzのフレームレートを有する画像データを、表示される画像データのフォーマットに変換して出力する。
【0053】
また、表示信号処理部63は、入力された画像データをビデオ出力インターフェース22から出力させる場合、入力された30Hzのフレームレートを有する画像データを、ビデオ出力インターフェース22に接続されている機器が処理可能な画像フォーマットに合致したフレームレートに変換して、ビデオ出力インターフェース22から外部に出力する。
【0054】
そして、表示信号処理部63は、入力された画像データを、コーディックICインターフェース64から、図示しないコーディックICに出力する場合、入力された30Hzのフレームレートを有する画像データを、コーディックICが処理可能な画像フォーマットのフレームレートに変換して、コーディックICインターフェース64に出力する。
【0055】
また、コーディックICの処理による再生処理において、表示信号処理部63は、コーディックICインターフェース64から、コーディックICが処理可能な画像フォーマットの再生画像データの入力を受け、バス16を介して、メモリ19に出力する。そして、表示信号処理部63は、メモリコントローラ61によるアドレス制御に従って、メモリ19に記録させた再生画像信号を読み出し、同一の画像フォーマットで画像を表示するようになされている表示部22に出力したり、ビデオ出力インターフェース22に接続されている機器が処理可能な画像フォーマットに合致したフレームレートに変換して、ビデオ出力インターフェース22から外部に出力する。
【0056】
図3および図4を用いて、画像記録時におけるフレームレートの変換処理について説明する。
【0057】
図3に示されるように、信号処理部13において信号処理が行われて生成された、フレーム周波数30Hzである30Hzフレーム81と、NTSCによる29.97Hzフレーム82とのフレームレートは、1001:1000の比例関係がある。従って、表示信号処理部63は、メモリコントローラ61から供給された30Hzフレーム81の画像の1001枚に1枚を間引きすることにより、フレーム周波数30Hzである30Hzフレーム81をNTSCのフレームレートを有する29.97Hzフレーム82に変換する処理を実行する。
【0058】
例えば、表示部21の表示フォーマット、および、コーディックICが処理することができる画像データのフォーマットがNTSC方式である場合、表示信号処理部63において、入力された30Hzフレーム81が、NTSC方式の29.97Hzフレーム82へ変換された後、コーディックICインターフェース64に出力されたり、表示部21に出力されて表示される。この場合、図3に示されるように、30Hzフレーム81の1001フレーム目と、NTSCによる29.97Hzフレーム82の1000フレーム目とは、同一の時間であるため、30Hzフレーム81の1000フレーム目は、NTSCへの変換時に間引かれて表示されない。
【0059】
そして、同様に、図4に示されるように、フレーム周波数30Hzである30Hzフレーム81に対して、PALは25Hzであるので、表示信号処理部63は、メモリコントローラ61により供給された30Hzフレーム81の画像の6枚に1枚を間引くことにより、PALのフレームレートを有する25Hzフレーム91に変換することができる。
【0060】
例えば、表示部21の表示フォーマット、および、コーディックICが処理することができる画像データのフォーマットがPAL方式である場合、表示信号処理部63において、入力された30Hzフレーム81が、PAL方式の25Hzフレーム91へ変換された後、コーディックICインターフェース64に出力されたり、表示部21に出力されて表示される。この場合、図4に示されるように、30Hzフレーム81の6フレーム目と、PALによる25Hzフレーム91の5フレーム目とは、同一の時間であるため、30Hzフレーム81の5フレーム目は、PALへの変換時に間引かれて表示されない。
【0061】
このような変換処理において、間引きによる画像の追越しが発生しないようにするためには、表示信号処理部63に、フレーム画像を一時記憶する領域を、少なくとも3フレーム分(図3および図4に示されるフレームA、フレームB、およびフレームCの分)備えるようにすればよい。
【0062】
また、記録された画像データがビデオ出力インターフェース22からビデオ出力される場合においても、図3および図4を用いて説明した処理と同様の処理により、入力された30Hzフレーム81を、NTSC方式の29.97Hzフレーム82、もしくは、PAL方式の25Hzフレーム91へ変換に変換することができるので、表示信号処理部63は、入力された30Hzフレーム81を、ビデオ出力インターフェース22に接続されている機器が処理可能な画像フォーマットに合致したフレームレートに変換して、ビデオ出力インターフェース22から外部に出力することができる。
【0063】
このような変換を行うことにより、ビデオ出力とコーディックICの処理フォーマットが異なる場合においても、それぞれ適したフレームレートの信号を供給し、かつ、表示に利用される液晶パネルなどの走査線数に適したフレームレートで表示処理を行うようにすることができる。
【0064】
次に、コーディックICの再生時の変換処理について説明する。図5では、コーディックICの再生モードがNTSCで、ビデオ出力がNTSCとPALのそれぞれの場合におけるフレームレートの変換について図示されている。この場合のデジタルカメラ51の動作について説明する。
【0065】
CPU62は、第1の基準信号である垂直同期信号VD1に基づいて、すなわち、30Hz周期で、コーディックICからの入力画像を、メモリ19のどの面に張るかを示すアドレスの設定を、フレームA,フレームB,フレームC,フレームD,フレームEの順に行わせるように、メモリコントローラ61を制御する。そして、その設定されたアドレスは、表示信号処理部63の処理により、NTSCのタイミングでラッチされて、実際のアドレスが確定される。すなわち、30Hz周期で設定されているアドレスに対して、1001回に1回、反映されないアドレスが発生するので、その面がスキップされて、次の面に画像が書き込まれる。
【0066】
図5に示されるように、CPU62は、CPU設定フレーム101の1000フレーム目に、C面を設定するが、実際の書き込み面102においては、C面はスキップされて、B面の次にはD面に画像が書き込まれる。この際の書き込み面102を、実際のビデオ出力のフレームレートでラッチしなおすことにより、ビデオ出力NTSC表示面103、あるいは、ビデオ出力PAL表示面104に示されるように、ビデオ出力される面(フレーム)が決定される。
【0067】
なお、ビデオ出力インターフェース22からのビデオ出力がPAL方式である場合、コーディックICの再生モードがNTSC(フレームレートは29.97Hz)であるから、出力される画像データのフレームレートは、図3を用いて説明した場合と逆の方法、すなわち、間引かれていた1001フレーム中の1フレームを加えることにより、一旦30Hzに変換された後、図4を用いて説明したように、6フレーム中の1フレームが間引かれて、PALのフレームレートの25Hzに変換される。
【0068】
コーディックICの再生モードも、ビデオ出力インターフェース22からのビデオ出力もNTSCである場合、追越しを発生しないためには、表示信号処理部63に、この処理のために画像を一時記憶する領域を4フレーム分備えるようにすればよい。これに対して、コーディックICの再生モードがNTSC方式であり、ビデオ出力インターフェース22からのビデオ出力がPAL方式である場合、追越しを発生しないためには、表示信号処理部63に、この処理のために画像を一時記憶する領域を5フレーム分備えなければならない。従って、ビデオ出力インターフェース22からのビデオ出力を、NTSCとPALとの両方に対応させたい場合は、表示信号処理部63に、画像を一時記憶する領域を5フレーム分備えなければならない。
【0069】
間引き処理を実行するためのアドレス設定を行う回路構成例を図6に示す。図6のアドレス設定回路111は、イネーブルつきのDフリップフロップであるフリップフロップ121−1乃至121−6、並びに、セレクタ121−1および121−2で構成され、特に、撮影時およびコーディックIC再生時の双方に対応するために、VIDEO AD信号を発生させる回路に、コーディックIC側のアドレスとのセレクタである、セレクタ122−1が備えられていることを特徴としている。図6においては、フリップフロップ121−1乃至121−6、並びに、セレクタ121−1および121−2のクロック入力端子の図示を省略している。
【0070】
図7に、フリップフロップ121−1乃至121−6の真理値表を示す。フリップフロップ121−1乃至121−6は、クロックエッジ(例えば、入力クロックの立ち上がりのタイミング)において、入力されたデータを出力するイネーブルつきのDフリップフロップである。
【0071】
図8に、セレクタ121−1および121−2の真理値表を示す。セレクタ121−1および121−2は、S端子(セレクタ入力端子)入力がL(すなわち0)である場合には、0入力端子に入力された論理を出力し、S端子入力がH(すなわち1)である場合には、1入力端子に入力された論理を出力するものである。
【0072】
図6に戻り、アドレス設定回路111の動作について説明する。撮影時において、CPU62は、VIDEO ADとコーディックIC ADとしてA、B、Cのメモリアドレスを30Hz周期で設定する。撮影時のモードと各コントロール信号を図9に示す。EN1には、30Hzに1回のEN(イネーブル)信号が入力される。EN2にはビデオ出力がNTSCなら29.97Hz周期の、ビデオ出力がPALなら25Hz周期のEN信号が入力される。そして、EN3には、コーディックICの処理(コーディックモード)がNTSCであれば29.97Hz周期、PALであれば25Hz周期のEN信号が入力される。
【0073】
図6の回路において、フリップフロップ121−1には、VIDEO ADが入力され、EN信号として、EN1が与えられる。フリップフロップ121−1の出力は、S端子にCONT1が供給されるセレクタ121−1の0入力端子に供給される。ここで、撮影時においては、CONT1に0が入力される。従って、セレクタ121−1からの出力は、フリップフロップ121−1からの出力となるため、撮影時においては、CONT2の入力は関係しない。セレクタ121−1の出力は、フリップフロップ121−2に入力され、フリップフロップ121−2のEN信号として、EN2が与えられる。そして、フリップフロップ121−2の出力が、メモリコントローラ16がビデオ出力のアドレスを設定するためのVIDEO AD OUTとして出力される。
【0074】
また、フリップフロップ121−3には、コーディックIC ADが入力され、EN信号としてEN1が与えられる。フリップフロップ121−3の出力は、EN信号としてEN3が与えられているフリップフロップ121−4に入力される。そして、フリップフロップ121−4の出力が、コーディックICのアドレスを設定するためのコーディックIC AD OUTとして出力される。
【0075】
同様に、コーディックICを用いた再生処理時において、CPU62は、コーディックIC ADとして、A,B,C,D,Eのアドレスを30Hz周期で書き込む。コーディックICを用いた再生処理時のモードと各コントロール信号を図10に示す。EN1には30Hzに1回のEN信号、EN2にはビデオ出力がNTSCなら29.97Hz周期の、ビデオ出力がPALなら25Hz周期のEN信号が、EN3には、コーディックモードがNTSCであれば29.97Hz周期、PALであれば25Hz周期のEN信号が入力される。
【0076】
図6の回路において、フリップフロップ121−3には、コーディックIC ADが入力され、EN信号としてEN1が与えられる。フリップフロップ121−3の出力は、EN信号としてEN3が与えられているフリップフロップ121−4に入力される。フリップフロップ121−4の出力は、コーディックICのアドレスを設定するためのコーディックIC AD OUTとして出力され、S端子にCONT2が供給されるセレクタ121−1の0入力端子に供給され、かつ、EN信号としてEN1が与えられているフリップフロップ121−5に入力される。そして、フリップフロップ121−5の出力は、EN信号としてEN1が与えられているフリップフロップ121−6に入力される。
【0077】
フリップフロップ121−6の出力は、S端子にCONT2が供給されるセレクタ121−1の1入力端子に供給される。ビデオ出力とコーディックICのコーディックモードが異なる場合、CONT2には、1が入力されるので、セレクタ122−2の出力は、フリップフロップ121−6の出力となる。このセレクタ122−2の出力によって示されるアドレスは、コーディックICから書き込みが終了した最新のアドレスを30Hzに乗り換えたものである。
【0078】
セレクタ122−2の出力は、セレクタ122−1の1入力端子に入力されているが、コーディックICを用いた再生処理時において、CONT1には1が入力されるので、セレクタ122−2の出力がセレクタ122−1から出力される。セレクタ121−1の出力は、フリップフロップ121−2に入力され、フリップフロップ121−2のEN信号として、EN2が与えられる。そして、フリップフロップ121−2の出力が、メモリコントローラ61がビデオ出力のアドレスを設定するためのVIDEO ADとして出力される。
【0079】
一方、ビデオ出力とコーディックICのコーディックモードが同一である場合、CONT2には、0が入力されるので、セレクタ122−2の出力は、フリップフロップ121−4の出力となり、セレクタ122−2の出力がセレクタ122−1から出力される。セレクタ121−1の出力は、フリップフロップ121−2に入力され、フリップフロップ121−2のEN信号として、EN2が与えられる。そして、フリップフロップ121−2の出力が、メモリコントローラ61がビデオ出力のアドレスを設定するためのVIDEO ADとして出力される。
【0080】
以上説明したフレームレートの変換処理について、コーディックICのコーディックモード、および表示部21の表示フォーマットがNTSCである場合の、ビデオ出力別のフレームレートの変換について、図11乃至図14を用いて説明する。なお、図11乃至図14においては、メモリ19、表示信号処理部63、表示部21、ビデオ出力インターフェース22、およびコーディックICインターフェース64以外の図示は省略して説明する。
【0081】
ビデオ出力がNTSCである場合の画像データの記録処理において、表示信号処理部63は、図11に示されるように、バス16を介して、メモリ19に記録されている、フレームレート30Hzの画像データの供給を受けて、上述した変換方法により、フレームレートをNTSCの29.97Hzに変換して、表示部21、ビデオ出力インターフェース22、およびコーディックICインターフェース64に出力する。
【0082】
ビデオ出力がPALである場合の画像データの記録処理において、表示信号処理部63は、図12に示されるように、バス16を介して、メモリ19に記録されている、フレームレート30Hzの画像データの供給を受けて、上述した変換方法により、フレームレートをNTSCの29.97Hzに変換して、表示部21、およびコーディックICインターフェース64に出力し、かつ、フレームレートをPALの25Hzに変換して、ビデオ出力インターフェース22に出力する。
【0083】
ビデオ出力がNTSCである場合のコーディックICを用いた再生処理において、表示信号処理部63は、図13に示されるように、コーディックICインターフェース64から、フレームレート29.97HzのNTSC画像データの入力を受ける。NTSC画像データは、メモリコントローラ61の処理により、バス16を介して、メモリ19に書き込まれる。そして、表示信号処理部63は、メモリ19に書き込まれた、フレームレート29.97HzのNTSC画像データの供給を受け、表示部21、および、ビデオ出力インターフェース22に、変換せずに、そのまま出力する。
【0084】
ビデオ出力がPALである場合のコーディックICを用いた再生処理において、表示信号処理部63は、図14に示されるように、コーディックICインターフェース64から、フレームレート29.97HzのNTSC画像データの入力を受ける。NTSC画像データは、メモリコントローラ61の処理により、バス16を介して、メモリ19に書き込まれる。そして、表示信号処理部63は、メモリ19に書き込まれた、フレームレート29.97HzのNTSC画像データの供給を受け、表示部21には、変換せずにそのまま出力するとともに、フレームレート29.97HzのNTSC画像データを、一旦、フレームレート30Hzの画像データに変換した後に、フレームレートをPALの25Hzに変換して、ビデオ出力インターフェース22に出力する。
【0085】
このように、撮影時および再生時において、出力フォーマットのフレームレートに関わらない所定のタイミング(例えば、60Hz)などを基準として処理を行い、その画像データに対するNTSCやPALへのフレームレート変換を、出力のフォーマットに基づいて、任意に行えるようにしたので、ビデオ出力モードにかかわらず、フレームレートの高い動画像を撮影することができ、更に、コーディックICを利用した記録再生が可能となる。
【0086】
また、撮影時、再生時とも、画像データの撮像や、ソフトウェアコーディングなどの処理は、ビデオ出力モードによらず、例えば、30Hzなどの所定のタイミング単位で動作に設計することが可能となるので、ソフトウェア設計が容易になり、コストを削減することができる。
【0087】
更に、表示部21に表示される画像の画質においても、例えば、コーディックICの処理フォーマットがNTSCである場合、表示部21を構成する液晶パネルなどの走査線の数も、NTSC対応のものとして、常に、NTSCに変換した信号を表示すればよいため、OSDの欠け等の画質劣化がない画像を出力することができる。
【0088】
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【0089】
この記録媒体は、図1、および図2に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク41(フレキシブルディスクを含む)、光ディスク42(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク43(MD(Mini-Disk)(商標)を含む)、もしくは半導体メモリ44などよりなるパッケージメディアなどにより構成される。
【0090】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【0091】
【図1】従来のデジタルカメラの構成を示すブロック図である。
【図2】本発明を適用したデジタルカメラの構成を示すブロック図である。
【図3】30Hzフレームと、NTSCの29.97Hzフレームとの関係を示す図である。
【図4】30Hzフレームと、PALの25Hzフレームとの関係を示す図である。
【図5】コーディックICによる再生時のフレーム変換について説明する図である。
【図6】メモリのアドレス指定のための回路構成の例を示す図である。
【図7】Dフリップフロップの動作について説明するための図である。
【図8】セレクタの動作について説明するための図である。
【図9】撮影時のコントロール信号について説明するための図である。
【図10】コーディックICによる再生時のコントロール信号について説明するための図である。
【図11】図2の表示信号処理部の動作について説明するための図である。
【図12】図2の表示信号処理部の動作について説明するための図である。
【図13】図2の表示信号処理部の動作について説明するための図である。
【図14】図2の表示信号処理部の動作について説明するための図である。
【符号の説明】
【0092】
11 CCDカメラ部, 12 A/D変換部, 13 信号処理部, 17 画像圧縮処理部, 18 解像度変換処理部, 19 メモリ, 21 表示部, 22 ビデオ出力インターフェース, 61 メモリコントローラ, 62 CPU, 63 表示信号処理部, 64 コーディックICインターフェース, 71 同期信号生成部
【出願人】 【識別番号】000002185
【氏名又は名称】ソニー株式会社
【出願日】 平成19年9月26日(2007.9.26)
【代理人】 【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄

【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝


【公開番号】 特開2008−35552(P2008−35552A)
【公開日】 平成20年2月14日(2008.2.14)
【出願番号】 特願2007−249161(P2007−249161)