| 【発明の名称】 |
撮像装置、撮像方法、プログラムおよび記録媒体 |
| 【発明者】 |
【氏名】吉田 和弘
|
| 【要約】 |
【課題】デジタルの映像信号に対して同色の周辺の画素を加算し、輝度分布に応じて前記周辺の画素の加算画素数を変更する撮像装置、撮像方法、プログラムおよび記録媒体を提供する。
【構成】フォトダイオードに蓄積された電荷は、タイミングジェネレータから出力される同期信号に従って読み出され、順次転送され、出力アンプを介して１画素ずつアナログ信号として出力され、Ａ／Ｄブロック１０２３でアナログの映像信号からデジタルの映像信号とに変換し、ＣＣＤ２信号処理ブロック１０４２にてガンマ補正、補間処理を行う。処理を行なったＲＧＢのデータから輝度信号を算出し、算出した輝度レベルに応じて周辺の画素の加算画素数を変更する。 |
【特許請求の範囲】
【請求項１】
被写体像の光信号を光電変換によって電気信号に変換する撮像素子と、
前記撮像素子からの映像信号をアナログの映像信号からデジタルの映像信号に変換するＡ／Ｄ変換手段と、
前記デジタルの映像信号に対して同色の周辺の画素を加算する画素加算手段と、
前記画素加算手段により加算する前記周辺の画素の加算画素数を、輝度分布に応じて変更する加算画素数変更手段とを有することを特徴とする撮像装置。
【請求項２】
前記加算画素数変更手段は、前記加算画素数を１画素毎に変更することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記加算画素数変更手段は、前記加算画素数をブロック分割した領域毎に変更することを特徴とする請求項１に記載の撮像装置。
【請求項４】
輝度に対してしきい値を設定し、前記画素加算手段は、前記輝度が前記しきい値よりも低い値の時に画素加算を行うことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記輝度分布は、撮像画像を複数のブロックに分割し、それぞれの前記ブロックのＲＧＢの積算値から算出することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記輝度分布は、前記映像信号を輝度信号と色差信号とに変換し、変換後の前記輝度信号より算出することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記輝度分布は、撮像画像に対して縮小画像を作成し、縮小画像の輝度信号から算出することを特徴とする請求項１に記載の撮像装置。
【請求項８】
撮像素子を用いて被写体の光信号を電気信号に変換する光電変換工程と、
前記撮像素子からの映像信号をアナログの映像信号からデジタルの映像信号に変換するＡ／Ｄ変換工程と、
前記デジタルの映像信号に対して同色の周辺の画素を加算する画素加算工程と、
前記画素加算工程により加算する前記周辺の画素の加算画素数を、輝度分布に応じて変更する加算画素数変更工程とを有することを特徴とする撮像方法。
【請求項９】
前記加算画素数変更工程は、前記加算画素数を１画素毎に変更することを特徴とする請求項８に記載の撮像方法。
【請求項１０】
前記加算画素数変更工程は、前記加算画素数をブロック分割した領域毎に変更することを特徴とする請求項８に記載の撮像方法。
【請求項１１】
輝度に対してしきい値を設定し、前記画素加算工程は、前記輝度が前記しきい値よりも低い値のときに画素加算を行うことを特徴とする請求項８に記載の撮像方法。
【請求項１２】
撮像画像を複数のブロックに分割し、それぞれの前記ブロックのＲＧＢの積算値から前記輝度分布を算出する工程を有することを特徴とする請求項８に記載の撮像方法。
【請求項１３】
前記映像信号を輝度信号と色差信号とに変換し、変換後の前記輝度信号より前記輝度分布を算出する工程を有することを特徴とする請求項８に記載の撮像方法。
【請求項１４】
撮像画像に対して縮小画像を作成し、縮小画像の輝度信号から前記輝度分布を算出する工程を有することを特徴とする請求項８に記載の撮像方法。
【請求項１５】
撮像素子を用いて被写体の光信号を電気信号に変換する光電変換処理と、
前記撮像素子の映像信号をアナログの映像信号からデジタルの映像信号に変換するＡ／Ｄ変換処理と、
前記デジタルの映像信号に対して同色の周辺の画素を加算する画素加算処理と、
前記画素加算処理により前記周辺の画素の加算画素数を、輝度分布に応じて変更する加算画素数変更処理とをコンピュータに実行させることを特徴とするプログラム。
【請求項１６】
前記加算画素数変更処理は、前記加算画素数を１画素毎に変更する処理をコンピュータに実行させることを特徴とする請求項１５に記載のプログラム。
【請求項１７】
前記加算画素数変更処理は、前記加算画素数をブロック分割した領域毎に変更する処理をコンピュータに実行させることを特徴とする請求項１５に記載のプログラム。
【請求項１８】
輝度に対してしきい値を設定し、前記画素加算処理は前記輝度が前記しきい値よりも低い値のときに画素加算する処理をコンピュータに実行させることを特徴とする請求項１５に記載のプログラム。
【請求項１９】
撮像画像を複数のブロックに分割し、それぞれの前記ブロックのＲＧＢの積算値から前記輝度分布を算出する処理をコンピュータに実行させることを特徴とする請求項１５に記載のプログラム。
【請求項２０】
前記映像信号を輝度信号と色差信号とに変換し、変換後の前記輝度信号より前記輝度分布を算出する処理をコンピュータに実行させることを特徴とする請求項１５に記載のプログラム。
【請求項２１】
撮像画像に対して縮小画像を作成し、縮小画像の輝度信号から前記輝度分布を算出する処理をコンピュータに実行させることを特徴とする請求項１５に記載のプログラム。
【請求項２２】
請求項１５から２１のいずれか１項記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
|
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、電子画像を生成する撮像装置、撮像方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
様々なデジタルカメラが開発される中、性能向上と言った最大の目的を掲げ開発者が画素加算方式といった輝度レベルにより分類する方式を従来生み出し今日に至っている。
【０００３】
従来の画素加算方式では、モニタリング、動画像では使用してもＶＧＡサイズ（６４０×４８０）であり全ての画素を使用しないため、撮像素子内でハード的に画面全体を２画素加算、４画素加算、９画素加算などの処理を行なってきた。
【０００４】
高画質カラー固体撮像素子を用いた動画撮像は、垂直間引きに代表されるような、間引き読み出しが一般的である。
【０００５】
例えば特許文献１では、高画質カラー固体撮像素子の画素エリアを画素混合する単位に分割し、各エリア１６から１９内で同色の全画素数を混合することで、画素利用率を１００パーセントに上げると同時に、エリア画素混合の空間ＬＰＦ効果により、高周波映像信号の低減への折り返しノイズを大幅に抑圧することができる撮像装置を提案している。
【０００６】
特許文献２では、撮像画面内の黒潰れと白飛び部分の画素の総量を輝度分布データから計測し、黒つぶれ、白飛びが少なくなるように、露出制御を行なうと言った撮像装置を提案している。
【０００７】
特許文献３では、まずモニタリングにより各フィールドの画像をモニタし、その結果からＡＥ評価値を演算してその結果、低輝度であると露光各フィールドデータを読み出し、第１と第２のフィールドデータを比較して、その比較結果により被写体が動いているか否か判断する撮像装置を提案している。
【特許文献１】特開２００４−３１２１４０号公報
【特許文献２】特開平３−２５４５８１号公報
【特許文献３】特開２００４−２３５９０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１では、リサンプリングによる高周波映像信号の低域への折り返しノイズが避けられないばかりでなく、画素信号を廃棄することで、実効感度が著しく低下するといった問題点がある。
【０００９】
また、特許文献２では、画面全体を画素加算すると低輝度側の黒潰れは無くなるが、高輝度側でも画素加算されてしまうために白飛びが発生してしまう恐れがあった。
【００１０】
また、静止画で画素加算を用いるには、２枚の画像を時間差で撮影して足し合わせるという技法が用いられているが、２枚の画像を用いる場合には被写体が動的なものであると、被写体の動きによって複雑な画像処理を行って２枚の画像を足し合わせる必要がある。
【００１１】
そこで、本発明では、デジタルの映像信号に対して同色の周辺の画素を加算することにより、輝度分布に応じて前記周辺の画素の加算画素数を変更する撮像装置、撮像方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の目的を達成するため、請求項１に記載の発明は、被写体像の光信号を光電変換によって電気信号に変換する撮像素子と、前記撮像素子からの映像信号をアナログの映像信号からデジタルの映像信号に変換するＡ／Ｄ変換手段と、前記デジタルの映像信号に対して同色の周辺の画素を加算する画素加算手段と、前記画素加算手段により加算する前記周辺の画素の加算画素数を、輝度分布に応じて変更する加算画素数変更手段とを有する撮像装置であることを特徴とする。
【００１３】
請求項２に記載の発明は、請求項１に記載の撮像装置において、前記加算画素数変更手段は、前記加算画素数を１画素毎に変更することを特徴とする。
【００１４】
請求項３に記載の発明は、請求項１に記載の撮像装置において、前記加算画素数変更手段は、前記加算画素数をブロック分割した領域毎に変更することを特徴とする。
【００１５】
請求項４に記載の発明は、請求項１に記載の撮像装置において、輝度に対してしきい値を設定し、前記画素加算手段は、前記輝度が前記しきい値よりも低い値のときに画素加算を行うことを特徴とする。
【００１６】
請求項５に記載の発明は、請求項１に記載の撮像装置において、前記輝度分布は、撮像画像を複数のブロックに分割し、それぞれの前記ブロックのＲＧＢの積算値から算出することを特徴とする。
【００１７】
請求項６に記載の発明は、請求項１に記載の撮像装置において、前記輝度分布は、前記映像信号を輝度信号と色差信号とに変換し、変換後の前記輝度信号より算出することを特徴とする。
【００１８】
請求項７に記載の発明は、請求項１に記載の撮像装置において、前記輝度分布は、撮像画像に対して縮小画像を作成し、縮小画像の輝度信号から算出することを特徴とする。
【００１９】
請求項８に記載の発明は、撮像素子を用いて被写体の光信号を電気信号に変換する光電変換工程と、前記撮像素子からの映像信号をアナログの映像信号からデジタルの映像信号に変換するＡ／Ｄ変換工程と、前記デジタルの映像信号に対して同色の周辺の画素を加算する画素加算工程と、前記画素加算工程により加算する前記周辺の画素の加算画素数を、輝度分布に応じて変更する加算画素数変更工程とを有する撮像方法であることを特徴とする。
【００２０】
請求項９に記載の発明は、請求項８に記載の撮像方法において、前記加算画素数変更工程は、前記加算画素数を１画素毎に変更することを特徴とする。
【００２１】
請求項１０に記載の発明は、請求項８に記載の撮像方法において、前記加算画素数変更工程は、前記加算画素数をブロック分割した領域毎に変更することを特徴とする。
【００２２】
請求項１１に記載の発明は、請求項８に記載の撮像方法において、輝度に対してしきい値を設定し、前記画素加算工程は、前記輝度が前記しきい値よりも低い値のときに画素加算を行うことを特徴とする。
【００２３】
請求項１２に記載の発明は、請求項８に記載の撮像方法において、撮像画像を複数のブロックに分割し、それぞれの前記ブロックのＲＧＢの積算値から前記輝度分布を算出する工程を有することを特徴とする。
【００２４】
請求項１３に記載の発明は、請求項８に記載の撮像方法において、前記映像信号を輝度信号と色差信号とに変換し、変換後の前記輝度信号より前記輝度分布を算出する工程を有することを特徴とする。
【００２５】
請求項１４に記載の発明は、請求項８に記載の撮像方法において、撮像画像に対して縮小画像を作成し、縮小画像の輝度信号から前記輝度分布を算出する工程を有することを特徴とする。
【００２６】
請求項１５に記載の発明は、撮像素子を用いて被写体の光信号を電気信号に変換する光電変換処理と、前記撮像素子からの映像信号をアナログの映像信号からデジタルの映像信号に変換するＡ／Ｄ変換処理と、前記デジタルの映像信号に対して同色の周辺の画素を加算する画素加算処理と、前記画素加算処理により加算する前記周辺の画素の加算画素数を、輝度分布に応じて変更する加算画素数変更処理とをコンピュータに実行させるプログラムであることを特徴とする。
【００２７】
請求項１６に記載の発明は、請求項１５に記載のプログラムにおいて、前記加算画素数変更処理は、前記加算画素数を１画素毎に変更する処理をコンピュータに実行させることを特徴とする。
【００２８】
請求項１７に記載の発明は、請求項１５に記載のプログラムにおいて、前記加算画素数変更処理は、前記加算画素数をブロック分割した領域毎に変更する処理をコンピュータに実行させることを特徴とする。
【００２９】
請求項１８に記載の発明は、請求項１５に記載のプログラムにおいて、輝度に対してしきい値を設定し、前記画素加算処理は前記輝度が前記しきい値よりも低い値のときに画素加算する処理をコンピュータに実行させることを特徴とする。
【００３０】
請求項１９に記載の発明は、請求項１５に記載のプログラムにおいて、撮像画像を複数のブロックに分割し、それぞれの前記ブロックのＲＧＢの積算値から前記輝度分布を算出する処理をコンピュータに実行させることを特徴とする。
【００３１】
請求項２０に記載の発明は、請求項１５に記載のプログラムにおいて、前記映像信号を輝度信号と色差信号とに変換し、変換後の前記輝度信号より前記輝度分布を算出する処理をコンピュータに実行させることを特徴とする。
【００３２】
請求項２１に記載の発明は、請求項１５に記載のプログラムにおいて、撮像画像に対して縮小画像を作成し、縮小画像の輝度信号から前記輝度分布を算出する処理をコンピュータに実行させることを特徴とする。
【００３３】
請求項２２に記載の発明は、請求項１５から２１のいずれか１項記載のプログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。
【発明の効果】
【００３４】
本発明によれば、デジタルの映像信号に対して同色の周辺の画素を加算することにより、輝度分布に応じて前記周辺の画素の加算画素数を変更する撮像装置、撮像方法、プログラムおよび記録媒体を提供することができる。
【発明を実施するための最良の形態】
【００３５】
本実施形態では、１枚の撮影画像を使用し黒潰れと白飛びを防ぎながら高感度化を達成し、一般的な撮像素子を用いてハード的な手振れ補正機能を必要としない撮像装置を提供することを目的とする。
【００３６】
以下、図面を用いて本発明を実施する上での最良の形態について説明する。
【００３７】
まず、図１、２、３に基づいてデジタルカメラの動作について説明する。図１は、本実施形態に用いるデジタルカメラの簡潔な外観図を示し、図２は、本実施形態に用いるデジタルカメラの詳細な外観図を示し、図３は、本実施形態に用いるデジタルカメラの制御系のブロック図を示す。
【００３８】
図１、２、３において、ストロボ発光部３、ストロボ回路１１４は、自然光などの光が足りない場合に光量を補う装置を示す。暗い場所や被写体が暗い場合の撮影においては、後述するデジタルスチルカメラプロセッサ１０４からストロボ回路１１４にストロボ発光信号を送信し、ストロボ回路１１４は、ストロボ発光部３を発光させ被写体を明るくする。
【００３９】
測距ユニット５は、カメラと被写体との距離を測る装置を示す。現在、デジタルカメラでは、撮像素子（ＣＣＤ）に形成された像のコントラストを検出し、最もコントラストの高い位置にレンズを移動させてフォーカスを合わせるＣＣＤ−ＡＦ方式が用いられている。しかし、ＣＣＤ−ＡＦ方式は、レンズを少しずつ動かしコントラストを探していくためフォーカス動作が遅いという問題があった。そこで、測距ユニット５を用いて被写体との距離情報を常に取得し、距離情報からレンズを一気に移動してフォーカス動作を高速化している。
【００４０】
鏡胴ユニット７は、被写体の光学画像を取り込むズームレンズ７０１、ズーム駆動モータ７１１からなるズーム光学系７１、フォーカスレンズ７０２、フォーカス駆動モータ７１２からなるフォーカス光学系７２、絞り７０３、絞りモータ７１３からなる絞りユニット７３、メカシャッタ７０４、メカシャッタモータ７１４からなるメカシャッタユニット７４、各モータを駆動するモータドライバ７５０を有する。そして、モータドライバ７５０は、リモコン受光部６入力や操作部Ｋｅｙユニット（ＳＷ１〜ＳＷ１３）の操作入力に基づく、後述するデジタルスチルカメラプロセッサ１０４内にあるＣＰＵブロック１０４３からの駆動指令により駆動制御される。ＲＯＭ１０８には、ＣＰＵブロック１０４３にて解読可能なコードで記述された、制御プログラムや制御するためのパラメータが格納されている。このデジタルカメラの電源がオン状態になると、前記プログラムは不図示のメインメモリにロードされ、前記ＣＰＵブロック１０４３はそのプログラムに従って装置各部の動作を制御するとともに、制御に必要なデータ等を、一時的に、ＲＡＭ１０７、及び後述するデジタルスチルカメラプロセッサ１０４内にあるＬｏｃａｌ ＳＲＡＭ１０４４に保存する。ＲＯＭ１０８に書き換え可能なフラッシュＲＯＭを使用することで、制御プログラムや制御するためのパラメータを変更することが可能となり、機能のＶｅｒＵｐが容易に行える。
【００４１】
ＣＣＤ１０１は、光学画像を光電変換するための固体撮像素子であり、Ｆ／Ｅ（フロントエンド）−ＩＣ１０２は、画像ノイズ除去用相関二重サンプリングを行うＣＤＳ１０２−１、利得調整を行うＡＧＣ１０２２、デジタル信号変換を行うＡ／Ｄ１０２３、ＣＣＤ１制御ブロック１０４１より、垂直同期信号（以下、ＶＤと記す。）、水平同期信号（以下、ＨＤと記す。）を供給され、ＣＰＵブロック１０４３によって制御されるＣＣＤ１０１、及びＦ／Ｅ−ＩＣ１０２の駆動タイミング信号を発生するＴＧ１０２４を有する。
【００４２】
デジタルスチルカメラプロセッサ１０４は、ＣＣＤ１０１よりＦ／Ｅ―ＩＣ１０２の出力データにホワイトバランス設定やガンマ設定を行い、又、前述したように、ＶＤ信号、ＨＤ信号を供給するＣＣＤ１制御ブロック１０４１、フィルタリング処理により、輝度データ・色差データへの変換を行うＣＣＤ２制御ブロック１０４２、前述した装置各部の動作を制御するＣＰＵブロック１０４３、前述した制御に必要なデータ等を、一時的に、保存するＬｏｃａｌ ＳＲＡＭ１０４４、パソコンなどの外部機器とＵＳＢ通信を行うＵＳＢブロック１０４５、パソコンなどの外部機器とシリアル通信を行うシリアルブロック１０４６、ＪＰＥＧ圧縮・伸張を行うＪＰＥＧ ＣＯＤＥＣブロック１０４７、画像データのサイズを補間処理により拡大／縮小するＲＥＳＩＺＥブロック１０４８、画像データを液晶モニタやＴＶなどの外部表示機器に表示するためのビデオ信号に変換するＴＶ信号表示ブロック１０４９、撮影された画像データを記録するメモリカードの制御を行うメモリカードコントローラブロック１０４０を有する。
【００４３】
ＳＤＲＡＭ１０３は、前述したデジタルスチルカメラプロセッサ１０４で画像データに各種処理を施す際に、画像データを一時的に保存する。保存される画像データは、例えば、ＣＣＤ１０１から、Ｆ／Ｅ−ＩＣ１０２を経由して取りこんで、ＣＣＤ１信号処理ブロック１０４１でホワイトバランス設定、ガンマ設定が行われた状態の「ＲＡＷ−ＲＧＢ画像データ」やＣＣＤ２制御ブロック１０４２で輝度データ・色差データ変換が行われた状態の「ＹＵＶ画像データ」、ＪＰＥＧ ＣＯＤＥＣブロック１０４７で、ＪＰＥＧ圧縮された「ＪＰＥＧ画像データ」などである。メモリカードスロットル１２１は、着脱可能なメモリカードを装着するためのスロットルである。
【００４４】
内蔵メモリ１２０は、前述したメモリカードスロットル１２１０にメモリカード１２１１が装着されていない場合でも、撮影した画像データを記憶できるようにするためのメモリである。ＬＣＤドライバ１１７は、後述するＬＣＤモニタ１０に駆動するドライブ回路であり、ＴＶ信号表示ブロック１０４９から出力されたビデオ信号を、ＬＣＤモニタ１０に表示するための信号に変換する機能も有している。ＬＣＤモニタ１０は、撮影前に被写体の状態を監視する、撮影した画像を確認する、メモリカードや前述した内蔵メモリ１２０に記録した画像データを表示する、などを行うためのモニタである。
【００４５】
ビデオＡＭＰ１１８は、ＴＶ信号表示ブロック１０４９から出力されたビデオ信号を、７５Ωインピーダンス変換するためのアンプであり、ビデオジャック１１９は、ＴＶなどの外部表示機器と接続するためのジャックである。ＵＳＢコネクタ１２２は、パソコンなどの外部機器とＵＳＢ接続を行う為のコネクタである。
【００４６】
シリアルドライバ回路１２３１は、パソコンなどの外部機器とシリアル通信を行うために、前述したシリアルブロック１０４６の出力信号を電圧変換するための回路であり、ＲＳ−２３２Ｃコネクタは、パソコンなどの外部機器とシリアル接続を行う為のコネクタである。
【００４７】
ＳＵＢ−ＣＰＵ１０９は、ＲＯＭ・ＲＡＭをワンチップに内蔵したＣＰＵであり、操作Ｋｅｙユニット（ＳＷ１から２２）やリモコン受光部６の出力信号をユーザの操作情報として、前述したＣＰＵブロック１０４３に出力したり、前述したＣＰＵブロック１０４３より出力されるカメラの状態を、後述するサブＬＣＤ１、ＡＦ ＬＥＤ８、ストロボＬＥＤ９，ブザー１１３の制御信号に変換して、出力する。サブＬＣＤ１は、例えば、撮影可能枚数など表示するための表示部であり、ＬＣＤドライバ１１１は、前述したＳＵＢ−ＣＰＵ１０９の出力信号より、前述したサブＬＣＤ１を駆動するためのドライブ回路である。
【００４８】
ＡＦ ＬＥＤ８は、撮影時の合焦状態を表示するためのＬＥＤであり、ストロボＬＥＤ９は、ストロボ充電状態を表すためのＬＥＤである。尚、このＡＦ ＬＥＤ８とストロボＬＥＤ９を、メモリカードアクセス中などの別の表示用途に使用しても良い。操作Ｋｅｙユニット（ＳＷ１から２２）は、ユーザが操作するＫｅｙ回路であり、リモコン受光部６は、ユーザが操作したリモコン送信機の信号の受信部である。
【００４９】
音声記録ユニット１１５は、ユーザが音声信号を入力するマイク１１５３、入力された音声信号を増幅するマイクＡＭＰ１１５２、増幅された音声信号を記録する音声記録回路１１５３からなる。音声再生ユニット１１６は、記録された音声信号をスピーカ１１６３から出力できる信号に変換する音声再生回路１１６１、変換された音声信号を増幅し、スピーカ１１６３を駆動するためのオーディオＡＭＰ１１６２、音声信号を出力するスピーカ１１６３からなる。
【００５０】
上述のように構成された本実施形態のデジタルカメラの内部構造や機能について図４から図８を用いて、以下詳細に説明する。
【００５１】
（ＣＣＤセンサの構造）
ＣＣＤセンサの構造について説明する。図４は、本実施形態におけるデジタルカメラなどに用いられるインタライン型ＣＣＤセンサの模式図を示す。入射した光量に応じて電荷を蓄積し光信号を電気信号に変換するフォトダイオードと、フォトダイオードから電荷を受け取り垂直方向に順次転送する垂直転送路と、垂直転送路からの電荷を水平方向に順次転送する水平転送路と、水平転送路の出力信号を増幅する出力アンプからなる。
【００５２】
撮像素子上には、フォトダイオードが規則正しく２次元に配列し、フォトダイオード１個が１画素に相当する。１つのフォトダイオード上には１色のカラーフィルタで覆われており、原色系ＣＣＤセンサではＲＧＢのカラーフィルタが図４のようなベイヤ配列と呼ばれる配色によって配列されている。フォトダイオードには、カラーフィルタに応じた色の光が電荷として蓄積される。
【００５３】
（信号の流れ）
フォトダイオードに蓄積された電荷は、タイミングジェネレータから出力される同期信号に従って垂直転送路に電荷が読み出される。このとき、垂直転送路に電荷を読出す方式には２種類あり、全てのフォトダイオードの電荷を同時に読み出すものと、数回に分けて読み出すものがある。
【００５４】
これは、ＣＣＤデバイスに依存し、前者のものをプログレッシブ方式、後者をインタレース方式と呼ぶ。撮像素子の画素数が多くなると、全ての画素の電荷を受け取る垂直転送路のフォトダイオードを備えることが難しいため、読出し回数を複数回にすることで数画素に対応した垂直転送路のフォトダイオードを備えることでフォトダイオードの数を減らしている。
【００５５】
垂直転送路に読み出された電荷は、垂直方向に水平転送路まで順次転送され、水平転送路で水平方向に順次転送され、出力アンプを介して１画素ずつアナログ信号として出力される。出力されたアナログ信号は、Ｆ／Ｅ−ＩＣ１０２のＣＤＳブロック１０２１にて画像ノイズの除去とサンプリングを行い、ＡＧＣブロック１０２２でゲイン乗算をし、Ａ／Ｄブロック１０２３でアナログ信号からデジタル信号へと変換される。この段階では、画像処理がされていない画像データのためＲＡＷデータと呼ばれる。ＣＣＤ１信号処理ブロック１０４１でデジタル信号データをＳＤＲＡＭ１０３に保存し、ＣＣＤ２信号処理ブロック１０４２にて画像処理を行う。
【００５６】
画像処理としては、ガンマ補正、補間処理が行われる。一般に、画像表示装置（例えば、ＬＣＤなど）は、入力に対して出力が非線形の特性を持っているため、出力が線形となるような入力信号を生成するためにガンマ補正を行う。また、ＲＡＷデータでは１画素に１色の情報しか持っていないため、補間処理では周辺の画素を利用して足りない２色を補間し、１画素にＲ，Ｇ，Ｂの３色の情報を持たせている。
【００５７】
（輝度分布算出について）
＜ＲＧＢから算出＞
輝度情報の取得には、ＲＡＷデータに対して、ガンマ補正と補間処理を行ったＲＧＢのデータに対して、ＣＰＵブロック１０４３にて、ＲＧＢのデータをＳＤＲＡＭ１０３から読出し、以下の計算式を用いて輝度信号を算出する。
【００５８】
輝度信号をＹとすると、Ｙ＝０．２９９ｘＲ＋０．５８７ｘＧ＋０．１１４ｘＢ計算を行う単位は、全ての画素に対して行ってもよいし、画面全体を複数個のブロックに分割してブロック内でＲ，Ｇ，Ｂの平均値を算出し、上記の式に当てはめて輝度信号を算出してもよい。算出した輝度信号に対して、横軸輝度値、縦軸度数のヒストグラムを作成し輝度分布とする。
【００５９】
＜輝度信号から算出＞
ＪＰＥＧ画像は輝度信号Ｙと色差信号Ｕ，Ｖから作成されるため、一般的にデジタルカメラでは画像処理としてＲＧＢデータからＹＵＶデータへ変換するハードロジックを備えている場合が多い。本実施形態の構成例では、この機能をＣＣＤ２信号処理ブロック１０４２に持っており、このようなハードロジックの場合、処理速度が速くソフト計算よりも効率的である。そこで、画面全てがＲＧＢデータからＹＵＶデータに変換された後で、Ｙ（輝度値）データに対して横軸輝度値、縦軸度数のヒストグラムを作成し輝度分布とする。
【００６０】
＜縮小画像（レックレビュー画像）から算出＞
前記インターレース方式のＣＣＤの場合には、全ての画素を読み出さなくてもＲＧとＧＢのラインがあれば間引き画像として画像を作成することができる。これは、一般に縮小画像（レックレビュー画像）などと呼び、画像撮影時の画像取り込み、画像処理、メモリカードへの保存などの間にＬＣＤ画面に最初に取得した数フィールド（１枚の画像をフレーム、分割されて読み出される領域をフィールドと呼ぶ）で画像を作成して表示して撮影画像のイメージをユーザに知らせている。
【００６１】
輝度情報の取得には、全ての画素から得る場合とこのようなレックレビュー画像から得る場合が考えられるが、全ての画素から得る場合、情報はより詳細ではあるが、情報量が多く計算負荷が増えるという問題がある。レックレビュー画像を用いた場合、全ての画素を取り込む前に輝度情報の取得を始めることができ、早い段階で情報が得られ計算負荷も少ない。また、全画素から計算した結果とレックレビュー画像から計算した結果は、さほど大きな違いがないため、レックレビュー画像を用いて輝度情報を取得する効果は大きい。
【００６２】
（画素加算方式について）
＜１画素単位で加算＞
本実施形態の周辺の画素を利用して画素加算を行う方法について説明する。図５は、画素加算を行う画素とその周辺画素を５×５の範囲で抜き出した場合の例である。注目画素を斜線部画素とすると、注目画素を取り囲む同色画素は８画素存在する。画素加算の方式としては、単純に注目画素に対して周辺画素をそのまま足す場合と、注目画素と周辺画素に比率を付けて足す場合がある。
【００６３】
＜単純加算＞
単純加算について説明すると、図５のように周辺画素に対して番号をつけると、
２画素加算は、注目画素＋（Ｉ）、
３画素加算は、注目画素＋（Ｉ）＋（ＩＩ）、
４画素加算は、注目画素＋（Ｉ）＋（ＩＩ）＋（ＩＩＩ）、
５画素加算は、注目画素＋（Ｉ）＋（ＩＩ）＋（ＩＩＩ）＋（ＩＶ）、
６画素加算は、注目画素＋（Ｉ）＋（ＩＩ）＋（ＩＩＩ）＋（ＩＶ）＋（Ｖ）、
７画素加算は、注目画素＋（Ｉ）＋（ＩＩ）＋（ＩＩＩ）＋（ＩＶ）＋（Ｖ）＋（ＶＩ）、
８画素加算は、注目画素＋（Ｉ）＋（ＩＩ）＋（ＩＩＩ）＋（ＩＶ）＋（Ｖ）＋（ＶＩ）＋（ＶＩＩ）、
９画素加算は、注目画素＋（Ｉ）＋（ＩＩ）＋（ＩＩＩ）＋（ＩＶ）＋（Ｖ）＋（ＶＩ）＋（ＶＩＩ）＋（ＶＩＩＩ）、
となる。
＜比率加算＞
比率加算について説明すると、
２画素加算は、注目画素＋Ｉ×α、
３画素加算は、注目画素＋（Ｉ＋ＩＩ）×α、
４画素加算は、注目画素＋（Ｉ＋ＩＩ＋ＩＩＩ）×α、
５画素加算は、注目画素＋（Ｉ＋ＩＩ＋ＩＩＩ＋ＩＶ）×α、
６画素加算は、注目画素＋（Ｉ＋ＩＩ＋ＩＩＩ＋ＩＶ）×α＋Ｖ×β、
７画素加算は、注目画素＋（Ｉ＋ＩＩ＋ＩＩＩ＋ＩＶ）×α＋（Ｖ＋ＶＩ）×β、
８画素加算は、注目画素＋（Ｉ＋ＩＩ＋ＩＩＩ＋ＩＶ）×α＋（Ｖ＋ＶＩ＋ＶＩＩ）×β、
９画素加算は、注目画素＋（Ｉ＋ＩＩ＋ＩＩＩ＋ＩＶ）×α＋（Ｖ＋ＶＩ＋ＶＩＩ＋ＶＩＩＩ）×β、
となる。ここで、α及びβは０〜１までの任意の値をとる。
【００６４】
（画素加算フロー）
次に画素加算フローについて図６を用いて説明する。図６は、画素単位で加算画素数を変更した場合のフローを示したものである。
【００６５】
まず、撮影画像に対して、前記の方法にて輝度分布情報を取得し（ステップＳ１０１）、注目画素の輝度値算出を行なう（ステップＳ１０２）。
【００６６】
次に、輝度値の低輝度側に対して予めしきい値を設定し、算出した注目画素の輝度値がしきい値より小さいかどうか比較する（ステップＳ１０３）。もし、注目画素の輝度値がしきい値よりも低いときには（ステップＳ１０３／ＹＥＳ）、注目画素数の輝度レベルに応じて加算画素数の決定を行い（ステップＳ１０４）、加算処理を行なう（ステップＳ１０５）。しきい値よりも高いときには（ステップＳ１０３／ＮＯ）、画素加算を行わない。加算処理を行う際、決定した加算画素数をブロック内の全ての画素に対して適用する。その後、全画素の処理が終了されているか識別し（ステップＳ１０７）、全画素終了されていない場合（ステップＳ１０７／ＮＯ）、繰り返し注目画素の輝度値算出から処理を行なう（ステップＳ１０２）。全画素終了された場合、全ての処理を終了する（ステップＳ１０７／ＹＥＳ）。
【００６７】
（輝度レベルに応じた加算画素数の決定について）
図７は、輝度レベルに応じた加算画素数の決定方法を示した図であり、横軸に輝度値、縦軸に頻度をとったヒストグラムである。横軸は右方向に行くほど輝度値が大きく、縦軸は上方向に行くほど頻度が大きくなる。
【００６８】
今、注目画素の輝度値がしきい値（ｔｈ）より小さいときに画素加算を行うが、注目画素の輝度値（ｙ）のレベルによって加算画素数を変更する。
【００６９】
図６では、注目画素の輝度値（ｙ）のレベルに応じてｂ＜ｙ＜ｔｈの範囲のとき２画素加算、ａ＜ｙ＜ｂの範囲のとき３画素加算、０＜ｙ＜ａの範囲のとき４画素加算をそれぞれ行う。
【００７０】
＜ブロック単位で加算画素数を変える＞
前記の説明では、画素単位で加算画素数を決定していたが、次はブロック単位で加算画素数を決める場合の説明を行う。図８は、ブロック単位で加算画素数を変更した場合のフローを示したものである。
【００７１】
ブロック生成については、画面を縦方向をｍ等分、横方向をｎ等分して画面全体をｍｘｎの領域に分割して行う（ｍとｎはそれぞれ自然数）。
【００７２】
まず、撮影画像に対して、前記の方法にて輝度分布情報を取得し（ステップＳ２０１）、注目ブロックの輝度値平均算出（ｙａ）を行なう（ステップＳ２０２）。
【００７３】
次に、輝度値の低輝度側に対して予め設定したしきい値に対し、算出した注目ブロックの輝度値平均がしきい値より小さいかどうか比較し（ステップＳ２０３）、注目画素の輝度値平均がしきい値よりも低いときには（ステップＳ２０３／ＹＥＳ）、注目ブロックの輝度値平均のレベルに応じて加算画素数の決定を行い（ステップＳ２０４）、加算処理を行なう（ステップＳ２０５）。しきい値よりも高いときには画素加算を行わない（ステップＳ２０３／ＮＯ）。画素加算処理を行った後、画素加算処理がブロック内の全ての画素に対して終了されたかどうか認識し（ステップＳ２０７）、全画素処理終了されている場合、全ての処理を終了する（ステップＳ２０７／ＹＥＳ）。全画素終了されていない場合（ステップＳ２０７／ＮＯ）、繰り返し、注目ブロックの輝度値平均算出から処理を行なう（ステップＳ２０２）。また、加算画素数の決定方法は、前記画素単位のときと同等であるので記載を省略する。
【００７４】
本実施形態では、輝度に応じて周辺画素の加算画素数を変更することにより、撮影画像全体を明るくすることなく黒潰れを防ぐことができる。また特別な撮像素子を用いなくても画素加算を行うことが可能であり、高感度化が達成できることで手ブレ、被写体ブレを防ぐことができるため、手振れ補正機能をハード的に負荷しなくても良好な画像が撮影できる。
【図面の簡単な説明】
【００７５】
【図１】本実施形態におけるデジタルカメラを示す簡潔な外観図である。
【図２】本実施形態におけるデジタルカメラを示す詳細な外観図である。
【図３】本実施形態におけるデジタルカメラの制御系を示すブロック図である。
【図４】本実施形態におけるデジタルカメラなどに用いられるインタライン型ＣＣＤセンサの構成を示す模式図である。
【図５】本実施形態における画素数加算の説明を示す図である。
【図６】本実施形態における画素単位で加算画素数を変更した場合のフローチャートを示す図である。
【図７】本実施形態における、輝度レベルに応じた加算画素数の決定方法を示す図である。
【図８】本実施形態におけるブロック分割による画素加算のフローチャートを示す図である。
【符号の説明】
【００７６】
１ サブＬＣＤ
２ レリーズボタン
３ ストロボ発光部
４ 撮影／再生切換ダイアル
５ 測距ユニット
６ リモコン受光部
７ 鏡胴ユニット
７１ ＺＯＯＭ光学系
７０１ ＺＯＯＭレンズ
７１１ ＺＯＯＭモータ
７２ ＦＯＵＣＡＳ光学系
７０２ ＦＯＵＣＡＳレンズ
７１２ ＦＯＵＣＡＳモータ
７３ 絞りユニット
７０３ 絞り
７１３ 絞りモータ
７４ メカシャッタユニット
７０４ メカシャッタ
７１４ メカシャッタモータ
８ ＡＦＬＥＤ
９ ストロボＬＥＤ
１０ ＬＣＤモニタ
１１ 光学ファインダ
１２ ズームボタン
１３ 電源スイッチ
１４ 操作部
１５ セルフタイマ
１６ メニュースイッチ
１７ ＯＫスイッチ
１８ 画像確認スイッチ
１９ マクロスイッチ
２０ ストロボスイッチ
２１ 右スイッチ
２２ ディスプレイスイッチ
１０１ ＣＣＤ
１０２ Ｆ／Ｅ−ＩＣ
１０２１ ＣＤＳ
１０２２ ＡＧＣ
１０２３ Ａ／Ｄ
１０２４ ＴＧ
１０３ ＳＤＲＡＭ
１０４ デジタルスチルカメラプロセッサ
１０４０ メモリカードコントローラブロック
１０４１ ＣＣＤ１信号処理ブロック
１０４２ ＣＣＤ２信号処理ブロック
１０４３ ＣＰＵブロック
１０４４ ＬｏｃａｌＳＲＡＭ
１０４５ ＵＳＢブロック
１０４６ シリアルブロック
１０４７ ＪＰＥＧＣＯＤＥＣブロック
１０４８ ＲＥＳＩＥＺＥブロック
１０４９ ＴＶ信号表示ブロック
１０７ ＲＡＭ
１０８ ＲＯＭ
１０９ ＳＵＢ−ＣＰＵ
１１１ ＬＣＤドライバ
１１３ ブザー
１１４ ストロボ回路
１１５１ 音声記録回路
１１５２ マイクＡＭＰ
１１５３ マイク
１１６１ 音声再生回路
１１６２ オーディオＡＭＰ
１１６３ スピーカ
１１５ 音声記録ユニット
１１６ 音声再生ユニット
１１７ ＬＣＤドライバ
１１８ ビデオＡＭＰ
１１９ ビデオジャック
１２０ 内蔵メモリ
１２１０ メモリカードスロットル
１２１１ メモリカード
１２２ ＵＳＢコネクタ
１２３１ シリアルドライバ回路
１２３２ ＲＳ−２３２ｃコネクタ
|
| 【出願人】 |
【識別番号】０００００６７４７
【氏名又は名称】株式会社リコー
|
| 【出願日】 |
平成１８年９月１４日（２００６．９．１４） |
| 【代理人】 |
【識別番号】１０００８４２５０
【弁理士】
【氏名又は名称】丸山 隆夫
|
| 【公開番号】 |
特開２００８−７２５０１（Ｐ２００８−７２５０１Ａ） |
| 【公開日】 |
平成２０年３月２７日（２００８．３．２７） |
| 【出願番号】 |
特願２００６−２４９７９８（Ｐ２００６−２４９７９８） |
|