トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 高解像度イメージ復元装置及び方法
【発明者】 【氏名】成 基 榮

【氏名】朴 斗 植

【氏名】金 昌 容

【氏名】李 晧 榮
【要約】 【課題】小型化されたカメラモジュールを介して獲得したイメージを高解像度のイメージに復元する装置及び方法を提供する。

【構成】多数のレンズと該多数のレンズに各々対応するサブイメージセンサとを備えるが、サブイメージセンサ内に含まれるカラーフィルタは、互いに重畳されない１つの単一カラーで形成され、各サブイメージセンサで各カラー別に原イメージを獲得するカメラモジュール、カラー別に獲得された多数の原イメージを入力される原イメージ生成モジュール、入力された多数の原イメージで同じ位置のピクセルが有するピクセル情報を再配置してカラー別に獲得された原イメージより高い解像度を有する中間イメージを生成する中間イメージ生成モジュール、及び生成された中間イメージをデモザイクしてデモザイクされたイメージをデブラーリングして最終イメージを生成する最終イメージ生成モジュールを備える。
【特許請求の範囲】
【請求項１】
多数のレンズと前記多数のレンズに各々対応するサブイメージセンサを備えるが、前記サブイメージセンサ内に含まれるカラーフィルタは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得するカメラモジュールと、
前記カラー別に獲得された多数の原イメージを入力される原イメージ生成モジュールと、
前記入力された多数の原イメージで同じ位置のピクセルが有するピクセル情報を再配置して、前記カラー別に獲得された原イメージより高い解像度を有する中間イメージを生成する中間イメージ生成モジュールと、
前記生成された中間イメージをデモザイクして前記デモザイクされたイメージをデブラーリングして最終イメージを生成する最終イメージ生成モジュールと、を備える高解像度イメージ復元装置。
【請求項２】
前記多数のレンズはレンズの位置が固定されたり、一つのレンズを基準として残りの他のレンズが所定のピクセル分だけ移動して被写体から反射された光を集光する請求項１に記載の高解像度イメージ復元装置。
【請求項３】
前記原イメージ生成モジュールは前記各カラー別に獲得された原イメージが前記各サブイメージセンサ内の定められた位置から外れた場合、前記原イメージの位置を補正する請求項１に記載の高解像度イメージ復元装置。
【請求項４】
前記原イメージ生成モジュールは前記各カラー別に獲得された原イメージの感度が不均一な場合、前記各カラー別に獲得された原イメージのうち最も低い感度の原イメージを基準として残りの他の原イメージの感度を補正する請求項１に記載の高解像度イメージ復元装置。
【請求項５】
前記カラーフィルタは、カラーの透過度によって第１フィルタ領域と第２フィルタ領域とに区分され、前記第２フィルタ領域にコーティングされるカラーの透過度は前記第１フィルタ領域にコーティングされるカラーの透過度より高い請求項１に記載の高解像度イメージ復元装置。
【請求項６】
多数のレンズと前記多数のレンズに各々対応するサブイメージセンサを備えるが、前記サブイメージセンサ内に含まれるカラーフィルタは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得するカメラモジュールと、
前記各カラー別に獲得された原イメージを各々複数のピクセルグループに区分する原イメージ生成モジュールと、
前記複数のピクセルグループに区分された原イメージで同じ位置のピクセルが有するピクセル情報を前記位置に対応するピクセルグループの所定ピクセルにマッピングして中間イメージを生成する中間イメージ生成モジュールと、
前記中間イメージを補間アルゴリズムを基盤に復元してデブラーリングする最終イメージ生成モジュールと、を備える高解像度イメージ復元装置。
【請求項７】
前記原イメージ生成モジュールは、前記各カラー別に獲得された原イメージが前記各サブイメージセンサ内の定められた位置から外れた場合、前記原イメージの位置を補正する請求項６に記載の高解像度イメージ復元装置。
【請求項８】
前記原イメージ生成モジュールは、前記各カラー別に獲得された原イメージが前記各サブイメージセンサの感度が不均一な場合、前記各カラー別に獲得された原イメージのうち最も低い感度の原イメージを基準として残りの他の原イメージの感度を補正する請求項６に記載の高解像度イメージ復元装置。
【請求項９】
前記カラーフィルタは、カラーの透過度によって第１フィルタ領域と第２フィルタ領域とに区分され、前記第２フィルタ領域にコーティングされるカラーの透過度は前記第１フィルタ領域にコーティングされるカラーの透過度より高い請求項６に記載の高解像度イメージ復元装置。
【請求項１０】
前記ピクセルグループは、前記カラーフィルタの配列パターンに対応する複数のピクセルを含む請求項６に記載の高解像度イメージ復元装置。
【請求項１１】
前記ピクセル情報は、前記第１フィルタ領域にマッチングされるサブイメージセンサから提供された輝度情報及び前記第２フィルタ領域にマッチングされるサブイメージセンサで提供されたカラー情報を含む請求項６に記載の高解像度イメージ復元装置。
【請求項１２】
多数のカラーレンズと前記多数のカラーレンズに各々対応するサブイメージセンサとを備えるが、前記カラーレンズは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得するカメラモジュールと、
前記カラー別に獲得された多数の原イメージを入力される原イメージ生成モジュールと、
前記入力された多数の原イメージで同じ位置のピクセルが有するピクセル情報を再配置して、前記カラー別に獲得された原イメージより高い解像度を有する中間イメージを生成する中間イメージ生成モジュールと、
前記生成された中間イメージをデモザイクし、前記デモザイクされたイメージをデブラーリングして最終イメージを生成する最終イメージ生成モジュールと、を備える高解像度イメージ復元装置。
【請求項１３】
先記多数のレンズは各レンズの位置が固定されたり、一つのレンズを基準として残りの他のレンズが所定のピクセル分だけ移動して被写体から反射される光を集光する請求項１２に記載の高解像度イメージ復元装置。
【請求項１４】
前記原イメージ生成モジュールは前記各カラー別に獲得された原イメージが前記各サブイメージセンサ内の定められた位置から外れた場合、前記原イメージの位置を補正する請求項１２に記載の高解像度イメージ復元装置。
【請求項１５】
前記原イメージ生成モジュールは前記各カラー別に獲得された原イメージの感度が不均一な場合、前記カラー別に獲得された原イメージのうち最も低い感度の原イメージを基準として残りの他の原イメージの感度を補正する請求項１２に記載の高解像度イメージ復元装置。
【請求項１６】
前記カラーレンズは、カラーの透過度によって第１レンズ領域と第２レンズ領域とに区分され、前記第２レンズ領域にコーティングされるカラーの透過度は前記第１レンズ領域にコーティングされるカラーの透過度より高い請求項７に記載の高解像度イメージ復元装置。
【請求項１７】
多数のカラーレンズと前記多数のカラーレンズに各々対応するサブイメージセンサを備えるが、前記カラーレンズは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得するカメラモジュールと、
前記各カラー別に獲得された原イメージを各々複数のピクセルグループに区分する原イメージ生成モジュールと、
前記複数のピクセルグループに区分された原イメージで同じ位置のピクセルが有するピクセル情報を前記位置に対応するピクセルグループの所定ピクセルにマッピングして中間イメージを生成する中間イメージ生成モジュールと、
前記中間イメージを補間アルゴリズムを基盤に復元してデブラーリングする最終イメージ生成モジュールと、を備える高解像度イメージ復元装置。
【請求項１８】
前記原イメージ生成モジュールは前記各カラー別に獲得された原イメージが前記各サブイメージセンサ内の定められた位置から外れた場合、前記原イメージの位置を補正する請求項１７に記載の高解像度イメージ復元装置。
【請求項１９】
前記原イメージ生成モジュールは前記各カラー別に獲得された原イメージの感度が不均一な場合、前記カラー別に獲得された原イメージのうち最も低い感度の原イメージを基準として残りの他の原イメージの感度を補正する請求項１７に記載の高解像度イメージ復元装置。
【請求項２０】
前記カラーレンズは、カラーの透過度によって第１レンズ領域と第２レンズ領域とに区分され、前記第２レンズ領域にコーティングされるカラーの透過度は前記第１レンズ領域にコーティングされるカラーの透過度より高い請求項１７に記載の高解像度イメージ復元装置。
【請求項２１】
前記ピクセルグループは、前記カラーレンズの配列パターンに対応する複数のピクセルを含む請求項１７に記載の高解像度イメージ復元装置。
【請求項２２】
前記ピクセル情報は、前記第１レンズ領域にマッチングされるサブイメージセンサから提供された輝度情報及び前記第２レンズ領域にマッチングされるサブイメージセンサで提供されたカラー情報を含む請求項１７に記載の高解像度イメージ復元装置。
【請求項２３】
多数のレンズと前記多数のレンズに各々対応するサブイメージセンサを備えるが、前記サブイメージセンサ内に含まれるカラーフィルタは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得する段階と、
前記カラー別に獲得された多数の原イメージを入力される原イメージ生成段階と、
前記入力された多数の原イメージで同じ位置のピクセルが有するピクセル情報を再配置して、前記カラー別に獲得された原イメージより高い解像度を有する中間イメージを生成する中間イメージ生成段階と、
前記生成された中間イメージをデモザイクして前記デモザイクされたイメージをデブラーリングし、デブラーリングされたイメージから最終イメージを生成する最終イメージ生成段階と、を含む高解像度イメージ復元方法。
【請求項２４】
前記多数のレンズはレンズの位置が固定されたり、一つのレンズを基準として残りの他のレンズが所定のピクセル分だけ移動して被写体から反射された光を集光する請求項２３に記載の高解像度イメージ復元方法。
【請求項２５】
前記原イメージ生成段階は前記各カラー別に獲得された原イメージが前記各サブイメージセンサ内の定められた位置から外れた場合、前記原イメージの位置を補正する請求項２３に記載の高解像度イメージ復元方法。
【請求項２６】
前記原イメージ生成段階は前記各カラー別に獲得された原イメージの感度が不均一な場合、前記各カラー別に獲得された原イメージのうち最も低い感度の原イメージを基準として残りの他の原イメージの感度を補正する請求項２３に記載の高解像度イメージ復元方法。
【請求項２７】
前記カラーフィルタは、カラーの透過度によって第１フィルタ領域と第２フィルタ領域とに区分され、前記第２フィルタ領域にコーティングされるカラーの透過度は前記第１フィルタ領域にコーティングされるカラーの透過度より高い請求項２３に記載の高解像度イメージ復元方法。
【請求項２８】
多数のレンズと前記多数のレンズに各々対応するサブイメージセンサを備えるが、前記サブイメージセンサ内に含まれるカラーフィルタは互いに重畳されない１つの単一カラーで形成されて、前記各サブイメージセンサで各カラー別に原イメージを獲得する段階と、
前記各カラー別に獲得された原イメージを各々複数のピクセルグループに区分する原イメージ生成段階と、
前記複数のピクセルグループに区分された原イメージで同じ位置のピクセルが有するピクセル情報を前記位置に対応するピクセルグループの所定ピクセルにマッピングして中間イメージを生成する中間イメージ生成段階と、
前記中間イメージを、補間アルゴリズムを基盤に復元してデブラーリングし、デブラーリングされたイメージから最終イメージを生成する最終イメージ生成段階と、を含む高解像度イメージ復元方法。
【請求項２９】
前記原イメージ生成段階は前記各カラー別に獲得された原イメージが前記各サブイメージセンサ内の定められた位置から外れた場合、前記原イメージの位置を補正する請求項２８に記載の高解像度イメージ復元方法。
【請求項３０】
前記原イメージ生成段階は前記各カラー別に獲得された原イメージの感度が不均一な場合、前記各カラー別に獲得された原イメージのうち最も低い感度の原イメージを基準として残りの他の原イメージの感度を補正する請求項２８に記載の高解像度イメージ復元方法。
【請求項３１】
前記カラーフィルタは、カラーの透過度によって第１フィルタ領域と第２フィルタ領域とに区分され、前記第２フィルタ領域にコーティングされるカラーの透過度は前記第１フィルタ領域にコーティングされるカラーの透過度より高い請求項２８に記載の高解像度イメージ復元方法。
【請求項３２】
前記ピクセルグループは、前記カラーフィルタの配列パターンに対応する複数のピクセルを含む請求項２８に記載の高解像度イメージ復元方法。
【請求項３３】
前記ピクセル情報は、前記第１フィルタ領域にマッチングされるサブイメージセンサから提供された輝度情報及び前記第２フィルタ領域にマッチングされるサブイメージセンサで提供されたカラー情報を含む請求項２８に記載の高解像度イメージ復元方法。
【請求項３４】
多数のカラーレンズと前記多数のカラーレンズに各々対応するサブイメージセンサを備えるが、前記カラーレンズは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得する段階と、
前記カラー別に獲得された多数の原イメージを入力される原イメージ生成段階と、
前記入力された多数の原イメージで同じ位置のピクセルが有するピクセル情報を再配置して、前記カラー別に獲得された原イメージより高い解像度を有する中間イメージを生成する中間イメージ生成段階と、
前記生成された中間イメージをデモザイクして前記デモザイクされたイメージをデブラーリングして最終イメージを生成する最終イメージ生成段階と、を含む高解像度イメージ復元方法。
【請求項３５】
前記多数のレンズはレンズの位置が固定されたり、一つのレンズを基準として残りの他のレンズが所定のピクセル分だけ移動して被写体から反射された光を集光する請求項３４に記載の高解像度イメージ復元方法。
【請求項３６】
前記原イメージ生成段階は前記各カラー別に獲得された原イメージが前記各サブイメージセンサ内の定められた位置から外れた場合、前記原イメージの位置を補正する請求項３４に記載の高解像度イメージ復元方法。
【請求項３７】
前記原イメージ生成段階は前記各カラー別に獲得された原イメージの感度が不均一な場合、前記各カラー別に獲得された原イメージのうち最も低い感度の原イメージを基準として残りの他の原イメージの感度を補正する請求項３４に記載の高解像度イメージ復元方法。
【請求項３８】
前記カラーレンズは、カラーの透過度によって第１レンズ領域と第２レンズ領域とに区分され、前記第２レンズ領域にコーティングされるカラーの透過度は前記第１レンズ領域にコーティングされるカラーの透過度より高い請求項３４に記載の高解像度イメージ
復元方法。
【請求項３９】
多数のカラーレンズと前記多数のカラーレンズに各々対応するサブイメージセンサを備えるが、前記カラーレンズは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得する段階と、
前記各カラー別に獲得された原イメージを各々複数のピクセルグループに区分する原イメージ生成段階と、
前記複数のピクセルグループに区分された原イメージで同じ位置のピクセルが有するピクセル情報を前記位置に対応するピクセルグループの所定ピクセルにマッピングして中間イメージを生成する中間イメージ生成段階と、
前記中間イメージを、補間アルゴリズムを基盤に復元してデブラーリングする最終イメージ生成段階と、を含む高解像度イメージ復元方法。
【請求項４０】
前記原イメージ生成段階は前記各カラー別に獲得された原イメージが前記各サブイメージセンサ内の定められた位置から外れた場合、前記原イメージの位置を補正する請求項３９に記載の高解像度イメージ復元方法。
【請求項４１】
前記原イメージ生成段階は前記各カラー別に獲得された原イメージの感度が不均一な場合、前記各カラー別に獲得された原イメージのうち最も低い感度の原イメージを基準として残りの他の原イメージの感度を補正する請求項３９に記載の高解像度イメージ復元方法。
【請求項４２】
前記カラーレンズは、カラーの透過度によって第１レンズ領域と第２レンズ領域とに区分され、前記第２レンズ領域にコーティングされるカラーの透過度は前記第１レンズ領域にコーティングされるカラーの透過度より高い請求項３９に記載の高解像度イメージ復元方法。
【請求項４３】
前記ピクセルグループは、前記カラーレンズの配列パターンに対応する複数のピクセルを含む請求項３９に記載の高解像度イメージ復元方法。
【請求項４４】
前記ピクセル情報は、前記第１レンズ領域にマッチングされるサブイメージセンサから提供された輝度情報及び前記第２レンズ領域にマッチングされるサブイメージセンサで提供されたカラー情報を含む請求項３９に記載の高解像度イメージ復元方法。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は、高解像度イメージ復元放置及び方法に係り、さらに詳細には、携帯電話、ＰＤＡ、ＭＰ３プレーヤーのような小型デジタル機器に装着される小型化されたデジタルカメラモジュールを介して獲得した映像を高解像度のイメージに復元する装置及び方法に関する。
【背景技術】
【０００２】
ほとんどのデジタル機器と同様にデジタルカメラも、多くの人々に新たな世界を見せた。
【０００３】
デジタルカメラは、フィルムカメラとは違って、簡便な操作でも、専門家級の写真を撮ることができ、現像と焼き付けを経ずとも、撮った写真を即座で確認できて、きれいな画質の写真を変形なしに半永久的に使用できる長所がある。
【０００４】
また、デジタルカメラが小型化されて携帯が簡便になり、携帯電話やＰＤＡ、ＭＰ３プレーヤーのような小型デジタル機器に内蔵されつつ過去のように特別の日にのみ写真を撮るものではなく、日常生活で写真を撮って楽しむ姿が自然なこととなり、小型デジタル機器を選択して購買するに当たって、デジタルカメラの内蔵有無は重要な要素となった。
【０００５】
最近、デジタル機器は、次第に小型化されており、自分だけの個性と便利さを追求する傾向と共に、消費者は現在よりさらに小さく、さらに薄い小型デジタル機器製品を要求している。
【０００６】
つまり、デジタルカメラが内蔵された小型デジタル機器が現在よりさらに小型化され、スリム化されるためには、内蔵されるデジタルカメラの小型化及びスリム化がなされねばならない。
【０００７】
図１は、従来の小型デジタル機器に内蔵されたデジタルカメラの原理を簡単に示す図面である。
直径の大きさＤａ、Ｄｂの異なるそれぞれのレンズ１０１ａ、１０１ｂを介してユーザが撮った被写体（Ｏｂｊｅｃｔ）１０１の映像が該当デジタルカメラのイメージセンサ１０２ａ、１０２ｂに形成される。
【０００８】
この際、レンズ１０１ｂの直径Ｄｂが大きければ、解像度に優れる長所はあるが、被写体の映像（イメージＢ）を結ぶための焦点距離ｆｂが延びるので、小型デジタル機器に内蔵されるデジタルカメラモジュールの高さが延びる。
したがって、大きなレンズと延びた焦点距離によって小型化とスリム化には難点がある。
【０００９】
一方、相対的にレンズ１０１ａの直径Ｄａが小さい場合、被写体１０１の映像（イメージＡ）が結ぶための焦点距離ｆａも減少するので、小型化及びスリム化には適しているが、デジタルカメラの最も重要な要素である解像度がレンズの直径に比例して低くなるので、鮮明な高解像度の写真を希望する消費者の要求とはほど遠かった。
【００１０】
これにより、焦点距離の減少と同時に高解像度の映像を得るための多様な発明（例えば、特許文献１）が提示されたが、前述した問題は相変らず解決されていない。
【特許文献１】韓国公開特許第２００３−００８４３４３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明は、小型デジタル機器に内蔵されるデジタルカメラの大きさ及び高さを減少させてデジタルカメラが内蔵される小型デジタル機器の小型化及びスリム化に寄与するところにその目的がある。
【００１２】
本発明の他の目的は、小型デジタル機器に内蔵されるデジタルカメラの大きさ及び高さを減少させつつも高解像度のイメージを提供することである。
【００１３】
本発明のさらに他の目的は、高解像度映像の表現時に光学的不一致と感度不均一を容易に補正することである。
【００１４】
本発明のさらに他の目的は、相異なる透過度を有するカラーフィルタを使用することによって、イメージセンサの構造を変更せずとも、高感度センシング領域と低感度センシング領域とを同時に具現することである。
【００１５】
本発明のさらに他の目的は、デジタルカメラが内蔵される小型デジタル機器の設計自由度を増加させることである。
【００１６】
本発明の目的は、以上で言及した目的に制限されず、言及されていない他の目的は下の記載から当業者に明確に理解され得る。
【課題を解決するための手段】
【００１７】
前記目的を達成するための本発明の実施形態による高解像度イメージ復元装置は、多数のレンズと前記多数のレンズに各々対応するサブイメージセンサを備えるが、前記サブイメージセンサ内に含まれるカラーフィルタは互いに重複されない１つの単一カラーで形成され、前記各サブイメージセンサで各カラー別に原イメージを獲得するカメラモジュール、前記カラー別に獲得された多数の原イメージを入力される原イメージ生成モジュール、前記入力された多数の原イメージで同じ位置のピクセルが有するピクセル情報を再配置して、前記カールロシア別に獲得された原イメージより高い解像度を有する中間イメージを生成する中間イメージ生成モジュール、及び前記生成された中間イメージをデモザイクして前記デモザイクされたイメージをデブラーリングして最終イメージを生成する最終イメージ生成モジュールと、を備える。
【００１８】
前記目的を達成するための本発明の他の実施形態による高解像度イメージ復元装置は、多数のカラーレンズと前記多数のカラーレンズに各々対応するサブイメージセンサとを備えるが、前記カラーレンズは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得するカメラモジュールと、前記カラー別に獲得された多数の原イメージを入力される原イメージ生成モジュールと、前記入力された多数の原イメージで同じ位置のピクセルが有するピクセル情報を再配置して、前記カラー別に獲得された原イメージより高い解像度を有する中間イメージを生成する中間イメージ生成モジュールと、前記生成された中間イメージをデモザイクし、前記デモザイクされたイメージをデブラーリングして最終イメージを生成する最終イメージ生成モジュールと、を備える。
【００１９】
前記目的を達成するための本発明のまた他の実施形態による高解像度イメージ復元装置は、多数のカラーレンズと前記多数のカラーレンズに各々対応するサブイメージセンサを備えるが、前記カラーレンズは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得するカメラモジュールと、前記各カラー別に獲得された原イメージを各々複数のピクセルグループに区分する原イメージ生成モジュールと、前記複数のピクセルグループに区分された原イメージで同じ位置のピクセルが有するピクセル情報を前記位置に対応するピクセルグループの所定ピクセルにマッピングして中間イメージを生成する中間イメージ生成モジュールと、前記中間イメージを補間アルゴリズムを基盤に復元してデブラーリングする最終イメージ生成モジュールと、を備える。
【００２０】
前記目的を達成するための本発明のまた他の実施形態による高解像度イメージ復元方法は、多数のレンズと前記多数のレンズに各々対応するサブイメージセンサを備えるが、前記サブイメージセンサ内に含まれるカラーフィルタは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得する段階と、前記カラー別に獲得された多数の原イメージを入力される原イメージ生成段階と、前記入力された多数の原イメージで同じ位置のピクセルが有するピクセル情報を再配置して、前記カラー別に獲得された原イメージより高い解像度を有する中間イメージを生成する中間イメージ生成段階と、前記生成された中間イメージをデモザイクして前記デモザイクされたイメージをデブラーリングして最終イメージを生成する最終イメージ生成段階と、を含む。
【００２１】
また、前記目的を達成するための本発明の実施形態による高解像度イメージ復元方法は、多数のレンズと前記多数のレンズに各々対応するサブイメージセンサを備えるが、前記サブイメージセンサ内に含まれるカラーフィルタは互いに重畳されない１つの単一カラーで形成されて、前記各サブイメージセンサで各カラー別に原イメージを獲得する段階と、前記各カラー別に獲得された原イメージを各々複数のピクセルグループに区分する原イメージ生成段階と、前記複数のピクセルグループに区分された原イメージで同じ位置のピクセルが有するピクセル情報を前記位置に対応するピクセルグループの所定ピクセルにマッピングして中間イメージを生成する中間イメージ生成段階と、前記中間イメージを補間アルゴリズムを基盤に復元してデブラーリングする最終イメージ生成段階と、を含む。
【００２２】
前記目的を達成するための本発明の他の実施形態による高解像度イメージ復元方法は、多数のカラーレンズと前記多数のカラーレンズに各々対応するサブイメージセンサを備えるが、前記カラーレンズは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得する段階と、前記カラー別に獲得された多数の原イメージを入力される原イメージ生成段階と、前記入力された多数の原イメージで同じ位置のピクセルが有するピクセル情報を再配置して、前記カラー別に獲得された原イメージより高い解像度を有する中間イメージを生成する中間イメージ生成段階と、前記生成された中間イメージをデモザイクして前記デモザイクされたイメージをデブラーリングして最終イメージを生成する最終イメージ生成段階と、を含む。
【００２３】
前記目的を達成するための本発明のまた他の実施形態による 高解像度イメージ復元方法は、多数のカラーレンズと前記多数のカラーレンズに各々対応するサブイメージセンサを備えるが、前記カラーレンズは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得する段階と、前記各カラー別に獲得された原イメージを各々複数のピクセルグループに区分する原イメージ生成段階と、前記複数のピクセルグループに区分された原イメージで同じ位置のピクセルが有するピクセル情報を前記位置に対応するピクセルグループの所定ピクセルにマッピングして中間イメージを生成する中間イメージ生成段階と、前記中間イメージを補間アルゴリズムを基盤に復元してデブラーリングする最終イメージ生成段階と、を含む。
その他の実施例の具体的な事項は詳細な説明及び図面に含まれている。
【発明の効果】
【００２４】
本発明のデジタルカメラモジュールによれば、次のような効果が１つあるいはそれ以上ある。
小型デジタル機器に内蔵されるデジタルカメラの大きさ及び高さを減少させてデジタルカメラが内蔵される小型デジタル機器の小型化及びスリム化に寄与する長所がある。
【００２５】
小型デジタル機器に内蔵されるデジタルカメラの大きさ及び高さを減少させつつも、高解像度のイメージを提供できる長所もある。
【００２６】
高解像度映像の表現時に、光学的不一致と感度不均一を容易に補正できる長所もある。
互いに異なる透過度を有するカラーフィルタを使用することによって、イメージセンサの構造を変更せずとも、高感度センシング領域と低感度センシング領域とを同時に具現できるという長所もある。
デジタルカメラが内蔵される小型デジタル機器の設計自由度を増加させる長所もある。
【発明を実施するための最良の形態】
【００２７】
本発明の利点及び特徴、そしてこれを達成する方法は添付された図面に基づいて詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は以下で開示される実施例に限定されるものではなく、この実施例から外れて多様な形に具現でき、本明細書で説明する実施例は本発明の開示を完全にし、本発明が属する技術分野で当業者に発明の範ちゅうを完全に報せるために提供されるものであり、本発明は請求項及び発明の詳細な説明により定義されるだけである。一方、明細書全体に亙って同一な参照符号は同一な構成要素を示す。
【００２８】
以下、添付された図面を参照して本発明の望ましい実施形態を詳細に説明する。
【００２９】
一般的に、デジタルカメラは、ピクセル単位の数(ｎｕｍｂｅｒ ｏｆ ｕｎｉｔ ｐｉｘｅｌ）によって該当デジタルカメラの性能を推測できる。ピクセル単位の数が多いほどさらに鮮明な映像が得られるためである。
【００３０】
ピクセル数の他にもレンズの輝度を通じてもデジタルカメラの性能が分かるが、レンズの輝度は、‘Ｆナンバー’または’しぼり値’と呼ばれる。
【００３１】
Ｆナンバーは、デジタルカメラのイメージセンサに到達する単位面積当り光量を表現したものであって、
【００３２】
【数１】


すなわち、レンズの焦点距離とレンズ直径との比率で示し得る。
【００３３】
Ｆナンバーが大きいほどデジタルカメラのイメージセンサに到達する単位面積当り光量は減少し、Ｆナンバーが低いほどデジタルカメラのイメージセンサに到達する単位面積当り光量は増加して、明るくかつ高解像度の映像を得られる。
【００３４】
したがって、Ｆナンバーの大きさはデジタルカメラのイメージセンサに到達する光量及びデジタルカメラを通じて得る映像の解像度と密接な関係がある。
【００３５】
もし、レンズの大きさと焦点距離、そしてピクセル数の異なる２台のデジタルカメラでＦナンバーが互いに同一であれば、レンズの大きさと焦点距離、ピクセル数は互いに異なるが、光量が同一なために同じ輝度の映像が得られる。
【００３６】
本発明はこのような原理を用いてレンズの直径と焦点距離とを縮めつつも、高解像度映像を表現できる多数のレンズを含むデジタルカメラモジュールに適用可能な高解像度イメージ復元方法を提案しようとする。
【００３７】
図２Ａは、従来のデジタルカメラの基本構造を示す図面である。
従来のデジタルカメラの基本構造は、被写体から反射された光を集光する直径ＩＤ２である１つのレンズ２０１と、このレンズ２０１で集光された光に反応して電気的な映像信号を生成するピクセル単位（Ｐｉｘｅｌ Ｌｅｖｅｌ）のイメージセンサ２０２を備える。
【００３８】
参考として、レンズ２０１の焦点距離が図２Ａに示してある。
イメージセンサ２０２内には、レンズ２０１が受光した光を元の天然色に具現するベイヤーパターン（Ｂａｙｅｒ Ｐａｔｔｅｎ）のカラーフィルタが含まれており、図２Ａに示されたイメージセンサ２０２は、これを上から見たものである。
【００３９】
ベイヤーパターンは、１９７０年代に発表されてから現在までデジタルイメージの最も重要な基本原理であって、理論の開始は自然界に存在する実際映像は点からなったものではない一方、デジタル映像は点でしか具現できないということから出発する。
【００４０】
対象の輝度と色相とを集めて点からなるイメージを作るために２次元平面上にレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）それぞれの輝度を受け取る点を配置する。
【００４１】
点を配置する時、人の目に最も敏感な緑色（Ｇ）の比率が５０％、レッド（Ｒ）及びブルー（Ｂ）は各々２５％ずつ割り当て、格子網を形成するが、これをベイヤーパターンカラーフィルタという。
【００４２】
ベイヤーパターンカラーフィルタで格子網を形成するそれぞれのピクセルは総天然色を認識するものではなく、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）のうち、割当てられた色のみを認識し、後でこれを補間して天然色を類推する。
【００４３】
図２Ｂは、図２Ａに示されたイメージセンサを構成する単位ピクセルに対する断面図である。
イメージセンサを構成する単位ピクセルの一部分２０２ａ〜２０２ｄについての断面を見ると、イメージセンサ内にベイヤーパターンのカラーフィルタ２０３が含まれていることが分かる。
【００４４】
図３は本発明の実施形態による高解像度イメージ復元装置３００の構成を図示したブロック図である。
【００４５】
本発明の実施形態による高解像度イメージ復元装置３００は入射する光を集光しカラー別に分離された複数のイメージを生成するカメラモジュール３０１、カメラモジュール３０１から提供される複数のイメージを基盤として最終イメージを生成するイメージ生成モジュール３０２およびイメージ生成モジュール３０２から提供される最終イメージをディスプレイするディスプレイモジュール３０３を含む。
【００４６】
カメラモジュール３０１は多数のレンズ４０１と前記多数のレンズに各々対応するサブイメージセンサ４０２を含むが、前記サブイメージセンサ内に含まれるカラーフィルタは互いに重畳されない一つの単一カラーで形成され前記各サブイメージセンサから各カラー別原イメージを獲得する。
【００４７】
まず、図４Ａないし図４Ｃを通じて本発明の実施形態による高解像度イメージ復元方法が適用可能な多数のレンズを含むデジタルカメラの構造を説明する。
【００４８】
本発明の実施形態による高解像度イメージ復元方法が適用可能な多数のレンズを含むデジタルカメラの構造は、被写体からの反射光を集光する同径の多数のレンズ４０１と被写体からの反射光に反応して電気的な映像信号を生成する多数のサブイメージセンサ４０２を含み、レンズが集光した光を元の天然色に具現する多数のカラー領域に分割されたカラーフィルタがサブイメージセンサ４０２内に備えられる。
【００４９】
参考までに、図４Ｂは、図４Ａに示されたデジタルカメラモジュールの構造を側面から見た図面であって、直径Ｄ３の大きさが同じである多数のレンズから被写体の映像が形成されるイメージセンサまでの焦点距離ｆ３は、いずれも同一であると仮定する。
したがって、同径の多数のレンズ４０１は同一平面上に位置することが望ましい。
【００５０】
また、多数のレンズ配列方式において本発明の実施形態は上下左右を対称形態に配置したが、多数のレンズを横または縦形態の一直線に配列することができ、レンズの数が奇数である場合、１つのレンズを中心に放射状の配列も可能であり、その他にも、本発明で述べていない多様な形態のレンズ配列が可能である。
【００５１】
参考として、多数のレンズ４０１は各レンズの位置が固定されたり、一つのレンズを基準として残りの他のレンズが所定のピクセル分だけ移動(ｓｈｉｆｔ)し被写体から反射される光を集光し得る。レンズの移動に対しては後に詳細に説明する。
【００５２】
以下、説明の便宜上、４個のレンズが横Ｘ縦２Ｘ２の形に配列された場合を実施形態として説明する。
【００５３】
前述したようにレンズの大きさと焦点距離、そしてピクセル数の異なる２台のデジタルカメラでＦナンバーが互いに同一であれば、レンズの大きさと焦点距離、ピクセル数は互いに異なるが、光量が同一なために同じ輝度の映像を得られるという原理を用いて、本発明の実施形態では、図２に示されたレンズ２０１より小さなレンズ４０１ａ〜４０１ｄと、図２に示されたイメージセンサ２０２よりピクセル数の少ないイメージセンサ４０２ａ〜４０２ｄを使用しており、焦点距離ｆ３は、図２に示された焦点距離ｆ２より短い。
【００５４】
図２に示されたイメージセンサ２０２のピクセル数を４００万ピクセルであると仮定し、図４Ａに示されたサブイメージセンサ４０２ａ〜４０２ｄのピクセル数は各々１００万であると仮定する。
【００５５】
したがって、図４Ａで示されたイメージセンサ４０２は、１００万ピクセルのサブイメージセンサ４０２ａ〜４０２ｄ４個が配列されたイメージセンサとなり、直径の大きさＤ３が同一な各４個のレンズ４０１ａ〜４０１ｄは、各レンズにマッチングされたサブイメージセンサ４０２ａ〜４０２ｄに被写体の映像を生成するようになる。
【００５６】
またサブイメージセンサ４０２ａ〜４０２ｄ内に含まれるカラーフィルタは、各サブイメージセンサ４０２ａ〜４０２ｄの大きさに合わせて４分割されて互いに重畳されない１つの単一カラーでコーティングされる。
【００５７】
前述したカラーフィルタが含まれた１つのサブイメージセンサ４０２ｄを構成する単位ピクセル４０２ｄ−１〜４についての断面が図４Ｃに示されており、同じサブイメージセンサ４０２ｄ内に存在するためにいずれも同じカラーフィルタ４０３を備えている。
【００５８】
この際、カラーフィルタ４０３は、コーティングされるカラーの透過度によって第１フィルタ領域と第２フィルタ領域とに区分される。
【００５９】
第１フィルタ領域と第２フィルタ領域にコーティングされるカラーの透過度を異ならせて、光量差を発生させることによって高感度及び低減度イメージセンシングを具現しうる。
【００６０】
フィルタ領域の区分は、カラーフィルタを構成するカラー領域のうち、透過度の最も高いカラー領域を第２フィルタ領域に区分してカラーフィルタから第２カラー領域を除いた残りの部分を第１フィルタ領域に区分することが望ましい。
【００６１】
説明の便宜上、多数個に分割されるカラーフィルタの領域と各サブイメージセンサの図面の表示記号を共に使用して実施形態を説明する。
【００６２】
例えば、図４Ａに示されたサブイメージセンサ４０２ａ〜４０２ｄ内に含まれたカラーフィルタを構成する４分割されたそれぞれのカラー領域、すなわち、グリーン（Ｇ）４０２ａ、レッド（Ｒ）４０２ｂ、ブルー（Ｂ）４０２ｃ、グレイ（Ｇｒ）４０２ｄ領域のうち、透過度の最も高いカラーであるグレイ（Ｇｒ）４０２ｄ領域を第２フィルタ領域に区分すれば、カラーフィルタでグレイ（Ｇｒ）４０２ｄ領域を除いた残りのカラー領域、すなわち、グリーン（Ｇ）４０２ａ、レッド（Ｒ）４０２ｂ、ブルー（Ｂ）４０２ｃ領域が第１フィルタ領域に含まれる。
【００６３】
またカラーフィルタを構成するそれぞれのカラー領域のうち、第２フィルタ領域にはイエロー以外のカラーが形成されることもある。
【００６４】
例えば、ホワイト（Ｗ）、イエロー（Ｙ）、シアン（Ｃｙａｎ）またはマゼンタ（Ｍａｇｅｎｔａ）のうちいずれか１つのカラーを有するカラー領域が形成され得る。
【００６５】
しかし、第２フィルタ領域に形成されるカラーは前述した例に限定されるものではなく、第１フィルタ領域に形成されたカラーに比べて高い透過度を有するカラーであれば、本発明の範ちゅうに属すると見なし得る。
【００６６】
結果的に、図４Ａに示されたカラーフィルタの透過度は、ブルー（Ｂ）、グリーン（Ｇ）、レッド（Ｒ）順に高まり、グレイ（Ｇｒ）は、レッド（Ｒ）より高い透過度を有する。
【００６７】
このように、第２フィルタ領域４０２ｄに該当するカラーの透過度が第１フィルタ領域４０２ａ〜４０２ｃに該当するカラーの透過度より高いカラーフィルタを形成すれば、各カラーフィルタ領域を通過する光量に差が発生する。
【００６８】
これは該当カラーフィルタ領域とマッチングされるサブイメージセンサ４０２ａ〜４０２ｄに到達する光量に差が発生することを意味し、各サブイメージセンサ４０２ａ〜４０２ｄに高感度センシング機能及び低感度センシング機能を同時に具現しうる。
【００６９】
前述したカラーフィルタコーティング方法の実施形態では、写真石版印刷法（Ｐｈｏｔｏ−Ｌｉｔｈｏ ｇｒａｐｈｙ Ｍｅｔｈｏｄ）とインクジェット法（Ｉｎｋｊｅｔ Ｍｅｔｈｏｄ）があり、図５Ａと図５Ｂに示されている。
【００７０】
例えば、グリーン（Ｇ）、レッド（Ｒ）、ブルー（Ｂ）、グレイ（Ｇｒ）の４種の単一カラーをコーティングする場合、写真石版印刷法は、まずイメージセンサ全体にグリーン（Ｇ）カラーをコーティングして５０２、１／４のグリーン（Ｇ）カラーコーティング部分を残した後、残りの３／４のグリーン（Ｇ）カラーコーティングは除去（Ｐａｔｔｅｒｎｉｎｇ）する（５０３）。
【００７１】
グリーン（Ｇ）カラーコーティングを剥がした３／４のイメージセンサ上に、再びレッド（Ｒ）カラーをコーティングして（５０４）、１／４のレッド（Ｒ）カラーコーティング部分を残した後、残りの２／４のレッド（Ｒ）カラーコーティングは除去する（５０５）。
【００７２】
イメージセンサには、グリーン（Ｇ）、レッド（Ｒ）カラーが各々１／４ずつコーティングされており、残りの２／４だけのコーティングはグリーン（Ｇ）、レッド（Ｒ）カラーコーティング法のようにブルー（Ｂ）、グレイ（Ｇｒ）コーティングができる（５０６〜５０８）。
写真石版印刷法は、ベイヤーパターンカラーフィルタ工程に比べて容易な長所がある。
【００７３】
図５Ｂは、２番目のコーティング方法の実施形態であるインクジェットコーティング法を示す図面である。
【００７４】
インクジェットコーティング法は、イメージセンサにレンズの数と同じ４個の分割壁を形成し（５１０）、各分割された１／４の空間に所望のカラーのインクをコーティングしてカラーフィルタを生成する方法である（５１１〜５１４）。
【００７５】
インクジェットコーティング法は、非常に簡単な工程であり、インクが節減される効果と共にセンサの製造コストを減少させうる長所がある。
【００７６】
前述した方法でコーティングされたカラーフィルタは、各レンズと各サブイメージセンサにマッチングされる。
【００７７】
例えば、図４Ａでサブイメージセンサ４０２ａ〜４０２ｄに各々グリーン（Ｇ）カラーフィルタ、レッド（Ｒ）カラーフィルタ、ブルー（Ｂ）カラーフィルタ、グレイ（Ｇｒ）カラーフィルタが含まれた場合、第１レンズ４０１ａを介して入射された被写体の光は、第１レンズ４０１ａとマッチングされたサブイメージセンサ４０２ａ内のグリーン（Ｇ）カラーフィルタによりグリーン（Ｇ）カラーの映像が形成され、第２レンズ４０１ｂを介して入射された映像は、第２レンズ４０１ｂとマッチングされたサブイメージセンサ４０２ｂ内のレッド（Ｒ）カラーフィルタによりレッド（Ｒ）カラーの映像が形成される。
【００７８】
このような方法で第３レンズ４０１ｃ、第４レンズ４０１ｄを介して入射された被写体の光は、各レンズとマッチングされたサブイメージセンサ４０２ｃ、４０２ｄ内のカラーフィルタによりブルー（Ｂ）カラーの映像と、グレイ（Ｇｒ）カラーの映像とが各々形成される。
【００７９】
すなわち、４個のレンズ４０１ａ〜４０１ｄを介して各々入射された被写体の光は、各レンズ４０１ａ〜４０１ｄとマッチングされる各サブイメージセンサ４０２ａ〜４０２ｄ内のカラーフィルタを介して該当カラーフィルタのカラーを有する映像を形成し、各サブイメージセンサ４０２ａ〜４０２ｄにはカラーの異なる同じ大きさの映像が４つ存在するようになる。
【００８０】
以下、図４Ａを参照して高解像度イメージ復元装置５００を説明する。
図４Ａに示されたカメラモジュール５０１は、多数のレンズと前記多数のレンズに各々対応するサブイメージセンサを備えるが、前記サブイメージセンサ内に含まれるカラーフィルタは互いに重畳されない１つの単一カラーで形成されて前記各サブイメージセンサで各カラー別に原イメージを獲得する。
【００８１】
一方、イメージ生成モジュール３０２は、カメラモジュール３０１からカラー別に分離された多数のイメージを提供され、最終イメージを生成する役割を果たす。
【００８２】
このために、イメージ生成モジュール３０２は、原イメージ生成モジュール３０２ａ、中間イメージ生成モジュール３０２ｂ及び最終イメージ生成モジュール３０２ｃを含んで構成される。
【００８３】
本発明の実施形態によるイメージ生成モジュール３０２で原イメージ生成モジュール３０２ａはカメラモジュール３０１から提供されるカラー別に分離された多数のイメージを入力される。
【００８４】
すなわち、原イメージ生成モジュール３０２ａは、図４Ａに示されたグリーンカラーフィルタが含まれたサブイメージセンサ４０２ａにより獲得されたグリーンカラーイメージ、レッドカラーフィルタが含まれたサブイメージセンサ４０２ｂにより獲得されたレッドカラーイメージ、ブルーカラーフィルタが含まれたサブイメージセンサ４０２ｃにより獲得されたブルーカラーイメージ及びグレイカラーフィルタが含まれたサブイメージセンサ４０２ｄにより獲得されたグレイカラーイメージを入力される。
【００８５】
この際、グリーンカラーイメージ、レッドカラーイメージ及びブルーカラーイメージは後述する最終イメージ生成モジュール３０２ｃを介して最終イメージを生成するのに必要なカラー情報を提供する役割を果たす。
【００８６】
一方、グレイカラーイメージは、最終イメージの生成に必要な輝度情報を提供する役割を果たす。
【００８７】
また、原イメージ生成モジュール３０２ａは前述した各カラー別に獲得された原イメージが前記各サブイメージセンサ４０２ａ〜４０２ｄ内の定められた位置から外れた場合、原イメージの位置を補正し、各カラー別に獲得されたイメージの感度が不均一な場合、各カラー別に獲得された原イメージのうち最も低い感度の原イメージを基準としての頃の原イメージの感度を補正する。
【００８８】
図６は原イメージ生成モジュール３０２ａの原イメージ位置補正と感度不均一補正の方法を図示した図である。
【００８９】
位置が固定された４個のレンズ４０１ａ〜４０１ｄによって各々入射された被写体の光は各レンズ４０１ａ〜４０１ｄ内のカラーフィルタを通して該当カラーフィルタのカラーを有する映像を形成すれば、原イメージ生成モジュール３０２ａは各サブイメージセンサ４０２ａ〜４０２ｄで各映像の位置をチェックする。
【００９０】
図６には各サブイメージセンサ４０２ａ〜４０２ｄに形成された各映像の位置６０１〜８０４が図示されている。
【００９１】
６０１はサブイメージセンサ４０２ａに形成された映像を図示したもので、本発明の実施形態では位置が固定された４個のレンズ４０１ａ〜４０１ｄを所定のピクセル分だけ移動させない限り、６０１のようにサブイメージセンサ４０２ａの中央に映像が位置することを正常位置、すなわち映像の定められた位置と定義するようにし点線の四角形８０５で表示されている。
【００９２】
６０２はサブイメージセンサ４０２ｂに形成された映像を図示したもので、定められた位置から左側方向に１ピクセル分だけ移動されており、８０３はサブイメージセンサ４０２ｂに形成された映像を図示するもので定められた位置から下方向に１ピクセル分だけ移動されている。
【００９３】
８０４はサブイメージセンサ４０２ｄに形成された映像を図示したもので、定められた位置から対角線方向に、すなわち右側方向および下方向に１ピクセル分ずつ移動されている。
【００９４】
図６で見たように各サブイメージセンサ４０２ａ〜４０２ｄに映像が定められた位置から外れた理由は光学的不一致（Ｏｐｔｉｃａｌ Ｍｉｓａｌｉｇｎｍｅｎｔ)が原因であり得、一般的に光学的不一致が発生するようになればサブイメージセンサに形成される映像の位置が定められた位置から外れるため、鮮明な映像を得るのが難しくなる。
【００９５】
次に、本発明の原イメージ生成モジュール３０２ａは光学的不一致によって定められた位置から外れた映像をソフトウェア的に補正し得る。
【００９６】
例えば、６０２の場合、定められた位置から左側方向に１ピクセル分だけ外れているため該当映像を改めて右側に移動し、８０３の場合は上方向に１ピクセルを、８０４の場合は左側方向に１ピクセル移動し、改めて上方向に移動したり、上方向に１ピクセル移動した後、左方向に１ピクセルを移動し光学的不一致による映像の位置を補正し得る。
【００９７】
また、原イメージ生成モジュール３０２ａは感度不均一（ｎｏｎ ｕｎｉｆｏｒｍｉｔｙ）を補正し得る。
【００９８】
改めて図６を参照して説明する。
６０１で映像の感度が１０、６０２で映像の感度が９、８０３で映像の感度が８、８０４で映像の感度が７であると仮定すれば、原イメージ生成モジュール３０２ａは最も低い感度を有する８０４での映像の感度７を基準として残り映像感度が７になるように調整し感度の不均一を補正し得る。
【００９９】
前述した過程を通し、各カラー別イメージは後述する中間イメージ生成モジュール３０２ｂに提供される。
【０１００】
中間イメージ生成モジュール３０２ｂは、原イメージ生成モジュール３０２ａから提供された各カラー別イメージから同じ位置のピクセルが有するピクセル情報を再配置し、前記カラー別イメージより高い解像度を有する中間イメージを生成する。
【０１０１】
ここで中間イメージとは、各サブイメージセンサに形成された各映像、すなわち原イメージと区分するために使用される用語であって、原イメージで同一な位置のピクセルが有するピクセル情報を再配置して原イメージより高い解像度を有するイメージを意味する。
【０１０２】
しかし、中間イメージが高い解像度を有する最終的なイメージを意味するものではなく、中間イメージはデモザイク又はデブラーリングのような過程を経て最終イメージとして作られる。
【０１０３】
一方、生成された中間イメージは、多数のサブイメージセンサ４０２ａ〜４０２ｄが配列されたイメージセンサ４０２と同じ解像度を有することが望ましい。
【０１０４】
例えば、各サブイメージセンサ４０２ａ〜４０２ｄが４×４の解像度を有する場合、中間イメージはイメージセンサと同じ８×８の解像度を有することが好ましい。
【０１０５】
中間イメージは、後述する最終イメージ生成モジュール３０２ｃに提供される。
最終イメージ生成モジュール３０２ｃは、中間イメージ生成モジュール３０２ｂから提供された中間イメージをデモザイクして前記デモザイクされたイメージをデブラーリングして最終イメージを生成する役割を果たす。
【０１０６】
中間イメージ及び最終イメージ生成についてのさらに具体的な説明は図６Ａないし図６Ｂを参照して後述する。
【０１０７】
ディスプレイモジュール３０３は、最終イメージ生成モジュール３０２ｃから提供された最終イメージをディスプレイする役割を果たす。
【０１０８】
このようなディスプレイモジュール３０３は、例えば、平板ディスプレイ、タッチスクリーンなどの形態に具現され得る。
【０１０９】
図７Ａないし７Ｂは本発明の実施形態による中間イメージ生成方法を図示した図である。
図７Ａないし７Ｂを参照し高解像度イメージ復元方法を説明するに先立ち、図３に図示された装置３００のうちカメラモジュール３０１の４個のレンズは位置が固定された一つのレンズを基準として残りの他のレンズが所定のピクセル分だけ移動され位置すると仮定する。
【０１１０】
ここで所定のピクセル分だけの移動は移動長さおよび移動方向すべてを含むもので実施形態によって異なることがある。
【０１１１】
万一、図７ａのような同一な大きさの四角形４個で成された被写体７０１をカメラモジュール３０１を使用して撮影するとするとき、一つのレンズ４０１ａは被写体のうちＡと付された四角形７０１ａを撮影するように位置が固定されており、残りの他のレンズは４０１ｂ〜４０１ｃは各々Ｂ ７０１ｂ、Ｃ ７０１ｃ、Ｄ ７０１ｄと付された四角形を撮影するように、一つのレンズ４０１ａを基準として定められた位置の分だけ移動されていると仮定しよう。
【０１１２】
ここで所定の位置分だけの移動は、四角形Ｂ７０１ｂを撮影するレンズは四角形Ａ ７０１ａを撮影するレンズを基準として右側に所定位置分だけ移動しなければならないものであり、四角形Ｃ ７０１ｃを撮影するレンズは四角形Ａ ７０１ａを基準として下方向に所定の位置分だけ移動しなければならない。
【０１１３】
また、四角形Ｄ ７０１ｄを撮影するレンズは四角形Ａ ７０１ａを基準として対角線方向又は右側方向と下方向に所定の位置分だけ移動しなければならないことを意味する。
【０１１４】
各レンズを通して各サブイメージセンサ４０２ａ〜４０２ｄに形成されたイメージは各々四角形Ａ、Ｂ、Ｃ、Ｄ ７０２ａ〜９０２ｄを撮影したイメージとなる。
【０１１５】
このとき、各レンズにマッチングされるサブイメージセンサの画素が１００万画素であるとすれば、四角形Ａ、Ｂ、Ｃ、Ｄ ７０２ａ〜７０２ｄを撮影したイメージを被写体の形の通り配列し一つのイメージに作る場合（図面で＋記号で表示）、４００万画素を有するカメラを使用して前記被写体全体を撮影したイメージ７０４と同一な画素を有するイメージ７０３を生成し得る。
【０１１６】
図７Ｂは本発明の実施形態による中間イメージ生成方法を図示した図である。
図７Ａを参照し説明したようの原理を利用し、被写体７０５を撮影するカメラモジュール３０１の４個のレンズ４０１ａ〜４０１ｄのうち一つのレンズ４０１ａは位置を固定し、残りの他のレンズ４０１ｂ〜４０１ｄは一つのレンズ４０１ａを基準として各々１ピクセルずつ移動されたピクセルから撮影されるようにレンズを移動する。
【０１１７】
すなわち、一つのレンズ４０１ａを基準として右側に１ピクセル、下方向に１ピクセル、対角線方向に１ピクセルまたは右側方向そして下方向に１ピクセルずつ移動されたピクセルから撮影するようにレンズの位置を移動させるものである。
【０１１８】
このようなレンズの構造を有するカメラモジュール３０１によって中間イメージ生成モジュール３０２ｂはカラー別に獲得した原イメージ７０６の同一な位置のピクセルが有するピクセル情報を再配置し原イメージよりさらに高い解像度を有する中間イメージ７０７を生成する。
【０１１９】
最終イメージ生成モジュール３０２ｃは中間イメージ生成モジュールで生成された中間イメージ７０７をデモザイクし、デモザイクされたイメージをデブラーリングし原イメージを高解像度を有する最終イメージに復元する。
【０１２０】
便宜上、図７Ｂを参照し説明したイメージ生成モジュール３０２を第１イメージ生成モジュールと称する。
【０１２１】
図８は本発明の他の実施形態によるイメージ生成モジュール３０２を通した高解像度イメージ復元方法を図示した図である。
【０１２２】
カメラモジュール３０１に対する説明は前述したカメラモジュールの説明と同一であるため省略する。
【０１２３】
一方、イメージ生成モジュール３０２の原イメージ生成モジュール３０２ａは、前述したカメラモジュール３０１からカラー別に獲得された原イメージを各々複数のピクセルグループに区分し、中間イメージ生成モジュール３０２ｂは、図８に示されたサブイメージセンサ４０２ａ〜４０２ｄと同じ解像度を有する第１中間イメージ８０２を生成する。
【０１２４】
ここで、第１中間イメージ８０２は、図８に示された横×縦に各々２×２個の仮想ピクセルを単位とする多数のピクセルグループ８０３〜８０５に区分し得る。
【０１２５】
ここで、各ピクセルグループ８０３〜８０５は、カラー情報及び輝度情報がマッピングされるメインピクセル８０３ａ、８０４ａ、８０５ａ及び、メインピクセル８０３ａ、８０４ａ、８０５ａの周辺に位置し、情報を保有していないサブピクセル８０３ｂ、８０４ｂ、８０５ｂに区分し得る。
【０１２６】
メインピクセル８０３ａ、８０４ａ、８０５ａの位置は、該当ピクセルグループ８０３〜８０５で多様な位置に指定され得る。
【０１２７】
例えば、図６のように、２×２の各ピクセルグループ８０３〜８０５で、第１行の第１列に該当する位置８０３ａ、８０４ａ、８０５ａがメインピクセルの位置に指定されるか、あるいは、各ピクセルグループで第１行の第２列に該当する位置８０３ｂ、８０４ｂ、８０５ｂがメインピクセルの位置に指定され得る。
【０１２８】
このように、第１中間イメージ８０２が生成されれば、中間イメージ生成モジュール３０２ｂは各カラー別イメージで同じ位置のピクセルが有するピクセル情報を前記位置に対応するピクセルグループのメインピクセルにマッピングする。
【０１２９】
例えば、中間イメージ生成モジュール３０２ｂは、各カラー別イメージの第１行と第１列に位置したピクセルのピクセル情報を、第１中間イメージ８０２で第１行と第１列とに位置したピクセルグループ８０３のメインピクセル８０３ａにマッピングする。
【０１３０】
同様に、中間イメージ生成モジュール８０２ｂは、各カラー別イメージの第１行の第２列に位置したピクセルのピクセル情報を、第１中間イメージ８０２で第１行と第２列に位置したピクセルグループ８０４のメインピクセル８０４ａにマッピングする。
【０１３１】
また、中間イメージ生成モジュール３０２ｂは、各カラー別イメージで同じ位置のピクセルが有するピクセル情報のうち、カラー情報を基盤に輝度情報を算出し、前記算出された輝度情報を各ピクセルグループ８０３〜８０５のメインピクセル８０３ａ〜８０３ｂにマッピングする。
【０１３２】
例えば、中間イメージ生成モジュール３０２ｂは、グリーン、レッド及びブルーカラーイメージの第１行と第１列に位置したピクセルから提供されたカラー情報を基盤に輝度情報を算出する。
【０１３３】
そして、第１中間イメージ８０２で第１行と第１列に位置したピクセルグループのメインピクセルに算出された輝度情報をマッピングする。
【０１３４】
図８を参照すれば、各ピクセルグループ８０３〜８０５のメインピクセル８０３ａ〜８０３ｂには、３つのサブイメージセンサ８０２ａ〜８０２ｃで各々提供されたグリーン、レッド、ブルーカラー情報（Ｇ、Ｒ、Ｂ）、残りのサブイメージセンサ４０２ｄから提供された輝度情報を表すグレイカラー情報（Ｇｒ）がマッピングされていることが分かり、図８に示されていないが、３色のカラー情報から検出された輝度情報（Ｙ）がさらにマッピングされ得る。
【０１３５】
一例として、第１ピクセルグループ８０３のメインピクセル８０３ａには、グリーンカラーイメージで第１行の第１列に位置したピクセルが有するグリーンカラー情報、レッドカラーイメージで第１行の第１列に位置したピクセルが有するレッドカラー情報、ブルーカラーイメージで第１行の第１列に位置したピクセルが有するブルーカラー情報、グレイカラーイメージで第１行の第１列に位置したピクセルが有する輝度情報を示すグレイカラー情報及び、３個のカラー情報を基盤に検出された輝度情報がマッピングされる。
【０１３６】
これと同様に、第２ピクセルグループ８０４のメインピクセル８０４ａには、グリーンカラーイメージで第１行の第２列に位置したピクセルが有するグリーンカラー情報、レッドカラーイメージで第１行の第２列に位置したピクセルが有するレッドカラー情報、ブルーカラーイメージで第１行の第２列に位置したピクセルが有するブルーカラー情報、グレイカラーイメージで第１行の第２列に位置したピクセルが有する輝度情報であるグレイカラー及び既提供された３個のカラー情報を基盤に検出された輝度情報がマッピングされる。
【０１３７】
これにより、中間イメージ生成モジュール３０２ｂは、各ピクセルグループ８０３〜８０５のメインピクセル８０３ａ〜８０５ａに３個のカラー情報及び２個の輝度情報がマッピングされた第２中間イメージ８０６を生成する。
【０１３８】
次いで、中間イメージ生成モジュール３０２ｂは、補間法（Ｉｎｔｅｒｐｏｌａｔｉｏｎ）を使用して第２中間イメージ８０６を補間する。
【０１３９】
すなわち、図５に示された中間イメージ生成モジュール３０２ｂは、図８に示された各ピクセルグループ８０３〜８０５のメインピクセル８０３ａ〜８０５ａが保有した情報を基盤にサブピクセル８０３ｂ〜８０５ｂに記録されるピクセル情報を算出する。
【０１４０】
この際、中間イメージ生成モジュール３０２ｂは、多様なアルゴリズムによって第２中間イメージ８０６を補間し得る。
【０１４１】
一例として、第２中間イメージ８０６で各サブピクセルに記録されるピクセル情報は、該当サブピクセルと隣接したメインピクセルが有する情報から算出され得る。
【０１４２】
具体的に、図８において、第１ピクセルグループ８０３のメインピクセル８０３ａと第２ピクセルグループ８０４のメインピクセル８０４ａ間に位置したサブピクセル８０３ｂに記録されるピクセル情報は２つのメインピクセル８０３ａ、８０４ａが有するピクセル情報の平均値８０７に指定され得る。
【０１４３】
同様に、第２ピクセルグループ８０４のメインピクセル８０４ａと第３ピクセルグループ８０５のメインピクセル８０５ａ間に位置したサブピクセル８０４ｂに記録されるピクセル情報は２つのメインピクセル８０４ａ、８０５ａが有するピクセル情報の平均値８０８に指定され得る。
【０１４４】
このような方法により第２中間イメージ８０６の補間がなされれば、最終イメージ生成モジュール３０２ｃは補間された第２中間イメージ８０６をデブラーリング（ｄｅ−ｂｌｕｒｒｉｎｇ）する。
【０１４５】
その結果、各サブセンシング領域を通じて得られた低解像度（すなわち、サブセンシング領域の解像度）のカラー別原イメージから高解像度（すなわち、サブイメージセンサの解像度×４）の最終イメージ８０９を生成する。
【０１４６】
便宜上、図８を参照して説明したイメージ生成モジュール３０２を第２イメージ生成モジュールと称する。
【０１４７】
図９は、本発明の第２実施形態によるカメラモジュールの構造を示す図面である。
本発明の第２実施形態によるカメラモジュールは、図４Ａの第１実施形態によるカメラモジュールに比べて下記を除いては同じ構成要素を有する。
【０１４８】
すなわち、第２実施形態によるカメラモジュールは、多数のレンズ９０１ａ〜９０１ｄが互いに異なる色を有する。
【０１４９】
ここで、多数のレンズ９０１ａ〜９０１ｄは、透過度によって第１グループと第２グループとに区分しうる。
【０１５０】
この際、第２グループに含まれるレンズは、第１グループに含まれるレンズに比べて透過度の高い色を有することが望ましい。
【０１５１】
具体的に、４個のレンズのうち、第１グループに該当する第１レンズ９０１ａ、第２レンズ９０１ｂ及び第３レンズ９０１ｃは、各々グリーン、レッド及びブルーカラーを有し、第２グループに含まれる第４レンズ９０１ｄはグリーン、レッド及びブルーカラーに比べて透過度の高い色、例えば、グレイカラーを有することが望ましい。
【０１５２】
このように、多数のレンズ９０１ａ〜９０１ｄが各々異なる色を有する場合、各サブイメージセンサ９０２ａ〜９０２ｄには別途のカラーフィルタ層が形成されない。
【０１５３】
そして、イメージセンサ９０２は、各レンズ９０１ａ〜９０１ｄに対応するサブイメージセンサ９０２ａ〜９０２ｄに分割され、各レンズ９０１ａ〜９０１ｄによりカラー別に分離されたイメージを獲得しうる。
【０１５４】
前記カラー別に分離された映像は、図３に示されたイメージ生成モジュール３０２を通じてカメラモジュール３０１からカラー別に分離された多数のイメージを提供され、最終イメージを生成してディスプレイモジュール３０３を通じてディスプレイされる。
【０１５５】
最終イメージを生成するイメージ生成モジュール３０２に関する説明は、図３ないし図８を参照して説明した内容と同一である。
【０１５６】
次いで、図１０ないし図１１を参照して本発明の実施形態による高解像度イメージ復元方法を説明する。
【０１５７】
ここで、図１０は、前記図４Ａに示された構造のカメラモジュールと図７Ｂを参照して説明した第１イメージ生成モジュールを通じた高解像度イメージ復元方法を示すフローチャートである。
【０１５８】
まず、説明の便宜上、図７Ｂでイメージセンサ４０２を構成するサブイメージセンサ４０２ａ〜４０２ｄ内に各々グリーン、レッド、ブルー及びグレイカラーフィルタが含まれており、イメージセンサ４０２は横×縦が８×８個のピクセルで構成され、イメージセンサ４０２を構成するそれぞれのサブイメージセンサ４０２ａ〜４０２ｄは、横×縦が４×４個のピクセルからなると仮定する。
【０１５９】
被写体７０５からの反射光は、４個のレンズ４０１ａ〜４０１ｄを通じて各々集光される（Ｓ１００１）。
【０１６０】
各レンズ４０１ａ〜４０１ｄを通じて集光された光は、各レンズ４０１ａ〜４０１ｄとマッチングされる各サブイメージセンサ４０２ａ〜４０２ｄ内に含まれたカラーフィルタを透過する（Ｓ１００２）。
【０１６１】
その結果、各サブイメージセンサ４０２ａ〜４０２ｄにカラー別に分離された多数のイメージが獲得される（Ｓ１００３）。
【０１６２】
この際、各サブイメージセンサ４０２ａ〜４０２ｄにより獲得されたイメージは、イメージセンサ４０２の解像度に比べて１／４に該当する解像度を有する。
【０１６３】
すなわち、イメージセンサ４０２の解像度が８×８であるために、各サブイメージセンサ４０２ａ〜４０２ｄにより獲得されたイメージは、４×４の解像度を有する。
【０１６４】
Ｓ１００３後、イメージ生成モジュール３０２はＳ１００３で獲得された多数の原イメージ７０６が各サブイメージセンサ４０１ａ〜４０１ｄで定められた位置に存在するのかをチェックする（Ｓ１００４）。
【０１６５】
チェックの結果、定められた位置から外れたとすれば、定められた位置に原イメージが位置するように位置を補正する（Ｓ１００５）。
【０１６６】
もし、原イメージが定められた位置に存在すれば、イメージ生成モジュール３０２は多数の原イメージ７０６の感度をチェックする（Ｓ１００６）。
【０１６７】
チェックの結果、感度が不均一な場合、イメージ生成モジュールは原イメージのうち最も低い感度を基準として原イメージの感度を補正する（Ｓ１００７）。
【０１６８】
もし、感度が一定ならば、イメージ生成モジュール３０２は、多数のカラー別イメージを入力されて原イメージを生成し、多数の原イメージで同じ位置のピクセルが有するピクセル情報を再配置して各カラー別原イメージより高解像度を有する中間イメージ７０７を生成する（Ｓ１００８）。
【０１６９】
Ｓ１００８後、中間イメージをデモザイクし（Ｓ１００９）、デモザイクされたイメージをデブラーリングして最終イメージを生成する（Ｓ１０１０）。
【０１７０】
Ｓ１０１０後、イメージ生成モジュール３０２により生成された最終イメージはディスプレイモジュール３０３を通じてディスプレイされる（Ｓ１０１１）。
【０１７１】
図１１は、図４Ａに示された構造のカメラモジュールと図８を参照して説明した第２イメージ生成モジュールを通じた高解像度イメージ復元方法を示すフローチャートである。
【０１７２】
まず、図４Ａに示された装置のカメラモジュール３０１から多数のカラー別原イメージが提供される過程は、図１０に示されたＳ１００１〜Ｓ１００７と同一であり、原イメージ生成モジュール３０２ａは、原イメージを図８に示された横×縦に各々２×２個の仮想ピクセルを単位とする多数のピクセルグループ３０３〜３０５に区分する（Ｓ１１０１）。
【０１７３】
Ｓ１１０１後、中間イメージ生成モジュール３０２ｂは、図６に示されたイメージセンサ４０２と同じ解像度を有する第１中間イメージ８０２を生成する（Ｓ１１０２）。
【０１７４】
第１中間イメージ８０２が生成されれば、中間イメージ生成モジュール３０２ｂは、各カラー別イメージで同じ位置のピクセルが有するピクセル情報を、前記位置に対応するピクセルグループのメインピクセルにマッピングする（Ｓ１１０３）。
【０１７５】
Ｓ１１０３後、中間イメージ生成モジュール３０２ｂは、各ピクセルグループ８０３〜８０５のメインピクセル８０３Ａ〜８０５ａに３個のカラー情報及び２個の輝度情報がマッピングされた第２中間イメージ８０６を生成する（Ｓ１１０４）。
【０１７６】
次いで、中間イメージ生成モジュール３０２ｂは、補間法を使用して、第２中間イメージ８０６を補間する（Ｓ１１０５）。
【０１７７】
このような方法により第２中間イメージ８０６の補間がなされれば、最終イメージ生成モジュール３０２ｃは、補間された第２中間イメージ８０６をデブラーリングする（Ｓ１１０６）。
【０１７８】
その結果、各サブセンシング領域を通じて得られた低解像度（すなわち、サブセンシング領域の解像度）のカラー別原イメージから高解像度（すなわち、サブイメージセンサの解像度×４）の最終イメージ８０９を生成し、ディスプレイモジュール３０３を通じてディスプレイされる（Ｓ１１０７）。
【０１７９】
一方、図９に示された構造のカメラモジュールと図７Ｂで説明した第１イメージ生成モジュールとによる高解像度イメージ復元方法は、図１０に示されたＳ１００１〜Ｓ１００７の内容で、カラーフィルタの代わりにカラーレンズを通じて光を集光し、サブイメージセンサにカラー別に分離された原イメージを獲得するという点を除いては、いずれも同一であり、図８を通じて説明した第２イメージ生成モジュールを通じた高解像度イメージ復元方法も図１１に示されたＳ１００１〜Ｓ１００７の内容で、カラーフィルタの代わりにカラーレンズを通じて光を集光し、サブイメージセンサにカラー別に分離された原イメージを獲得するという内容が適用されて、結局図１１に示されたイメージ復元方法といずれも同一である。
【０１８０】
前述した内容を総合してみれば、図２で図示されたレンズより相対的に小さいレンズ４個のレンズと相対的に短い焦点距離そして図２に図示された４００万ピクセルのイメージセンサより相対的に小さい数のピクセルである１００万ピクセルを有するイメージセンサ４個を含むデジタルカメラ構造は、Ｆナンバーが同一であるため図２に図示された４００万ピクセルの映像と同一な映像の明るさを有するようになり所定の過程を経て図４に図示されたイメージセンサの１００万ピクセル映像４個を利用して図２に図示された４００万ピクセルの映像と同等な解像度を有する映像を復元し得る。
【０１８１】
相対的に小さいレンズと短い焦点距離を有する構造であるためデジタルカメラの小型化とスリム化を達成しつつ同等な解像度を有する映像を得ることができる。
【０１８２】
以上、添付図を参照して本発明の実施例を説明したが、 本発明が属する技術分野で当業者ならば本発明がその技術的思想や必須特徴を変更せずとも他の具体的な形に実施され得るということが理解できるであろう。したがって、前述した実施例は全ての面で例示的なものであって、限定的なものではないと理解せねばならない。
【産業上の利用可能性】
【０１８３】
本発明の高解像度イメージ復元装置及び方法は、デジタルカメラ関連の技術分野に好適に適用され得る。
【図面の簡単な説明】
【０１８４】
【図１】従来の小型デジタル機器に内蔵されたデジタルカメラの原理を簡単に示す図である。
【図２Ａ】従来のデジタルカメラの基本構造を示す図である。
【図２Ｂ】図２Ａに示されたイメージセンサを構成する単位ピクセルに対する断面図である。
【図３】本実施形態による高解像度イメージ復元装置３００の構成を図示したブロック図である
【図４Ａ】本発明の実施形態によるデジタルカメラの構造を示す図である。
【図４Ｂ】本発明の実施形態によるデジタルカメラの構造を示す図である。
【図４Ｃ】図４Ａに示されたイメージセンサを構成する単位ピクセルに対する断面図である。
【図５Ａ】本発明の実施形態によるカラーフィルタコーティング方法である。
【図５Ｂ】本発明の実施形態によるカラーフィルタコーティング方法である。
【図６】本発明の実施例による原イメージ生成モジュール３０２ａの原イメージ位置補正と感度不均一補正の方法を図示した図である。
【図７Ａ】本発明の実施例による中間イメージ生成方法を図示した図である。
【図７Ｂ】本発明の実施例による中間イメージ生成方法を図示した図である。
【図８】本発明の実施例によるイメージ生成モジュール３０２による高解像度イメージ復元方法を図示した図である。
【図９】本発明の第２実施形態によるカメラモジュールの構成を図示した図である。
【図１０】図４Ａに図示された構造のカメラモジュールと図７Ｂを参照して説明した第１イメージ生成モジュールによる高解像度イメージ復元方法を示すフローチャートである。
【図１１】図４Ａに図示された構造のカメラモジュールと図８を参照して説明した第２イメージ生成モジュールによる高解像度イメージ復元方法を示すフローチャートである。
【符号の説明】
【０１８５】
４０１ａ〜４０１ｄ 第１レンズ〜第４レンズ
４０２ａ〜４０２ｄ 第１レンズ〜第４レンズと各々マッチングされるサブイメージセンサ
４０２ ４個のサブイメージセンサが配列されたイメージセンサ
４０２ｄ−１〜４０２ｄ−４ サブイメージセンサを構成する単位ピクセル
【出願人】 【識別番号】５９１００３７７０
【氏名又は名称】三星電機株式会社
【出願日】 平成１９年６月２５日（２００７．６．２５）
【代理人】 【識別番号】１０００７０１５０
【弁理士】
【氏名又は名称】伊東 忠彦

【識別番号】１０００９１２１４
【弁理士】
【氏名又は名称】大貫 進介

【識別番号】１００１０７７６６
【弁理士】
【氏名又は名称】伊東 忠重
【公開番号】 特開２００８−１１５２９（Ｐ２００８−１１５２９Ａ）
【公開日】 平成２０年１月１７日（２００８．１．１７）
【出願番号】 特願２００７−１６６２９０（Ｐ２００７−１６６２９０）