トップ :: H 電気 :: H04 電気通信技術




【発明の名称】 画像表示装置
【発明者】 【氏名】尾崎 修
【要約】 【課題】車高の変動がある場合に、車高に応じて俯瞰画像に補助表示を表示することができる画像表示装置を提供する。

【構成】画像表示装置１０は、車体１１に、カメラ１２ａ〜１２ｄ、視点変換装置１６、映像合成装置２０、ハイトセンサ２２a〜２２ｄ、補助線調整装置２４、補助線拡大率テーブル格納部２６、ディスプレイ３２を備えている。視点変換装置１６はカメラ１２ａ〜１２ｄからの画像を俯瞰画像に変換する。補助線調整装置２４は、ハイトセンサ２２ａ〜２２ｄが検出した車高に応じて俯瞰画像に描画する補助線の大きさを変更するため、車高の変動がある場合でも、車高に応じて俯瞰画像に補助線を表示することができる。
【特許請求の範囲】
【請求項１】
撮像手段により得られた車両の周囲の原画像を視点変換して俯瞰画像を表示する画像表示装置であって、
前記俯瞰画像において車両の周囲に補助表示を表示する補助表示手段と、
前記補助表示手段が表示する補助表示の大きさを変更する補助表示変更手段と、
前記車両の車高を検出する車高検出手段と、
を備え、
前記補助表示変更手段は、前記車高検出手段が検出した車高に応じて補助表示の大きさを変更する画像表示装置。
【請求項２】
前記補助表示変更手段は、前記車高検出手段が検出した車高が大きいほど補助表示の大きさを縮小する、請求項１に記載の画像表示装置。
【請求項３】
車高と補助表示の大きさとの対応関係を記憶した記憶手段をさらに備え、
前記補助表示変更手段は、前記記憶手段に記憶された車高と補助表示の大きさとの対応関係を参照しつつ、前記車高検出手段が検出した車高に対応するように補助表示の大きさを変更する、請求項１又は２に記載の画像表示装置。
【発明の詳細な説明】【技術分野】
【０００１】
本発明は画像表示装置に関し、特に、撮像手段により得られた車両の周囲の原画像を視点変換して俯瞰画像を表示する画像表示装置に関するものである。
【背景技術】
【０００２】
従来、車両に搭載され、ドライバーに対して障害物までの距離等を認識させるための駐車アシスト装置が知られている。例えば、特許文献１には、車両に搭載されたカメラによって車両周囲を撮像して得られた原画像を視点変換して俯瞰画像を生成し、当該俯瞰画像をドライバーに表示する装置が記載されている。この装置では、俯瞰画像に車両の後部両端から後方に伸びる補助線が表示され、車両幅の認識性を高めている。また、この装置では、俯瞰画像に車両後方からそれぞれ５０ｃｍ、１ｍ、２ｍ離れた位置に補助線が表示され、障害物までの距離の認識性を高めている。
【特許文献１】特開２００４−６４１５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
自動車では、車両の経年変化や、乗車乗員数の変動、車高調整装置による車高調整等によって、車両の車高が変動する場合がある。ところが上記の技術では、車両の車高が変動して俯瞰画像における周辺環境の見え方が変わった場合には、周辺環境の見え方と補助線の表示との整合がとれず、俯瞰画像を表示されたドライバーが違和感を覚える場合がある。
【０００４】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、車高の変動がある場合に、車高に応じて俯瞰画像に補助表示を表示することができる画像表示装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明は、撮像手段により得られた車両の周囲の原画像を視点変換して俯瞰画像を表示する画像表示装置であって、俯瞰画像において車両の周囲に補助表示を表示する補助表示手段と、補助表示手段が表示する補助表示の大きさを変更する補助表示変更手段と、車両の車高を検出する車高検出手段とを備え、補助表示変更手段は、車高検出手段が検出した車高に応じて補助表示の大きさを変更することを特徴とする。
【０００６】
この構成によれば、補助表示変更手段は、車高検出手段が検出した車高に応じて補助表示の大きさを変更するため、車高の変動がある場合でも、車高に応じて俯瞰画像に補助表示を表示することができる。なお、本発明における「補助表示」とは、俯瞰画像における撮像画像以外の補助線、枠線、符号、記号、表示を意味する。
【０００７】
この場合、補助表示変更手段は、車高検出手段が検出した車高が大きいほど補助表示の大きさを縮小することが好適である。
【０００８】
この構成によれば、車高検出手段が検出した車高が大きく、周辺環境の見え方が小さくなればなるほど、補助表示変更手段が補助表示の大きさを縮小するため、周辺環境と見え方と補助表示との整合性が向上する。
【０００９】
一方、本発明では、車高と補助表示の大きさとの対応関係を記憶した記憶手段をさらに備え、補助表示変更手段は、記憶手段に記憶された車高と補助表示の大きさとの対応関係を参照し、車高検出手段が検出した車高に対応するように補助表示の大きさを変更することが好適である。
【００１０】
この構成によれば、記憶手段に車高と補助表示の大きさとの対応関係が記憶され、補助表示変更手段は、記憶手段に記憶された車高と補助表示の大きさとの対応関係を参照して、車高検出手段が検出した車高に対応するように補助表示の大きさを変更するため、車高に対応した補助表示の大きさを計算する労力が省け、より高速な演算が可能となる。
【発明の効果】
【００１１】
本発明の画像表示装置によれば、車高の変動がある場合でも、車高に応じて俯瞰画像に補助表示を表示することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態に係る画像表示装置について添付図面を参照して説明する。
【００１３】
図１は、実施形態に係る画像表示装置の構成を示すブロック図である。図１に示すように、本実施形態の画像表示装置１０は、車体１１に、カメラ（撮像手段）１２ａ〜１２ｄ、画像入力装置１４、視点変換装置１６、初期セットアップ情報格納部１８、映像合成装置２０、ハイトセンサ（車高検出手段）２２ａ〜２２ｄ、補助線調整装置（補助表示手段，補助表示変更手段）２４、補助線拡大率テーブル格納部（記憶手段）２６、擬似車両調整装置２８、映像出力装置３０、ディスプレイ３２を備えている。
【００１４】
カメラ１２ａ〜１２ｄは、ＣＣＤあるいはＣＭＯＳ等の半導体素子を用いた単眼カメラであり、比較的に広角なレンズまたは魚眼レンズが装着されている。図２は、実施形態に係るカメラの配置の例を示す斜視図である。図２に示すように、この例では、魚眼レンズが装着された４台のカメラ１２ａ〜１２ｄが、車体１１の前後左右側にそれぞれ一台ずつ設置されており、車体１１の全周囲を撮像して確認することができるようにされている。
【００１５】
図１に戻り、画像入力装置１４は、カメラ１２ａ〜１２ｄのカメラ映像を取得する。画像入力装置１４は、ある一定周期毎に、任意のタイミングでフレームの画像を取得する。このときのタイミングは同期をとってもよいし、非同期でも構わない。
【００１６】
視点変換装置１６は、例えば、特開２００３−９１７２０号公報、特開２００２−１６６８０２号公報、特許第３３００３３４号公報等に記載の手法を用いて、画像入力装置１４が取得した画像を平面投影やお椀型モデル等にマッピングして、平面視の画像に変換し、映像合成の準備を行うためのものである。
【００１７】
図３は、実施形態に係る視点変換原理を示す図である。図３において、実際のカメラの視点をｐｃ、変換先となる仮想視点をｐｉとする。それぞれの焦点距離をｆｃ、ｆｉとすると、それぞれの画像は、視点から焦点距離だけ離れた平面Ｐｃ、Ｐｉで交わる点上に決像した投影画像である。例えば、各物体上の任意の点の平面Ｐｃ上に投影された画像ポイントは、その物体上の任意の点と視点とを結んだ線と、平面Ｐｃとの交点である。
【００１８】
ここで、カメラで取得した画像中の画像ポイントＸｃを仮想画像面Ｐｉ上のＸｉへと変換する場合について考える。このＸｃに撮像されている物体が実際に地上平面Ｐｗ上に存在すると仮定すると、その平面Ｐｗ上の位置Ｘｗは、視点ｐｃと平面Ｐｃ上の点Ｘｃとを結んだ線を延長して平面Ｐｗと交差する点となる。これより、このＸｗと仮想視点Ｐｉとを結ぶ線と、仮想画面Ｐｉとの交点が、仮想画面Ｐｉ上へと画像ポイントＸｃを変換した位置Ｘｉとなる。このような原理に基づいて本実施形態の視点変換装置１６では、カメラ１２ａ〜１２ｄのカメラ映像を、平面視の画像に変換する。
【００１９】
初期セットアップ情報格納部１８は、視点変換装置１６及び映像合成装置２０で使用するために最初に設定されたパラメータを格納するものである。初期セットアップ情報格納部１８は、例えば、カメラ１２ａ〜１２ｄの内部パラメータ及び外部パラメータ、視点変換に関するパラメータ、４枚の画像を合成するための合成方法及び合成位置情報、さらに、これらの情報を決定した場合における初期の車高、補助線サイズ、及び擬似車両サイズを格納する。
【００２０】
映像合成装置２０は、視点変換装置１６からの画像を、初期セットアップ情報格納部１８に格納されたパラメータによって補正し、カメラ１２ａ〜１２ｄから取得した４枚の画像を１枚の画像に合成する装置である。
【００２１】
ハイトセンサ２２a〜２２ｄは、現在の車両の車高を検出するセンサであり、主に、車両のエアサスペンションシステム等に搭載される。本実施形態では、例えば、４輪独立エアサスペンションに搭載されている４台のハイトセンサを使用することができる。あるいは、単純化するために、車両中央付近にハイトセンサを１台だけ搭載するようにしても良い。
【００２２】
補助線調整装置２４は、ハイトセンサ２２a〜２２ｄによって検出された車高に合わせて補助線を拡大及び縮小する装置である。補助線の拡大及び縮小は、補助線拡大テーブル格納部２６に記憶された車高と補助線の大きさとの対応関係を参照し、ハイトセンサ２２a〜２２ｄが検出した車高に対応するように補助線の大きさを変更することによって行う。
【００２３】
補助線拡大率テーブル格納部２６は、車高に応じて補助線の大きさを変更するために、基準車高からの車高差と、当該車高差に対応した補助線の拡大率とを規定した補助線拡大率テーブルを格納するものである。図４は、実施形態に係る補助線拡大率テーブルの例を示すブロック図である。図４に示すように、本実施形態の補助線拡大率テーブルは、インデックス、車高差、拡大率をそれぞれ対応付けて規定しており、車高差−３００ｍｍ〜＋３００ｍｍまで０．５ｍｍ毎に規定されている。どの程度の車高差まで対応するかは、車種及びシステムによって決定すればよい。例えば、ＳＵＶ（Sport Utility Vehicle）等であれば、±５００ｍｍまで対応するように各車種によって調整する。なお、拡大率は、カメラ１２ａ〜１２ｄの設置及びキャリブレーション時に算出しておく。
【００２４】
図１に戻り、擬似車両調整装置２８は、現在の車両の車高に合わせて表示する擬似車両を拡大及び縮小する装置である。擬似車両の拡大及び縮小は、補助線と同様に、補助線拡大率テーブル格納部２６の補助線拡大率テーブルを参照し、ハイトセンサ２２a〜２２ｄによって検出された車高に対応する拡大率に擬似車両の大きさを拡大及び縮小することによって行う。
【００２５】
映像出力装置３０は、合成された俯瞰画像をビデオ信号等に変換して出力するための装置である。
【００２６】
ディスプレイ３２は、輝度補正処理を施した俯瞰画像をドライバーに提示するためのものである。一般的には、ディスプレイ３２には、液晶モニタやナビゲーション用モニタを適用することができる。
【００２７】
次に、図５を参照して、本実施形態の画像表示装置１０の動作について説明する。図５は、実施形態に係る画像表示装置の動作を示すフロー図である。図５に示すように、ステップＳ１では、カメラ１２ａ〜１２ｄから画像入力装置１４によって、画像表示装置１０のシステム内に画像を取り込む。画像取得のタイミングは、任意のタイミングで構わないが、全てのカメラ１２ａ〜１２ｄの同期を取って取得することが望ましく、画像取得の速度もリアルタイムに近いものとするため、３０ｆｐｓ以上であることが望ましい。
【００２８】
ステップＳ２では、視点変換装置１６が、ステップＳ１においてカメラ１２ａ〜１２ｄから取得した４枚の画像を、上述した特開２００２−１６６８０２号公報等に記載されている手法によって、初期セットアップ情報格納部１８に格納されている情報を用いて視点変換を行う。本実施形態においては、仮想視点を車両上空に設定し、あたかも車両の真上から自車両を見ているように視点変換を行う。
【００２９】
ステップＳ３では、映像合成装置２０が、ステップＳ２において視点変換した画像を先行技術にあるような手法と初期セットアップ情報格納部１８の情報とを用い、カメラ１２ａ〜１２ｄからの４枚の画像を合成する。画像の合成は、例えばαブレンディングを用いて、前後左右の重複領域の合成を実施する。本実施形態では前後画像はα値＝１００％で合成し、左右画像はα値＝０％で合成する。
【００３０】
ステップＳ４では、ハイトセンサ２２a〜２２ｄから、４輪それぞれの高さを検出することによって車高を取得し、補助線拡大率テーブル格納部２６の補助線格納テーブルの車高と照らし合わせて補助線の拡大率を決定する。本実施形態では、例えば、ハイトセンサ２２ａ〜２２ｄの検出した高さをＨｎ（ｎ＝１〜４）、補助線拡大率テーブルの基準車高をＨ０とし、拡大率を求める。本実施形態では、Ｈｎの平均値（＝Ｈ）を現在の車両の車高として決定するが、別の方法を採用しても良い。
車高差ΔＨ＝Ｈ−Ｈ０ …（１）
【００３１】
なお、図４の補助線拡大率テーブルの解釈は、車高がＨ０よりも低ければ車高差ΔＨは負値となり、車高がＨ０よりも高ければ正値となる。
【００３２】
（１）式によって求められた車高差ΔＨを元に、補助線調整装置２４は、補助線拡大率テーブル格納部２６の補助線拡大率テーブルを探索し、該当する拡大率を選択する。拡大率の選択手法はいくつか挙げられるが、本実施形態では、ΔＨより大きい最小の車高差と、ΔＨより小さい最大の車高差をまず求める。例えば、図４の例では、車高差は０．５ｍｍ毎に規定されているため、ΔＨ＝−１０．３のとき、このΔＨより大きい最小の車高差と、ΔＨより小さい最大の車高差は、ΔＨｉ＝−１０．５とΔＨｉ＋１＝−１０．０となり、連続したインデックスｉとｉ＋１となる。続いて、インデックスｉとｉ＋１とで示される拡大率を線形補間（内挿）し、最終的な拡大率Ｒを決定する。このようにすることで、拡大及び縮小の誤差が少なくなる。
【００３３】
補助線調整装置２４は、拡大率Ｒを用いて初期セットアップ情報の補助線サイズ（横幅SizeＸ、縦幅SizeＹ）を以下の（２）式及び（３）式に示すようにＲ倍する。
サイズ調整後の横幅SizeＸ’＝SizeＸ×Ｒ …（２）
サイズ調整後の横幅SizeＹ’＝SizeＹ×Ｒ …（３）
【００３４】
ステップＳ５では、補助線調整装置２４が、ステップＳ４で求めた補助線サイズに基づき、補助線を描画する。図６及び７は、実施形態に係る表示画像を示す図である。図６及び７に示すように、本実施形態では、２種類の補助線サイズを初期セットアップ情報として用意し、擬似車両Ｖの周囲の前後左右等距離にそれぞれ５０ｃｍ及び１５０ｃｍ離れた位置に補助線Ｌ１、Ｌ２を描画するようにする。描画の際には、合成画像の中心であって擬似車両Ｖの中心に、補助線Ｌ１、Ｌ２が描く矩形の中心Ｃが位置するように補助線を配置する。なお、本実施形態では、車両から５０ｃｍ離れた境界となる補助線Ｌ１を赤色に、車両から１５０ｃｍ離れた境界となる補助線Ｌ２を黄色に色づけする。
【００３５】
ステップＳ６では、擬似車両調整装置２８が、ステップＳ４と同様に（１）式を用いて、補助線拡大率テーブル格納部２６の補助線拡大率テーブルを参照し、線形補間を行って、擬似車両Ｖの拡大率Ｒを決定する。本実施形態では、補助線の拡大率を決定する場合と同様に補助線拡大率テーブルを共用しているが、別個の擬似車両拡大率テーブルを設けても良い。次に、拡大率Ｒを用いて所期セットアップ情報の擬似車両サイズ（横幅SizeＸＸ、縦幅SizeＹＹ）を以下の（４）式及び（５）式に示すようにＲ倍する。
サイズ調整後の横幅SizeＸＸ’＝SizeＸＸ×Ｒ …（４）
サイズ調整後の横幅SizeＹＹ’＝SizeＹＹ×Ｒ …（５）
【００３６】
ステップＳ７では、擬似車両装置２８が、ステップＳ５と同様に、ステップ６で求めた擬似車両サイズに基づき、擬似車両Ｖを描画する。以上のようにして俯瞰画像における補助線Ｌ１、Ｌ２と擬似車両Ｖの大きさを決定した場合、図６に示すように、車両の車高が比較的に低い場合は、補助線Ｌ１、Ｌ２と擬似車両Ｖは大きく描画される。一方、図７に示すように、車両の車高が比較的に高い場合は、補助線Ｌ１、Ｌ２と擬似車両Ｖは小さく描画される。
【００３７】
ステップＳ８では、映像出力装置３０が、ステップＳ２〜Ｓ７で生成した合成画像をビデオ信号等に変換して、ディスプレイ３２に出力する。
【００３８】
ステップＳ９では、車両のエンジンの停止等により、画像表示装置１０の動作を終了する。
【００３９】
本実施形態によれば、補助線調整装置２４は、ハイトセンサ２２ａ〜２２ｄが検出した車高に応じて補助線の大きさを変更するため、車高の変動がある場合でも、車高に応じて俯瞰画像に補助線を表示することができる。
【００４０】
特に、本実施形態によれば、ハイトセンサ２２ａ〜２２ｄが検出した車高が大きく、周辺環境の見え方が小さくなればなるほど、補助線調整装置２４が補助線の大きさを縮小するため、周辺環境と見え方と補助線の表示との整合性が向上する。したがって、車両の経年変化や、乗車乗員数の変動、車高調整装置による車高調整等によって、車両の車高が変動した場合であっても、周辺環境と見え方と補助線の表示との間に違和感が生じにくく、ドライバーは自車と周辺環境との位置関係及び距離をより正確に把握することができる。
【００４１】
さらに、本実施形態によれば、補助線拡大率テーブル格納部２６に車高と補助線の大きさとの対応関係が記憶され、補助線調整装置２４は、補助線拡大率テーブル格納部２６に記憶された車高と補助線の大きさとの対応関係を参照して、ハイトセンサ２２ａ〜２２ｄが検出した車高に対応する補助線の大きさに、補助線の大きさを変更するため、車高に対応した補助線の大きさを計算する労力が省け、より高速な演算が可能となる。
【００４２】
以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。
【図面の簡単な説明】
【００４３】
【図１】実施形態に係る画像表示装置の構成を示すブロック図である。
【図２】実施形態に係るカメラの配置の例を示す斜視図である。
【図３】実施形態に係る視点変換原理を示す図である。
【図４】実施形態に係る補助線拡大率テーブルの例を示すブロック図である。
【図５】実施形態に係る画像表示装置の動作を示すフロー図である。
【図６】実施形態に係る表示画像を示す図である。
【図７】実施形態に係る表示画像を示す図である。
【符号の説明】
【００４４】
１０…画像表示装置、１１…車体、１２a，１２b，１２ｃ，１２ｄ…カメラ、１４…画像入力装置、１６…視点変換装置、１８…初期セットアップ情報格納部、２０…映像合成装置、２２a，２２b，２２ｄ…ハイトセンサ、２４…補助線調整装置、２６…補助線拡大率テーブル格納部、２８…擬似車両調整装置、３０…映像出力装置、３２…ディスプレイ、Ｌ１，Ｌ２…補助線、Ｖ…擬似車両。
【出願人】 【識別番号】０００００３２０７
【氏名又は名称】トヨタ自動車株式会社
【出願日】 平成１８年７月２６日（２００６．７．２６）
【代理人】 【識別番号】１０００８８１５５
【弁理士】
【氏名又は名称】長谷川 芳樹

【識別番号】１００１１３４３５
【弁理士】
【氏名又は名称】黒木 義樹

【識別番号】１００１２２７７０
【弁理士】
【氏名又は名称】上田 和弘
【公開番号】 特開２００８−３４９６４（Ｐ２００８−３４９６４Ａ）
【公開日】 平成２０年２月１４日（２００８．２．１４）
【出願番号】 特願２００６−２０３６５４（Ｐ２００６−２０３６５４）