トップ :: G 物理学 :: G08 信号




【発明の名称】 複数のビデオカメラを用いた車両走行軌跡観測装置及び方法
【発明者】 【氏名】赤羽 弘和
【要約】 【課題】観測精度と観測範囲の両立が可能な車両走行軌跡観測装置及び方法をを提供すること。

【解決手段】複数のビデオカメラ１１−１、１１−２、…、１１−ｎは、車両走行軌跡を観測すべき道路１２に沿って所定間隔で配置され、それぞれが道路道路上を走行する車両１３の走行軌跡１４を所定の観測範囲内で撮影し、それらの部分的な走行軌跡画像１５−１、１５−２、…、１５−ｎを出力する。複数のビデオカメラ１１−１、１１−２、…、１１−ｎの撮影画像情報は、第１乃至第３の画像処理装置１６、１７、１８に供給され、第３の画像処理装置１８の出力側には、複数のビデオカメラ１１−１、１１−２、…、１１−ｎのそれぞれにより撮影された車両１３の走行軌跡が一体化された連続した走行軌跡画像１９が得られる。
【特許請求の範囲】
【請求項１】 車両走行路に沿って配列され、互いにフレーム同期された状態で前記車両走行路の所定の範囲を連続的に撮影する複数のビデオカメラと、これらの各ビデオカメラの撮影画像情報が供給される画像処理装置とを備え、この画像処理装置は、前記各ビデオカメラの撮影画像情報から得られる前記車両の走行軌跡画像を求めるとともに、これらのビデオカメラの撮影軌跡画像を相互に接続し、前記車両の走行方向に連続した車両走行軌跡画像を出力することを特徴とする車両走行軌跡観測装置。
【請求項２】 前記画像処理装置は、前記複数のビデオカメラのそれぞれにより撮影された画像情報から追跡すべき車両の画像を抽出して、その走行軌跡画像を検出する第１の画像処理装置と、この画像処理装置により得られた各ビデオカメラの走行軌跡画像を３次元射影変換する第２の画像処理装置と、この画像処理装置により３次元射影変換された前記各ビデオカメラの走行軌跡画像を相互に接続することにより、前記車両の走行方向に連続した車両走行軌跡画像を出力する第３の画像処理装置とを備えたことを特徴とする請求項１記載の車両走行軌跡観測装置。
【請求項３】 前記第１の画像処理装置は、前記複数のビデオカメラのそれぞれにより撮影された画像上で捕らえられた車両の大きさ、RGB値などの特徴量を抽出し、各カメラ間で同一車両を照合することにより、多数の車両を区別し、個々車両の走行軌跡を推定することを特徴とする請求項２記載の車両走行軌跡観測装置。
【請求項４】 前記第３の画像処理装置は、前記各ビデオカメラの走行軌跡画像をカルマンスムージングアルゴリズムにより相互に接続することを特徴とする請求項３記載の車両走行軌跡観測装置。
【請求項５】 前記カルマンスムージングアルゴリズムの適用に際しては、車両の運動状態を記述する状態方程式と、車両の運動状態を観測する観測方程式を用いることを特徴とする請求項４記載の車両走行軌跡観測装置。
【請求項６】 前記車両の運動状態を記述する状態方程式は、車両の位置、速度、加速度、加加速度、加加速度の時間変動成分および車両高さを含む運動方程式であることを特徴とする請求項５記載の車両走行軌跡観測装置。
【請求項７】 前記車両の運動状態を観測する観測方程式は、前記射影変換の際に車両の高さの影響を受けて生ずる位置ズレを補正するための観測ベクトル項と、画像上での座標読み取りの際に生ずる観測誤差および前記射影変換の際に車両の高さの影響を受けて生ずる定誤差を含む誤差分散項からなることを特徴とする請求項６記載の車両走行軌跡観測装置。
【請求項８】 前記複数のビデオカメラにより撮影される各フレームの画像には撮影時刻およびフレーム番号が記録され、これらの撮影時刻およびフレーム番号を用いて前記車両走行軌跡を検出することを特徴とする請求項２乃至６のいずれかに記載の車両走行軌跡観測装置。
【請求項９】 車両走行路に沿って配列され、互いにフレーム同期された状態で前記車両走行路の所定の範囲を連続的に撮影する複数のビデオカメラと、これらの各ビデオカメラの撮影画像情報が供給される画像処理装置とを用い、前記各ビデオカメラの撮影画像情報から得られる前記車両の走行軌跡画像を検出するステップと、このステップにより検出した前記複数のビデオカメラの撮影軌跡画像を相互に接続し、前記車両の走行方向に連続した車両走行軌跡画像を出力するステップを備えることを特徴とする車両走行軌跡観測方法。
【請求項１０】 前記車両の走行軌跡画像を検出するステップは、前記複数のビデオカメラのそれぞれにより撮影された画像情報から追跡すべき車両の画像を抽出して、その走行軌跡画像を検出するステップと、このステップにより得られた各ビデオカメラの走行軌跡画像を３次元射影変換するステップとからなり、前記連続した車両走行軌跡画像を出力するステップは、前記ステップにより３次元射影変換された前記各ビデオカメラの走行軌跡画像を相互に接続することにより、前記車両の走行方向に連続した車両走行軌跡画像を出力するステップを備えたことを特徴とする請求項９記載の車両走行軌跡観測方法。
【請求項１１】 前記走行軌跡画像を検出するステップは、前記複数のビデオカメラのそれぞれにより撮影された画像上で捕らえられた車両の大きさ、RGB値などの特徴量を抽出し、各カメラ間で同一車両を照合することにより、多数の車両を区別し、個々車両の走行軌跡を推定することを特徴とする請求項１０記載の車両走行軌跡観測方法。
【請求項１２】 前記３次元射影変換された各ビデオカメラの走行軌跡画像を相互に接続するステップは、前記各ビデオカメラの走行軌跡画像をカルマンスムージングアルゴリズムにより相互に接続することを特徴とする請求項１１記載の車両走行軌跡観測方法。
【請求項１３】 前記カルマンスムージングアルゴリズムの適用に再しては、車両の運動状態を記述する状態方程式と、車両の運動状態を観測する観測方程式を用いることを特徴とする請求項１２記載の車両走行軌跡観測方法。
【請求項１４】 前記車両の運動状態を記述する状態方程式は、車両の位置、速度、加速度および加加速度、加加速度の時間変動成分および車両高さを含む運動方程式であることを特徴とする請求項１３記載の車両走行軌跡観測方法。
【請求項１５】 前記車両の運動状態を観測する観測方程式は、前記射影変換の際に車両の高さの影響を受けて生ずる位置ズレを補正するための観測ベクトル項と、画像上での座標読み取りの際に生ずる観測誤差および前記射影変換の際に車両の高さの影響を受けて生ずる定誤差を含む誤差分散項からなることを特徴とする請求項１４記載の車両走行軌跡観測方法。
【発明の詳細な説明】【０００１】
【発明の属する技術分野】本発明は車両走行軌跡観測装置及び方法に関し、特に、複数のビデオカメラを用いた車両走行軌跡観測装置及び方法に関するものである。
【０００２】
【従来の技術】交通工学の進化に伴い、交通計測技術に対する要求（計測の高精度化、迅速化、計測内容の多様化）は増大している。特に交通渋滞の緩和や交通事故の防止のため、交差点、織りこみ区間、あるいは高速道路のサグやトンネル等のような交通容量のボトルネック区間や、交通事故頻繁発生区間の交通現象分析に対する高精度な計測技術に対する要望が多い。
【０００３】これらの要望に答えるには、従来からの交通量や密度など巨視的な観測だけでなく、右左折や車線変更など個々の車両の微視的な挙動を把握する必要性がある。従来のループ式や超音波式などの感知器では、交通量、速度、オキュパンシーなど、地点情報の取得のみであり、微視的な挙動を得るには不十分であるため、様々な交通状況を連続撮影し、映像から車両の軌跡を読み取るような技術が必要となる。つまり、数百メートルの長さを持つ対象道路区間において、各車両の準２次元的運動軌跡をトラッキングすることであり、これが車両軌跡観測である。この方法では車両１台１台の軌跡、速度、加速度、車間距離など微視的な情報を抽出できるうえ、粗密波の発生、伝播など全体の状況もとらえやすい利点がある。
【０００４】しかし、単一ビデオカメラによる観測では、カメラの解像度の制約から、観測対象区間の長さ・広さと観測精度とを高水準で両立させることは困難であり、画角の制約によっては、オクルジョーン（トラッキング対象の画像上における重なり）が、観測精度を低下させる要因となる。
【０００５】
【発明が解決しようとする課題】したがって本発明の目的は、観測精度と観測範囲の両立が可能な車両走行軌跡観測装置及び方法を提供することにある。
【０００６】
【課題を解決するための手段】本発明の車両走行軌跡観測装置は、車両走行路に沿って配列され、互いにフレーム同期された状態で前記車両走行路の所定の範囲を連続的に撮影する複数のビデオカメラと、これらの各ビデオカメラの撮影画像情報が供給される画像処理装置とを備え、この画像処理装置は、前記各ビデオカメラの撮影画像情報から得られる前記車両の走行軌跡画像を求めるとともに、これらのビデオカメラの撮影軌跡画像を相互に接続し、前記車両の走行方向に連続した車両走行軌跡画像を出力することを特徴とするものである。
【０００７】また、本発明の車両走行軌跡観測装置においては、前記画像処理装置は、前記複数のビデオカメラのそれぞれにより撮影された画像情報から追跡すべき車両の画像を抽出して、その走行軌跡画像を検出する第１の画像処理装置と、この画像処理装置により得られた各ビデオカメラの走行軌跡画像を３次元射影変換する第２の画像処理装置と、この画像処理装置により３次元射影変換された前記各ビデオカメラの走行軌跡画像を相互に接続することにより、前記車両の走行方向に連続した車両走行軌跡画像を出力する第３の画像処理装置とを備えたことを特徴とするものである。
【０００８】さらに、本発明の車両走行軌跡観測装置においては、前記第１の画像処理装置は、前記複数のビデオカメラのそれぞれにより撮影された画像上で捕らえられた車両の大きさ、RGB値などの特徴量を抽出し、各カメラ間で同一車両を照合することにより、多数の車両を区別し、個々車両の走行軌跡を推定することを特徴とする請求項２記載の車両走行軌跡観測装置。
【０００９】さらに、本発明の車両走行軌跡観測装置においては、前記第３の画像処理装置は、前記各ビデオカメラの走行軌跡画像をカルマンスムージングアルゴリズムにより相互に接続することを特徴とするものである。
【００１０】さらに、本発明の車両走行軌跡観測装置においては、前記カルマンスムージングアルゴリズムの適用に再しては、車両の運動状態を記述する状態方程式と、車両の運動状態を観測する観測方程式を用いることを特徴とするものである。
【００１１】さらに、本発明の車両走行軌跡観測装置においては、前記車両の運動状態を記述する状態方程式は、車両の位置、速度、加速度、加加速度、加加速度の時間変動成分および加加速度を含む運動方程式であることを特徴とするものである。
【００１２】さらに、本発明の車両走行軌跡観測装置においては、前記車両の運動状態を観測する観測方程式は、前記射影変換の際に車両の高さの影響を受けて生ずる位置ズレを補正するための観測ベクトル項と、画像上での座標読み取りの際に生ずる観測誤差および前記射影変換の際に車両の高さの影響を受けて生ずる定誤差を含む誤差分散項からなることを特徴とする。
【００１３】さらに、本発明の車両走行軌跡観測装置においては、前記複数のビデオカメラにより撮影される各フレームの画像には撮影時刻およびフレーム番号が記録され、これらの撮影時刻およびフレーム番号を用いて前記車両走行軌跡を検出することを特徴とするものである。
【００１４】本発明の車両走行軌跡観測方法は、車両走行路に沿って配列され、互いにフレーム同期された状態で前記車両走行路の所定の範囲を連続的に撮影する複数のビデオカメラと、これらの各ビデオカメラの撮影画像情報が供給される画像処理装置とを用い、前記各ビデオカメラの撮影画像情報から得られる前記車両の走行軌跡画像を検出するステップと、このステップにより検出した前記複数のビデオカメラの撮影軌跡画像を相互に接続し、前記車両の走行方向に連続した車両走行軌跡画像を出力するステップを備えることを特徴とするものである。
【００１５】さらに、本発明の車両走行軌跡観測方法においては、前記車両の走行軌跡画像を検出するステップは、前記複数のビデオカメラのそれぞれにより撮影された画像情報から追跡すべき車両の画像を抽出して、その走行軌跡画像を検出するステップと、このステップにより得られた各ビデオカメラの走行軌跡画像を３次元射影変換するステップとからなり、前記連続した車両走行軌跡画像を出力するステップは、前記ステップにより３次元射影変換された前記各ビデオカメラの走行軌跡画像を相互に接続することにより、前記車両の走行方向に連続した車両走行軌跡画像を出力するステップを備えたことを特徴とするものである。
【００１６】さらに、本発明の車両走行軌跡観測方法においては、前記走行軌跡画像を検出するステップは、前記複数のビデオカメラのそれぞれにより撮影された画像上で捕らえられた車両の大きさ、RGB値などの特徴量を抽出し、各カメラ間で同一車両を照合することにより、多数の車両を区別し、個々車両の走行軌跡を推定することを特徴とするものである。
【００１７】さらに、本発明の車両走行軌跡観測方法においては、前記３次元射影変換された各ビデオカメラの走行軌跡画像を相互に接続するステップは、前記各ビデオカメラの走行軌跡画像をカルマンスムージングアルゴリズムにより相互に接続することを特徴とするものである。
【００１８】さらに、本発明の車両走行軌跡観測方法においては、前記カルマンスムージングアルゴリズムの適用に再しては、車両の運動状態を記述する状態方程式と、車両の運動状態を観測する観測方程式を用いることを特徴とするものである。
【００１９】さらに、本発明の車両走行軌跡観測方法においては、前記車両の運動状態を記述する状態方程式は、車両の位置、速度、加速度および加加速度、加加速度、加加速度の時間変動成分および車両高さを含む運動方程式であることを特徴とするものである。
【００２０】さらに、本発明の車両走行軌跡観測方法においては、前記車両の運動状態を観測する観測方程式は、前記射影変換の際に車両の高さの影響を受けて生ずる位置ズレを補正するための観測ベクトル項と、画像上での座標読み取りの際に生ずる観測誤差および前記射影変換の際に車両の高さの影響を受けて生ずる定誤差を含む誤差分散項からなることを特徴とするものである。
【００２１】
【発明の実施の形態】以下に本発明の実施の形態について、図面を参照して詳細に説明する。
【００２２】図１は本発明の一実施形態を示す車両走行軌跡観測装置の全体構成を示す図であり、図２は車両走行軌跡観測装置に用いられる複数のカメラの配置状態を示す概略図である。図１において複数のビデオカメラ１１−１、１１−２、…、１１−ｎは、図２に示すように車両走行軌跡を観測すべき道路１２に沿って所定間隔で配置され、それぞれが道路道路上を走行する車両１３の走行軌跡１４を所定の観測範囲内で撮影し、それらの部分的な走行軌跡画像１５−１、１５−２、…、１５−ｎを出力する。複数のビデオカメラ１１−１、１１−２、…、１１−ｎの撮影画像情報は、図１の第１乃至第３の画像処理装置１６、１７、１８に供給され、第３の画像処理装置１８の出力側には、図２に示すように複数のビデオカメラ１１−１、１１−２、…、１１−ｎのそれぞれにより撮影された道路上を走行する車両１３の走行軌跡が一体化された連続した走行軌跡画像１９が得られる。
【００２３】図３は、複数のビデオカメラ１１−１、１１−２、…、１１−ｎがフレーム同期状態で動作するように制御されている様子を示す説明図である。
【００２４】隣接して設置されたビデオカメラによって走行車両を撮影する際、得られる各カメラの画像は全フレームの時間的位置が明らかでなければ、各カメラ間で車両の照合を行う事ができない。また、各カメラ間においてフレームの録画タイミングが一致していなければ、カメラ間に時間のズレによる車両位置の較差が表れ、得られる車両軌跡の精度低下を招く。
【００２５】このような撮影時における画像データの時間的誤差を少なくするため、図３に示すように、各カメラ間をケーブル３１、３２で接続し、主カメラ１１−１のタイムコード及びフレーム位置情報信号を他の副カメラ１１−２、…、１１−ｎに伝達して1つのカメラに他の全てのカメラが従う形で時間的同期を行う。すなわち、図に示すように、主カメラ１１−１と副カメラ１１−２とは、それらのフレーム同期信号が共通であり、それらのタイミングは１／３０、２／３０、３／３０で示されている。ここでこれらのタイミングは、１秒間の３０分の１の時間を単位とする時刻を意味している。また、各フレームに表示された番号１０１、１０２、１０３は主カメラ１１−１の撮影フレームの番号を意味し、番号６３、６４、６５は副カメラ１１−２の撮影フレームの番号を意味している。さらに、各フレームには、それぞれのフレームが撮影された時刻を示すタイムスタンプ１：３０、１：３１、１：３２が記録されている。このように、この装置では、同期信号によりフレームの録画タイミングを一致させ、タイムコード信号により各フレームに共通のタイムコードを記録する事により画像の時間的同期を実現している。
【００２６】図４は、図１に示す本発明の一実施形態である車両走行軌跡観測装置の動作を説明するためのフローチャートである。第１のステップＳ４１においては、図２に示したように、観測すべき道路１２に沿って配列された複数のビデオカメラ１１−１、１１−２、…、１１−ｎにより、道路上を走行する車両１３を撮影する。これらのビデオカメラによりそれぞれ撮影された、フレームごとに同期が取れた動画像は、図１の第１の画像処理装置１６に送られ、図４の第２のステップS４２において、車両特徴点抽出処理Ｓ４２−１及び特徴点追跡処理Ｓ４２−２が行われる。
【００２７】実際の交通流を対象として観測を行う場合には、画像上で捕らえられた多数の車両を区別し、各カメラ間で同一車両を照合し、個々に車両軌跡を作成しなければならない。このため、車両特徴点抽出処理ステップＳ４２−１では車両の大きさ、輝度、RGB値等の外観に関する特徴情報を抽出し、各カメラ間において同一車両を照合する。次いで、特徴点追跡処理ステップＳ４２−２において、次のような処理を行う。
■ 一つのカメラ画像内で走行する車両の座標位置を記録する。
■ 車両の外観情報を用いてカメラ画像内の車両軌跡を作成する。
■ 車両の速度、加速度、ベクトル等を車両ごとに記録する。
■ カメラ画像外への車両軌跡を推定する。
■ 推定された車両軌跡から隣接する次のカメラ画像内の位置を算出する。
■ さらに車両の外観情報をから■の車両位置に一番近い座標の車両を同一車両として決定する。
【００２８】以上の処理により、図２に示すように、複数のビデオカメラ１１−１、１１−２、…、１１−ｎによりそれぞれ撮影された、部分的な走行軌跡画像１５−１、１５−２、…、１５−ｎが得られる。これらの走行軌跡画像は図１の第２の画像処理装置１７に送られ、射影変換が行われる。
【００２９】図４の第３のステップＳ４３においては、第２の画像処理装置１７による射影変換処理が行われる。この射影変換処理は、ビデオカメラにより撮影された画像上における車両座標を測定し、これを地上座標に変換する処理である。すなわち、交通現象分析に必要な車両軌跡は車両が実際に走行する地上座標を連続的にプロットしたものである。しかしながらビデオカメラにより撮影された画像上における車両座標は、ビデオカメラの設置位置、地上からの車両高さにより変動し、地上座標とは必ずしも一致しない。従って、車両軌跡を得るためには1フレームごとに画像上における車両座標を測定し、それを地上座標に変換する必要がある。
【００３０】画像座標から地上座標への変換は射影変換式を用いて行う。画像座標から地上座標への変換は射影変換式を用いて行う。射影変換式を式（１）に示す。この射影変換式は変換対象が地上面に対し高さ情報を持っていない座標系を対象とした数式である。
【数１】

以下に射影変換の手順を述べる。
■ 画像上と地上面に基準点を4つ以上作成し、双方の画像座標及び地上座標を計測する。この手順は図４のステップS４３−１で行われる。
■ 得られた全ての座標を基準点ごとに式（２）のように線形化した射影変換式に入力する。基準点の数×2の数式ができる。
【数２】

■ 式（２）で得られた数式の組に最小二乗法を適用し、未定係数を算出する。
■ 得られた未定係数を式（１）に入力し、他の画面座標を射影変換する。
【００３１】手順■〜■は図４のステップS４３−２で行われる。
【００３２】このようにして得られた地上座標には車両の高さによる誤差が生じており、これを補正する必要がある。この方法については以下に述べる。
【００３３】図４のステップS４３−３では、前記基準点の地上座標と対応する画像座標から撮影時のカメラの位置と傾き、すなわち、ビデオカメラの位置座標および取り付け角度が求められる。以下ではこれを画像の外部標定という。
【００３４】外部標定は写真測量の技術の一つであるDLT法(Direct Linear Transformation)を用いて行う。DLT法とは共線条件式を3次元の射影変換式と見なして標定を行うものである。また式（１）にもDLT法を適用した手法はあるが精度向上のため、基準点座標は3次元的に画面全体に散っているという前提条件の上で3次元射影変換式（３）を用いた方法を選択した。
【数３】

また式（３）を用いたDLT法を用いれば外部標定要素だけでなく、内部標定要素の一部である写真主点のズレ、レンズの焦点距離も算出する事が出来る。ただし、未定係数が11個であるので基準点は6個以上必要である。以下に手順を示す。
■ 式３を前述の要領で線形化し、最小二乗法で未定係数を求める。
■ 得られた未定係数より式（４）〜式（７）を用いて標定要素を算出する。
【数４】

これらの各値は図４のステップＳ４３-２で変換された画像情報とともにステップＳ４４に送られ、軌道推定処理が行われる。この軌道推定処理は、前述したように、図１の第３の画像処理装置１８により行われ、その出力には複数のビデオカメラ１１−１、１１−２、…、１１−ｎにより撮影された道路上を走行する車両１３の走行軌跡が一体化された連続した走行軌跡画像１９（図２）が得られる。
【００３５】ステップＳ４４における軌道推定処理の具体的な処理目的および方法は次のとおりである。すなわち、複数ビデオカメラで得られた同一車両の車両軌跡を抜き出し、単純に接続した場合、隣接するビデオカメラで撮影された車両軌跡の境界部部が滑らかに接続されない場合がある。この原因は、画像座標測定の際の観測誤差や、車両座標が高さ情報を持つことによる定誤差にあリ、特に車両座標の測定点が道路面と等しくない高さにあることによる誤差の影響が大きい。このような誤差を除去するため、最小二乗原理により複数ビデオカメラで得られた車両軌跡のズレを修正し、連続的な一体化された車両軌跡として接続するため平滑化を行う。そしてこの平滑化のアルゴリズムとしてすでに周知のカルマンスムージングアルゴリズムを採用する。
【００３６】本発明の車両軌跡観測装置においてこのアルゴリズムを採用することの利点は以下の通りである。なお、以下では画像より得られる座標を「観測値」、アルゴリズムにより得られる値を「状態量」と称する。
■ 観測値諸量間の物理的相互関係を利用できる。
【００３７】観測値の平滑化の際に、状態量を決定する要素として運動方程式のような物理法則を採用する事ができる。運動方程式は加速度の積分が速度変動、速度の積分が位置変動のように物理的に相互関係が成り立っており、これらを利用する事により位置の決定の際、過去の位置情報に加えて、速度・加速度等の情報を利用する事ができる。また速度、加速度にも同様にして運動方程式が成り立つので、初期入力データが位置座標のみであっても速度・加速度も逐次推定する事が可能である。
■ 時間的に前後する観測値との相関関係を現時点観測値の決定に反映させられる。
【００３８】スムージングの定義として、ある時刻tまでの観測データの集合Ｙにおいて時刻ｋ＋ｍ（ｍ．０）の値を集合Yの全てのデータから推定する、とされている。つまり、得られた観測値全体の傾向を予め読み込む事により、ある時点の観測データを修正する根拠として当該データに先立って観測されたデータだけでなく、当該データよりも時間的に後で取得されたデータも取り入れて処理を行う事ができる機能を有している。すなわち、当該データに対して時間軸上で過去・未来の両側の観測データ傾向に基づいた平滑化が行われる。
■ 得られた観測値の信頼性を推定誤差分散値により重み付けできる。
【００３９】本発明の車両軌跡観測装置における観測値誤差はある程度の法則性を持っているので、観測値に重み付けを与えられる事は処理上大きな意味を持つ。また、観測値が得られていない、空白部分が存在していても、その区間の観測値の誤差分散値を非常に大きく設定する事で全体の連続性を損なう事なく処理を行える点で意義が非常に大きい。
【００４０】このようなカルマンスムージングアルゴリズムの適用に際しては、図４のステップ４４−１、４４−２において、式（８）に示すような状態方程式と、式（９）に示すような観測方程式とを作成し、ステップ４４−３において状態量を最小二乗推定により逐次更新しながら平滑化する。この結果がステップ４５に示すように実空間上で連続した車両移動推定軌跡として出力される。
【数５】

ここで、以下に各ベクトルの内容について触れる。
■ 状態方程式（８）内のベクトルを式（１０）に示す。
【数６】

状態方程式には運動方程式を採用しており、位置・速度・加速度・加加速度を状態量としている。なお、3次項以下は無視している。加加速度とは加速度の1次微分でアクセルペダルまたはブレーキペダルの踏み込み量に相当する。また、車両の高さhを状態方程式に含める事により射影変換において生じた誤差の補正に活用している。なお、hの時間変動は無いものとした。以上の状態量ベクトルの誤差分散には時間変動は無いものとして値を設定した。
■ 観測方程式（９）内のベクトルを式（１１）に示す。
【数７】

観測方程式は観測ベクトル項と誤差分散項から成り立っている。観測ベクトルには射影変換の際に車両座標位置の高さの影響によるズレを修正する数式（１２）を採用した。
【数８】

この項は観測値ごとに異なる値となり、連続的に移動する車両を対象とした本発明の車両軌跡観測装置では時間変動する項となる。従って観測値が入力される度に観測ベクトルを計算している。
【００４１】この観測ベクトル項および誤差分散項の作成方法について図５により説明する。
【００４２】本発明の車両軌跡観測装置では車両位置座標の高さにより画面上の座標にズレが生ずる。すなわち、図示のように車両座標位置の高さの影響によるズレが生ずるのは、カメラ画像が物体・レンズ中心・画像が同一直線上にある中心投影像になっているからである。本来の車両座標aはカメラ1画像内ではa'1にあると認識され、カメラ2画像内ではa'2にあると認識されてしまう。その大きさはカメラの設置位置、車両座標の位置によって異なり、三角形の相似条件から導き出される式（１３）で表される。
【数９】

観測方程式では、式（１４）で求められた値を観測値から差し引いた値が真値であるという関係から式（１２´）が導き出され、これを用いている。
【数１０】

誤差分散値の決定については、すでに述べた通り、画像より得られた車両座標には誤差が生じており、その誤差の原因は大きく分けて次の2つに分類できる。
■ 画像上での座標読み取りの際に生ずる観測誤差■ 射影変換の際に車両の高さの影響を受けて生ずる定誤差■の観測誤差の大きさは、カメラの設置位置、3軸回りの傾き、焦点距離等のカメラの設置条件と車両座標の位置により異なる。つまりカメラごとに「得意」な場所と「苦手」な場所が存在し、車両に近いカメラ程精度が良くなる。また、一般的に画像の中心付近では誤差は小さく、画面の端へ行くほど誤差が大きくなる傾向があり、画像の縮尺が大きい方が画像上微小距離あたりの誤差が大きくなり、俯角の大きいカメラ画像ほど縮尺のバラツキが大きなくなり誤差が大きくなりやすい。
【００４３】■の定誤差は前節で述べたようにカメラの設置位置と車両位置の関係によりその大きさが異なる。式（１３）からわかるように、カメラの設置位置が低く、カメラから車両位置までの距離が遠いほど誤差が大きくなる。また、この誤差はカメラの鉛直点を中心として外向きに放射状に表れ、鉛直点上では誤差が表れない。以上に述べた誤差は車両位置座標によってその大きさが異なる。この性質を利用して推定誤差分散値を決定し、観測値の重み付けを行う。その決定方法について以下に述べる。
【００４４】式（１５）に示される射影変換式を画面座標(x、y)それぞれで微分した値は、画面座標(x、y)における微小変位量が地上座標上ではどの程度の値になるのかを示したものになる。つまり画像上の1mmを地上座標上に変換した値になる。これにより画像上で車両座標を読み取る際のポインタのズレによる観測誤差を示す事ができる。また、式（１５）を測定物の高さZで微分した値は画面座標（x、y）に相当する地上座標（X、Y）における高さ1mがどの程度のズレとして表れるのかを示したものになる。これにより座標ごとの定誤差の大きさを知る事ができる。これらの値が小さい程、観測値の誤差に与える影響が少ないと判断できるため、観測値の信頼性評価に用いる事が可能である。これらの値を式（１６）で示される誤差分散方程式に代入して得られた値をその車両座標の誤差分散値として決定する。
【数１１】

【数１２】

以上の式から求められる誤差分散値は観測値が存在している場合である。しかし実際の撮影条件においては撮影範囲相互に重なり合う部分がなく、観測値が得られない区間が存在する場合もある。また、読み取り上のエラーで観測値が得られない場合も考えられる。そのような、観測値が存在しない区間については非常に大きな誤差分散値を与える事で平滑処理の連続性を保っている。
【００４５】すなわち、複数カメラで撮影を行う際に互いのカメラの設置条件として考えうるのは、図６（Ａ）に示すように、撮影範囲に重なる部分があり車両走行軌跡が連続的に観測できる場合と、図６（Ｂ）に示すように、撮影範囲相互に重なる部分がなく車両走行軌跡の観測が途中で途切れる場合との2つのケースである。
【００４６】画像同士に重なる部分がある場合、車両走行軌跡は連続的に観測ができるため複数の画像の車両走行軌跡を連続的にスムージングを行う。この場合、車両座標の誤差分散は上述の方法で得られた値をそのまま適用する。
【００４７】画像同士に重なる部分がない場合は、画像と画像の間に車両座標が全く観測されない区間が現れるため、そのまま車両走行軌跡を連続的にスムージングする事はできない。車両座標が観測されない区間については、各々の画像で得られた車両走行軌跡から隣接する画像内に収まる車両位置までカルマンスムーザーで座標を推定し、車両走行軌跡を連続させた上で再びスムージング処理を行う手法をとる。この場合、車両座標の観測値がない区間については、例えば1.0×1040のように、誤差分散を非常に大きく取り、全体の車両走行軌跡に影響を与えないように配慮する。
【００４８】
【発明の効果】以上説明したように、本発明によれば、車両走行路に沿って配列され、互いにフレーム同期された状態で前記車両走行路の所定の範囲を連続的に撮影する複数のビデオカメラと、これらの各ビデオカメラの撮影画像情報が供給される画像処理装置とを備え、前記各ビデオカメラの撮影画像情報から得られる車両の走行軌跡画像を求めるとともに、これらのビデオカメラの撮影軌跡画像を相互に接続し、前記車両の走行方向に連続した車両走行軌跡画像を高い精度で得ることができる。
【出願人】 【識別番号】５０１３０３８４０
【氏名又は名称】株式会社アイ・トランスポート・ラボ
【出願日】 平成１３年９月１０日（２００１．９．１０）
【代理人】 【識別番号】１０００８１７３２
【弁理士】
【氏名又は名称】大胡 典夫 （外２名）
【公開番号】 特開２００３−８５６８５（Ｐ２００３−８５６８５Ａ）
【公開日】 平成１５年３月２０日（２００３．３．２０）
【出願番号】 特願２００１−２７４１８３（Ｐ２００１−２７４１８３）