トップ :: G 物理学 :: G06 計算;計数

【発明の名称】 画像処理システム
【発明者】 【氏名】長尾 智晴

【氏名】小川 原也

【氏名】泉名 克郎

【氏名】喜瀬 勝之

【要約】 【課題】人為的な作業を要することなくオンラインで教師データを作成して自律的な学習体系を構築し、高精度且つロバストな画像処理を可能とする。

【解決手段】オンライン学習部5で、ドライバの操作データから障害物回避行動を認識し、回避時の画像から距離画像を作成し、この距離画像から教師画像を作成する。そして、作成した教師画像を用いて現在使っている木構造フィルタ列及びストックしている木構造フィルタ列を評価し、その評価結果に応じて、追加学習を行い、また、現在使っている木構造フィルタ列とストックしている木構造フィルタ列とを入れ替える。これにより、人為的な作業を要することなくオンラインで教師データを作成して自律的な学習体系を構築することができ、高精度且つロバストな画像処理が可能となる。
【特許請求の範囲】
【請求項1】
移動体の外部に存在する物体を検出した画像データを処理し、環境認識を可能とする画像処理システムであって、
上記画像データを認識器で処理し、上記画像データの中から特定の対象を抽出する認識処理部と、
上記物体を回避するための上記移動体の運転情報に基づいて、目標となる教師データをオンラインで作成する教師データ作成部と、
上記認識器を上記教師データを用いた学習により適応的に更新する学習更新部と
を備えることを特徴とする画像処理システム。
【請求項2】
上記認識器を木構造状画像フィルタにより構成し、該木構造状画像フィルタを遺伝的プログラミングの初期個体として適応的に学習更新することを特徴とする請求項1記載の画像処理システム。
【請求項3】
上記認識器を、予めオフラインの事前学習で作成して保持する教師データとオンラインで作成した上記教師データとを用いて評価し、評価結果に基づいて上記認識器を適応的に学習更新することを特徴とする請求項1又は2記載の画像処理システム。
【請求項4】
上記認識器を、過去の結果を含めて累積的に評価し、累積した評価結果に基づいて上記認識器を適応的に学習更新することを特徴とする請求項3記載の画像処理システム。
【請求項5】
上記運転情報を上記移動体を操縦する人の運転操作データとし、この運転操作データを用いて上記教師データを作成することを特徴とする請求項1〜4の何れか一に記載の画像処理システム。
【請求項6】
上記運転操作データから認識した危険回避シーンのオプティカルフローを算出し、該オプティカルフローに基づく距離情報を用いて上記教師データを作成することを特徴とする請求項1〜5の何れか一に記載の画像処理システム。
【請求項7】
上記オプティカルフローを、上記移動体の速度に応じて選択した時系列画像データのマッチング処理によって求めることを特徴とする請求項6記載の画像処理システム。
【請求項8】
上記オプティカルフローを、上記運転操作データにより補正することを特徴とする請求項6又は7記載の画像処理システム。
【請求項9】
上記運転操作データを、時系列の操舵角データとすることを特徴とする請求項5〜8の何れか一に記載の画像処理システム。
【請求項10】
上記操舵角データを、所定の時間間隔及び操舵角で離散化することを特徴とする請求項9記載の画像処理システム。
【発明の詳細な説明】【技術分野】
【0001】
本発明は、画像処理の際の目標となる教師データを自動的に作成する画像処理システムに関する。
【背景技術】
【0002】
近年、カメラ等からの画像データを処理し、その画像の中から特定の対象、例えば、環境内を移動する物体やその動き等を抽出する画像認識技術において、非特許文献1に提案されているような、各種画像フィルタを木構造状に組み合わせた木構造状画像フィルタを用いる技術が開示されている(木構造状画像変換の自動構築法;ACTIT)。このACTITの技術は、木構造状画像フィルタを遺伝的プログラミングにより自動的に最適化するものであり、より複雑な画像認識が可能となる。
【0003】
また、特許文献1には、動画像中から特定の対象、特に時間的な変化や変位を伴う特定対象の抽出を可能とするため、ACTITを拡張した技術が開示されている。特許文献1の技術では、教師情報を与えることで遺伝的プログラミングにより木構造画像フィルタの処理構造を自動的に獲得でき、車載カメラ等による動画像処理の自動構築などが可能となる。
【特許文献1】特開2006−178857号公報
【非特許文献1】青木紳也、外1名、「木構造状画像変換の自動構築法ACTIT」、映像情報メディア学会誌、社団法人映像情報メディア学会、1999年、第53巻、第6号、p.888〜894
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した従来の技術では、行いたい処理の目標となる教師情報が必要であり、この教師情報を開発者等が人為的に作成しなければならない。このため、より高精度の画像処理を実現するために学習量を十分に取ろうとすると、多大な労力と時間を要し、開発コストの上昇を招いてしまう。
【0005】
また、事前にある程度十分な学習をさせたとしても、実際の装置に組み込んでのオンラインの稼働状態では、外界の天候や環境など多様な条件に対応しなければならず、特に、車載カメラによる車外環境認識等においては、天候等の環境変化、歩行者、車、路上の構造物等、多様な条件に対応する必要があり、それらの多様な環境・対象を一つの認識構造で対応することは困難である。
【0006】
本発明は上記事情に鑑みてなされたもので、人為的な作業を要することなくオンラインで教師データを作成して自律的な学習体系を構築し、高精度且つロバストな画像処理を可能とすることのできる画像処理システムを提供することを目的としている。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明による画像処理システムは、移動体の外部に存在する物体を検出した画像データを処理し、環境認識を可能とする画像処理システムであって、上記画像データを認識器で処理し、上記画像データの中から特定の対象を抽出する認識処理部と、上記物体を回避するための上記移動体の運転情報に基づいて、目標となる教師データをオンラインで作成する教師データ作成部と、上記認識器を上記教師データを用いた学習により適応的に更新する学習更新部とを備えることを特徴とする。
【発明の効果】
【0008】
本発明による画像処理システムは、人為的な作業を要することなくオンラインで教師データを作成して自律的な学習体系を構築し、高精度且つロバストな画像処理を可能とすることができる。
【発明を実施するための最良の形態】
【0009】
以下、図面を参照して本発明の実施の形態を説明する。図1〜11は本発明の実施の一形態に係り、図1は画像処理システムの基本構成図、図2は歩行者抽出の処理例を示す説明図、図3は木構造状画像フィルタを示す説明図、図4はオンライン学習部の構成を示す説明図、図5はハンドル角データを示す説明図、図6はハンドル角データとパターン系列と判定結果とを示す説明図、図7は距離変換の説明図、図8は疑似距離画像の例を示す説明図、図9は歩行者判定前のオブジェクト抽出例を示す説明図、図10は歩行者の判定結果を示す説明図、図11は木構造状画像フィルタの入れ替え処理を示す説明図である。
【0010】
本発明の画像処理システムは、自動車等の移動体に搭載され、移動体の外部に存在する物体を検出した画像データを認識器で処理しながら、処理の目標となる教師データをオンラインで自動生成するものであり、追加学習や認識処理の適応的統合を行い、多様な環境、対象に対してより高精度でロバストなシステムを構築することができる。
【0011】
尚、ここでの画像データとは、カメラ等のイメージセンサで撮像した視覚情報データのみならず、レーザ・レーダ等により物体の2次元的な分布を検出した疑似画像形態のデータも含むものとする。
【0012】
本形態においては、画像処理システムを自動車等の車両に適用して動画像認識処理を自動構築し、車載カメラの画像を処理して歩行者を抽出する例について説明する。
【0013】
図1に示すように、本形態における画像処理システム1は、撮像部2、画像入力部3、認識処理部4、オンライン学習部5を基本構成として備えている。認識処理部4は、複数の認識器4A,…と、複数の認識器4A,…の出力結果を統合して統合画像を出力する統合部4Bとを備えている。
【0014】
オンライン学習部5は、CAN(Controller Area Network)等の車内ネットワーク50を介して他の制御装置に接続され、ドライバの操作情報に基づいて教師画像(教師データ)を作成する教師画像作成部10、追加学習を行う追加学習部20、学習結果に応じて認識器4Aの入れ替えを行う更新統合部30を備えている。尚、教師画像作成部10が本発明の教師データ作成部に相当し、追加学習部20及び更新統合部30が本発明の学習更新部に相当する。
【0015】
また、オンライン学習部5は、予めオフラインで事前学習された認識器及び後述する追加学習により順次追加される認識器を保持する認識器データベースDB1と、事前に作成された教師データ及び新たにオンラインで作成された教師データを保存する教師データベースDB2とを備えている。
【0016】
撮像部2は、CCDやCMOS等の撮像素子を有するカメラ(本形態においては、単眼視の1台のカメラ)で構成され、例えば、自動車の車室内のルームミラー付近のフロントガラス内側に配設されている。この撮像部2としてのカメラにより、所定の時間周期(例えば、1/30sec)毎に車両前方が撮像され、動画像を形成する時系列画像が画像入力部3に送信される。
【0017】
画像入力部3は、撮像部2からの撮像画像に対して、ノイズ除去、ゲイン調整、γ補正等のビデオプロセス処理を行い、このビデオプロセス処理されたアナログ撮像画像を、所定の階調(例えば256階調のグレースケール)のデジタル画像に変換する。画像入力部3で処理された画像は、一旦、メモリにストアされて収集され、認識処理部4、オンライン学習部5に送信される。
【0018】
尚、認識処理部4、オンライン学習部5には、現在の時刻t及びそれ以前の時刻(t−k)の画像がMフレーム毎にメモリから読み出されて入力される。k及びMの値は適宜設定可能であり、また、他の選択方法により相異なる複数種類の入力画像を選択して入力するように構成することも可能である。
【0019】
認識処理部4は、複数の認識器4Aで入力画像を並列に認識処理し、統合部4Bで各認識器4Aから出力される処理画像を足し合わせた統合画像を、出力目標画像として出力する。本形態では、処理目的が車両前方の風景画像の中からの歩行者の抽出であることから、例えば、図2に示すように、入力画像Q1の中から歩行者のみを白抜きの抽出領域(輝度値255)とし、それ以外の部分を非抽出領域(輝度値0)とした画像QR2を出力目標画像とする。この出力目標画像は、入力画像と重ね合わせる等して図示しない表示装置で表示される。
【0020】
また、認識器4Aとして、本形態においては、図3に示すように、複数の画像フィルタF1,F2,…,Fn(図においては、n=8)を木構造状に組み合わせた木構造状画像フィルタを採用している。この木構造の各ノードとなる画像フィルタとしては、既存の各種画像フィルタ(例えば、平均値フィルタ、ソベルフィルタ、2値化フィルタ等)や目的に応じて機能が特化された画像フィルタが用いられ、これらの画像フィルタの最適な組合わせと総数が、遺伝的アルゴリズム(GA;GeneticAlgorithm)の遺伝子型を構造的な表現(木構造やグラフ構造等)が扱えるように拡張した遺伝的プログラミング(GP;GeneticProgramming)によって学習的に獲得される。
【0021】
尚、認識器4Aとしては、木構造状画像フィルタの他、ニューラルネットワーク、サポートベクタマシン、ファジー等による認識器、ステレオ画像をマッチング処理する認識器、レーザ・レーダによるスキャン画像を処理する認識器等を用いることも可能である。
【0022】
本形態で採用する木構造状画像フィルタによる画像処理の詳細については、本出願人による特開2006−178857号公報に詳述されている。ここでは、その概要について説明する。
【0023】
本形態における木構造状画像フィルタでは、以下の適応度評価、選択、交叉、突然変異、適応度評価、終了判定の過程を経て木構造の最適化が行われ、GPによって自動的に生成される処理プログラムにより、原画像から目標画像までの最適な変換プロセスが実現される。
【0024】
[適応度評価]
木構造状画像フィルタを個体として、ランダムの生成される初期個体集団の各個体の適応度を評価する。適応度は、各個体から出力される画像の目標画像に対する類似度で定義され、以下の(1)式を用いて算出される。尚、各個体は、最適化されるまでの進化過程において、木構造を構成する終端ノードの数が予め設定した最大値(例えば40)を超えないように制限される。
K=1.0−(1/R)・Σf(ΣpW・│O−T│/ΣpW・V)…(1)
但し、Σf:フレーム数fについての総和
Σp:1フレーム中のピクセルについての総和
K:適応度
R:学習セット数(入力画像及び教師画像の組み合わせを学習セットとして
評価に用いたセット数)
O:出力画像
T:目標画像(最適化された処理で出力すべき画像
W:重み画像(目標とする画像内での領域の重要度を表し、
出力画像と目標画像との距離に応じた重みが画素毎に定義された画像)
V:最大階調度
【0025】
[選 択]
個体の複製のために親集団を選択する過程であり、適応度Kに基づいてルーレット選択や期待値選択、ランキング選択、トーナメント選択等の方法で次世代に残すべき個体の選択及び増殖を行う。本形態の木構造状画像フィルタでは、トーナメント選択により設定数の個体を選択すると共に、適応度Kが最大の個体のエリート保存を同時に行う。
【0026】
[交叉、突然変異]
親集団から交叉、突然変異によって子集団を生成する過程であり、選択された個体をペアにして、それぞれの交叉点をランダムに選び、一点交叉、多点交叉、一様交叉等により、それぞれ交叉点に応じた部分木同士で交叉させ、子集団を生成する。生成された子集団は、個体毎に所定の割合でノードの変異、挿入、欠失等が行われ、突然変異による子集団が生成される。
【0027】
[適応度評価、終了判定]
突然変異で生成された各個体は前述した適応度が評価され、エリート保存された前世代の適応度が最大の個体を含めて、最適化の処理終了が判定される。この処理の終了は、実行すべき最大世代数まで達したか否か、予め設定した目標適応度に達した個体があるか否か(目的とする個体が得られたか否か)等によって判定される。
【0028】
世代数が終了世代数に到達していないときには、親選択に戻り、以上の処理過程を繰り返す。一方、世代数が終了世代数に到達したとき、或いは、適応度の最大値が所定の世代数経過してもその間変化しない場合、すなわち、適応度の最大値が停滞した場合には、その世代で最適化を打切り、最大の適応度を有する個体を解として出力する。
【0029】
以上の進化過程による木構造の最適化は、各種シーンに対応するため、オフラインでの事前学習によって実行される。事前学習された複数の木構造状画像フィルタは、一部が認識処理部4に常時使用する認識器としてセットされ、一部が典型的なシーン、例えば、昼、夜、天候、環境(高速道路、幹線道路、市街地等)に特化した認識器として認識器データベースDB1にストックされる。
【0030】
本形態の画像処理システム1は、以上の木構造状画像フィルタに、オンラインで学習可能な枠組を導入するものであり、オンライン学習の枠組は、ドライバの操作情報に基づく教師情報の自動生成、追加学習、複数本の木構造状画像フィルタの適応的統合によって構築される。以下では、木構造状画像フィルタを、適宜、「木構造フィルタ列」、或いは単に「木」と記載する。
【0031】
具体的には、オンライン学習部5における処理は、基本的に、以下の(1)〜(5B)をループさせる処理である。(1)〜(3)が教師画像作成部10の処理に該当し、(4),(5A)が更新統合部30の処理に該当し、(5B)が追加学習部20の処理に該当する。
【0032】
(1)ドライバの操作データから障害物回避行動を認識する。
(2)回避時の画像から擬似距離画像を作成する。
(3)擬似距離画像から教師画像及び重み画像を作成する。
(4)作成した教師画像を用いて現在使っている木構造フィルタ列、及びストックしている木構造フィルタ列を評価する。
(5A)評価値の比較結果に応じて、現在使っている木構造フィルタ列とストックしている木構造フィルタ列とを入れ替える。
(5B)評価値の比較結果に応じて、追加学習を行う。
【0033】
詳細には、図4に示すように、教師画像作成部10は、危険回避行動認識部11,移動ステレオ処理部12,距離画像作成部13,教師画像作成部14,信頼度評価部15を備えて構成され、危険回避行動認識部11,移動ステレオ処理部12,距離画像作成部13に、車内ネットワーク50を介してドライバの操作データや車両制御データが入力される。また、追加学習部20は、木構造学習部21を備えて構成され、更新統合部30は、評価部31,入替選択部32を備えて構成されている。
【0034】
教師画像作成部10は、木構造の画像処理で用いる情報以外に、ドライバ操作データ、距離画像情報を用いて教師画像を作成する。教師情報としては、実際に歩行者が居て、ドライバが歩行者を回避する等、危険であったシーンを対象とし、そのシーンの判定については、ドライバの操作データを用いる。
【0035】
次に、教師情報の対象シーンと判定した画像を移動ステレオ処理し、距離画像を作成する。本形態における移動ステレオ処理は、単眼のカメラを用いて撮像した時系列画像から画像内の各点の動きベクトル(フローベクトル)を求め、このフローベクトルの分布(オプティカルフロー)から距離情報を求める処理であり、対象が動いていないことを仮定していることから、作成される距離画像は擬似的な距離画像である。
【0036】
すなわち、対象が動いており、近付いている場合には、本形態のオプティカルフローによる擬似距離画像では、実際の距離より近く算出されるが、ここでは高精度の距離を求める必要はないため、この影響は無視することができる。そして、擬似距離画像から回避した対象(距離が近いもの)を抽出処理することにより、教師画像を作成する。
【0037】
以下、教師画像作成部10の各部の処理について、詳細に説明する。
【0038】
危険回避行動認識部11は、ドライバの操作データから回避行動を判定し、処理対象とするシーンを判定する。歩行者を回避するドライバの操作行動は、避ける、減速(止まる)など複数存在するが、他の操作行動との区別がつきやすいことから、ここでは避ける(左側の歩行者を避ける場合はハンドルを右に切って回避後、左に切り車線に復帰する)行動を抽出する。このドライバの回避行動の判定は、車内ネットワーク50を介して時系列のハンドル角情報を取得し、このハンドル角情報を用いて行う。
【0039】
図5は、ドライバ操作データとして、例えば30Hzでサンプリングされた操舵角(ハンドル角)データのグラフを示し、横軸は時間、縦軸はハンドル角である。この時系列のハンドル角データは、ドライバが左側の歩行者を回避するためにハンドルを右に切って回避後、左に切り車線に復帰した例を示している。
【0040】
ここで、実際の回避行動においては、ハンドル角の大きさや回避時間にばらつきがある。従って、これらの影響を排除するため、以下の(i),(ii)に示すような処理でデータの離散化を行い、ハンドル角及び時間間隔に対してロバストなデータとする。そして、離散化したデータを、予め設定してある回避パターンとマッチングすることで、ドライバの回避行動をパターン化して抽出する。
【0041】
(i)ハンドル角は7段階に離散化する。但し、境界付近ではデータがハンチングする恐れがあるため、ヒステリシスを入れることで対処する。
(ii)同じ段階の連続データは、ひとまとめにする。但し、同一段階が1秒以上経過した場合は分離する。
【0042】
例えば、図5に示すハンドル角データを離散化し、3,4,5,4,3,2,1,2,3,…の段階のデータが時系列的に得られた場合、図6に示すように、細線で示すハンドル角データに対して太線で示す回避パターンが抽出され、ドライバの回避操作が破線で示す結果として判定される(パルス状のONで危険回避パターンを判定)。これにより、ドライバの危険回避行動が認識され、対応するシーンの時系列的な画像が移動ステレオ処理部12に取り込まれる。
【0043】
移動ステレオ処理部12は、対象とするシーンの時系列画像を移動ステレオ処理する。この移動ステレオ処理は、本形態においては、時系列画像をブロックマッチング処理して処理対象のフローベクトルを求めるようにしており、マッチングに際しては、周知のSAD法を用いて画像間の相関を評価する。
【0044】
すなわち、基準画像となる現時刻の入力画像を所定の大きさのブロックに分割し、比較画像となる過去の時刻の入力画像のブロックとの相関をSAD法により評価し、マッチング処理を行う。尚、マッチング処理の方法としては、その他、SSD法、正規化相関法等の種々の方法が知られており、いずれの方法を採ることも可能である。
【0045】
本形態で採用するSAD法では、基準画像のブロックと比較画像のブロックとの間のピクセル値(一般的に、各画素の輝度値)の差分の絶対値の総和(SAD;Sum of Absolute Difference)を演算し、画像間の相関を評価する。このSADによる評価関数の値は、シティブロック距離と称されるものであり、ブロック間の相関が高い程(類似している程)、値が小さくなる。
【0046】
シティブロック距離Cは、画像平面上の位置を、水平方向をi座標、垂直方向をj座標とする直交座標で定義し、互いの相関度を探索するブロックを、i×j(i=0〜n,j=0〜n)の探索ブロックとするとき、以下の(2)式に示すように、基準画像の探索ブロックmain(i,j)と比較画像の探索ブロックsub(i,j)とのSAD値を、i軸上を所定のシフト値ずつずらしながら演算することにより得られる。
C=Σ│main(i,j)−sub(i,j)│…(2)
【0047】
本形態では、基準画像となる現在の時刻の入力画像を、例えば4×4画素のブロックに分割し、比較画像となる過去の時刻の入力画像上を1画素ずつずらしながら走査し、シティブロック距離Cが最小となるブロックを、現入力画像上の画素ブロックに対応するブロックとする。そして、対応する画素ブロック間のフローベクトルFvを求める処理を探索範囲の各画素ブロックについて行うことで、現入力画像のオプティカルフローを求めることができる。
【0048】
尚、本形態では、シティブロック距離Cの演算時間を短縮し、計算コストの低減を図るため、マッチングの走査方向を画像上の消失点方向に限定する。
【0049】
また、本形態では、精度向上のため、ブロックマッチングに際して、以下の(a),(b)の処理を加えている。
【0050】
(a)マッチング処理する比較画像を、車速に応じて変更する。通常は、現在の時刻tの画像と1フレーム前の画像を用いるが、低速の場合は2フレーム前の画像を用いる。これは、車速が遅い場合はフローベクトルが小さく、距離精度が低下するためである。
(b)ステアリングを切っている場合、オプティカルフローには左右方向にオフセット分が乗るため、ステアリング角(及び車速を用いたヨー角角速度)により、オフセット分の補正を行う。
【0051】
また、現入力画像上の画素ブロックが、建物の壁や道路表面等が撮像されていて16個の画素間に輝度値の差が少なく特徴に乏しい画素ブロックである場合には、過去の入力画像上に似たような輝度特性を有するブロックが多数存在するため、(2)式に従って対応するブロックが見出されたとしてもマッチングを誤っている可能性が残る。
【0052】
そこで、本形態では、下記の(J1),(J2)の2つの条件を満たす場合のみ、上述のマッチング処理で算出されたフローベクトルFvに信頼性がある判断し、そのフローベクトルFvを現入力画像上の画素ブロックに対応するフローベクトルとする。また、2つの条件のいずれかを満たさない場合はフローの信頼性が低いとして、その画素ブロックのフローベクトルFvを0とする。
【0053】
(J1)その画素ブロックのシティブロック距離Cの最小値Cminが予め設定された閾値Ca以下である。
(J2)その画素ブロックを構成する16個の画素の最大輝度値と最小輝度値との差が予め設定された閾値At以上である。
【0054】
従って、本実施形態では、移動ステレオ処理部12は、先ず、現入力画像を画素ブロックに分割した後、画素ブロックが条件J2を満たすか否かを判断して、条件を満たさない場合にはその画素ブロックに関してはマッチング処理を行わず、その画素ブロックに大きさ0のフローベクトルFvを割り当てる。
【0055】
また、移動ステレオ処理部12は、条件J2を満たす画素ブロックであっても、条件J1を満たさない場合、すなわちシティブロック距離Cが閾値Caより大きいである場合にはマッチングを誤っている可能性が高く信頼性が低いからその画素ブロックに大きさ0のフローベクトルFvを割り当てる。
【0056】
このようにして入力画像の画素ブロック毎に算出されたフローベクトルFvは、その大きさが各画素ブロックの階調値に変換され、オプティカルフロー画像が生成される。例えば、前述した大きさ0のフローベクトルが割り当てられている画素ブロックは階調値が0である。
【0057】
次に、距離画像作成部13は、得られたオプティカルフローと車速情報から距離への変換を行い、疑似距離画像を作成する。前述したように、本形態においては、距離算出時に対象に動きがないことを仮定しているため、自車に近づく物体は実際より距離が大きく算出されるが、ここでは正確な距離を求める必要はないので、この影響は無視する。
【0058】
具体的には、図7に示すように、カメラの焦点距離F、画像中心からの横方向距離をX、自車(カメラ位置)から奥行き方向の距離をZとするとき、3次元空間と2次元画像平面との間の透視変換により、過去の画像位置i(画像中心からの位置)、車速に基づく移動量VtだけZ方向に進んた現時刻での画像位置i’から、以下の(3),(4)式を得ることができる。
Z/F=X/λi …(3)
(Z+Vt)/F=X/λi’ …(4)
但し、λ:対象の画像上のずれ距離dを与える係数(d=λ(i’−i))
【0059】
従って、(3),(4)式を用いて、以下の(5)式に示すように、画像位置i,i’及び移動量Vtから距離Zを算出することができる。
Z=i’Vt/(i−i’) …(5)
【0060】
以上の処理で得られた距離情報は、画像座標系の対応する位置の輝度値に置き換えられて階調表現の距離画像として生成される。図8は、距離画像の例を示すものであり、同図において、下側が距離画像、上側の画像は元画像に上書きしたものである。尚、図2、図8、及び後述する図9,図10においては、視認の関係上、精細な階調表現を省略しているが、実際の距離画像上では、近い部分程白く、遠い部分程黒く表現される。
【0061】
次に、教師画像作成部14は、距離画像を画像処理することで、教師画像を作成する。具体的には、前処理として、濃淡で表現されたレベル画像(距離画像)を、3×3の最大値フィルタや最小値フィルタを用いて拡大縮小し、階調度(距離)等のデータが類似している領域をグループ化した後、このグループ化したオブジェクトの特徴量を用いて歩行者を判定する。図9は、グループ化によるオブジェクトの抽出例を示し、画像左側の歩行者と右側のトラックとがオブジェクトとして抽出されている。
【0062】
歩行者の判定は、オブジェクトの大きさ、形、外接する矩形に占める割合(充填率)、3次元距離、画像上の位置等の特徴量を用いて行い、信頼度評価部15で評価した信頼度が一定以上のグループのみを抽出し、抽出したグループの中から最終的に歩行者が判定される。本形態においては、各要素に重み付けをしたポイントを累積して信頼度とし、一定値以上のポイントとなったグループのみを抽出して最終的に歩行者を判定し、塗りつぶし(拡大縮小)や2値化を行い、図10に示すように、歩行者のみを抽出した教師画像を作成する。作成された教師画像は、教師データベースDB2にストックされる。
【0063】
尚、グループ化したオブジェクトからの歩行者の判定については、上述以外の特徴量を用いることも可能であり、他のパターン認識手法による判定も可能である。
【0064】
次に、以上の教師画像を用いた追加学習と木構造フィルタ列の入れ替えについて説明する。追加学習部20における追加学習のアルゴリズム自体は、上述したGPによる進化的な自動獲得法と同様であるが、追加学習部20の木構造学習部21による追加学習では、対象の木構造フィルタ列を初期個体として扱い、追加学習を始める。
【0065】
その際、作成した教師画像による学習セットのみでは、特定の対象に依存して過学習になり易いため、デフォルトの教師画像を数セット用意し、それらと共に追加学習を行う。追加学習のタイミングは、更新統合部30での判定によって決定される。
【0066】
追加学習された木構造フィルタ列は、認識器データベースDB1に追加される。図11に示すように、認識器データベースDB1には、現在のシーンに適応的に対応するため、常時使用する木構造状フィルタ列の本数より充分多い本数が保持されている。前述したように、認識器データベースDB1には、ストックメンバーとして、予めオフラインでの事前学習で典型的なシーンを学習した複数の木構造フィルタ列からなるデフォルトメンバーと、オンライン追加学習により順次追加される木構造フィルタ列からなる追加メンバーとがストックされており、条件の変化に対して適応的に現在使用している木構造フィルタ列(使用メンバ)を入れ替えることで、より高い精度の認識が可能となる。
【0067】
更新統合部30は、先ず、評価部31において、作成した教師画像による現在使っている木構造フィルタ列、学習した結果の木構造フィルタ列、及び他に保持している木構造フィルタ列(ストックしている木構造フィルタ列)を評価し、使用する木構造フィルタ列の入れ替え判定を行うと共に、木構造学習部21による追加学習を行うか否かを判定する(追加学習タイミングの判定)。
【0068】
この場合、一枚の作成した教師画像だけでの評価では、木の入れ替えが安定しないため、教師データベースDB2にストックされている教師画像を用いた過去の結果も踏まえて評価する。例えば、一回の処理での評価値をポイント付ける等して各教師画像での評価を累積する。
【0069】
また、1回の評価で得られる評価値Xを0〜1の範囲の値とした場合、評価値の累積に際しては、1回の評価値Xを変換して−1〜+1の範囲の値に拡張し、拡張した値を累積する。この評価値の変換は、単純には、以下の(6)式に示すような線形変換で行うことができるが、非線形な形にしても良い。
X‘=(X−0.5)×2 …(6)
但し、X :変換前の評価値
X’:変換後の評価値
【0070】
そして、累積評価値が一定値或いは使用メンバの評価を上回ったときは、現在の木構造フィルタ列の入れ替えを行う。また、追加学習タイミングの判定は、累積評価値が一定値を下回ったとき、且つ、現在の教師画像で評価値が一定値以下であったときとする。
【0071】
以上のように、本実施の形態の画像処理システムは、オンラインで入力される画像データから、人為的な作業を要することなく教師データを自動生成することができ、使用する認識器を多様な環境や対象に合わせて適応的に変化させ、自律的な学習体系を構築して高精度且つロバストな認識を可能とすることができる。
【図面の簡単な説明】
【0072】
【図1】画像処理システムの基本構成図
【図2】歩行者抽出の処理例を示す説明図
【図3】木構造状画像フィルタを示す説明図
【図4】オンライン学習部の構成を示す説明図
【図5】ハンドル角データを示す説明図
【図6】ハンドル角データとパターン系列と判定結果とを示す説明図
【図7】距離変換の説明図
【図8】疑似距離画像の例を示す説明図
【図9】歩行者判定前のオブジェクト抽出例を示す説明図
【図10】歩行者の判定結果を示す説明図
【図11】木構造状画像フィルタの入れ替え処理を示す説明図
【符号の説明】
【0073】
1 画像処理システム
4 認識処理部
4A 認識器
10 教師画像作成部(教師データ作成部)
20 追加学習部(学習更新部)
30 更新統合部(学習更新部)
Fn 画像フィルタ
Fv フローベクトル(オプティカルフロー)
【出願人】 【識別番号】504182255
【氏名又は名称】国立大学法人横浜国立大学
【識別番号】000005348
【氏名又は名称】富士重工業株式会社
【出願日】 平成19年2月19日(2007.2.19)
【代理人】 【識別番号】100076233
【弁理士】
【氏名又は名称】伊藤 進


【公開番号】 特開2008−204102(P2008−204102A)
【公開日】 平成20年9月4日(2008.9.4)
【出願番号】 特願2007−38439(P2007−38439)