7−50769号公報などにおいて提案されている。JP.【0003】これらの提案の装置では、隣接車線内の後続車両を余計な画像処理を行うことなく、より早くかつ確実に検出することができるように、ビデオカメラによって撮像された道路画像を用いて車線区画ラインである白線を認識して道路上の車線を識別し、この識別によって隣接車線に監視領域を設定し、ビデオカメラによって撮像された道路画像に設定された監視領域内、すなわち隣接車線内に存在する接近中の後続車両の検出のための画像処理量を低減するようにしている。7及び図8を参照して説明する。FIG.【0005】図7は、従来装置の構成を示すブロック図である。同図において、10は撮像手段としての撮像部で、例えばビデオカメラ11を有している。30は演算処理装置としてのデータ処理部であり、42は警報手段としてのスピーカである。means.【0006】撮像部10は、車両後方の所定位置例えばトランクの上部位置に車両後側方の道路を撮像するように正面に向けて配設されている。executionM33を有している。スピーカ42は、車両内部に配設され、データ処理部30のCPU31からの駆動信号に必要に応じて音声や警報音を発生することにより運転者などに危険を知らせる。30.【0007】図8は、上述したように、自車両の後方部に搭載された撮像部10による撮像画像の変化を説明する図であり、図8(a)は時刻tにおける撮像画像、図8(b)は時刻t+△tにおける撮像画像を示している。これらの各図において、200は自車両の後側方を走行する後続車両、300は道路500に隣接して配設された道路標識、400は同じく道路500に隣接して配設された建物である。building.【0008】今、自車両が平坦な道を直進しているとすると、時刻の経過すなわち自車両の走行に伴い、道路標識300や建物400は自車両との相対距離が離れ小さく撮像される。tと、図8(b)すなわち時刻t+△tの撮像画像における道路標識300及び建物400に関し、図8(b)の道路標識300及び建物400の方が小さく撮像されている。以下、これらの図を参照して、オプティカルフローについて説明する。303F、401F及び402Fが得られる。この得られた速度ベクトルがオプティカルフローである。Expansion)から放射状に現れていることが判る。このFOEは、車両が直進している場合の画像上において、自車両の進行方向の正反対方向を示す1点に対応する。自車両の走行状態において、自車両から遠ざかる物体のオプティカルフローは上記FOEに向かう収束方向のベクトルとなり、自車両に近づいてくる物体のオプティカルフローは上記FOEから離れる発散方向のベクトルとなる。FIG.02Fで示す後続の他車両200のオプティカルフローは発散方向のベクトルであるので、この他車両は自車両に近づいてきていること、換言すれば自車両よりも高速で走行している車両であることが分かる。seen.【0011】また、このオプティカルフローの大きさに関し、このオプティカルフローの大きさは、単位時間における自車両と対象物体との距離の差すなわち速度差が大きい程大きくなり、自車両と対象物体との相対距離が近い程大きくなる。このことを図面を参照して説明する。described.【0012】図9は、撮像部10の光学的配置を示した図である。)はイメージプレーン11b上における上記点Pに対応する点である。11b.【0013】この場合、3角形の相似の比から、次式(1)の関係が得られる。この式(1)を変形して時間微分すると、次式(2)が得られる。オプティカルフローのx方向成分uは、次式(3)で表せる。従って、この式(3)により次式(4)を得ることができる。laneで示す)と撮像部10が搭載された自車両との速度差すなわち相対速度を示している。この相対速度を−αとすると上式(4)は次式(5)となる。よって、オプティカルフローのx方向成分uは、次式(6)のように表すことができる。aについても同様にして求めることができる。200との速度差が大である程、オプティカルフローのx成分は大きくなる。これはY方向についても同様である。従って、オプティカルフローは後続する他車両200との距離が小な程、更に互いの速度差が大な程長くなり、これよりオプティカルフローの方向がFOEに対して発散し、その長さが短いときより長いときの方が相対的に後続車両又は隣接車両に対する危険度が大きことが判る。longer.【0016】従って、データ処理部30は、このオプティカルフローが上述した発散方向のベクトルであり且つその大きさが大きい場合には、対象物体は自車両に対し、接近した位置に存在するか、自車両よりも高速で接近しているかの少なくとも一方の状態にあると考えられ、危険度が高いと判断する。危険度が高いと判断した場合には、スピーカ42により運転者にその旨を知らせる。42.【0017】以上のような処理を、時間tの画像の全ての点において繰り返し行うことにより、画像全体のオプティカルフローを求めることができ、各対象物における危険度が求められる。求められた危険度の大きさに従って警報を鳴らすこと等によって運転者に対し注意を促し、これにより、人間の有する有限な認識力を補完することができ、上述の大事故に発展しかねない危険な状態や、実際の大事故の発生を未然に防止している。accidents.【0018】また、従来の技術では、図10に示す如くに、片側3車線の直線高速道路にて自車両が走行している車線の白線を検出することで、自車両の走行車線とその横の隣接車線領域とを識別し、監視領域を決定することで監視不要なものについての処理時間を省いて処理の高速化を図っている。検出された白線の延長からFOE点を求め、自車線領域及び隣接車線領域についてそれぞれ前記FOE点から放射状にオプティカルフローを求めることで自車両に対する接近車両200の検出を行っており、このオプティカルフローの大きさに基づき認識を行うよう構成されているので、後方や隣接車線を走行している他車両200に関し、その危険度を自動的に判断でき、且つ、特別な距離計を必要としない利点があり有効である。valid.【0019】現在提案されているオプティカルフロー検出方法の中で、実用化に近いレベルまで達しているものは、相関法である。相関法は、設定した窓の対応点を周辺の領域全方向に関して探索し、相関値の計算を行う必要があるため、計算量が膨大になってしまうという問題点があるが、本発明が対象としているような複雑な画像に関しても、比較的正確にオプティカルフローを求めることが可能であるという利点もある。flow.【0020】上述したように、一般的な相関法においては、ある時刻tの画像に関してオプティカルフローを求める際には、時刻tの画像の全画素について、それぞれの画素が、時刻t−Δtの画像において、どの画素に対応しているかを全方向にわたって探索する必要があるため、計算量が膨大になると同時に誤対応が生じるという問題点がある。対応点探索の際に、全画素に関して全方向に探索していることにより、計算量が膨大となり誤対応が多くなる原因になっているといえる。そこで、監視領域を設定することにより、処理時間および検出精度の面で問題を解消することが考えられている。[0021]【発明が解決しようとする課題】ところで、この種の後側方監視装置では、ビデオカメラによって撮像した画像からは、自車両の近傍は遠方に比べて大きな他車両の像が得られるが、遠方は小さな他車両の像しか得られない。このため、近傍は低解像度の画像でもよいが、遠方の場合には、低解像度の像では、画像処理によって他車両の挙動を精度良く捕らえることが難しく、できるだけ解像度のよい画像が得られることが好ましい。preferable.【0022】また、車線変更する際のことを考慮すると、隣接車線をできるだけ自車両に近いところまで監視できる広角のビデオカメラを使用することが好ましいが、広角のビデオカメラを使用すると、監視範囲が広くなり、それだけ解像度が低下するとともに、処理すべき画像情報が多くなって、処理時間および検出精度の面で問題となる。accuracy.【0023】このように、遠方から近傍までを監視する必要のあるこの種の装置では、相矛盾する状況が存在し、何らかの対策を施すことが求められている。提供することを課題としている。vehicle0が車両の後側方の道路を撮像して得た一定時間毎に道路画像を検出手段31−1が処理して後続の他車両を検出し、検出した後続の他車両と自車両との相対関係を監視する。撮像手段が広角で高解像度のカメラで構成され、検出手段の有する第1の画像処理手段31−11が撮像手段によって得た道路画像の全体を画像情報を間引きして処理し、第2の画像処理手段31−12が撮像手段によって得た道路画像の一部領域を画像情報を間引きせずに処理し、かつ選択手段31−13が状況に応じて第1の画像処理手段及び第2の画像処理手段の一方を選択するようになっている。従って、選択手段が第1の画像処理手段を選択したときには、撮像手段によって得た道路画像の全体が画像情報を間引きして処理され、広範囲の画像が低解像度で処理されるので、処理時間が長くなることなく、自車両に近い他車両を広範囲で監視することができる。選択手段が第2の画像処理手段を選択したときには、撮像手段によって得た道路画像の一部領域が画像情報を間引きせずに処理され、狭い範囲の画像が高解像度で処理されるようになるので、処理時間が長くなることなく、自車両から遠い他車両を高解像度で監視することができる。means,低解像度ではあるが自車両近傍の他車両を監視することができ、検出手段が自車両の近傍に他車両を検出していないとき、第2の画像処理手段を選択し、狭い範囲ではあるが高解像度で遠方の他車両を監視できる。addition,第2の画像処理手段を選択しているとき、低い頻度で第1の画像処理手段を選択するので、低解像度であるが時々自車両の近傍の他車両も監視できるようになっている。secondの画像処理手段の一方を交互に選択し、ウインカ検出手段52がウインカ動作を検出したとき、ウインカ動作の方向に対応する画像処理手段を選択し続けるようになっているので、道路画像の左右隣接車線に存在する近傍から遠方までの他車両を処理時間が長くなることなく高解像度で監視することができ、しかも車線変更するときには変更しようとしている隣接車線を常時監視できるようになっている。おいては、車両に装着された撮像手段10が車両の後側方の道路を撮像して一定時間毎に得た相前後する2つの道路画像に基づいてオプティカルフロー検出手段31−3が他車両から発生するオプティカルフローを検出し、検出したオプティカルフローを用いて自車両と後続の他車両との相対関係を監視する。31-33が状況に応じて画像処理の一方を選択するようになっているので、撮像手段が広角で高解像度のカメラで構成されていても、処理時間が長くなることなく、他車両の発生するオプティカルフローにより、自車両に近い他車両を広範囲に、自車両から遠い他車両を高解像度で監視することができる。実施の形態の具体例を図面を参照して説明する。構成を示すブロック図で、同図において、10は撮像手段としての撮像部、20は撮像部10からの画像データなどを保持する記憶部、30は撮像部10からの画像情報に基づき画像処理及び他車両との相対関係を監視する処理などを実行するデータ処理部、40は警報を発生する警報手段としての警報部、50は自車両の走行方向を変更する際の操作情報を示す信号の入力を行う信号入力部である。vehicle.【0034】撮像部10は、ビデオカメラ11から構成されている。120度の画角となる広角レンズ11aと、図3に示すようにピクセル数が例えば1024×1024と多く解像度の高いイメージプレーン11bとを有し、イメージプレーン11bの任意のピクセルをランダムにアクセスして読み込み可能なCMOSカメラと称されるもので構成されている。transferred,電荷を蓄積している画素を水平(X)ラインと垂直(Y)ラインにて選択でき、このラインを選択する各々の走査回路をマルチプレクサを使用してランダムアクセスできる回路構成とすることによって、任意の画素を選択して電荷を取り出すことができる。10のビデオカメラ11は、車両の後部のトランク部の上部或いは後端部に、車両の後方に向けて取り付けられる。このビデオカメラ11は、車両の後側方の道路画像を撮像するように構成されている。30(後述)に対し、車両後側方の道路画像情報を出力する。side.【0035】記憶部20は、前記撮像部10からの道路画像情報を保持する第1フレームメモリ21及び第2フレームメモリ22と、発散方向のオプティカルフローを保持する発散オプティカルフローメモリ23とを有している。ing.【0036】そして、この記憶部20を構成する第1フレームメモリ22及び第2フレームメモリ23は、例えば512画素×512画素といったm行n列からなるマトリクス状のメモリとして構成されている。512画素分のピクセルから読み込むことによって全画像の一部領域の画素データが書き込まれる。30,読み書き可能に接続されている。CPU31の動作プログラム及び予め与えられる設定値などを保持するROM32及びCPU31の演算実行時に必要なデータを一時的に保持するRAM33を有している。表示器41は、LCDなどで構成され、ビデオカメラ11が撮像した撮像画像を表示したり、あるいは、データ処理部30(CPU31)が他車両との接触危険性有りと判定した際に、メッセージなどを表示して運転者に対して危険を映像で知らせる。スピーカ42は、データ処理部30からの音声信号に基づき、音声ガイダンスあるいは警報音といった音声を発生する。データ処理部30が他車両との接触危険性有りと判定した場合には、この音声により運転者に対して危険を音声で知らせる。speech.【0039】信号入力部50は、ハンドル舵角あるいは車両の操舵輪(一般には前輪)の操舵角を検出する舵角検知手段としての舵角センサ51と、運転者によるウインカ機構の操作状態とその操作方向を検出するウインカ検出手段としてのウインカ(ターンシグナル)検出スイッチ52とを有しており、舵角センサ51により車両の転回情報を検出し、ウインカ検出スイッチ52により運転者が車両を左右側に転回させる際に操作するウインカ機構からの転回指示情報を検出する。on.【0040】以上の構成を有する具体例の動作、すなわちデータ処理部30による制御動作について、フローチャートを参照して説明する。この具体例においては、まず図4のフローチャートすなわち具体例における主フローチャートのステップS110にて、画像取得処理を行う。このステップS110における画像取得処理により、例えば図5に示す後側方の道路画像が得られる。初期状態では、ビデオカメラ11は広角に設定されており、このときには、1つ置きのピクセル情報が読み出されるようになっている。read.【0041】この道路画像は、高速道路といった自動車専用道路上を走行中の自車両からの画像を例示しており、ビデオカメラ11が車両の後部に後側方に向けて取り付けられているので、車両の後側方を直視した画像となっている。500,00が、画像上における水平方向中心位置でかつ垂直方向1/3位置にて消失する画像となってり、この消失点がFOEとなっている。above,車両の後側方に向けて取り付けられているので、道路画像における右側が進行方向を基準とした場合の左側に相当し、道路画像における左側が進行方向を基準とした場合の右側に相当する。以後、この道路画像を基準とした左右方向で説明を行うことにする。basis.【0043】その後は、図4のフローチャートにおけるステップS120に進んでオプティカルフロー検出処理を行う。よって、CPU31は、予め定めたプログラムによって動作してビデオカメラ10によって一定時間毎に得た相前後する2つの道路画像に基づいて設定された監視領域内にある他車両から発生するオプティカルフローを検出するオプティカルフロー検出手段31−1として機能する。firstフレームメモリ21に格納された時刻tにおける道路画像中の画像構成点と、道路画像より所定時間△tだけ遅延して撮像され、第2フレームメモリ22に格納された時刻t+△tの撮像画像中の画像構成点との互いに対応する各点間の移動方向並びに移動量をオプティカルフローとして検出する。検出したオプティカルフローのうち発散方向のもの、すなわち自車両に接近中の他車両からの発散オプティカルフローは発散オプティカルフローメモリ23に記憶される。23.【0044】その後のステップS130では、広角−ズーム切替処理を行う。S210aにおいて、発散オプティカルフローメモリ23に自車両近傍のオプティカルフローが記憶されるかどうかを判断する。stored,次のステップS220a′においてカウンタCをクリアしてから元のフローチャートに戻る。S210aの判断の結果、自車両近傍のオプティカルフローが記憶されていないときにはステップ230aでズームモードを設定する。その後ステップS240aでカウンタCをインクリメントする。10になっていればステップS260aで広角モードを設定するとともにステップS270aでカウンタをクリアしてから元のフローチャートに戻る。10つの道路画像の全体を画像情報を間引きして処理する第1の画像処理手段31−31、撮像部10のビデオカメラ11によって得た道路画像の一部領域を画像情報を間引きせずに処理する第2の画像処理手段31−32、状況に応じて第1の画像処理手段及び第2の画像処理手段の一方を選択する選択手段31−33としてそれぞれ機能する。situation.【0046】以上により、ズームモードが設定されているときには、自車両近傍のオプティカルフローが記憶されていなくても10回に1回広角モードが設定され、ズームモードではカバーしきれない、自車両近傍への他車両の突然の割り込みの有無をチェックできるようになっている。この場合、1回の広角モードで、オプティカルフローの検出の都合上、時間的に前後する2つの道路画像が得られるようにする。obtained.【0047】そして、ステップS140では、危険度の算出処理を行う。02F,その大きさ(長さ)に重み付けをし数値化する。that,この算出処理において、しきい値を数レベル設定しておき、危険度のレベルを算出するようにしてもよい。risk.【0048】引き続くステップS150では、上記ステップS140で算出された危険度に基づき、この危険度が或るしきい値を越えたら危険と判断する。危険度のレベルが与えられた場合には、このレベルが規定値以上となった場合に危険と判断する。steps110からの処理を実行する。41によりメッセージなどを表示して運転者に対して危険を映像で知らせる。このステップS160の警報処理が終了すると、一連の処理を終了して再度上述したステップS110からの処理を実行する。ends.【0050】上述の実施の形態では、自車両の近傍にオプティカルフローがあるかどうかによって広角とズームを切り替えるようにしているが、自車両の近傍にオプティカルフローがあるかどうかに関係なく、広角とズームを常時交互に切り替えて近傍と遠方を常時監視するようにし、オプティカルフローの検出は1つ置きの1組の相前後する広角画像、ズーム画像を利用して行うようにする。52の動作に応じて方向変更側のエリアをズームにて監視するようにしてもよい。31-23としてそれぞれ機能する。3のフレームメモリに読み込んだ後に、第3のフレームメモリから画素単位のデータをランダムにアクセスして上述したと同様のことを行うようにすることもできる。accessed.【0053】何れにしても、広角、ズームの何れの場合にも、処理すべき画素数が大きくならないので、画像処理に要する時間が長くならず、高速のデータ処理部を用意しなくても、相前後する画像を取得する間にオプティカルフローの検出処理ができるようになっている。tandem.【0054】また、上述の実施の形態では、オプティカルフローを検出して他車両を監視しているが、本発明はオプティカルフローを利用しない他の任意の画像処理を使用して他車両を監視する装置に適用することができる。10によって得た道路画像の一部領域を画像情報を間引きせずに処理する第2の画像処理手段31−12、状況に応じて第1の画像処理手段及び第2の画像処理手段の一方を選択する選択手段31−13としてそれぞれ機能する。