[0001]【発明の属する技術分野】本発明は、テレビジョンカメラを用いた監視方法及び装置に係る。camera.【0002】本発明はテレビジョンカメラの撮像視野内に侵入した物体を、該テレビジョンカメラの映像信号の中から自動的に検出し、更に、該検出物体の動きをも自動的に検出するようにした物体追跡方式を提供するものである。[0003]【従来の技術】テレビジョンカメラ(以下TVカメラと呼ぶ)を用いた映像監視装置は、従来より広く用いられている。system,その監視視野内に入り込んでくる人間や自動車などの移動物体の検出及び追跡を、画像モニタ面での有人監視によるのではなく、画像信号から自動的に検出し、所定の報知や警報処置が得られるようにしたシステムが要求されるようになってきている。system,まず、TVカメラより得られた入力画像信号と基準背景画像、すなわち、検出すべき物体の写っていない画像信号とを比較し、画素毎に輝度値の差分を求め、その差分値の大きい領域を物体として検出する。この方法は、差分法と呼ばれ、従来より広く用いられている。conventionally.【0005】この方法の応用例としては、例えば、特願7−230301に記載されている。これらの処理を図13を用いて説明する。TVカメラにより得られた入力画像601と基準背景画像602との画素毎の差分を計算し、その差分値が所定のしきい値以下の画素を0、しきい値以上の画素を255(1画素が8ビットであると仮定)として二値化画像603を得る。603中の画像604として検出される。3.【0006】検出物体の自動追跡は、差分法による物体の検出を逐次的に行い、各時刻毎の検出物体の画像上の位置に基づき対象物体の動きを求めることにより行う。609,610、611を結んだ矢印613、614で表される。重心点の画像612参照。point.【0007】ここで、重心は式(1)により求めることができる。255となる画素数である。このほかに、二次モーメントによる重心もあるが、二値化した領域を一つの座標で代表できるものであればその他の方法であっても問題ない。coordinate.【0011】このような差分法を用いた物体の追跡法は、TVカメラの撮像方向やズーム率を変化させると視野が変化し、予め用意した背景画像が使用できなくなるため、物体を安定に検出できなくなる。物体であることは検出していても、時間毎の検出物体の形状を比較していないので、同一の対象物体を追跡していることを保証することができず、視野内に複数の物体が存在した場合、安定な追跡ができない。tracking.【0012】次に周知の一般的な、テンプレートマッチング(固定式画像)について説明する。correction)するものである。その一致度により対象の評価(キズ等の有無の発見)を行うものである。14を用いて簡単に説明する。"B",“C”、“D”の部品を登録したテンプレート群15に示すよう予め登録し、各評価画像内でマッチングして各部品の状態を調べる。coincidence)と判断される。このマッチング法では、登録した部品のテンプレートそのもしか評価できない。固定したテンプレートでは部品の見かけ上の大きさが変化(例えば撮像装置と部品との距離の変化)したような場合には正確な判定はできなくなってしまう。determination.【0014】したがって、この方法を例えば車の追跡に応用した場合、世の中に存在する車の種類全てについてテンプレートを作成しておかなければならないことになる。[0015]【発明が解決しようとする課題】従来より広く用いられている差分法では、前記したようにカメラの視野やズーム率を変えると、予め用意した背景画像と実際に入力した画像の背景部分が異なってしまう。この場合、差分の計算をすると背景部分まで差分値が生じてしまい、二値化による物体の検出が行えなくなってしまう。is,対象物体の見かけ上の大きさ変化したような場合、正確な判定を行うことができない。カメラの視野を固定した場合でも、視野内に複数の物体が写っている場面では、これらの物体の中から現在の追跡対象を特定するためには追跡している対象が別時刻で同一であるか形状の比較を行わなければならないという問題がある。is.【0016】本発明の目的は、これらの従来技術の問題を解決し、安定に物体の位置や物体の移動量、TVカメラと物体の距離を検出できるようにした、信頼性の高い映像監視装置を提供することにある。a.【0017】更に、カメラの視野や、ズーム比を変えても、同一の対象物体を追跡していることを確実に保証する映像監視装置を提供する。本発明は、更に、安定に物体の位置や物体の移動量、TVカメラと物体との距離を検出できるようにした、信頼性の高い映像監視装置を提供することにある。[0018]【課題を解決するための手段】本発明は、このような課題を解決するため、テンプレートを逐次更新するようにしたものである。sizes,向きが変化する場合でも、順次テンプレートの更新をすることで、対象の動きを検出することができるようにしたものである。object,検出した物体の画像をテンプレートとして登録するステップと、登録したテンプレートと入力画像信号の中で一致度が最大となる画像の位置を検出するステップと、検出した位置から追跡対象の入力画像上での移動量を算出するステップと、移動量に基づきテンプレートを更新するステップとを設け、該検出物体を追跡するように構成する。object.【0020】さらに、検出した物体の画像を複数に分割し、それぞれの画像をテンプレートとして登録するステップと、登録した複数のテンプレートについて、それぞれ独立に画像信号の中で一致度が最大となる画像の位置を検出するステップと、検出した各テンプレートの位置から追跡対象の入力画像上での移動量を算出するステップと、移動量に基づき各テンプレートを更新するステップとを設け、検出物体を追跡するように構成する。この構成により、より安定な動作が達成される。achieved.【0021】さらにまた、検出物体の画像を複数に分割し、それぞれの画像をテンプレートとして登録するステップと、登録した複数のテンプレートについて、それぞれ独立に画像信号の中で一致度が最大となる画像の位置を検出するステップと、検出した各テンプレートの位置より画像上のテンプレート間の距離変化を算出し、距離変化に基づき画像信号中の物体の見かけ上の大きさ変化を算出するステップと、各テンプレートの検出した位置と拡大率に基づき各テンプレートを更新するステップとを設け、検出物体を追跡するように構成する。この構成により、対象物体の見かけ上の大きさの変動に対しても安定な動作が達成される。plurality,それぞれの画像をテンプレートとして登録するステップと、登録した複数のテンプレートについて、それぞれ独立に画像信号の中で一致度が最大となる画像の位置を検出するステップと、検出した各テンプレートの位置より入力画像上でのテンプレート間の距離を算出し、この距離に基づきTVカメラと検出物体との実際の距離を検出するステップと、各テンプレートの検出した位置と拡大率に基づき各テンプレートを更新するステップとを設け、検出物体を逐次追跡するように構成する。このような構成ではTVカメラから対象物体までの距離を知る機能を実現することができる。change,対象物体の見かけ上の大きさを常に一定に固定する機能を実現することができる。見かけ上の大きさ変化を検出し、該大きさの変化に基づき前記検出物体と前記テレビジョンカメラとの距離を算出し、得られた距離から前記カメラ制御インターフェース手段を介して、前記テレビジョンカメラのズームレンズのズーム比を調節し、前記テレビジョンカメラの視野内に写る対象物体の見かけ上の大きさを同じにするよう構成したものである。[0025]【発明の実施の形態】本発明の基本的実施例は、TVカメラより得られた入力画像信号と基準背景画像、すなわち、検出すべき物体の写っていない画像信号とを比較し、画素毎に輝度値の差分を求め、その差分値の大きい領域を物体として検出する。次に、検出した物体の領域の画像をテンプレートとして登録し、別時刻にTVカメラより得られた入力画像信号の中でこのテンプレートと最も一致度が高い画像を見つける処理、すなわち、テンプレートマッチングを用い、検出した物体が入力画像信号のどの位置に存在するかを判定することで、該検出物体を追跡する。object.【0026】図11は以下に説明する各実施例に共通する映像監視装置のハードウエア構成の一例を示す。below.【0027】同図において、1101はTVカメラで対象区域を撮像する。1112はデータバス、1103は画像メモリである。1104はCPUで1106のプログラムメモリに格納されているプログラムに従って1105のワークメモリ内で画像解析を行う。CPU.【0028】本発明の基本となる実施例をフローチャートで示すと、図1のようになる。図1の各ステップを図6を用いて説明する。1カメラより画素数320×240に対応する入力画像信号601を得、差分処理ステップ2で予め登録した検出すべき物体の写っていない背景画像602との差分を計算する。次に二値化処理ステップ3にて差分処理ステップ2で得られた差分画像をしきい値処理し、検出すべき物体の存在する部分の輝度値を255、存在しない部分の輝度値を0とした二値化画像603を得る。この画像中の領域604が物体の存在する部分である。次にテンプレート登録ステップ4にて、入力画像605(入力画像601と同じ)の検出した領域604に外接する長方形領域606の画像をテンプレートとして登録する(この画像をft(x,y)とする。x,yは画像中の画素の座標を表す)。f(x,y)とする)。ft(x,y)と(2)式で表される一致度(相関値)が最も高い部分609を検出する。(Δx,Δy))を検出することによりマッチングが行われる。ここで、式(2)のBは、テンプレート606の範囲である。この相関値は、入力画像607中にテンプレート606と全く同じ画像が含まれていた場合1.0となり、一致度が低くなるにつれて小さくなる。148−153に記載されている。value)が一定値以下になったら画像入力ステップ1に分岐する、最後に、テンプレート位置更新ステップ9で、マッチングした位置の画像608の中の609を新たにテンプレートとして更新する。このテンプレートの更新周期は一例として毎フレームで行う。example.【0033】この実施例によれば、TVカメラの撮像方向やズーム率を変化させ視野が変化しても、物体を安定に検出できる。時間毎の検出物体の形状を比較しているので、同一の対象物体を追跡していることを保証することができる。視野内に複数の物体が存在した場合でも、安定な追跡ができる。tracking.【0034】次に、本発明の次の実施例について説明する。この実施例はTVカメラに写った物体の見かけ上の大きさが変化した場合であっても、より安定にマッチングか行えるようにしたものである。matching.【0035】例えば、図7の例で示される人型のパターン701をテンプレートとし、大きさの異なる人型パターン702とマッチングを取る場合で説明する。マッチングは、テンプレート中の、例えば、模様のある部分や輪郭がはっきりしている部分など輝度値のコントラストが高い部分が強くマッチングする傾向がある。displaced,テンプレートとマッチングした画像との輝度値の差が大きくなってしまうためである。従って、例えば、人型の頭部のコントラストが他の部分より高い場合、マッチング703のように人型の頭部が合うようにマッチングされる。人型の足部のコントラストが他の部分より高い場合、マッチング704のように人型の足部が合うようにマッチングされる。TVカメラより得られる入力画像とテンプレートマッチングすると、時には頭部のコントラストが高く、時には足部のコントラストが高くなる場合がある。この場合、人型の頭部や足部といった特定の場所をマッチングせず、時には頭部、時には足部というように不安定にマッチングしてしまう。この人型パターン701の高さを100画素、これに対して人型パターン702が120画素(見かけ上2割の拡大)であった場合、このマッチングのずれは、最大20画素にも及ぶ。このずれは、テンプレートの大きさに比例して増加する。テンプレート画像の大きさ(高さ)が100画素で、対象物体が見かけ上2割拡大した場合、テンプレートと入力画像に写った対象物体の大きさ(高さ)の差は、20画素になる。ところが、テンプレートの大きさ(高さ)が50画素であった場合は、テンプレートと入力画像に写った対象物体の大きさ(高さ)の差は10画素となり、前者に対して少なくすることができる。そこで、次に説明する実施例ではテンプレートを複数に分割して登録し、独立にマッチングすることで、対象物体の見かけ上の大きさが変化した場合の対象物体の画像とテンプレートの大きさの違いを小さくしている。この実施例ではTVカメラに写った物体の見かけ上の大きさが変化した場合でも、マッチング結果をより安定にすることができる。この実施例は、図2のフローチャートで表される。FIG.【0036】図2のテンプレートマッチングステップの作用を、図8を用いて説明する。同図は検出された物体の画像を上下二分割し、それぞれを、第1、第2のテンプレートとしている。テンプレート登録ステップ24において、入力画像805(入力画像801に同じ)の検出した領域804の位置に対応する長方形領域の上半分を抽出し、この画像を第1のテンプレート806として登録、また、同様に下半分の画素を抽出し、この画像を第2のテンプレート807として登録する。810及び811を検出する。811の距離が離れてマッチングしている例である。次に、移動量算出ステップ27にて、第1、第2のテンプレートによって検出された位置から追跡対象の移動量を算出する。template.【0037】移動量の算出法を図9の座標を表す変数で説明する。簡略化のため、人型のパターンは省略して(パターン904は第1のテンプレート901、パターン905は第2のテンプレート902と同じ位置を示す)説明する。')の交点909(座標(x',y'))をマッチング後の代表位置とし、これらの(3)式で表される代表位置の変化を移動量と定義する。次に、分岐ステップ28にて、検出された物体が検出範囲外か否かを判断し、検出範囲外であったり、第1のテンプレートまたは第2のテンプレートの相関値が一定値以下になったら画像入力ステップ1に分岐する。y22')を新たに第2のテンプレートとして更新する。template.【0040】図2のような構成でテンプレートを複数に分割し、それぞれのテンプレートを独立に用いてマッチングすることで、前記した、物体の見かけ上の大きさ変化が生じた場合に生じるマッチング位置のずれを少なくし、より安定な検出が行える。detection.【0041】更に他の実施例を図3に示す。この実施例では、図2の分岐ステップ28の後にテンプレートの間の距離変化から物体の見かけ上の大きさ変化を算出する拡大率算出ステップ39を付加したものである。拡大率rは、(4)式で求めることができる。template,(6)式で表される領域(画像913の領域)として各テンプレートの位置、および、大きさを変更し、入力画像908の各テンプレートの範囲の画像を第1のテンプレート、および、第2のテンプレートに入れ替えることでテンプレートの更新を行う。このようにテンプレートの大きさを対象物体の見かけ上の大きさに合わせて更新することで、図2の実施例より更に安定な検出が行える。FIG.【0048】図4に示す次の実施例は、図3の拡大率算出ステップ39の後に対象物体とTVカメラとの距離を算出する距離算出ステップ41を付加したものである。FIG.この方式は、例えば、検出すべき物体が門やドアといった部分から侵入するという条件で用いることができる。door.この方式の距離算出法を、図10を用いて説明する。TVカメラ1101と門1102までは、距離D[m]あり、TVカメラ1101の視野角はθ0とする。1101に写った場合、差分処理ステップ2、二値化処理ステップ3において物体として検出される。ここで、テンプレート登録4において登録された2つのテンプレートの距離をh[画素](=y22−y11)とすると実際の物体の高さHは、(7)式により求められる。y22'-y11')に変化した場合、対象物体とTVカメラの距離D'は、(8)式により算出できる。このようにして、侵入物とTVカメラとの距離を求めることができる。4を付加したものである。図4の実施例で得られたテンプレートの距離h[画素](=y22−y11)は、対象物体の見かけ上の大きさを表す。従って、ズームレンズのズーム比調節ステップ51にて、hが規定の大きさ以上であればズーム比を小さくし、規定の大きさ以下であれば、ズーム比を高くすることで、視野内に写る対象物体の見かけ上の大きさを一定にすることが可能となる。constant.【0054】本発明の更に具体的な実施例を図11、図12を用いて説明する。FIG.【0055】図12は、CPU1104による物体検出及び物体追跡の一実施例を示したもので、この実施例は、図3で表される処理に物体の有無の判定、及び、立入禁止区域内に対象物体が侵入したか否かの判定、警報・モニタ表示の処理、TVカメラの雲台の制御を付加したものである。area,車両などの物体を検出し、その動きに応じてTVカメラの雲台を制御し、侵入物体を追跡する映像監視装置に本発明を適用したものである。object.【0057】図11は、先に説明したように、本発明の実施例が適用された映像監視装置のハードウエア構成の一例で、上記したTVカメラ1101で監視区域を撮像して得た画像信号は、入力I/F1102を介してデータバス1112に入力され、画像メモリ1103に蓄積される。object,対象物体がカメラ視野の中央に位置するようにTVカメラ制御I/F1107を用いてTVカメラの雲台を制御し、また、検出した対象物体の位置が立入禁止区域の場合、出力I/F1108を介して警告ランプ1110を点灯させたり、画像出力I/F1109を介して警告表示用モニタ1111に画像を表示させたりするように構成されている。in,y)として画像メモリ1103に取り込まれる。次に差分処理ステップ2では、画像メモリ1103に予め記録した背景画像、すなわち、検出すべき物体の写っていない画像と画素毎に差分が求められる。次に二値化処理ステップ3で、しきい値処理され、物体の存在する領域が検出される。ここで、しきい値を越える差分値が存在しない場合、判定ステップ10で判断され処理が画像入力ステップ1に戻る。物体が存在した場合、テンプレート登録ステップ4で、二値化処理ステップ3において検出した画像の上半分を第1のテンプレートとして登録(この画像をf1(x,y)とする)する。検出した画像の下半分を第2のテンプレートとして登録(この画像をf2(x,y)とする)する。y)とする)を取り込み、テンプレートマッチングステップ26でテンプレート登録ステップ4で登録した第1、及び、第2のテンプレートの近傍(例えば±64画素)を探索範囲とし、(2)式で表される相関値を計算し、最も相関値の大きくなる位置を検出する。この探索範囲は、入力画像に写る対象物体の動く速度以上に設定する。検出された位置は、移動量算出ステップ27において、(3)式により移動量が算出される。これに基づき対象物体が検出範囲外に出た場合は、画像入力ステップ1に分岐処理28により分岐される。by,警報・モニタ表示ステップ12を実行する。次に拡大率算出ステップ39においてテンプレートマッチングステップ26によって検出された位置に基づき(4)式により拡大率が算出される。テンプレート更新ステップでは、拡大率算出ステップ39、及び、拡大率算出ステップ39の結果に基づき、(5)式、および(6)式によりテンプレートの位置と大きさを修正し、その範囲の画像fs(x,y)を新しいテンプレートとして更新する。最後に、カメラ雲台制御ステップでは、対象物体が視野の中央に写るようにカメラ制御I/F1107を制御する。field.【0059】従って、この実施例によれば、検出すべき物体とTVカメラとの距離が変化し、入力画像信号中で物体の見かけの大きさが変わっても、安定に対象物体を追跡することが可能となる。invention,差分法を用いた物体の追跡での撮像方向やズーム率の変化により予め用意した背景画像が使用できなくなるという問題がなく、対象物体を安定に検出できる。detected.【0061】また、時間毎に検出物体の形状を比較しているので、同一の対象物体を追跡していることを保証することができる。object.【0062】視野内に複数の物体が存在した場合、安定な追跡ができる。パターンマッチングのステップで安定な追跡を行うためには、物体とTVカメラとの距離が一定となる位置にTVカメラを設置する必要があったが、本発明によれば、検出すべき物体とTVカメラの距離が変化し、対象物体の入力画像信号上での見かけ上の大きさが変わった時に起こるテンプレート画像と入力画像の大きさの違いを、テンプレートマッチングに用いるテンプレートを複数に分割することで低減し、マッチングを安定に行うことができる。template,さらに、マッチングを安定にすることができる。TVカメラとの設定位置関係への従来の制限を取り除くことができ、かつ、安定に物体を追跡することができ、映像監視装置の適用範囲を大きく広げることができる。DRAWINGS【図1】本発明の実施例の動作原理を説明するためのフローチャート。invention.【図2】本発明の実施例の動作原理を説明するためのフローチャート。invention.【図3】本発明の実施例の動作原理を説明するためのフローチャート。invention.【図4】本発明の実施例の動作原理を説明するためのフローチャート。FIG.【図5】本発明の実施例の動作原理を説明するためのフローチャート。invention.【図6】本発明の実施例におけるテンプレートマッチングによる物体追跡法の説明図。invention.【図7】テンプレートマッチングによる物体追跡法の説明図。matching.【図8】本発明の実施例である複数のテンプレートによる物体追跡法の説明図。FIG.【図9】である。本発明の実施例における複数のテンプレートによる物体追跡法における移動量算出の説明図。invention.【図10】である。本発明の実施例における対象物体とTVカメラとの距離算出説明図。invention.【図11】本発明の実施例のハードウエアの一例を示す構成ブロック図。invention.【図12】本発明の実施例の動作原理を説明するためのフローチャート。invention.【図13】従来技術の物体追跡法の説明図。art.【図14】従来技術のパターンマッチング説明図。object逐次行うようにしたことを特徴とする映像監視方法。ステップにより求めた該拡大率に基づき前記検出物体と視点位置までの距離を算出する物体距離算出ステップとを設け、前記検出した物体と視点位置との距離を算出することを特徴とする映像監視方法。調節するズーミングステップとを設け、前記テレビジョンカメラの視野内に写る対象物体の見かけ上の大きさを同じにするようにしたことを特徴とする映像監視方法。