[0001]【発明の属する技術分野】本発明は画像の切り出しや輪郭線の抽出を行う画像抽出装置に関する。[0002]【従来の技術】従来、画像から所望の対象物の領域を切り出す方法として、その対象物を一定色(青色)を有する背景中に置いてクロマキー処理する方法がよく知られている。対象物の輪郭線に沿って切り出す範囲を人手により指定し、切り出しの正確な位置を色成分、輝度などの情報を手がかりに画像処理で求める方法(特開平6−251149号公報、特開平7−37086号公報など)などが知られている。ある程度の自動化を達成した例としては、特開平7−36173号公報に開示されるようにオペレータが輪郭線上の一点と輪郭追跡方向とを指定し、微分処理によって得られる画像の濃淡分布の勾配データに基づいて輪郭を自動追跡する方法がある。これは輪郭が分岐する場合または曖昧な場合には処理を中断してオペレータの指示に基づいて改めて追跡方向等を入力するもので、自動性とインタラクティブ性とを備えた画像切り出し方法である。(Adobe社)などの画像処理ツールにおいては、背景からの切り出しの際、抽出したい領域内の一点をマウスで指定すると、その点を含み色成分が所定範囲内にある領域を自動的に連結し、かつ異なる色成分範囲の領域も同様にして形成、併合することができる。6-268902号公報など)がある。[0004]【発明が解決しようとする課題】しかしながら、上述したクロマキー処理による方法は、背景が特定色でなければならないことや、対象物が背景と同じ色を有する場合は、その部分が画像抽出時に欠落することなどの問題があった。オペレータによって輪郭線を指定する方法は、本質的に人手により概略の輪郭形状を殆ど抽出するものであり、複雑な形状の物体や、動きや変形を伴う画像からの抽出は困難であった。この輪郭線を追跡する方法は、対象が複雑な模様を有する場合には、オペレータによる対処が不可欠であり、さらに背景と対象が類似したテクスチャ(模様)構造を有したりする場合など人手による処理が頻繁に起こる場合は、自動化の意味が失われるという問題があった。lost.【0005】画像処理ツールを用いて色成分の近接した領域を自動抽出する方法では、一回の操作で対象画像を切り出すことは一般的に不可能であり、多数回にわたる領域併合が必要になるという問題があった。背景画像との差分を用いる方法では、ノイズなどの要因により、必ずしも目標とする対象だけを安定かつ正確に切り出すことが困難であった。カメラを画像入力手段として用いた場合、パンニングなどのカメラ操作を行いながら得た画像などにおいては、差分処理だけでは対応できず大域的なマッチング処理が必要となるなど演算量の増大が不回避であるという問題があった。is.【0006】そこで、本発明の第1の目的は、人手または画像処理による輪郭線の追跡を行わずに、大まかに対象物の位置を指示するだけで、画像の自動抽出を可能とすることである。本発明の第2の目的は、複数の特徴データの種別を用いることにより、対象物画像の絞り込みと背景からの精細抽出とを効率的に行うことである。efficiently.【0007】本発明の第3の目的は、特徴データが大まかに揃った領域に基づいて分割された領域を領域成長法の核候補領域として指示選択可能とし、特定画像の自動抽出を可能とすることである。invention,特徴の均質度を評価せずに少ないデータに基づいて分割された領域を領域成長法の核候補領域として指示選択可能とし、特定画像の自動抽出を可能とすることである。image.【0008】本発明の第5の目的は、大まかに分割された領域を入力画像上に重ねて表示することにより、オペレータによる抽出対象の選択指示を容易にすることである。本発明の第6の目的は、同じ画像属性を有する最大面積領域を抽出対象候補として自動抽出し、処理の簡略化と高速化を実現することである。所定範囲にある画像領域を領域成長核として自動抽出し、処理の簡素化と高速化を実現することである。本発明の第8の目的は、動作主体を時系列画像から抽出する際の、第1の目的に準拠した画像抽出を実現することである。object.【0009】本発明の第9の目的は、動作主体を時系列画像から抽出する際の、第1の目的に準拠した画像抽出を高速に実現することである。本発明の第10の目的は、視点位置からの背景と抽出対象への平均的距離が十分異なる場合に、第1の目的に準拠した画像抽出を実現することである。本発明の第11の目的は、対話的に大まかな指示選択により、第1の目的に準拠した画像抽出を実現することである。characteristic,上記分割された分割領域から所定条件を満たす領域を選択する領域選択手段と、上記選択された領域を核としてその領域を成長させる領域成長手段と、上記領域成長後の画像を表示する画像表示手段とを設けている。[0011]【作用】本発明によれば、入力画像データから先ず一次的な特徴を有する領域を分割し、さらにその分割された領域のうち所定の条件を満たす領域を選択し、その選択された領域からさらにその領域を例えば二次的な特徴に基づいて拡大成長させて行き、成長後の画像が表示される。従って、表示された画像上で抽出すべき領域を大まかに位置指定するだけで、対象画像を容易に自動的に切り出し(抽出)することができる。[0012]【発明の実施の形態】図1は本発明のシステム構成例を概念的に第1の実施の形態として示す図である。図において、1は画像入力手段で、撮像手段または画像データベースなどが用いられる。7は領域成長手段、8は表示手段、9は分割領域の選択指示手段で、マウスなどのポインティング手段が用いられる。used.【0013】尚、領域成長とは、画像中の所定領域内の特徴量の均質度を評価して領域の分割、併合を行うことである。本実施の形態の特徴は、入力画像中の一次特徴データを高速に抽出し、その分布に基づいて画像の領域分割を行うことにより、抽出可能性のある画像領域を概略的に抽出すると共に、次のステップとして、より精細な抽出のために、候補領域を核とする二次特徴量(一次特徴と種別、属性などが異なる特徴量)に基づく領域成長を行うことである。一次特徴データに基づいて抽出された領域には、二次特徴に基づく領域成長を行うのに必要な画像情報が含まれているものとする。features.【0014】一次特徴データ抽出手段2は、後で説明する領域成長手段7による処理を行う際の核となる領域の抽出を高速に行うものであり、実際に特定対象の画像領域を抽出する際には、オペレータによる大まかな選択と指示とにより行うことができる。ここでは一次特徴データの一例として画面上各点における動きベクトルを抽出するものとして説明する。3は、所定領域内の動きベクトルの大きさと方向とに関する分散を評価値として用いる。target,処理時間の短縮と効率化が達成される。対象の画面内縦横サイズと比較して数分の1から10分の1程度の分割領域程度が典型的には用いられる。この値はオペレータ側で予め適宜設定するようにしてもよい。side.【0016】領域分割手段5は、上記均質度の評価値が所定の閾値より小さければ、その領域を均質であるとみなし、均質度評価値が所定の許容範囲内にある領域どうしを連結する。許容範囲外の領域は分離して一つの動きベクトルで代表することのできる領域の塊(複数可)を形成する。図7(a)に固定カメラで撮像された入力画像を示し、同図(b)に動きベクトルに基づいて行った領域分割の結果を示す。同図(c)に色成分などの二次特徴に基づく領域成長による画像切り出しの結果を示す。(C).【0017】尚、分割後の領域は必ずしも実際の対象物の形状を精密に反映するものでなくてもよい。従って一次特徴抽出手段2は後で用いる二次特徴抽出手段71の精度(分解能)より多少劣っていても構わないが、高速に抽出可能であることが望まれる。分割領域内に背景画像の一部が混在しないこと、領域成長の際、必要な画像属性(二次特徴)を全て含んでいることが望ましい。各領域を縮小または削除したものを後続する処理に用いる分割領域としてもよい。6は、一次特徴データに基づいて分割された複数の領域に対応してそれぞれ異なる属性の画像データ(例えば異なる色、異なるハッチングパターンなど)を付与し、表示手段8上に入力画像データと重なるように表示する。具体的には分割された領域にラベル付けを行い、同じラベル領域をマスクデータとしてマスク内を一定のパターンで塗りつぶすなどの処理を行う。このようにすることにより、オペレータは指示すべき候補領域の区別を目視により容易に行うことができ、かつ分割領域指示手段9による抽出対象の指定が確実(同じラベルで予め区分けされているから)、かつ容易となる。分割領域指示手段9としては典型的にはマウスなどが用いられるが、タッチパネル型表示装置を用いる場合は特に必要がない。device.【0019】領域成長手段7は、上記のようにして一次特徴データに基づき分割され、選択された領域から二次特徴(属性)を抽出する二次特徴抽出手段71、その二次特徴に基づいて領域成長を行う場合の成長核設定手段72、各成長核に固有の二次特徴を基づいて領域成長を行う領域成長手段73、および成長後の各領域を連結する領域連結手段74から構成される。領域成長とは特徴データの均質度に応じて領域の分割、併合を行うことを意味し、必ずしも一方的に併合処理を行うものではない。二次特徴とは基本的に一次特徴と異なるものであればよく、通常は、例えば幾何学的な構造を有するもの、或いは輝度分布、色成分を処理して得られる高次の特徴を有するものがあるが、必ずしもこれらに限定されず、例えば色成分情報などが好適に用いられる。一次特徴と同じ種別(ここでは動きベクトル)であっても領域成長による精細な画像分割が可能であれば問題ない(第5の実施の形態参照)。embodiment).【0020】上記のように二次特徴を抽出した後、それぞれに固有の初期領域を成長核設定手段72で設定する。色成分情報を二次特徴とする場合には、抽出された候補領域内に複数の成長すべき二次特徴が存在しうる。部位に応じてそれぞれ平均的に異なる色相を有するが、その場合、成長核としては、一次特徴データに基づいて抽出され、かつ分割領域指示手段9で選択された候補領域の異なる二次特徴を有する輪郭部分またはその近傍領域とする。領域成長の際には予め所定サイズの近傍領域ブロック内で平均化を行ってから成長させてもよい。これによりノイズに対する耐性、画素サイズオーダでの画像データ(属性)の変動の影響を緩和し、抽出精度を高めることができる。accuracy.【0021】図2は第2の実施の形態を示すもので、図1の画像入力手段1に撮像手段1を用いた場合の図1の他の概念的な手段2〜9を具体化した手段2〜9を示したものである。ここでは一次特徴データを動きベクトルとし、二次特徴データを色相とした場合である。)に示されるような高速性を持つ方法が特に望まれる。operation,動きを伴う対象の静止背景からの分離、または背景を含む全てが動く場合の動きベクトルの相違に基づく特定対象の背景からの分離する場合などがある。撮像手段1を人体、ロボットまたは車体などに設置し、撮像手段1が動きながらあるシーンを撮像する場合には、一般的に画面全体にわたって非ゼロなる動きベクトルが存在する。このような場合には、特に背景と対象物の撮像手段1からの距離が充分離れていれば、前述のごとく動きベクトルに基づく領域分割を比較的高精度に行うことができる。動く対象、または周囲と異なる動きをする対象物の数が少ない場合に本実施の形態は有効である。valid.【0023】図3は第3の実施の形態を示すものである。本実施の形態では、画像入力手段として複眼撮像系(ステレオカメラ)を用い、一次特徴データとして左右カメラ画像間の対応点の視差分布を用いている。(井口、佐藤著,昭晃堂)などに示されている。視差抽出手段2の視差データに基づき制御することにより、抽出すべき被写体の視差が均質な領域面積が最大となるようにしている。この制御は複眼画像表示手段8上のラベル画像をオペレータが観測しながら行うようにしてもよい。視差は左右画像間で重複した領域についてのみ得られるので、視差値の均質な領域に分割した後の候補領域の表示は重複領域のみで行われる。領域成長は画像選択部11で左右画像のうち一方の抽出対象を選択して行う。二次特徴についてはここでは色相を用いているが、これに限定されない。thereto.【0024】図4は第4の実施の形態を示す。thirdの実施の形態はステレオ画像を時系列画像データとして得ることにより、第2の実施の形態との併用が可能である。図4はそのシステム構成例を示すものである。図8(a)に入力画像を示し、同図(b)に一次特徴(視差と動きベクトル)に基づく領域分割結果を示す。(B).【0025】次に偏差算出手段12a、12bで分割後の領域サイズが所定値以上のクラスタについて、代表特徴量間(視差、動きベクトル)の偏差を算出し、偏差の大きい方の特徴データに基づいて領域分割され、生成されたラベル画像を抽出対象の候補領域選択の際に用いる。これは画面内の物体が複眼動画撮像手段1からほぼ同じ距離に分布する(視差の偏差が小)が、抽出すべき被写体が周囲に対して顕著な動きを有する場合には、動きベクトルを用いた領域分割の方が信頼度が高く、また周囲、背景との距離が複眼動画撮像手段1と対象との距離に比べて十分大きい(視差の偏差が大)がいずれも相対的に顕著な動きを示さない(動きベクトルの偏差が小)場合には、視差に基づく領域分割が望ましいからである。desired.【0026】図8(c)は処理結果を示し、ここでは視差値の最も大きい対象物を選択し、二次特徴微量(色成分)を用いて領域成長を行った結果を示す。これにより、対象物の動きの有無、距離分布のばらつきの大小に応じて画像抽出に適した画像データを使い分けることができる。image,ステレオ撮像または動画・単眼視撮像など)を絞り込んでもよい。一方のカメラからの動画像データのみを用いる場合には第2の実施の形態での処理を適用する。embodiment.尚、画像入力手段としては複眼撮像系に限定されず、三次元形状モデルに基づく、コンピュータグラフィックスにより生成された視差付き画像でもよい。graphics.【0027】図5は第5の実施の形態を示す。本実施の形態は、入力画像を固定設置された単眼カメラなどの撮像手段1からの時系列画像とし、一次特徴データとしてはフレーム間差分画像データを用い、一次特徴データから動きのある部分の概略領域(位置と大きさ)を抽出し、候補領域のラベル付けと表示手段8、マウスまたはボインティング手段9による選択、および候補領域に対する二次特徴に基づく領域成長法を適用して画像を抽出するものである。intended.【0028】図5において、差分データ抽出手段2aで得られる差分画像を2値化手段2bにより所定の閾値で2値化して得られる一次特徴データは、静止背景に対して動きベクトルの粗い分割を表し、従って均質度評価を行わずにそれらを一定の基準に従って(セグメント間距離が所定画素数以下であるなど)連結処理する。典型的には所定方向に動いた物体の前方と後方に特徴データ(非ゼロデータ)が存在し、それぞれグループ化しかつそれらによって挟まれた領域を候補領域としてラベル付けし、分割領域として残す。所定サイズ以下の領域を切り捨てる。二次特徴データとしては各実施の形態と同様に色相を用いているが、これに限定されるものではない。thereto.【0029】図6は第6の実施の形態を示す。image,一次特徴としては低解像度データ(例えば画像を間引き処理または平均化などにより低解像化した後、動きベクトルを検出するか、または画像データをサイズの大きいブロックに分割して各ブロックごとの動きベクトルを算出するなど)、二次特徴は同じ種別の高解像度データを用いる。本実施の形態によれば、一つの特徴抽出処理アルゴリズムによる高速処理が可能である。algorithms.【0030】図6は一次特徴データとして動きベクトルを用いた場合のシステム構成を示す。動きベクトル均質度の評価(均質度評価手段3)から領域成長核の設定(成長核設定手段72)までは低解像度で行い、領域成長(領域成長手段73)は高解像度で行うことにより精細な切り出しを行う。第2の実施の形態のように、領域成長は均質度に基づく部分領域の併合または分離処理を意味することはいうまでもない。embodiment,特に成長核は基本的に同じ動きベクトルで代表される領域であることから、色成分を用いた領域成長と比較して成長核設定が非常に単純化され、領域成長処理においてもより高速な処理が可能である。[0031]【発明の効果】以上説明したように、第1の発明によれば、大まかな位置を指示するだけで、任意の背景中の特定対象画像を自動的に抽出することができる。第2の発明によれば、複数の異なる種別の特徴パラメータを活用することにより、対象画像の抽出を効率的に行うことができる。第3の発明によれば、特に特徴分布データが均質な領域を幾つか提示し、それらを選択可能とすることにより、第1の発明と同様な画像の自動抽出を行うことができる。第4の発明によれば、均質度の評価を行わずに第2の発明と同様な画像切り出しを行うことができる。homogeneity.【0032】第5の発明によれば、抽出すべき領域の指定をオペレータが容易に実行することができる。第6の発明によれば、抽出すべき画像候補領域の設定を自動化することができる。第7の発明によれば、抽出すべき画像候補領域の絞り込みおよび設定を自動化することができる。extracted.【0033】第8の発明によれば、対象の動きベクトル成分に基づく候補領域の抽出と絞り込みとを行うことができる。第9の発明によれば、動きの検出された領域からの対象画像候補領域の抽出を行い、第8の発明と同様な効果を得ることができる。第10の発明によれば、視差付きステレオ画像から画像候補領域の絞り込み、および設定を自動化することができる。第11の発明によれば、大まかな指示のみで対象領域画像の選択的抽出を行う際の操作性を向上させることができる。DRAWINGS【図1】本発明の第1の実施の形態としての本発明の概念的な構成を示すブロック図である。invention.【図2】第2の実施の形態による動きベクトルに基づく像抽出を行う場合の構成例を示すブロック図である。embodiment.【図3】第3の実施の形態による複眼撮像系を用いた視差分布に基づく画像抽出を行う場合のシステム構成例を示すブロック図である。embodiment.【図4】第4の実施の形態による視差・動きベクトルに基づく領域分割を適応的に切り替えて行う場合のシステム構成例を示すブロック図である。embodiment.【図5】第5の実施の形態によるフレーム間差分データから動体の画像領域を行う場合のシステム構成例を示すブロック図である。of.【図6】第6の実施の形態による階層型特徴データ抽出による画像抽出を行う場合のシステム構成例を示すブロック図である。embodiment.【図7】動きベクトル(一次特徴)に基づく処理経過および結果の例を示す構成図である。results.【図8】視差および動きベクトル(一次特徴)に基づく処理過程および結果の例を示す構成図である。上記領域成長後の画像を表示する画像表示手段とを備えた画像抽出装置。領域成長後の複数の領域を連結する連結手段とからなることを特徴とする請求項1に記載の画像抽出装置。上記領域分割手段は、上記一次特徴データの分布が略均質な領域をグループ化する分割を行うことを特徴とする請求項1に記載の画像抽出装置。上記領域分割手段は、上記一次特徴を有する領域を連結処理して得られる連結領域のうち所定サイズ以上の領域を上記分割領域とすることを特徴とする請求項1に記載の画像抽出装置。上記ラベル画像データと上記入力画像データとを重ねて表示することを特徴とする請求項1に記載の画像抽出装置。上記選択された領域の画像データを表示することを特徴とする請求項1に記載の画像抽出装置。上記選択された領域の画像データを表示することを特徴とする請求項1に記載の画像抽出装置。上記入力画像データは時系列画像データであり、上記一次特徴は動きベクトル分布であることを特徴とする請求項1に記載の画像抽出装置。上記入力画像データは時系列画像データであり、上記一次特徴は入力画像データの差分画像分布であることを特徴とする請求項1に記載の画像抽出装置。上記入力画像データは同一シーン中の視点位置の異なる複数の画像データから成り、上記一次特徴は上記複数の画像データ間の視差分布であることを特徴とする請求項1に記載の画像抽出装置。表示するためのマーカ生成手段と、上記マーカ位置を含む領域を選択領域と判定する判定手段とを有することを特徴とする請求項5に記載の画像抽出装置。上記入力画像データは撮像手段から得られたものである請求項1に記載の画像抽出装置。上記撮像手段は移動体に設けられているものである請求項12に記載の画像抽出装置。上記撮像手段は複眼撮像系を有するものである請求項12に記載の画像抽出装置。system4に記載の画像抽出装置。