[0001]【発明の属する技術分野】本発明は、デジタルカメラに関する。本発明は、特に画像から主要被写体を検出するデジタルカメラに関する。[0002]【従来の技術】従来、良好な写真を得る技術として、被写体の中から主要被写体を見つけだし、この主要被写体の状態によって撮影タイミングや撮影条件を調整する様々な技術が知られている。被写体の中から主要被写体を見つけだす方法としては、画像において主要被写体としての特徴を探し出すことにより検出する方法が一般的である。画像から人物を検出する場合に、いわゆる赤目現象における赤目を検出してその人物を特定する方法が知られている。[0003]【発明が解決しようとする課題】しかし、被写体画像の中には、人物の目以外にも赤目の色や形に似た物体が含まれる場合があるので、無関係な物体を誤認識してしまう可能性が高い。このような誤認識を避けるためにフラッシュの発光量を高めて反射光強度を上げる方法もある。誤認識を効果的に回避できるとは限らず、しかも装置のコストを増大させてしまう。主要被写体となる人物が複数人の場合、無造作に赤目を抽出すると、複数の人物にわたる目を組にして数えてしまうおそれがある。前後に異なる距離上にいる複数の人物でも画像上では並んで見えるので、同一人の目を組にできるとは限らない。複数の人物が顔を寄せて写っている場合には誤認識の可能性がより高まる。face.【0004】そこで本発明は、上記の課題を解決することのできるデジタルカメラ、画像処理方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。従属項は本発明のさらなる有利な具体例を規定する。.【0006】前記画像入力部は、前記被写体部分を複数の異なる視点から撮像する視差画像を入力する手段を有し、前記奥行き分布情報取得部は、前記視差画像における複数の前記部分画像に相当する各部位から前記奥行き分布情報を取得してもよい。うちの少なくともいずれかを定めた注目部位検出条件に基づいて、前記部分画像から前記注目部位を検出する注目部位検出部と、検出された前記注目部位に基づいて所定の主要被写体情報を取得する情報取得部とを備える。viewpoints,前記視差画像に基づいて前記奥行き分布情報を取得する奥行き分布情報取得部をさらに備えてもよい。前記第1の部分画像から前記注目部位を検出する手段と、前記第1の部分画像から前記注目部位が検出されなかった場合に前記第2の部分画像から前記注目部位を検出する手段とを有してもよい。複数の前記部分画像のそれぞれから前記注目部位を検出してもよい。定められた前記注目部位の色は、前記発光部から発せられる光が前記注目部位を反射して一時的に生じてもよい。前記発光部から前記注目部位に発せられる光の軸は、前記注目部位から前記画像入力部へ反射する光の軸にほぼ平行であってもよい。うちの少なくとも一つを定めた条件であってもよい。して前記主要被写体の位置情報を取得してもよい。して前記主要被写体に含まれる前記注目部位の位置情報を取得してもよい。前記画像入力部は、所定の撮影タイミング信号を受け取ったときに撮影する手段を有し、前記画像において前記位置情報に基づき特定される前記主要被写体が所定の撮影タイミング条件を満たしたときに前記撮影タイミング信号を前記画像入力部へ出力するタイミング信号出力部をさらに備えてもよい。unit,前記画像において前記位置情報に基づき特定される前記注目部位が、所定の撮影タイミング条件を満たしたときに前記撮影タイミング信号を前記画像入力部へ出力してもよい。うちの少なくともいずれかを定めた条件であってもよい。number.【0011】また、第3の形態においては、外界が暗いときに被写体に向けて発光する段階と、反射により一時的に所定の色または形状をなす被写体部分を検出する段階と、奥行き分布情報に基づいて前記被写体部分から注目部位を検出する段階と、前記注目部位に基づいて撮影タイミングを決定する段階とを備える。site.【0012】なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。[0013]【発明の実施の形態】以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。invention.【0014】以下、本発明の第1実施形態を説明する。eyes,その情報を利用して最適なタイミングまたは撮影条件で被写体を撮影する。ここでいう主要被写体とは、撮影する被写体のうち、撮影者が意識的に撮影する独立した対象物である。room,木の枝に止まった鳥を撮影するときの当該鳥等が主要被写体である。​​interest,注目部位に基づいて撮影タイミングを決定する点にある。embodiment0の構成を示す。60、表示ユニット100、および操作ユニット110を含む。110.【0017】撮像ユニット20は、撮影および結像に関する機構部材および電気部材を含む。image,絞り24、シャッタ26、光学LPF(ローパスフィルタ)28、CCD30、および撮像信号処理部32を含む。撮影レンズ22は、フォーカスレンズやズームレンズ等からなる。CCD30の受光面上に結像する。結像した被写体像の光量に応じ、CCD30の各センサエレメント(図示せず)に電荷が蓄積される(以下その電荷を「蓄積電荷」という)。蓄積電荷は、リードゲートパルスによってシフトレジスタ(図示せず)に読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。pulse.【0018】デジタルカメラ10は一般に電子シャッタ機能を有するので、シャッタ26のような機械式シャッタは必須ではない。電子シャッタ機能を実現するために、CCD30にシャッタゲートを介してシャッタドレインが設けられる。シャッタゲートを駆動すると蓄積電荷がシャッタドレインに掃き出される。シャッタゲートの制御により、各センサエレメントに電荷を蓄積するための時間、すなわちシャッタスピードが制御できる。controlled.【0019】CCD30から出力される電圧信号、すなわちアナログ信号は撮像信号処理部32でR、G、B成分に色分解され、まずホワイトバランスが調整される。adjusted.つづいて撮像信号処理部32はガンマ補正を行い、必要なタイミングでR、G、B信号を順次A/D変換し、その結果得られたデジタルの画像データ(以下単に「デジタル画像データ」とよぶ)を処理ユニット60へ出力する。34と発光部36を有する。CPU62等からの各種情報をファインダ34内に表示できる。発光部36は、コンデンサ(図示せず)に蓄えられたエネルギが放電管36aに供給されたときそれが被写体に向けて発光することで機能する。42、フォーカス駆動部44、絞り駆動部46、シャッタ駆動部48、それらを制御する撮像系CPU50、測距センサ52、および測光センサ54をもつ。ズーム駆動部42などの駆動部は、それぞれステッピングモータ等の駆動手段を有する。後述のレリーズスイッチ114の押下に応じ、測距センサ52は被写体までの距離を測定し、測光センサ54は被写体輝度を測定する。測定された距離のデータ(以下単に「測距データ」という)および被写体輝度のデータ(以下単に「測光データ」という)は撮像系CPU50へ送られる。CPU50は、ユーザから指示されたズーム倍率等の撮影情報に基づき、ズーム駆動部42とフォーカス駆動部44を制御して撮影レンズ22のズーム倍率とピントの調整を行う。RGBのデジタル信号積算値、すなわちAE情報に基づいて絞り値とシャッタスピードを決定する。決定された値にしたがい、絞り駆動部46とシャッタ駆動部48がそれぞれ絞り量の調整とシャッタ26の開閉を行う。26.【0023】撮像系CPU50はまた、測光データに基づいて発光部36の発光を制御し、同時に絞り26の絞り量を調整する。video,CCD30が電荷蓄積を開始し、測光データから計算されたシャッタ時間の経過後、蓄積電荷が撮像信号処理部32へ出力される。this4、YC処理部70、オプション装置制御部74、圧縮伸張処理部78、通信I/F部80を有する。CPU50との間で必要な情報をやりとりする。CPU62の動作クロックは、クロック発生器88から与えられる。クロック発生器88は、撮像系CPU50、表示ユニット100に対してもそれぞれ異なる周波数のクロックを提供する。100.【0025】メインCPU62には、キャラクタ生成部84とタイマ86が併設されている。タイマ86は電池でバックアップされ、つねに日時をカウントしている。time.このカウント値から撮影日時に関する情報、その他の時刻情報がメインCPU62に与えられる。キャラクタ生成部84は、撮影日時、タイトル等の文字情報を発生し、この文字情報が適宜撮影画像に合成される。66とメインメモリ68を制御する。66は、EEPROM(電気的消去およびプログラム可能なROM)やFLASHメモリなどで構成され、ユーザーによる設定情報や出荷時の調整値など、デジタルカメラ10の電源がオフの間も保持すべきデータが格納されている。CPU62のブートプログラムやシステムプログラムなどが格納されてもよい。DRAMのように比較的安価で容量の大きなメモリで構成される。メインメモリ68は、撮像ユニット20から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能をもつ。60内外の各部とメインバス82を介してデータのやりとりを行う。B-Y、R−Yを生成する。輝度信号と色差信号はメモリ制御部64によってメインメモリ68に一旦格納される。64.圧縮伸張処理部78はメインメモリ68から順次輝度信号と色差信号を読み出して圧縮する。して圧縮されたデータ(以下単に「圧縮データ」という)は、オプション装置制御部74を介してオプション装置76の一種であるメモリカードへ書き込まれる。エンコーダ72は輝度信号と色差信号を入力し、これらをビデオ信号(NTSCやPAL信号)に変換してビデオ出力端子90から出力する。オプション装置76に記録されたデータからビデオ信号を生成する場合、そのデータはまずオプション装置制御部74を介して圧縮伸張処理部78へ与えられる。つづいて、圧縮伸張処理部78で必要な伸張処理が施されたデータはエンコーダ72によってビデオ信号へ変換される。72.【0029】オプション装置制御部74は、オプション装置76に認められる信号仕様およびメインバス82のバス仕様にしたがい、メインバス82とオプション装置76の間で必要な信号の生成、論理変換、または電圧変換などを行う。PCMCIA準拠の標準的なI/Oカードをサポートしてもよい。PCMCIA用バス制御LSIなどで構成してもよい。RS-232C、イーサネットなどの仕様に応じたプロトコル変換等の制御を行う。通信I/F部80は、必要に応じてドライバICを含み、ネットワークを含む外部機器とコネクタ92を介して通信する。した標準的な仕様のほかに、例えばプリンタ、カラオケ機、ゲーム機等の外部機器との間で独自のI/Fによるデータ授受を行う構成としてもよい。102とLCDパネル104を有する。108によってそれぞれ制御される。モード設定のための画面、被写体画像などを表示する。情報を簡易的に表示する。capacity.【0032】操作ユニット110は、ユーザーがデジタルカメラ10の動作やそのモードなどを設定または指示するために必要な機構および電気部材を含む。パワースイッチ112は、デジタルカメラ10の電源のオンオフを決める。レリーズスイッチ114は、半押しと全押しの二段階押し込み構造になっている。一例として、半押しでAFおよびAEがロックし、全押しで撮影画像の取込が行われ、必要な信号処理、データ圧縮等の後、メインメモリ68、オプション装置76等に記録される。操作ユニット110はこれらのスイッチの他、回転式のモードダイヤルや十字キーなどによる設定を受け付けてもよく、それらは図1において機能設定部116と総称されている。ズームスイッチ118は、ズーム倍率を決める。magnification.【0033】図2は、本実施形態のデジタルカメラの機能ブロック図である。212と撮影条件決定部220と撮像制御部222とタイミング信号出力部224とを備える。224.画像入力部200は、被写体の画像を入力する。画像入力部200は、図1における撮像ユニットに相当する。FIG.画像入力部200は、被写体を複数の異なる視点から撮像する視差画像を入力する。画像入力部200は、主要被写体の検出に利用する画像や視差画像を撮影するために予備撮影をする。その後、撮影タイミング信号に基づいて被写体を本撮像する。signals.【0034】注目部位検出部204は、主要被写体に含まれるべき注目部位の色、形状のうちの少なくともいずれかを定めた注目部位検出条件を満たす複数の被写体部分を画像から検出する。ここでいう注目部位とは、主要被写体に含まれる部位のうち、特に色や形状等に特徴をもった必須の部位である。人物を主要被写体とするときの当該人物の目や口が注目部位である。注目部位は、主要被写体以外の被写体がもたない色や形状をもつことが検出の上では望ましい。顔の肌色は人物以外が有する可能性は低い。うちの少なくともいずれかを注目部位検出条件とする。number.【0035】ここで、赤目現象とは、暗いところで人物をフラッシュ撮影したときに、フラッシュ光が眼底に反射して目が赤く写ってしまう現象をいう。open,突然のフラッシュ光により網膜の毛細血管が赤く見えてしまう現象である。定められた赤目の色や形状は、デジタルカメラ10の発光部36から発せられる光が注目部位である目を反射して一時的に生ずるものである。site.【0036】赤目現象は、フラッシュの光源とレンズとが近いほど生じやすいことが知られている。is,レンズの光軸とフラッシュの光線軸が平行なほど赤目になりやすい。本実施形態においては、積極的に赤目を発生させるために、発光部36から注目部位である目に発せられる光の軸は、目から画像入力部200へ反射する光の軸にほぼ平行にする。204により検出された複数の被写体部分のそれぞれを部分画像として抽出する。本実施形態における部分画像抽出部208は、人物の画像から目と思われる部分の部分画像を抽出する。image.【0038】奥行き分布情報取得部202は、複数の部分画像として抽出された複数の被写体部分までの距離を示す奥行き分布情報を取得する。本実施形態における奥行き分布情報取得部202は、視差画像における複数の部分画像に相当する各部位から奥行き分布情報を取得する。奥行き分布情報取得部202は、視差画像における人物の目の部分の対応点決定処理を行うことにより視差量を求め、その視差量に基づいて奥行き分布情報を抽出する。視差量に基づいて奥行き分布情報を抽出する処理は、従来から知られている三角測量の原理に基づいて行うことができる。known.【0039】組抽出部210は、奥行き分布情報に基づいて、ほぼ等距離に位置する被写体部分の組を抽出する。本実施形態においては、人物の目が注目部位なので一対の目が一組の注目部位となる。210がカメラからほぼ等距離に位置する複数の被写体部分を組にすれば、その中に一対の目が含まれることとなる。212は、被写体部分の組を注目部位の組とみなして、主要被写体に関する所定の主要被写体情報を取得する。distance,状態等を示す情報である。画像における人物の位置情報、画像において人物が何人含まれているかを示す情報、人物の目の位置情報等が主要被写体情報に含まれる。212は、被写体部分の組から対の注目部位を抽出して主要被写体情報を取得する。二人の人物がほぼ等距離に位置する場合、一対の目と思われる被写体部分が二組抽出される。212は、近接する被写体部分同士を一対の目とみなしてもよい。eyes.【0041】このように、画像の中に注目部位と思われる被写体部分が複数含まれても、ほぼ等距離にある部位を組にするので、異なる距離上の物体を誤認識する可能性を減らすことができる。奥行き分布情報を用いて高い精度で人物を検出できるので、複数人が画像に含まれてもすべての人物を検出することができる。image.【0042】撮影条件決定部220は、主要被写体情報に基づいて撮影条件を決定する。撮影条件決定部220は、主要被写体までの距離情報に基づいて、焦点距離を決定する。220,主要被写体の輝度情報に基づいて、絞り値や露光時間(シャッタースピード)を決定する。主要被写体が複数の場合、すべての主要被写体が収まる画角、配光角を決定してもよい。20による撮像を制御する。220により決定された焦点距離でズームやフォーカスが制御される。撮影条件決定部220により決定された絞り値や露光時間で絞りやシャッターが制御される。controlled.【0044】タイミング信号出力部224は、画像における位置情報に基づいて特定される主要被写体が所定の撮影タイミング条件を満たしたときに撮影タイミング信号を画像入力部200へ出力する。撮影タイミング条件としては、例えば、人物を主要被写体とする場合に、当該人物が「瞬きしていない」、「視線がカメラを向いている」、「微笑んでいる」等の条件を撮影タイミング条件にしてもよい。be.【0045】タイミング信号出力部224は、画像における位置情報に基づいて特定される注目部位が撮影タイミング条件を満たしたときに撮影タイミング信号を画像入力部200に出力してもよい。注目部位が撮影タイミング条件を満たすかどうかの判断手法は、撮影条件により異なる。color,形、大きさ等を判断材料とする。「微笑んでいる」という撮影条件の場合、目の大きさ、口の形、口の大きさ等を判断材料とする。これらの判断材料が撮影条件を満たすかどうかは、撮影条件ごとの経験則に基づいた所定のアルゴリズムにより判断する。うちの少なくともいずれかを定めた条件となる。Become.【0046】画像入力部200は、撮像制御部222の制御により最適な撮影条件で被写体を結像または撮像することができる。画像入力部200は、タイミング信号出力部224から受け取る撮影タイミング信号に基づいて適切なタイミングで被写体を撮影することができる。224.例えば、人物を撮影するときに、その人物が瞬きしていない瞬間に撮影することができる。blinking.【0047】なお、主要被写体である人物が複数の場合、赤目を発生させるためのプリ発光の際に必ずしも全員が目を開いているとは限らない。36によるプリ発光の発光時間を長くしてもよい。発光部36による発光を複数回行ってもよい。36.【0048】なお、本実施形態においては特に人物を被写体として撮影する場合を例にとって説明したが、動物を被写体として撮影してもよい。ほとんどの動物にも人物と同様に赤目現象が生じる。animals.【0049】図3は、本実施形態における画像処理方法を示すフローチャートである。発光部36は外界が暗いときに被写体に向けて発光する(S100)。画像入力部200は、視差画像を入力する(S102)。部位検出部204は、主要被写体に含まれるべき注目部位の色、形状のうちの少なくともいずれかを定めた注目部位検出条件を満たす被写体部分を画像から検出する(S104)。部分画像抽出部208は、検出された複数の被写体部分のそれぞれを部分画像として画像から抽出する(S106)。奥行き分布情報取得部202は、複数の部分画像として抽出された複数の被写体部分までの距離を示す奥行き分布情報を取得する(S108)。組抽出部210は、奥行き分布情報に基づいて、ほぼ等距離に位置する被写体部分の組を抽出する(S110)。212は、被写体部分の組を注目部位の組とみなして、主要被写体に関する所定の主要被写体情報を取得する(S112)。(S112).【0050】次いで、撮影条件決定部220は、主要被写体情報に基づいて撮影条件を決定する(S114)。(S114).次いで、撮像制御部222は、撮影条件に基づいて撮像制御する(S116)。タイミング信号出力部224は、画像において位置情報に基づき特定される主要被写体または注目部位が撮影タイミング条件を満たしたときに撮影タイミング信号を出力する(S118)。(S118).画像入力部200は、撮影タイミング信号に基づいて本撮影する(S120)。(S120).【0051】次に、第2実施形態を説明する。本実施形態におけるデジタルカメラは、画像において、所定の奥行き範囲から赤目を検出し、その情報を利用して最適なタイミングまたは撮影条件で被写体を撮影する。4は、本実施形態におけるデジタルカメラ10の機能ブロック図である。212と撮影条件決定部220と撮像制御部222とタイミング信号出力部224とを備える。224.画像入力部200は第1実施形態とほぼ同様の機能を有する。embodiment.【0052】奥行き分布情報取得部202は、画像入力部200が入力した視差画像に基づいて、画像に含まれる被写体の各部までの距離を示す奥行き分布情報を取得する。範囲設定部214は、画像において注目部位を探索する部分的な奥行き幅を定めた部分探索範囲を設定する。部分探索範囲は、注目部位が存在する可能性の高い奥行き幅に設定されるのが望ましい。注目部位を含む主要被写体は被写体の中で最もカメラに近い位置に存在する場合が多いので、範囲設定部214は、奥行き分布情報に基づいて、最も近距離にある独立した被写体が含まれる奥行き幅を部分探索範囲に設定してもよい。interest,例えばその人物の目や口が注目部位となる。本実施形態においては、赤目になった人物の目を注目部位とする。site.【0053】設定された部分探索範囲から注目部位が検出されなかった場合、範囲設定部214は、さらに部分探索範囲を設定する。2回目以降に設定される部分探索範囲は、すでに設定された奥行き幅と異なる奥行き幅に設定される。はじめの設定を最も近距離の奥行き幅にし、次の設定をその近接する奥行き幅にする。注目部位が検出されるまで徐々に遠距離の奥行き幅に部分探索範囲の設定をスライドしてもよい。detection.【0054】部分画像抽出部208は、奥行き分布情報に基づいて、部分探索範囲に含まれる被写体部分を部分画像として画像から抽出する。近距離にある被写体を抽出した部分画像には、遠距離にある被写体は写っていない。color,配置、形状、個数のうちの少なくともいずれかを定めた注目部位検出条件に基づいて、部分画像から注目部位を検出する。本実施形態における注目部位検出条件は、第1実施形態と同様に赤目になった人物の目の色等を定めた条件である。212は、注目部位検出部216により部分画像から注目部位が検出された場合に、その注目部位の位置に基づいて主要被写体に関する所定の主要被写体情報を取得する。画像における人物の位置情報、画像において人物が何人含まれているかを示す情報、人物の目の位置情報等が主要被写体情報に含まれる。主要被写体情報として、例えば主要被写体までの距離情報や主要被写体の輝度情報であってもよい。object.撮影条件決定部220、撮像制御部222、タイミング信号出力部224は、第1実施形態とほぼ同様の構成および機能を有する。embodiment.【0056】このように、奥行き位置の異なる被写体が探索対象から除外されるので、注目部位の検出において、異なる奥行き位置の被写体を注目部位として誤認識する可能性を少なくすることができる。人物の目のように対になった注目部位を検出する場合、異なる距離上にある被写体同士を対にすることがないので、検出精度を高めることができる。注目部位が存在する可能性の高い奥行き位置だけを探索対象とするので、検出の時間を短縮することができる。detection.【0057】図5は、本実施形態における画像処理方法を示すフローチャートである。発光部36は外界が暗いときに被写体に向けて発光する(S150)。画像入力部200が視差画像を入力する(S152)。範囲設定部214が部分探索範囲を設定する(S156)。