×この技術を簡単クリック査定この機能をご利用いただくには、会員登録(無料)が必要です。出願した特許の牽制数、引用された数などを知る事ができます。気になる技術や特許をブックマークしておけば、いつでも後から読むことができます。後で印刷するために、公報をPDFでダウンロードできます。会員登録してastamuseを使えば、もっと簡単に便利にお使いいただけます。会員登録(無料)「astamuse」は世界中の挑戦したい社会課題に挑戦し、未来を創る人のプラットフォームです。画像処理装置および画像処理方法この技術は特許登録された実績があります。※この項目の情報は公開日時点(2016年1月28日)のものです。(6)課題デジタルカメラにおいて、過剰な輪郭強調や輪郭強調による画像内でのノイズ増加等の弊害を軽減することができる画像処理装置および画像処理方法を提供する。オーバーシュート量とアンダーシュート量の比率を制御する制御手段と、を備える。近年のデジタルカメラにおいて、光学系素子や撮像素子の進化によって、明所での撮影から暗所での撮影まで、また近い被写体の撮影から遠い被写体の撮影など撮影可能な被写体の幅が広がっている。上記の従来のデジタルカメラにおいては、被写体や撮影シーンに対応して画像処理が行なわれているものの、被写体や撮影シーンの種類によっては画像処理が適切に行われない場合がある。被写体や撮影シーンに対応した画像処理のうち、被写体をくっきり見せるための輪郭強調処理に関して、被写体の色温度や撮影感度に応じて輪郭強調の強調量を可変する方法(特許文献1)や、撮影モードにより輪郭強調の強調量を可変する方法(特許文献2)などが提案されている。概要デジタルカメラにおいて、過剰な輪郭強調や輪郭強調による画像内でのノイズ増加等の弊害を軽減することができる画像処理装置および画像処理方法を提供する。0001本発明は画像内の被写体に対して輪郭を強調する輪郭強調処理の画像処理に関する。背景技術0002近年のデジタルカメラにおいて、光学系素子や撮像素子の進化によって、明所での撮影から暗所での撮影まで、また近い被写体の撮影から遠い被写体の撮影など撮影可能な被写体の幅が広がっている。0003しかし、上記の従来のデジタルカメラにおいては、被写体や撮影シーンに対応して画像処理が行なわれているものの、被写体や撮影シーンの種類によっては画像処理が適切に行われない場合がある。被写体や撮影シーンに対応した画像処理のうち、被写体をくっきり見せるための輪郭強調処理に関して、被写体の色温度や撮影感度に応じて輪郭強調の強調量を可変する方法(特許文献1)や、撮影モードにより輪郭強調の強調量を可変する方法(特許文献2)などが提案されている。発明が解決しようとする課題0005しかしながら、輪郭強調の強調の度合い(強調量、強度)を何れの被写体に対しても一律に可変した場合、たとえば夜空の星をくっきりさせるために強調量を上げて輪郭強調の処理しようとすると、輪郭を強調したくない背景被写体も強調してしまう。0006また、人物被写体において目や髪をくっきりさせるために輪郭強調を強めると、輪郭強調処理によって画像内でのノイズの増加を伴ってしまうため、人物被写体の肌が荒れてしまう。人物の肌をなめらかに表現する画像処理を実施すると人物の周辺の解像感の劣化が顕著となってしまうため、輪郭強調は必要とされ、これにより画像内でのノイズが増加してしまう。オーバーシュート量とアンダーシュート量の比率を制御する制御手段と、を備えることを特徴とする。発明の効果0008本発明によれば、過剰な輪郭強調や輪郭強調による画像内でのノイズ増加等の弊害を軽減することができる。図面の簡単な説明0009第1の実施形態の撮像装置の構成である。第1の実施形態の画像処理回路の構成である。第1の実施形態の画像処理回路のうち、エッジ強調回路の構成である。第1の実施形態の領域判定を説明する図である。第2の実施形態のシーン判定の動作フローである。実施例0010以下、図面を参照して、本発明の実施形態にかかる画像処理装置を詳細に説明する。以下の説明において、画像処理装置の一例としてデジタルカメラを採用して画像処理装置を説明するが、これに限定されない。0011(第1の実施形態)図1から図4を参照して、第1の実施形態にかかる画像処理装置100を説明する。図1図40012図1は、実施形態の画像処理装置100の構成を示している。図10013画像処理装置100は、フォーカスレンズを含む撮影レンズ10、絞り機能を備える機械式シャッター12を備える。画像処理装置100は、撮影レンズ10及びシャッター12などの光学系から入射される光学像を電気信号に変換する撮像素子14、撮像素子14のアナログ信号出力をデジタル信号に変換するA/D(アナログ/デジタル)変換器16を更に備える。0014撮像素子14、A/D変換器16にクロック信号や制御信号を供給するタイミング発生回路18は、メモリ制御回路22及びシステム制御回路50により制御される。機械式シャッター12以外にも、タイミング発生回路18による撮像素子14のリセットタイミングの制御によって、電子シャッタとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。0015画像処理回路20は、A/D変換器16からのデータ或いはメモリ制御回路22からのデータに対して所定の画素補間処理や色変換処理を行う。画像処理回路20によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現することができる。画像処理回路20においては、撮像した画像データを用いて所定の演算処理を行う。0016画像処理回路20で得られた演算結果に基づいて、システム制御回路50が露光制御手段40、測距制御手段42に対して、AF(オートフォーカス)処理、AE(自動露光)処理、EF(フラッシュ調光)処理を行う。画像処理回路20は、画像データに対してAWB(オートホワイトバランス)処理も行うことができる。0017さらに、画像処理回路20は被写体検出回路を含む構成であってもよく、被写体検出方法としてはパターンマッチング、特徴点抽出などの方法を適用することが可能である。0018なお、本実施形態においては、画像処理装置20は、人物被写体の顔、風景被写体の夜空を検出する例を用いて説明しているが、これらの被写体の種類に限定されず、他の種類の被写体を検出してもよい。画像処理装置20は、人物被写体の顔を検出する顔検出回路として機能することが可能であり、検出結果として顔領域の位置(座標)、さらに詳細には目の位置(座標)などが領域情報(座標)とともに出力することができる。0019メモリ制御回路22は、A/D変換器16、タイミング発生回路18、画像処理回路20、メモリ30、圧縮・伸長回路32を制御する。A/D変換器16から出力された画像データが、画像処理回路20、メモリ制御回路22を介して、或いはA/D変換器16から直接メモリ制御回路22を介して、メモリ30に書き込まれる。0020TFT、LCD等から成る画像表示部28は、メモリ20に書き込まれた表示用の画像データをメモリ制御回路22を介して表示する。画像表示部28を用いて、撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。画像表示部28は、システム制御回路50の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合には画像処理装置100の電力消費を大幅に低減することが出来る。0021メモリ30は、撮影した静止画像や動画像の画像データを格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像の画像データを格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ30に対して行うことが可能となる。メモリ30はシステム制御回路50の作業領域としても使用することが可能である。0022FlashROM等で構成された不揮発性メモリ31には、システム制御回路50が実行するプログラムコードが書き込まれており、システム制御回路50は、記憶されたプログラムコードを逐次読み出して実行する。不揮発性メモリ内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。0023適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する圧縮・伸長回路32は、メモリ30に格納された画像データを読み込んで圧縮処理或いは伸長処理を行い、処理を終えた画像データをメモリ30に書き込む。0024絞り機能を備えるシャッター12を制御する露光制御手段40は、フラッシュ48と連動することによりフラッシュ調光機能も有するものである。0025さらに、画像処理装置100は、撮影レンズ10のフォーカシングを制御する測距制御手段42、撮影レンズ10のズーミングを制御するズーム制御手段44を備えている。0026フラッシュ48は、AF補助光の投光機能、フラッシュ調光機能も有する。露光制御手段40、測距制御手段42はTTL方式を用いて制御されており、撮像で得られた画像データを画像処理回路20によって演算した演算結果に基づいて、システム制御回路50が露光制御手段40、測距制御手段42に対して制御を行う。0027システム制御回路50は、画像処理装置100全体を制御する制御回路である。0028システム制御回路50の各種の動作指示を入力するための操作手段は、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。以下に、これらの操作手段の具体的な説明を行う。0029モードダイアルスイッチ60は、電源オフ、自動撮影モード、撮影モード、HDR撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、PC接続モード等の各機能モードを切り替え設定することが出来る。0030シャッタースイッチSW1(62)は、シャッターボタンの操作途中でONとなり、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理等の動作開始を指示する。シャッタースイッチSW2(64)は、シャッターボタンの操作完了でONとなる。フラッシュ撮影の場合、この露光期間中に発光させて、露光期間終了と同時に露光制御手段40により遮光することで、撮像素子14への露光を終了させる。撮像素子14から読み出した信号を記録媒体200に書き込む記録処理までの一連の処理の動作開始を指示する。20やメモリ制御回路22での演算を用いた現像処理、メモリ30から画像データを読み出し、圧縮・伸長回路32での圧縮を行う、などである。0032表示切替スイッチ66は、画像表示部28の表示切替を行うことが出来る。この機能により、光学ファインダー104を用いて撮影を行う際に、LCD等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。0033各種ボタン、タッチパネルや回転式ダイアル等からなる操作部70は、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン等がある。メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像−(マイナス)ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等もある。0034ユーザーが撮像画像の倍率変更指示を行うズーム操作手段としてのズームスイッチ部72は、ズームスイッチ72ともいい、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ72を用いることにより、ズーム制御手段44に撮影レンズ10の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。画像処理回路20による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。0035画像処理装置100は、アルカリ電池の一次電池やNiCd電池やNiMH電池、Liイオン電池等の二次電池、ACアダプター等からなる電源手段86を備えている。0036また、メモリカードやハードディスク等の記録媒体とのインタフェース90、メモリカードやハードディスク等の記録媒体と接続を行うコネクタ92を備えている。0037さらに、保護手段102は、画像処理装置100のレンズ10を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである。0038光学ファインダ104は、画像表示部28による電子ファインダー機能を使用せずに、光学ファインダのみを用いて撮影を行うことが可能である。0039通信手段110は、USB、IEEE1394、LAN、無線通信、等の各種通信機能を有する。通信手段110によって、画像処理装置100が他の機器と接続するためのインターフェイスとして、コネクタ112或いは無線通信の場合はアンテナ112を有している。0040メモリカードやハードディスク等の記録媒体200は、半導体メモリや磁気ディスク等から構成される記録部202、画像処理装置100とのインタフェース204、画像処理装置100と接続を行うコネクタ206を備えている。0041上述した画像処理装置100内の各構成は、ハードウェアモジュールで構成してもよく、その一部あるいは全部をソフトウェアモジュールとして構成しても良い。0042本実施形態の画像処理回路20の構成を図2を用いて説明する。図20043画像処理回路20は、撮像素子14から入力した画像データのベイヤ配列の信号から輝度信号生成S201、色信号生成S202、エッジ強調S203を実施し、YUV信号を得る。そのYUV信号は、リサイズ、彩度変更、エッジ強調等の後処理S204を撮影シーン等に応じて実施する。顔検出などの被写体検出、シーン検出等の検出処理S205を実施することにより、シーン等に応じて、S201からS204の画質パラメータを変更する。0044本実施形態の画像処理回路20のうち、エッジ強調回路の構成を図3を用いて説明する。図30045図3(a)はエッジ強調回路の構成である。入力した画像信号にローパスフィルタ(LPF)S301を施し、S302の減算回路にて元画像とLPF画像の差分をとる。この減算処理では負の信号は考慮しないことによって、高輝度側に凸のエッジ信号であるオーバーシュートを得る。逆に、S303の減算回路ではLPF画像と元画像の差分をとることによって、低輝度側に凸のエッジ信号であるアンダーシュートの反転した信号を得る。図30046さらに、S304のゲイン回路(AMP)ではS305のゲイン制御回路(CTRL)により、S302の減算回路で得られたオーバーシュートにゲインを施す。同様にS306のゲイン回路(AMP)では、S307のゲイン制御回路(CTRL)により、S303の減算回路で得られたアンダーシュートの反転した信号にゲインを施す。0047また、S308の加算回路では元画像とゲインを施したオーバーシュートを加算する。S309の減算回路では元画像とオーバーシュートを加算した画像からアンダーシュートの反転した信号を減算することにより、結果としてアンダーシュートを加算する。0048さらに、図3(b)から(e)の信号波形を用いてオーバーシュート及びアンダーシュートを取得する動作を説明する。図3(b)は元画像の水平方向の波形の一部を示し縦軸が輝度レベル、横軸が画像の水平方向の座標である。図3(c)は元画像をS301にてLPF処理を施したLPF画像を示しており、元画像から高周波成分が無くなった波形である。これらの信号の差分をとることにより、元画像からLPF画像を減算すると図3(d)の斜線部分S3111がオーバーシュートとして得られ、逆にLPF画像から元画像を減算すると図3(e)の網かけ部分S321がアンダーシュートとして得られる。オーバーシュートは輪郭強調の明るい側、アンダーシュートは暗い側の調整を行う。図30049なお、ここで用いるローパスフィルタは、例えば着目画素と隣接画素で1:2:1(/4)のフィルタであるが、これに限定されない。本実施形態では元画素とLPF画像との差分を求めたが、それに限らず、高周波成分を含む画像と高周波を含まない画像の差分を求めることができればよい。0050本実施形態の領域判定について図4を用いて説明する。図40051図4(a)は本実施形態の想定構図の1つである星空夜景で、山などの暗い遠景S401、夜空S402、星S403から構成される構図である。図40052図4(b)は、図4(a)を複数のブロック分割し、各ブロックについて輝度信号及び色信号の平均値を求め、差分の少ないブロックを結合して領域として設定しており、暗い茶色の領域S411、暗い青の領域S412と判断する。図40053図4(c)は、図4(b)にて得た領域毎の輝度信号及び色信号の平均値から被写体を判定することにより、被写体に対応して、夜空領域S421はオーバーシュートをアンダーシュートに対して相対的に強めて輪郭強調を施し、夜空領域S421以外のS422には通常処理としてエッジ強調を実施しないか、オーバーシュートとアンダーシュートの比率を変更しないエッジ強調を施す。図40054また、図4(d)は本実施形態の想定構図の1つである人物撮影で、人物S431、山などの遠景S432、空S433から構成される構図である。図40055図4(e)は、図4(d)を複数のブロック分割し、各ブロックについて輝度信号及び色信号の平均値を求め、差分の少ないブロックを結合して領域設定しており、黒い領域S441、肌色領域S442、白い領域S443、茶色の領域S444、青い領域S445と判断する。顔検出回路により検出された顔領域S446がある。図40056図4(f)は、図4(e)にて得た領域毎の輝度信号及び色信号の平均値及び顔検出領域から被写体を判定することにより、被写体に対応して、顔検出領域S451を含む顔領域S452はアンダーシュートをオーバーシュートに対して相対的に強めて輪郭強調処理を施し、顔領域以外のS453は通常処理としてエッジ強調を実施しないか、オーバーシュートとアンダーシュートの比率を変更しないエッジ強調を施す。図40057なお、上述したように、図4(c)、図4(f)の領域ごとにオーバーシュートとアンダーシュートの比率を可変させて制御する際に、領域の輝度レベルに基づいて、前記比率をさらに調整してもよい。具体的には、輝度レベルが予め設定された所定値よりも低い領域についてはオーバーシュート量の比率がより大きくなるように、輝度レベルが所定値よりも高い領域についてはアンダーシュート量の比率がより大きくするなるようにしてもよい。図40058また、本実施形態では、夜空と人物(顔)を対象として被写体判定を行う例を用いて説明したが、被写体対象はこれらに限定されない。夜空の代わりに低輝度領域の中に高輝度領域が含まれる被写体であってもよく、人物(顔)の代わりに高輝度領域の中に低輝度領域が含まれる被写体であってもよい。0059以上により、本実施形態においては、画像内の被写体の種類に応じて、輪郭強調処理のオーバーシュート量とアンダーシュート量の比率を制御して輪郭強調の画像処理を行うことによって、被写体ごとに適切な輪郭強調を行うことが可能となる。よって、過剰な輪郭エッジ強調や輪郭強調による画像内でのノイズ増加等の弊害を軽減することが可能となる。0060(第2の実施形態)第1の実施形態では被写体の種類を判定し、被写体に応じて、オーバーシュート量とアンダーシュート量の比率を制御するものであったが、第2の実施形態では画像の撮影シーンを判定して撮影シーンに応じて前記比率を制御するものである。0061第1の実施形態と同一の構成については説明を省略し、以下では、主に本実施形態の特徴的な構成について説明する。0062図5は、第2の実施形態のシーン判定の動作フローを示す。図5を用いて、本実施形態の撮影シーン判定の動作を説明する。図50063S501にて画像から顔を検出し、顔があると判定したらS502で露出設定等の測光結果から照度の判定をする。測光結果の照度が所定値と比較することで明暗を判定する。明るい場所での撮影であると判定したら人物撮影であると判断し(S503)、オーバーシュートに対してアンダーシュートを強めて輪郭強調を施す。S502で暗い場所での撮影であると判定したら夜景人物撮影であると判断し(S504)、領域分割したエッジ強調を実施するか、通常処理としてエッジ強調を実施しないか、オーバーシュートとアンダーシュートの比率を変更しないエッジ強調を施す。0064なお、上記動作を行うために、画像処理部20が顔検出部、明るさ検出部としての機能を行ってもよい。0065S501にて顔がないと判定したらS505で露出設定等の測光結果から照度の判定をする。明るい場所での撮影であると判定したら人物や夜景を除く一般撮影であると判断し(S506)、通常処理としてエッジ強調を実施しないか、オーバーシュートとアンダーシュートの比率を変更しないエッジ強調を施す。S505で暗い場所での撮影であると判定したら夜景撮影であると判断し(S507)、オーバーシュートをアンダーシュートに対して強めて輪郭強調を施す。0066本実施形態では、画像から撮影シーンを判定し、撮影シーンの種類に応じて、輪郭強調処理のオーバーシュート量とアンダーシュート量の比率を制御して輪郭強調の画像処理を行うことを特徴としている。0067本実施形態の変形例として、使用者が撮影時に設定した撮影モードを判定し、判定された撮影モードに応じて前記比率を制御してもよい。撮影時に夜景撮影モードが設定されていた場合には、オーバーシュートをアンダーシュートに対して強めて輪郭強調を施す。ポートレート撮影モードが設定されていた場合には、オーバーシュートに対してアンダーシュートを強めて輪郭強調を施す。0068なお、撮影モード判定については、たとえば画像ファイルに画像とともに記録された撮影モードを取得して判定するようにしてもよい。0069以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。0070上記実施形態では、画像処理装置が撮像装置に内蔵された構成であり、当該撮像装置で取得した画像に対して輪郭強調の画像処理を施すものであるが、画像処理装置が撮像装置とは分離して構成され画像が外部機器から通信により取得される構成でもよい。0071なお、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。画像処理装置ページトップへこの技術を出願した法人この情報を共有FacebookTwitterGoogle+LinkedInこの技術を発明した人物この情報を共有FacebookTwitterGoogle+LinkedInページトップへ関連する挑戦したい社会課題この情報を共有FacebookTwitterGoogle+LinkedIn犯罪者のいない都市を実現する犯罪者のいない都市を実現するためには、年々変化する犯罪への予防対策・解決への取り組みが重要です。盗難や空き巣などは近年減少しており、日本国内では15年前と比べ約1/4に減少したとも言われていま...最終更新日:2018/06/15サイバー攻撃のない社会を実現する5G通信技術、IoTサービスの普及に伴い「サイバー攻撃のない社会」はこれまで以上に重要になります。イノベーションを導く多くの企業が膨大な労力と費用をかけて新たな市場や事業を生み出そうとしている中「イノベーション」にかかわるデータのニーズはかつてないほどの高まりを見せいます。