×この技術を簡単クリック査定この機能をご利用いただくには、会員登録(無料)が必要です。出願した特許の牽制数、引用された数などを知る事ができます。気になる技術や特許をブックマークしておけば、いつでも後から読むことができます。後で印刷するために、公報をPDFでダウンロードできます。会員登録してastamuseを使えば、もっと簡単に便利にお使いいただけます。会員登録(無料)「astamuse」は世界中の挑戦したい社会課題に挑戦し、未来を創る人のプラットフォームです。※この項目の情報は公開日時点(2013年3月7日)のものです。同期して画像を出力する多眼カメラシステムを、より安価に構成する。遅延検出回路により検出された画像データの遅延に基づいて、複数のメモリに保持されているそれぞれの画像データを同時に出力にするように、画像データの出力を複数のメモリに指示する信号を発生する。本技術は、多眼カメラに適用することができる。従来、複数のカメラから出力される映像信号を同期させる手法として、GenLock方式とフレームシンクロナイザ方式とが知られている。GenLock方式は、同期信号発生器により出力される基準信号により、複数のカメラを同期運転する手法であり、例えば、ステレオカメラにおいて、複数の撮像素子および信号処理部の駆動とともに、露出時間の算出を同期するようにした技術がある(例えば、特許文献1参照)。フレームシンクロナイザ方式は、複数のカメラから非同期に出力される映像信号を一旦フレームメモリに保持し、同期信号発生器により出力される基準信号により、それぞれのフレームメモリに保持された映像信号を同時に出力させる手法である。この手法を用いた技術としては、例えば、複数のカメラに撮像された同時刻のフレーム画像を比較して、カメラの健全性を自己診断するようにした画像処理システムが提案されている(例えば、特許文献2参照)。一般に、GenLock方式のカメラシステムにおいては、基準信号入力用の端子を備えたカメラが用いられるが、このようなカメラは一般的ではないため高価であり、同期運転を行う多眼カメラシステムを構成するのに、コストがかかっていた。フレームシンクロナイザ方式のカメラシステムにおいては、一般的なカメラを用いることができるので、この点では、GenLock方式のカメラシステムと比較して、コストを抑えることが可能である。同期して画像を出力する多眼カメラシステムを、より安価に構成する。遅延検出回路により検出された画像データの遅延に基づいて、複数のメモリに保持されているそれぞれの画像データを同時に出力にするように、画像データの出力を複数のメモリに指示する信号を発生する。画像処理システムに関する。背景技術0002従来、複数のカメラから出力される映像信号を同期させる手法として、GenLock方式とフレームシンクロナイザ方式とが知られている。0003GenLock方式は、同期信号発生器により出力される基準信号により、複数のカメラを同期運転する手法であり、例えば、ステレオカメラにおいて、複数の撮像素子および信号処理部の駆動とともに、露出時間の算出を同期するようにした技術がある(例えば、特許文献1参照)。0004一方、フレームシンクロナイザ方式は、複数のカメラから非同期に出力される映像信号を一旦フレームメモリに保持し、同期信号発生器により出力される基準信号により、それぞれのフレームメモリに保持された映像信号を同時に出力させる手法である。この手法を用いた技術としては、例えば、複数のカメラに撮像された同時刻のフレーム画像を比較して、カメラの健全性を自己診断するようにした画像処理システムが提案されている(例えば、特許文献2参照)。0005一般に、GenLock方式のカメラシステムにおいては、基準信号入力用の端子を備えたカメラが用いられるが、このようなカメラは一般的ではないため高価であり、同期運転を行う多眼カメラシステムを構成するのに、コストがかかっていた。0006一方、フレームシンクロナイザ方式のカメラシステムにおいては、一般的なカメラを用いることができるので、この点では、GenLock方式のカメラシステムと比較して、コストを抑えることが可能である。発明が解決しようとする課題0008しかしながら、フレームシンクロナイザ方式のカメラシステムにおいては、フレームメモリが必要となるので、やはりコストがかかってしまう。0009本技術は、このような状況に鑑みてなされたものであり、同期して画像を出力する多眼カメラシステムを、より安価に構成することができるようにするものである。課題を解決するための手段0010本技術の一側面の画像処理装置は、1のクロック信号に基づいて同期して駆動する複数の固体撮像装置から出力される画像データをそれぞれ保持する複数のメモリと、複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部とを備える。0011前記画像処理装置には、複数の前記固体撮像装置に、前記画像データを出力するためのコマンドを同報送出する送出部をさらに設け、前記検出部には、前記コマンドに基づいて複数の前記固体撮像装置から略同時に出力されるそれぞれの前記画像データの遅延を検出させることができる。0012前記画像処理装置には、前記クロック信号を発生する1のクロック信号発生部と、複数の前記固体撮像装置をリセットするためのリセット信号を発生する、少なくとも1のリセット信号発生部とをさらに設けることができる。Semiconductor)イメージセンサとして構成されるようにすることができる。複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出し、検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生するステップを含む。複数の前記固体撮像装置から出力される前記画像データをそれぞれ保持する複数のメモリと、複数の前記固体撮像装置から出力されるそれぞれの前記画像データの遅延を検出する検出部と、前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部とを備える。0016本技術の一側面においては、複数の固体撮像装置から出力されるそれぞれの画像データの遅延が検出され、検出された画像データの遅延に基づいて、複数のメモリに保持されているそれぞれの画像データを同時に出力するように、画像データの出力を複数のメモリに指示する信号が発生される。発明の効果0017本技術の一側面によれば、同期して画像を出力する多眼カメラシステムを、より安価に構成することが可能となる。ついて説明するフローチャートである。画像データの遅延の検出について説明する図である。メモリをFIFOとした場合の構成について説明する図である。本技術を適用した画像処理システムの一実施の形態の機能構成例を示すブロック図である。実施例0019以下、本技術の実施の形態について図を参照して説明する。説明は以下の順序で行う。1.本技術を適用した撮像装置の構成2.画像出力同期処理3.本技術を適用した画像処理システムの構成0020<1.本技術を適用した撮像装置の構成>図1は、本技術を適用した画像処理装置としての撮像装置の一実施の形態の構成を示している。図10021図1の撮像装置11は、複数の画像を同時に取得し、それらの画像に対して所定の画像処理を施す、いわゆる多眼カメラとして構成される。38、画像処理部39、およびCPU40から構成される。図10023固体撮像装置としてのCMOSイメージセンサ32−1乃至32−N(以下、CMOSセンサ32−1乃至32−Nという)はそれぞれ、撮像素子やA/D(Analog/Digital)変換部を含み、基本的にデジタル回路により構成される。CMOSセンサ32−1乃至32−Nは、レンズ31−1乃至31−Nからの光を受光して光電変換することにより被写体を撮像し、得られたアナログの画像信号をA/D変換する。CMOSセンサ32−1乃至32−Nは、A/D変換の結果得られたデジタルの画像データを小容量メモリ36−1乃至36−Nに供給する。0024また、CMOSセンサ32−1乃至32−Nは、リセット信号発生回路33からのリセット信号により同時にリセットされ、クロック信号発生回路34からのクロック信号により同期して駆動する。0025なお、以下において、CMOSセンサ32−1乃至32−Nを、それぞれ区別する必要がない場合、単に、CMOSセンサ32といい、撮像装置11における他の構成についても同様に扱うものとする。0026リセット信号発生回路33は、CMOSセンサ32をリセットするためのリセット信号を生成し、CMOSセンサ32に供給する。0027クロック信号発生回路34は、CMOSセンサ32の駆動を同期させるためのクロック信号を生成し、CMOSセンサ32に供給する。0028制御コマンド送出回路35は、CMOSセンサ32とシリアル通信を行うことで、CMOSセンサ32の動作を制御するための制御コマンドをCMOSセンサ32に送出する。38からの同期信号に応じて、保持している画像データの一部を画像処理部39に供給する。0030遅延検出回路37は、CMOSセンサ32−1乃至32−Nからメモリ36−1乃至36−Nに供給される画像データの遅延を検出する。0031同期信号発生回路38は、遅延検出回路37からの信号に応じて、メモリ36−1乃至36−Nそれぞれに対して、メモリ36−1乃至36−Nが保持している画像データをそれぞれ同時に出力するよう指示するための同期信号を供給する。38は、メモリ36に対する同期信号を、画像処理部39にも供給する。0032画像処理部39は、メモリ36−1乃至36−Nから同時に(同期して)出力された画像データに対して、所定の画像処理を施す。Unit)40は、撮像装置11の各部を制御する。0034[CMOSセンサの構成]ここで、CMOSセンサ32の構成について説明する。0035図1に示されるように、CMOSセンサ32は、画素アレイ部51、同期回路52、およびシリアルI/F(Interface)53を備えている。図10036画素アレイ部51は、マトリクス状に配置された光電変換素子としての画素を有し、そこに入射する光を光電変換することにより、電気信号としての画像データを取得する。Loop)回路等を含むように構成され、クロック信号発生回路34からのクロック信号に基づいて、CMOSセンサ32内の各部の駆動に必要な内部同期信号(クロック信号)を生成し、CMOSセンサ32内の各部に出力する。0038シリアルI/F53は、制御コマンド送出回路35からの制御コマンドを受信し、その制御コマンドに対応した命令を、CMOSセンサ32内の各部に供給する。CMOSセンサ32−1乃至32−Nから出力される画像データをそれぞれ同期して画像処理部39に出力する処理である。図20040なお、CMOSセンサ32−1乃至32−Nは、リセット信号発生回路33からのリセット信号により同時にリセットされ、クロック信号発生回路34からのクロック信号により同期して駆動している。0041このような状態で、ユーザによる、図示せぬ操作部に対する操作に応じて、所定の画像処理の実行が指示されると、ステップS11において、制御コマンド送出回路35は、CPU40の制御の下、CMOSセンサ32それぞれに対して、画像出力開始コマンドを同報送出する。IntegratedCircuit)通信を行うことにより、CMOSセンサ32それぞれに対して、画像出力開始コマンドを同時刻に送出する。0043I2C通信は、主に同一基板上などの近距離に配置されたデバイス間でのデータのやり取りを行うための通信方式である。I2C通信では、ひとつのデバイスをマスタにして、それにスレーブとなるデバイスを複数バス接続することによって、1対多チャンネル間の通信を行うことが可能となる。Line)の2本の信号線だけをバスとして共有して通信を行う。Interface)等その他の規格のシリアル通信であってもよい。0045このように、制御コマンド送出回路35からCMOSセンサ32それぞれに対して画像出力開始コマンドが同報送出されると、CMOSセンサ32−1乃至32−Nの同期回路52−1乃至52−Nにより生成される内部同期信号の位相が略一致されるようになり、撮像により得られた画像データが、略同時にメモリ36−1乃至36−Nに出力される。0046しかしながら、上述したように、同期回路52−1乃至52−Nには、PLL回路等のアナログ回路が含まれており、これらの個体差により、CMOSセンサ32−1乃至32−Nから出力される画像データ同士の間に、わずかながら位相差を生じる可能性がある。0047そこで、ステップS12において、遅延検出回路37は、CMOSセンサ32−1乃至32−Nからメモリ36−1乃至36−Nに出力される画像データの遅延を検出する。0048具体的には、例えば、遅延検出回路37は、CMOSセンサ32−1乃至32−Nから出力される画像データから、画像の水平方向1ラインのタイミングを表す同期信号(水平同期信号)を抽出することで、CMOSセンサ32−1乃至32−Nから出力される画像データの遅延を検出し、最も遅延して出力される画像データと、その他の画像データとの位相差を求める。0049例えば、撮像装置11が4つのCMOSセンサ32−1乃至32−4を備える4眼カメラとして構成されるものとして、CMOSセンサ32−1乃至32−4からメモリ36−1乃至36−4に出力される画像データ1乃至4から、図3に示されるような同期信号が抽出されたとする。図30050図3の例においては、時刻t1に画像データ1から同期信号(立ち下がり)が抽出され、時刻t2に画像データ2から同期信号(立ち下がり)が抽出され、時刻t3に画像データ3から同期信号(立ち下がり)が抽出され、時刻t4に画像データ4から同期信号(立ち下がり)が抽出されている。画像データ1が最も早くメモリ36−1に供給され、画像データ2が2番目に早くメモリ36−2に供給され、画像データ3が3番目に早くメモリ36−3に供給され、画像データ4が最も遅くメモリ36−4に供給されている。図30051遅延検出回路37は、最も遅延して出力される画像データ4の同期信号(立ち下がり)を抽出した時刻t4と、画像データ1乃至3の同期信号(立ち下がり)を抽出した時刻t1乃至t3それぞれとの位相差(時間差)を求める。位相差t4-t1が、画像データ4と画像データ1との位相差であり、位相差t4-t2が、画像データ4と画像データ2との位相差であり、位相差t4-t3が、画像データ4と画像データ3との位相差となる。この位相差は、上述したように、同期回路52にそれぞれ含まれるアナログ回路の個体差により生じるものであり、画像の水平方向1ライン分より十分小さい、数ピクセル相当のものに過ぎない。38は、遅延検出回路37からの信号に基づいて、メモリ36−1乃至36−Nそれぞれに対して、メモリ36−1乃至36−Nが保持している画像データを出力するための同期信号を供給することで、それぞれの画像データを同時に出力させる。38は、図3で説明した画像データ1を位相差t4-t1だけ遅延させ、画像データ2を位相差t4-t2だけ遅延させ、画像データ3を位相差t4-t3だけ遅延させ、画像データ4をそのまま出力するようにする同期信号を、メモリ36−1乃至36−4に供給する。これにより、その一部がメモリ36−1乃至36−3に保持されている画像データ1乃至3は、最も遅延して出力された画像データ4と同時に、画像処理部39に出力されるようになる。図30055なお、このとき、メモリ36−1乃至36−3に保持されている画像データ1乃至3のデータ量は、画像データ4がメモリ36−4に供給されるまでに供給された数ピクセル分程度となる。38は、メモリ36−1乃至36−Nに供給した同期信号を、画像処理部39にも供給する。撮像装置11においては、複数の画像データのうちの、最も遅延して出力される画像データの位相(位相信号)を、装置全体の同期信号とすることで、多眼カメラの同期運転が行われる。0057以上の処理によれば、同期して駆動するCMOSセンサ32−1乃至32−Nからメモリ36−1乃至36−Nに出力される画像データの遅延が検出され、そのうちの最大の遅延に基づいて、メモリ36−1乃至36−Nに保持されている画像データが出力されるようになる。このとき、画像データの遅延は数ピクセル相当のものであり、メモリ36に保持される画像データのデータ量も高々数ピクセル分程度の量となる。したがって、従来のフレームシンクロナイザ方式で用いられるフレームメモリのような、大容量のメモリを用意する必要がないので、同期して画像を出力する多眼カメラを、より安価に構成することが可能となる。HDである場合、約2万(1920×1080)ピクセル分のメモリ容量を必要としたが、本技術の構成によれば、数ピクセル分程度のメモリ容量で済むので、およそ100万分の1オーダーでメモリ容量を削減することができる。0059また、従来のフレームシンクロナイザ方式のカメラシステムにおいては、カメラ自体は非同期運転を行うので、映像信号の同時性は保証されなかったが、撮像装置11においては、CMOSセンサ32−1乃至32−Nは、制御コマンド送出回路35からの制御コマンドに基づいて同期運転(駆動)を行うので、映像信号の同時性を、実用上影響のない程度に保つことができる。おいて最初の1回だけ実行されればよく、これ以降は、その検出された遅延に基づいて、画像データが同期されて出力されるようになる。Out)として構成するようにしてもよい。0062[メモリをFIFOとした構成]図4は、撮像装置11において、メモリ36をFIFOとした場合の撮像装置11の構成について説明する図である。ここで、撮像装置11は、4つのCMOSセンサ32−1乃至32−4を備える4眼カメラとして構成されるものとする。図40063図4において、FIFOメモリ131−1乃至131−4はメモリ36−1乃至36−4に、NORゲート132は遅延検出回路37および同期信号発生回路38にそれぞれ代えて設けられたものである。図4において、レンズ31、CMOSイメージセンサ32、リセット信号発生回路33、クロック信号発生回路34、制御コマンド送出回路35、画像処理部39、およびCPU40の図示は省略する。図40064NORゲート132は、画像データ1乃至4から抽出される同期信号の立ち下がりをそれぞれラッチし、全ての同期信号が立ち下がったとき、FIFOメモリ131−1乃至131−4にイネーブル信号を出力する。0065これにより、FIFOメモリ131に保持されている画像データは、最も遅延して出力された画像データと同時に出力されるようになり、図4の構成においても、図1の撮像装置11と同様の作用効果を奏することができる。図1図40066以上においては、本技術を、多眼カメラとしての撮像装置に適用した構成について説明したが、以下においては、本技術を、複数のカメラ(撮像装置)を有する画像処理システムに適用した構成について説明する。0067<3.本技術を適用した画像処理システムの構成>図5は、本技術を適用した画像処理システムの一実施の形態の構成を示している。図50068図5の画像処理システム201は、カメラ211−1乃至211−N、画像出力装置212、および画像処理装置213から構成される。図50069図5の画像処理システム201において、カメラ211−1乃至211−Nは、撮像した画像を画像出力装置212に供給し、画像出力装置212は、カメラ211−1乃至211−Nからの画像を同時に、画像処理装置213に出力する。図50070カメラ211−1乃至211−Nはそれぞれ、CMOSセンサ221−1乃至221−Nを備えている。CMOSセンサ221は、図1のCMOSセンサ32と同様の機能および構成を有するので、その説明は省略する。236、およびCPU237から構成される。38、およびCPU40と同様の機能および構成を有するので、その説明は省略する。図10072画像処理装置213は、画像出力装置212から同期して出力された複数の画像に対して、所定の画像処理を施す。213は、オペレータの操作に基づいて、画像出力装置212から同期して出力された複数の中継画像を切り替える。213は、オペレータの操作に基づいて、画像出力装置212から同期して出力された複数の画像を合成し、1つの多視点画像を生成する。213は、オペレータの操作に基づいて、2台のカメラ211−1,211−2により撮像され、画像出力装置212から同期して出力された2枚の画像に基づいて、被写体までの距離を算出する。図50076なお、図5の画像処理システム201の画像出力装置212による画像出力同期処理については、図2のフローチャートを参照して説明した、図1の撮像装置11の処理と基本的に同様であるので、その説明は省略する。図1図2図50077すなわち、画像出力装置212による画像出力同期処理によれば、同期して駆動するCMOSセンサ221−1乃至221−Nからメモリ234−1乃至234−Nに出力される画像データの遅延が検出され、そのうちの最大の遅延に基づいて、メモリ234−1乃至234−Nに保持されている画像データが出力されるようになる。このとき、画像データの遅延は数ピクセル相当のものであり、メモリ234に保持される画像データのデータ量も高々数ピクセル分程度の量となる。したがって、従来のフレームシンクロナイザ方式で用いられるフレームメモリのような、大容量のメモリを用意する必要がないので、同期して画像を出力する多眼カメラシステムを、より安価に構成することが可能となる。0078また、従来のフレームシンクロナイザ方式のカメラシステムにおいては、カメラ自体は非同期運転を行うので、映像信号の同時性は保証されなかったが、画像処理システム201においては、CMOSセンサ221−1乃至221−Nは、制御コマンド送出回路233からの制御コマンドに基づいて同期運転(駆動)を行うので、映像信号の同時性を、実用上影響のない程度に保つことができる。0079なお、上述した構成においては、複数のCMOSセンサに対して、1のリセット信号発生回路を設けるようにしたが、複数のCMOSセンサに対して、それぞれのリセット信号発生回路を設けるようにしてもよい。0080なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。0081さらに、本技術は以下のような構成をとることができる。前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部とを備える画像処理装置。前記検出部は、前記コマンドに基づいて複数の前記固体撮像装置から略同時に出力されるそれぞれの前記画像データの遅延を検出する(1)に記載の画像処理装置。複数の前記固体撮像装置をリセットするためのリセット信号を発生する、少なくとも1のリセット信号発生部とをさらに備える(1)または(2)に記載の画像処理装置。Semiconductor)イメージセンサとして構成される(1)乃至(3)のいずれかに記載の画像処理装置。検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生するステップを含む画像処理方法。前記検出部により検出された前記画像データの遅延に基づいて、複数の前記メモリに保持されているそれぞれの前記画像データを同時に出力するように、前記画像データの出力を複数の前記メモリに指示する信号を発生する信号発生部とを備える画像処理システム。同期信号発生回路ページトップへこの技術を出願した法人この情報を共有FacebookTwitterGoogle+LinkedInこの技術を発明した人物この情報を共有FacebookTwitterGoogle+LinkedInページトップへ関連する挑戦したい社会課題この情報を共有FacebookTwitterGoogle+LinkedIn犯罪者のいない都市を実現する犯罪者のいない都市を実現するためには、年々変化する犯罪への予防対策・解決への取り組みが重要です。2019/09/12)【課題】簡単な構成でユーザが希望する位置及び構図で撮影を行うことができる。