[0001]【産業上の利用分野】本発明は、複数の2次元画像をもとに立体像を表示する立体像表示装置に関するものである。できる表示装置の種々な研究開発が行われている。従来の立体表示装置は、メガネ方式に代表される2眼式のものであり、左右の眼に異なる映像を見せ両眼輻輳や両眼視差により立体感を得るシステムである。effect.【0003】また、2眼式の延長として多眼式のレンティキュラ方式があるが、立体視の原理は2眼式と同様である。scheme,観察者が左右に頭を動かしても観察される立体像に差異が生じないため、不自然な立体像しか見ることができなかった。image.【0005】これらの欠点を無くすものとして、ホログラフィック・ステレオグラム方式が挙げられる。ホログラフィック・ステレオグラムは、視差を含んだ2次元の映像を垂直方向に細長いスリット状のセグメントホログラムに記録し、水平方向に多数配置するため、観察者が頭を左右に動かしても自然の立体感を得ることができる。parallaxステレオグラムもある。holographicステレオグラムは、フィルムに記録したものであり、リアルタイムに表示できるシステムがなかった。本発明は、これらの問題を解決するため、動画の可能な立体表示装置を実現することを目的としている。[0007]【課題を解決するための手段】図1を参照して課題を解決するための手段を説明する。11は、2次元画像を取り込むものである。image.【0008】画像サイズ変換部12は、2次元画像を拡縮および座標移動を行うものである。13は、2次元画像群から位相分布を計算するものである。images.【0009】位相表現部14は、計算した位相分布をもとに再生光を変調するものである。21は、2次元画像群から補間した2次元画像を生成するものである。13が視方向の異なる2次元画像群から、ホログラム上の位相分布を計算し、位相表現部14がこれら計算した位相分布をもとに、再生光について当該位相分布の光学的波面に変換し、この変換された光学的波面によって立体像を表示するようにしている。wavefront.【0011】この際、視方向の異なる2次元画像群として、物体に対して複数の位置から撮影した2次元画像群を生成するようにしている。21が物体に対して任意の位置から撮影した2次元画像をもとに位置を補間してその位置での2次元画像を生成するようにしている。object.【0012】また、物体に対して任意の位置から撮影した2次元画像をもとに3次元情報を生成し、この3次元情報から2次元画像を生成するようにしている。Also,画像サイズ変換部12が視方向の異なる2次元画像群について、拡縮および座標移動し、この拡縮および座標移動した後の2次元画像群を用いて位相計算などするようにしている。viewed次元画像群のうち、2次元画像からホログラムのセグメントについて位相分布を順次計算するようにしている。image.また、位相計算部13が視方向の異なる2次元画像群のうち、2次元画像から位相分布を順次計算する際に、指定した仮想開口(光束の広がり)で定まるホログラム上の領域についてのみ位相分布を計算するようにしている。viewed次元画像群のうち、2次元画像からホログラムのセグメントについて位相分布を順次計算する際に、指定した視域(視角の広がり)内の2次元画像についてのみ位相分布を計算するようにしている。viewed次元画像群のうち、画像データの存在する画素についてのみ、位相計算を行うようにしている。位相表現部14として、再生光の位相を空間的に変調あるいは光の振幅を変調した光学的波面によって立体像を表示するようにしている。カラー画像を表示するようにしている。there.【0017】従って、視方向の異なる2次元画像群から位相計算して位相分布を求め、この位相分布をもとに再生光を変調して当該位相分布の光学的波面に変換し、リアルタイムに立体像(カラー立体像)を表示することが可能となる。[0018]【実施例】次に、図1から図41を用いて本発明の実施例の構成および動作を順次詳細に説明する。FIG.【0019】図1は、本発明の1実施例構成図を示す。(c)の3つに分類したものである。three.【0020】図1の(a)は、多眼入力の場合の構成図を示す。これは、後述する図2から図4で説明するように、位相分布を計算するために必要な2次元画像を、複数のカメラから得る場合のものである。cameras.【0021】図1の(a)において、入力部11は、物体の複数の2次元画像を取り込むものであって、例えば図3に示すように配置した複数のカメラから物体31の複数の2次元画像を取り込むものである。image.【0022】画像サイズ変換部12は、2次元画像を拡大、縮小したり、座標移動したりなどするものである。movement.位相計算部13は、2次元画像群から位相分布を計算するものである(後述する)。later).【0023】位相表現部14は、計算した位相分布をもとに再生光を変調して、立体像を表示するものである。image.照明部15は、再生光を発生して位相表示器(空間光変調素子)などに照射して、立体像を表示するためのものである。image.【0024】以上の構成により、複数のカメラによって撮影した複数の2次元画像群を入力部11により取り込み、必要に応じて画像サイズ変換部12が拡縮および座標移動を行い、次に位相計算部13がこれらの2次元画像群から位相計算して位相分布を求め、この位相分布に従って位相表現部14で照明部15からの再生光を位相変調し、リアルタイムで立体像を表示するようにしている。time.【0025】図1の(b)は、補間画像生成の場合の構成図を示す。これは、後述する図5から図9で説明するように、位相分布を計算するために必要な2次元画像を、任意位置の2次元画像をもとに補間画像を生成して必要な数の2次元画像を得る場合のものである。ここで、画像サイズ変換部12、位相計算部13、位相表現部14および照明部15は、図1の(a)のものと同様であるので説明を省略する。object,例えば図6や図7に示すように任意の位置に配置したカメラから物体31の2次元画像を取り込むものである。7.【0027】補間画像生成部21は、入力部11によって取り込んだ任意の位置の2次元画像をもとに、位置および画像を補間して2次元画像を生成するものである(図5を用いて後述する)。distribution4で照明部15からの再生光を位相変調し、リアルタイムで立体像を表示するようにしている。time.【0029】図1の(c)は、奥行き情報入力の場合の構成図を示す。これは、後述する図10および図11で説明するように、位相分布を計算するために必要な2次元画像を、任意位置の2次元画像および奥行き値をもとに必要な数の2次元画像を得る場合のものである。15は、図1の(a)のものと同様であるので説明を省略する。object,例えば図11で後述するように、任意の位置に配置したカメラから物体31の2次元画像を取り込むものである。anywhere.【0031】奥行き情報算出部22は、入力部11によって取り込んだ2次元画像上の物体の奥行き情報を3角測量や直接に算出するものである。23,任意の位置の2次元画像上の同一物体の位置から奥行き情報を3角測量や直接に算出したりして3次元情報を得るものである。position.【0032】2次元画像生成部24は、3次元情報から必要な枚数の2次元画像を生成するものである。line,面を消去する処理)を行うものである。distributionからの再生光を位相変調し、リアルタイムで立体像を表示するようにしている。time.【0034】以下順次詳細に説明する。図2から図4を用い、図1の(a)の構成の動作を詳細に説明する。図2において、S1は、多眼の各撮像素子の信号の取り込みを行う。これは、例えば図3の(b)の多眼の各カメラのCCDの各素子から物体31を撮影した信号を順次取り込み、位相計算に必要なn枚の2次元画像を得る。calculation.【0035】S2は、座標変換する。S1,移動したり、拡大/縮小したりして画面上で適切な大きさになるようにする。screen.【0036】以上によって、カメラからそれぞれ取り込んで必要なn枚の2次元画像を生成し、位相計算する準備ができたこととなる。図3は、本発明の2次元画像の生成例を示す。invention.【0037】図3の(a)は全体配置を示す。ここでは、物体31から距離Lのカメラ群位置32に2次元的に複数のカメラを図示のように配置する。(b)は、複数のカメラ配置を示す。(a)のカメラ群位置32に、当該図3の(b)に示すように、2次元的に複数のカメラ(ここでは、n台)を配置する。この配置したn台のカメラで物体31を一斉に撮影し、n枚の2次元画像群を生成し、位相計算に必要な枚数の2次元画像群を得る。calculation.【0038】図4は、本発明の2次元画像の変換説明図を示す。これは、立体像の大きさ、位置を適切なものにするために、2次元画像の拡大、縮小、移動を行うときの説明図である。(c)の方法では、物体データの座標位置を変化させることにより、物体の拡大/縮小や距離の変換が行える。これに対して、物体の3Dデータを持たない既述した図1の(a)や(b)の場合には、2次元画像から立体像の大きさや位置を以下のようにして変化させる。(画像を入力する位置)の関係を示す。0と同一)の関係を示す。(target)が存在する空間に原点Oを定めると、入力した2次元画像内に原点Oの対応位置が存在する。簡単のため、S上の画像を矢印で示す。i分だけ中央からはずれた位置に原点が位置する。Oを中心に像を拡大し、それをもとに位相計算を行う。iから像を見込む角度は変わらないため、視差画像に矛盾が生じない。原点は、例えば見る方向によらず位置が定まるシャープなエッジ上になる。example.【0040】また、物体の位置を平行移動させることにより、必要な物体に注目して拡大、縮小が可能となる。reduce.以上によって、2次元画像を拡大、縮小、移動することにより、立体像の大きさおよび位置を自由に変化させることができる。image.【0041】次に、図5から図9を用い、画像補間して必要な枚数の2次元画像を生成するときの動作を説明する(図1の(b))。図5において、S11は、複数枚の2次元画像の取り込みを行う(図7参照)。これにより、位相計算に必要な枚数よりも少ない、m枚の2次元画像を取り込む。sheets.【0042】S12は、隣接する2次元画像間の対応点の検出を行う。これは、2次元画像間の画像の位置の補間を行うために、隣接する2次元画像間の対応点の検出、例えばパターンマッチングを行って最も類似している所定領域の中心を対応する点と検出する。detect.【0043】S13は、各2次元画像での対応点の重心距離の算出を行う。S14は、補間を行う。この補間は、S13で算出した重心距離の分割(例えば後述するβ:αで分割)を行い、分割した各点で補間後の2次元画像を生成する(図8、図9参照)。これにより、2次元画像をm枚から、位相計算に必要なn枚に補間する。calculation.【0044】S15は、座標変換(移動と拡縮)する。reduction,移動を行う。move.【0045】以上によって、任意の位置から撮影した物体のm枚の2次元画像をもとに、補間して位相計算に必要なn枚の2次元画像を生成することが可能となる。以下補間について詳細に説明する。interpolation.【0046】図6は、本発明のカメラ配置図を示す。図6の(a)は、上から見た図を示す。6,横から見た図を示す。これら図6の(a)、(b)に示すように、4台のカメラの光軸が平行になるように配置する。parallel.【0047】図7は、図6のカメラによる画像例を示す。これは、図6に示すようにカメラを水平方向および垂直方向に配置したときに、各カメラで撮影したときの画像1、画像2、画像3、画像4を模式的に示す。ここで、物体の面を(a)、(b)、(c)と図示のようにする。(c).【0048】図8を用い、図7の水平方向の画像1、画像2を例に水平方向の補間について説明する。is,同じ高さに配置したカメラ2台によって物体を撮影したときに、対応点を求めてその間をβ:αで分割し、補間した2次元画像を生成する場合のものである。a1、b1をそれぞれ求める。L2:画像2上の物体の面a、bの距離a2、b2をそれぞれ求める。a1×(β/(α+β))+a2×(β/(α+β))を求める。+b2×(β/(α+β)))を求める。β))).【0051】L3'':L3とL3'で補間したものを合成し、求める補間後の2次元画像を生成する。図8の(c)は、水平方向の補間画像をイメージ的に表示したものである。L1に対応し、画像2が図8の(a)のL2に対応し、補間画像が図8の(a)のL3''に対応している。2からβ:αに補間した画像(2次元画像)を生成することが可能となる。図9を用い、図7の垂直方向の画像1、画像3を例に垂直方向の補間について説明する。これは、垂直方向に配置したカメラ2台によって物体を撮影したときに、対応点を求めてその間をβ:αで分割し、補間した2次元画像を生成する場合のものである。a1、c1をそれぞれ求める。M2:画像3上の物体の面a、cの距離a2、c2をそれぞれ求める。a1×(β/(α+β))+a2×(β/(α+β))を求める。+c2×(β/(α+β))を求める。β)).【0055】M3'':M3とM3'で補間したものを合成し、求める補間後の2次元画像を生成する。図9の(c)は、垂直方向の補間画像をイメージ的に表示したものである。M1に対応し、画像3が図9の(a)のM2に対応し、補間画像が図9の(a)のM3''に対応している。3からβ:αに補間した画像(2次元画像)を生成することが可能となる。次に、図10および図11を用い、奥行き情報をもとに3次元情報を生成し、この3次元情報から必要な枚数の2次元画像を生成する場合の動作を詳細に説明する。detail.【0057】図10は、本発明の奥行き情報入力のフロー図を示す。図10において、S21は、隣接する2次元画像の取り込みを行う。S22は、カメラ間隔の取り込みを行う。interval.【0058】S23は、対応点の検出を行う。is,S21で取り込んだ隣接する2次元画像について、パターンマッチングを行って対応点を検出する。is,各対応点毎に、奥行き情報を算出する。これは、隣接する2次元画像の対応点の座標、カメラ間隔をもとに3次元座標(X、Y、Z)を算出する。of.【0059】S25は、対応点について全て終わりか判別する。YESの場合には、S26に進む。NOの場合には、次の対応点について、S24を繰り返す。S24.S26は、求めた奥行き情報(X、Y、Z)の移動、拡縮を行う。size,位置を所望の大きさ、位置にするためである。position.【0060】S27は、2次元画像の生成および隠線(面)処理を行う。S26次元情報をもとに、複数の方向から見た位相計算に必要な枚数の2次元画像を生成すると共に、Zバッファ法により隠線(隠面)処理を行う。method.【0061】以上によって、隣接する2次元画像をもとに3次元情報を算出し、この3次元情報から位相計算に必要な枚数の複数の角度からの2次元画像を生成することが可能となる。.【0062】図11は、本発明の奥行き説明図を示す。invention.図11の(a)は、三角測量の原理を示す。これは、三角測量の原理を使用して、2次元画像から奥行き情報を算出する原理を示す。3の交点として求めることができる。奥行き情報を求めることができる。ここで、画面1、2、3は、それぞれ見やすくるために模式的に表示している。2枚の画像の対応点の求め方を以下に記載する。p1の3点によって定まる視線面と画面2との交線として求まる直線l(視線像)上にある。1の対応点の探索は、画面2の直線l上のみの探索で済むこととなる。)に対して垂直であり、基線と画面の水平軸(X軸)が平行となる場合、視線像がカメラの走査線と一致するため、対応点探索が容易となる。この場合の3次元データ作成手順を示す。領域分割、エッジ抽出、線検出などの各種画像処理を行う。2上に映されるという拘束条件のもとに相関により対応点を求める。性質を利用して対応づけを用いて信頼性を高める。nature.【0064】また、図11の(b)に示すように、カメラを3台使い、これにより生じる幾何学的な拘束を利用する3眼視の方法も、信頼性を向上させることができる。2の2点の候補が挙がり同定できない。2を対応点として決定できる。このようにして対応点を求めた後、上述した三角測量の原理により、3次元データを求める。このように求められた3次元情報を用い、任意の方向からの2次元画像を容易に得ることができる。direction.【0065】図12は、本発明の位相計算フロー図(フレネルホログラム)を示す。S31は、あるセグメントホログラムと対応する2次元画像に着目する。hologram.【0066】S32は、必要に応じて、視域から2次元画像領域の制限を行う。later,視域の範囲内の2次元画像領域についてのみ位相計算を行うように制限する。zone.【0067】S33は、2次元画像の画素毎に、画像データ有りか判別する。これは、位相計算を行う前に、画像データがありか判別して位相計算量を削減する。images,YESとなり、S34で2次元画像の画素毎に2次元画像の画素とセグメントホログラム上の全画素との位相計算を行い、S35に進む。35.【0068】S35は、2次元画像上の全ての画素、すべてが終わったか判別する。YESの場合には、2次元画像上の全ての画素とセグメントホログラム上の全画素との位相計算が終了したので、S36に進む。S33以降を繰り返す。repeated.【0069】S36は、セグメントホログラムの全て終わりか判別する。NOの場合には、次のセグメントホログラムについて、S31以降を繰り返し行う。S31.【0070】以上によって、セグメントホログラム毎に2次元画像上の全画素とセグメントホログラム上の全画素との位相計算を行うことを、全てのセグメントホログラムについて繰り返し行うことにより、ホログラフィックステレオグラムに必要な位相計算を行うことが可能となる。以下具体例について図13から図17を用いて順次詳細に説明する。examples.【0071】図13は、本発明のホログラムの説明図を示す。図13の(a)は作成を示し、図13の(b)は再生を示す。ここで、ホログラムは、1つのレーザ光を2つに分割し、一方のレーザ光を物体に照射して散乱したレーザ光(物体光)と、もう一方のレーザ光(参照光)の2光束干渉により得られる。Hに比例した振幅、位相の変化がホログラムに起こる。電子的にホログラムを作成するには、光の振幅や位相の変化できるデバイス(後述する表示位相器)が必要となる。required.【0072】こうして作成したホログラムの参照光と同じ波面を入射し、ホログラムを再生する。第1項は物体からの波面が再生されたことを示し、第2項は物体光の共役波を示している。)のみ計算すれば良いこととなる。図14は位相計算説明図(フレネルホログラム)を示し、図15は位相計算説明図(イメージホログラム)を示す。hologram).【0074】今、参照光をホログラムに垂直に入射する平面波とすると、場所による強度変化がないので、Rを無視することができる。