記録、伝送されたストリームを復号、再生するための階層画像復号方法ならびに装置に関するものである。[0002]【従来の技術】デジタル画像信号は膨大な情報量を有し、伝送、記録のためには高能率符号化が不可欠である。提案され、中には階層画像符号化の機能を有する手法も開発されている。階層画像符号化とは、利用者が1種類のビットストリームから空間、時間解像度などの異なる画像を利用できるように圧縮符号化する方式であり、例えばHDTVと標準TVを併せて伝送し利用者の要求に応じて受信、再生できるものである。above.【0004】図17は従来のMPEG方式の階層符号化装置のブロック図である。14は逆量子化回路、15は逆DCT回路、16はフレームバッファ、17は動き補償回路である。2は第2の圧縮符号化手段で、21〜28はそれぞれ11〜18と同様の機能を有する回路であるが、処理できる画像のサイズが異なっている。32は第2の解像度変換回路、4は多重回路である。ついて、以下その動作を説明する。below.【0006】映像信号は、フレーム単位に区切って入力するものとする。入力画像は、まず第1の解像度変換回路31で水平垂直とも半分の解像度の画像に変換する。image.符号化の最初のフレームは、差分を取ることなく、フレーム内符号化する。入力画像データは、2次元ブロック単位でDCTを行い画像データを変換係数に変換する。23で可変長符号化し伝送路に送出する。DCT変換回路25を経て実時間データに戻し、フレームバッファ26に蓄える。26.【0007】一般に画像は相関が高いため、DCTを行なうと、低い周波数成分に対応する変換係数にエネルギーが集中する。従って、視覚的に目立たない高い周波数成分をあらく、重要な成分である低い周波数成分を細かく量子化を行なうことで、画質劣化を最小限にとどめ、かつデータ量を減らすことが可能となる。data.【0008】一方、フレーム内符号化フレーム以降の画像は、フレームごとに予測値を計算し、前記予測値との差分、すなわち予測誤差を符号化する。method,前記2次元ブロック単位に求める。次に、フレームバッファ26及び動き補償回路27は前記検出した動きベクトルを用いて、次のフレームの動き補償した予測値を前記2次元ブロック単位で生成する。生成した予測値と入力画像データの差分を計算して予測誤差を得て、予測誤差をフレーム内符号化と同様の方法で符号化する。coding.【0009】以上の符号化装置によれば、予測誤差を最適に符号化することになるので、フレーム内符号化のように、画像データを直接符号化する場合に比べ、エネルギーが減少し、さらに高効率な符号化が可能となる。possible.【0010】また、解像度を変換しない画像も、基本的に解像度を落とした画像と同様に符号化するが、予測値生成に解像度の低い画像を使うことができる点が異なる。and,予測値の候補の一つとして用いる。17は、フレームバッファ16から読み出した予測値と、解像度変換回路32の出力のどちらかを、原画と差分を計算して小さい方を選択して符号化に用いる。以上の方法で高解像度の画像を符号化することにより、低解像度と類似の部分は符号化の必要がなくなり、符号化効率を上げることができる。efficiency.【0011】上述した低解像度及び高解像度の符号化画像データは、多重回路4で多重化し伝送路に送出する。4.復号装置では、1種類の符号化画像データから、低解像度の符号化画像データを取り出して復号することで低解像度の画像が、低解像度と高解像度、両方の符号化画像データを取り出して復号することで高解像度の画像を得ることができる。従って、利用者は状況に応じて低解像度と高解像度の画像を切り替えて受信可能となる。[0012]【発明が解決しようとする課題】しかしながら、上記のような構成では以下の問題が生ずる。復号側では低解像度の画像は、低解像度用の復号装置があれば再生可能である。高解像度の画像は、予測値として低解像度の画像を用いているため低解像度の画像を復号しないと再生することができない。従って、従来の方法で階層符号化したストリームから高解像度の画像を復号するために高解像度の画像復号装置は、低解像度の画像復号装置も内蔵しなければならず、ハードウェア、計算量ともに規模が大きくなる。両方の復号装置が同期して動作しなければならないため、装置そのものの構成も複雑になるという問題点を有していた。streamの圧縮符号化手段と、前記第1のデジタル画像と解像度の異なる第2のデジタル画像を入力し、圧縮したビットストリームを生成する第2の圧縮符号化手段と、前記第1の圧縮符号化手段で圧縮した画像データの一部を伸張したデジタル画像を解像度の異なる第2のデジタル画像の解像度に変換し第3のデジタル画像を出力する解像度変換手段とからなり、前記第3のデジタル画像を用いて前記第2のデジタル画像を前記第2の圧縮符号化手段で圧縮符号化するという構成を有するものである。secondのビットストリームを復号時に利用するフレーム順序に従い連続して多重して出力するという構成を有するものである。firstの圧縮画像データを入力し、伸張して第1のデジタル画像データを生成する第1の復号化手段と、第2の圧縮画像データを入力し、伸張して前記第1のデジタル画像と解像度の異なる第2のデジタル画像データを生成する第2の復号化手段と、前記第1の復号化手段で伸張した第1の画像データの一部を、前記第2のデジタル画像の解像度に変換し第3のデジタル画像を出力する解像度変換手段とからなり、前記第3のデジタル画像を用いて前記第2のデジタル画像を第2の復号化手段で復号化するという構成を有するものである。装置について、図面を参照しながら説明する。circuit,16はフレームバッファ、17は動き補償回路、19はスイッチである。means,21〜28はそれぞれ11〜18と同様の機能を有する回路であるが、処理できる画像のサイズが異なっている。3は解像度変換手段で解像度変換回路、4は多重化手段でバッファ41、CPU42により構成される。43は伝送媒体、44は記録媒体である。medium.【0018】圧縮の基本動作は、従来例の画像符号化装置とほぼ同様である。大きく異なるのは高解像度の圧縮符号化手段1にスイッチ19を設けた点である。従来の符号化装置では、高解像度の画像を符号化する際に低解像度の画像を予測に用いていた。本実施の形態では、高解像度の画像の一部のみに低解像度の画像を予測に用いることに限定する。具体的には、高解像度のフレーム内符号化フレーム(以下Iフレームと省略する)を符号化する際、スイッチ19を切り替え、低解像度の画像を解像度変換回路3で解像度を変換したものと原画の差分を計算した後、符号化する。MPEG符号化方式に於ける片方向予測フレーム(Pフレーム)、双方向予測フレーム(Bフレーム)は、低解像度の画像を予測に用いない。一般的に高解像度と低解像度の画像は画素の密度が大きく異なるため、異なる解像度の画像間の予測よりも、同じ解像度の時間的に異なるフレームの画像からの予測が効率が良い。従って、Iフレームは時間的な予測を行わないため、低解像度画像から予測することでIフレームそのものを符号化するより効率的になるが、その他のフレームは解像度の異なる画像からの予測を入れなくても、すべての画像について予測を用いたものに比べ圧縮効率はそれほど低下しない。frame,低解像度の画像との予測誤差を計算する必要がなくなり、動き補償回路17の構成が簡易になるという効果がある。構成を簡易になるという点で、Iフレームがもっとも望ましい。desirable.【0020】第1及び第2の圧縮符号化手段1、2の出力であるそれぞれのビットストリームはバッファ41に入力し、CPU42の制御により1本のストリームに多重化して出力し、伝送媒体43にて伝送、あるいは記録媒体44に記録する。44.【0021】図2は圧縮符号化手段1、2それぞれの出力を示す説明図、図3は多重化したビットストリームの出力を示す説明図である。CPU42の動作を示すフローチャートである。3I、P、Bはフレームの種類をあらわし、ビットストリームにおいてフレームがどのような順序で時間的に符号化されているかを示している。それぞれのフレームの長さは圧縮したデータの量を表している。高解像度のストリーム図2(a)は低解像度のストリーム図2(b)と同じフレーム順序で符号化されており、また高解像度であるため、データ量も多いものとする。図1で説明したように、高解像度画像においてIフレームは低解像度の例えばIフレームを用いて予測符号化しているため差分となる。多重手段4で多重する場合、一般的には一定のパケットに区切って多重するが、データ量が異なる場合はそのデータ量の比とパケットの長さあるいはパケット数の比を一致させる。FIG.(a)は高解像度画像のデータ、(b)は低解像度画像のデータを含んでいることを表す。画像ではI、P、Bのデータ量の比率が異なるため、図3(a)のように、フレーム種類が無関係に多重される。このような多重では、本実施例のように高解像度画像の復号に低解像度画像のデータの一部のみを使いたい場合には不都合が生ずる。Iフレームかどうか確認しなければならない。bothIフレームはパケットの先頭から始まるよう、前のフレームにnullすなわちゼロをつめている。高解像度のIフレームの直後に、低解像度のIフレームが来るように順番を並べて多重している。このような多重を行えば、フレームの種別を知るためには常にパケットの先頭の数バイトを調べればよく、また、高解像度画像と低解像度画像のIフレームは連続しているので、簡易に抽出する事が可能になる。図4は、図3(b)の多重を実現するCPU42のフローチャートである。(b).【0022】また、図5は多重化方法の別の例を示すフローチャートである。同図では、パケット自体を加工することなく、59で低解像度画像のストリームのIフレームを含むパケットすべてに識別フラグを付与する。することにより、復号化装置はパケットすべての内容を調べることなく、高解像度画像の復号に必要なパケットを抽出することが可能となる。image.【0023】なお図5の例ではIフレームに識別フラグを付与するとしたがこれに限るものではなく、高解像度の復号に利用する低解像度のフレームのパケットに識別フラグをつけることにより、Iフレーム以外でも利用でき、同様の効果を得ることができる。図6において6はストリーム選択手段で61のバッファ、62のCPUで構成する。7は高解像度画像の復号化手段で可変長復号回路63、逆量子化回路14、逆DCT回路15、フレームバッファ16、動き補償回路17からなる。8は低解像度画像の復号化手段で、可変長復号回路64、逆量子化回路24、逆DCT回路25、フレームバッファ26、動き補償回路27からなる。3は解像度変換手段で解像度変換回路で構成する。14〜17、24〜26、3と同様の動作をする。図7は、高解像度画像を復号する場合のCPU62の動作を示すフローチャートである。ストリーム種別に応じてそれぞれの復号手段に出力される。64で可変長復号し、Iフレームならば逆量子化、逆DCTのみをへて、P、Bフレームならばさらにフレームバッファに記憶した参照フレームを用いて動き補償回路17で動き補償した画像と加算して、実時間画像データを復号し、再生する。復号は以下の動作に従う。ストリームの振り分けを行う。高解像度画像のIフレームの復号には、低解像度画像のIフレームが必要であるため、74で低解像度画像のストリームからIフレームのみを取り出し、復号化手段8で復号する。Iフレームのみをストリーム選択手段6で取り出すためには、基本的にはヘッダをすべて読みとる必要があるが、前述の多重化手段で示したようなパケット化あるいはフラグの付与でより少ない演算量で抽出可能となる。8に送らないため、余分な演算量が削減できるという効果がある。高解像度画像のストリームは、そのまま復号手段7に出力する。復号化手段8は、Iフレームを復号し、解像度変換回路3で高解像度画像に変換する。復号化手段7では、Iフレームのみ解像度変換回路3の出力を用いて予測、復号し、その他の画像は、低解像度画像と同様の方法で復号する。image.【0027】以上の動作により、高解像度画像を復号できる。Iフレームのみを予測に用いることにより、高解像度画像の復号時に低解像度画像用のフレームバッファ26、動き補償回路27を使用する必要がなく、演算量、メモリバンド幅とも大きく削減可能となる。bandwidth.【0028】図8は復号化装置をソフトウェアで構成した際の全体処理のフローチャートである。図9は図8の復号化装置に入力するストリームを示す説明図である。ソフトウェアで処理する場合、一般的には高解像度の画像復号と低解像度の画像復号は時分割で演算する。従って、ストリーム選択手段では図9のように、低解像度と高解像度の画像を時分割で出力する必要がある。stream,その他が高解像度のストリームを表す。低解像度のIフレームは、高解像度のIフレームより前に処理する必要があるため、先に出力し復号手段で復号、解像度変換を行う。低解像度画像のストリームはIフレーム以外は復号しない。次に高解像度のIフレームは、低解像度のIフレームの復号終了を待ってから、解像度変換した画像を予測に用いて復号する。conversion.【0029】上記の動作で、ソフトウェアで構成した復号化装置であっても演算量が少なく復号することが可能となる。less.【0030】図10、11はソフトウェアで復号する場合の他の例である。図10はMPEGにおけるブロックの概念を表した説明図である。1フレームの画像は可変長復号化の最小単位であるスライスからなる。スライスは動き補償の単位であるマクロブロックで構成され、マクロブロックはDCTの単位であるブロックからなる。典型的には、1フレーム720画素×480ラインの場合、1ブロックは8画素×8ライン、1マクロブロック=2×2ブロック、1スライス=45マクロブロック、1フレーム=30スライスとなる。可変長符号化の単位はスライスであるため低解像度と高解像度の画像を処理する場合、スライス単位に交互に復号が可能となる。低解像度の画像は解像度変換する必要があるので解像度変換に用いる分のライン数の復号が必要である。図11では、2タップのフィルタを想定し、フレームの先頭に2スライス復号し、それ以降順次1スライスずつ復号している。長いタップ数のフィルタを用いる場合には、フレームの先頭で復号するスライス数を増せばよい。このような構成をとることにより低解像度画像のIフレームをすべて高解像度画像のIフレームの復号のために保持しておく必要がなく、2スライス分などのメモリで済み、メモリの使用効率が向上する。to.【0031】なお図8、9、10、11において、ソフトウェアで復号する場合について説明したが、これに限ることなく、低解像度の復号手段と高解像度の復号手段をハードウェアで共用する場合にも同様の手法を用いることができる。slice,次に高解像度画像のスライスというように交互に復号手段に出力することでハードウェア規模、メモリ量を削減できる。memory.【0032】また以上の実施の形態では、すべて多重したストリームを入力するとしたが、これに限る物ではない。ネットワークで使用する際などでは、高解像度画像と低解像度画像のストリームを多重せずに伝送する場合がある。その場合には、1つのストリームから抽出するという操作を省略するだけでその他は同じ処理を用いることができる。装置について、図面を参照しながら説明する。13は圧縮符号化手段1及び圧縮符号化手段2で生成するビットストリームの説明図である。2.【0035】図12において、それぞれのブロックの基本的な動作は実施の形態1の図1と同様である。1ではなく低解像度画像の圧縮符号化手段2に設けた点である。図13(a)に示したように、高解像度画像は、Iフレームで予測符号化せず、階層符号化を行わない場合と同様、他の画像を参照せずに圧縮符号化する。低解像度画像のビットストリームではIフレームは送らない。低解像度のIフレームには、高解像度画像で符号化、復号化したIフレームを解像度変換回路3で低解像度に変換したものを用い、その他のP、Bフレームを解像度変換したIフレームを用いて予測符号化する。ストリームを送る際の合計したビットレートを減らすことが可能となる。12CPU42のフローチャートである。低解像度画像のビットストリームは、Iフレームを送らないが、復号化装置で再生する際は、Iフレームを挿入して再生、表示する必要がある。図14では、多重化の際にIフレームを挿入すべき位置に識別フラグを付与する。付与するパケットとしてはIフレームの挿入前、挿入直後のどちらでも伝送時に規定すれば用いることが可能である。挿入する位置がわかればよいため、図13(b)に示したようにあらかじめBフレームが連続する数を定めておけば、規定値より多く連続した場合、図13では最初のパケットが該当、には本来Iフレームが挿入される位置であるとして検出する事も可能である。この場合にはエラー、編集等でBフレームの連続する枚数が変化すると検出誤りが発生するという欠点があるため、伝送、記録媒体によりそれぞれの方法を選択すれば良い。medium.【0038】さらに、ストリーム、あるいはパケットのヘッダに余裕がある場合には、第1の実施の形態で示したIフレーム識別フラグ、本実施の形態で示したIフレーム挿入フラグの位置を示す先頭からのビット数、あるいはパケット数をヘッダ中にまとめてあるいは何カ所化に分散して付加することも可能である。15,それぞれのブロックの基本的な動作は第1の実施の形態の図6と同様である。異なるのは、スイッチ29を低解像度画像の復号化手段2に設けた点である。3で低解像度変換されフレームバッファ26に記憶する。6に送出し、次のIフレームが伝送されてくるまで高解像度画像の符号化手段7への入力を停止する。26,高解像度画像を変換したIフレームを用いてその他のフレームを復号し再生する。生成したストリームを復号することが可能となる。granted,選択手段がパケットのフラグを検出して判断できるため、入力停止信号64は不要である。パケットにフラグが付与されていない場合には、不要な処理を避けることができるため、演算量の削減に有効である。実施の形態1と組み合わせて用いることも可能である。embodiment.【0042】図16は、画像復号化装置をソフトウェアで構成した場合の処理を示すフローチャートである。実施の形態1と同様、ソフトウェアで構成した場合は時分割処理となる。本実施の形態では、低解像度画像のPフレーム、Bフレームを復号する前に、高解像度画像のIフレームを復号、解像度変換する必要がある。図16では、挿入位置を図14で示した挿入フラグで判断しその位置に復号、変換したした高解像度画像のIフレームを挿入することで実現している。以上の動作によれば、ソフトウェアでも復号可能となる。16の動作はハードウェアで構成した復号手段を共用した場合にも有効である。その際は選択手段6は、送られたストリームから高解像度画像のIフレームを抽出し、低解像度画像のIフレーム位置にストリームを挿入してから復号化手段に送る。image.【0044】またソフトウェアで復号する場合、低解像度の画像を復号する能力しかない端末で高解像度の画像を復号したい要求がある。そのような端末で、高解像度画像のストリームを復号する場合には、まず、ストリーム中に含まれる解像度を示す情報、あるいは復号バッファ量、Iフレームの大きさ、ビットレートなどから、復号に必要な演算量を判断する。次に、演算量が十分でないと判断された場合、まずBフレームの復号をやめる。stop,演算量の大小に応じて、復号する枚数を調整する。それでも、復号できない時には、Pフレームの復号をさらにやめるなどの方法が考えられる。本実施の形態によれば、低解像度画像の復号に一部の高解像度画像のみしか復号する必要がないため、低解像度画像を復号する能力しかない場合でも、演算量の負荷、あるいは復号をやめる枚数は最小限にとどめることが可能となる。minimize.【0045】以上の実施の形態では、高解像度画像あるいは低解像度画像で参照するフレームをIフレームとしたがこれに限る物ではなく、ハードウェアの演算量が許容できる場合にはPフレームにも用いることが可能である。[0046]【発明の効果】以上のように本発明は、高解像度の画像を符号化する際、フレーム内符号化の部分のみ予測する、あるいは低解像度の画像を符号化する際、高解像度のフレーム内符号化フレームを利用することにより、圧縮効率の低下を最小限にとどめかつ簡易な構成の符号化、並びに復号化装置を提供ことが可能になる。することが可能となる。従い多重化した多重ストリームを伝送する伝送媒体。従い多重化した多重ストリームを記録する記録媒体。