開発・改良に意欲的に取り組んでいます。ユーザの皆さまから寄せられるご意見やご感想は、改善点の優先順位などを検討する際に、貴重なご意見として役立ててまいります。情報処理装置および情報処理方法、並びにプログラム技術分野[0001]本開示は、情報処理装置および情報処理方法、並びにプログラムに関し、特に、処理を簡潔に行うことができるようにした情報処理装置および情報処理方法、並びにプログラムに関する。Cloudの圧縮方法が規定されている。Cloudを複数の領域に分割(以下、セグメンテーションと称する)し、領域毎に平面投影してtexture画像およびgeometry画像を生成した後、それらを動画コーデックにより符号化する方法が開示されている。Cloudを構成する点群のdepth情報から構成される画像である。streamとも称する)の構造は、非特許文献3に開示されている。networkで配信するユースケースが期待されている。HTTP)による配信技術についての検討が開始された。Cloudを再生するクライアント側における処理が複雑なものとなるため、処理が遅延したり、処理コストが増大したりすることが懸念される。[0010]本開示は、このような状況に鑑みてなされたものであり、処理を簡潔に行うことができるようにするものである。課題を解決するための手段[0011]本開示の一側面の情報処理装置は、3次元構造を表す3Dデータを2次元に変換することによって、少なくとも第1の画像および第2の画像と、前記第1の画像および前記第2の画像を3次元に構築するのに必要な3次元情報メタデータとが得られ、特定時刻に表示される前記3Dデータを構成する1単位のファイルを、前記第1の画像および前記第2の画像を前記3次元情報メタデータに基づいて3次元に再現して再生する際に必要な再生順に従って、前記第1の画像および前記第2の画像と前記3次元情報メタデータとを格納して生成するファイル生成部を備える。[0012]本開示の一側面の情報処理方法またはプログラムは、3次元構造を表す3Dデータを2次元に変換することによって、少なくとも第1の画像および第2の画像と、前記第1の画像および前記第2の画像を3次元に構築するのに必要な3次元情報メタデータとが得られ、特定時刻に表示される前記3Dデータを構成する1単位のファイルを、前記第1の画像および前記第2の画像を前記3次元情報メタデータに基づいて3次元に再現して再生する際に必要な再生順に従って、前記第1の画像および前記第2の画像と前記3次元情報メタデータとを格納して生成することを含む。[0013]本開示の一側面においては、3次元構造を表す3Dデータを2次元に変換することによって、少なくとも第1の画像および第2の画像と、第1の画像および第2の画像を3次元に構築するのに必要な3次元情報メタデータとが得られ、特定時刻に表示される3Dデータを構成する1単位のファイルが、第1の画像および第2の画像を3次元情報メタデータに基づいて3次元に再現して再生する際に必要な再生順に従って、第1の画像および第2の画像と3次元情報メタデータとを格納して生成される。発明の効果[0014]本開示の一側面によれば、処理を簡潔に行うことができる。[0015]なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。Cloudの圧縮方法を説明する図である。streamの構造を示す図である。GOFの構造を示す図である。streamの構造を示す図である。sampleの構造を示す図である。sampleの一例を示す図である。headerに格納される情報の一例を示す図である。headerに格納される情報の一例を示す図である。headerに格納される情報の一例を示す図である。trackに格納する際の一例を示す図である。codec_specific_parametersの定義を示す図である。PCSampleEntryの構造を示す図である。PCHeaderBoxの一例を示す図である。SubSampleEntryBoxの一例を示す図である。LayerCompositionBoxの一例を示す図である。sampleの一例を示す図である。PCファイル生成処理を実行する情報処理装置の第1の構成例を示すブロック図である。Cloud再生処理を実行する情報処理装置の第1の構成例を示すブロック図である。PCファイル生成処理の第1の処理例を説明するフローチャートである。Cloud再生処理の第1の処理例を説明するフローチャートである。第1の格納方法におけるISOBMFF構造の一例を示す図である。referenceによる紐づけについて説明する図である。パッキングのバリエーションを示す図である。streamのシグナリングの一例を示す図である。新たに定義するSEIの一例を示す図である。packing_arrangementおよびframe0_is_geometryの定義を説明する図である。frame0の定義を示す図である。trackに格納する際の一例を示す図である。PCPackingInfoBoxの一例を示す図である。PCファイル生成処理を実行する情報処理装置の第2の構成例を示すブロック図である。Cloud再生処理を実行する情報処理装置の第2の構成例を示すブロック図である。PCファイル生成処理の第2の処理例を説明するフローチャートである。Cloud再生処理の第2の処理例を説明するフローチャートである。PCPackingInfoBoxの変形例を示す図である。第2の格納方法におけるISOBMFF構造の一例を示す図である。streamのシグナリングの一例を示す図である。ISOBMFFのシグナリングの一例を示す図である。GOFEntry()の定義を示す図である。PCFrameEntry()の定義を示す図である。ComponentGroupEntry()の定義を示す図である。sampleのインターリーブ周期の識別について説明する図である。第3の格納方法におけるISOBMFF構造の一例を示す図である。SEIを用いずにシグナルする例について説明する図である。ISOBMFFのシグナリングの一例を示す図である。PCMultiStreamBoxのシンタックスの一例を示す図である。PCMultiStreamBoxの変形例を示す図である。PCTextureTrackGroupのシンタックスの一例を示す図である。PCMultiStreamBoxの変形例を示す図である。trackをシグナルする例を示す図である。新たに定義されるPCStreamGroupBoxの一例を示す図である。第4の格納方法におけるISOBMFF構造の一例を示す図である。DASHのシグナリングについて説明する図である。DASHのシグナリングについて説明する図である。SubSampleInformationBoxの概要を示す図である。Groupの概要を示す図である。データ生成装置の構成例を示すブロック図である。データ再生装置の構成例を示すブロック図である。本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。発明を実施するための形態[0017]以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。[0018]<従来の符号化方法>本技術を適用した符号化方法について説明する前に、図1乃至図4を参照して、従来の符号化方法について説明する。Cloudの圧縮方法を、簡略的に説明するための図である。Cloudがセグメンテーションされる。Cloudが入力され、半球形状を1領域に、円錐形状を2領域に分割した3つの領域にセグメンテーションが行われる。次に、領域ごとに平面投影が行われ、それぞれの領域の表面の見た目を表す色情報からなるtexture画像、および、それぞれの領域の表面までの奥行(depth)を表す位置情報からなるgeometry画像が生成される。Coding)などの動画像コーデックで符号化される。streamの構造を示す図である。frameの構成要素がまとめられている。Cloudのことである。map)から構成される。rate)×(GOF時間幅)×N個(layerの数)の複数のframeを持つ。streamは、それぞれN個のframeを持つという特徴がある。Cloudの厚み方向の層構造を表現するためである。frameが構成されることを意味する。mapを用いてgeometryパッチとtextureパッチを生成する。対してtextureパッチにより色を付ける。streamにおけるGOFの構造が示されており、layer数が2である例が示されている。frameがストリーム内で連続配置されない構造となっている。frame#2の再生に必要な要素とが、互いに前後になるように配置される構造となっている。layer0からアクセスを開始するような処理が発生してしまう。従って、上述したように、通常再生時にランダムアクセスが多量に発生してしまう。Protocol)での配信に適していない。streamとを、streamごとに独立したものとして取り扱い、個別のtrackに格納する手法が開示されている。この手法においても、通常再生時にランダムアクセスが多量に発生することになってしまう。streamを取得する際、各streamのbitrateをネットワーク帯域幅に応じて選択し、最適な品質のPCCを再構成するというユースケースに有用である。streamとの組み合わせ)を配置する負担がなくなるからである。streamとの紐づけ方法を新たに定義することで、クライアントにおける処理を簡潔に行うことができるようにするものである。sampleと称する)について説明する。sampleの構造を示す図である。sampleから構成されると定義する。trackに格納する。Cloudを構成可能となる。これにより、クライアントは、上述したような通常再生中に多量のランダムアクセスが発生することを回避することができ、処理を簡潔に行うことができるため、例えば、処理の遅延や処理コストの増大などを回避することができる。sampleの連続で構成される。sampleは、複数のcomponentと3次元情報メタデータとで構成される。ここで、componentには、texture画像およびgeometry画像が含まれる。headerからなる。[0036]また、1つのcomponentは、複数のsubsampleから構成される。subsampleから構成される。subsamplesは、それぞれ個別に動画コーデックで符号化される。pictureを構成する単位となる。headerは、componentのlayer構造を示す情報を持つ。infoは、パッチを3Dオブジェクトに張り付けるための2D3D変換情報を持つ。headerをシグナルしてもよい。mapなどのような3次元情報メタデータを、subsampleとしてもよい。streamを格納する方法である第1の格納方法について説明する。streamのシグナリングについて説明する。sample(即ち、ISOBMFFのsample)の一例が示されている。subsampleが連続的に配置された構成となっている。headerに格納される情報の一例が示されている。frameを構成するtexture画像またはgeometry画像のlayer数を示す情報(number_of_layer)が格納される。mapの解像度を示す情報(occupancyResolution)が格納される。headerには、平滑化のための近傍点を検出する半径を示す情報(radiusToSmoothing)、平滑化に使用する近傍点の最大数を示す情報(neighborCountSmoothing)、境界点を検出する半径を示す情報(radius2BoundaryDetection)、および、平滑化閾値を示す情報(thresholdSmoothing)が格納される。[0046]図8には、図6のheaderに格納される情報の一例が示されている。[0047]図8に示すように、headerには、texture画像またはgeometry画像のsubsampleのサイズを示す情報(size_of_sample)、subsampleのタイプを示す情報(type)、および、subsampleのlayer識別子(layer_id)が格納される。subsampleのタイプを示す情報が0である場合、subsampleがgeometry画像であることを示し、subsampleのタイプを示す情報が1である場合、subsampleがtexture画像であることを示す。Infromation)として含まれる。sampleの境界を識別可能であり、headerから各componentのsubsampleの境界を識別可能である。streamを抽出し、それぞれデコーダに入力してデコード処理を実施することができる。infoは、layer間で同じであれば同一の情報が各layerのsubsampleにシグナルされる。layerごとに、その情報が異なっていてもよい。subsampleにシグナルされてもよい。headerをシグナルしてもよい。headerに格納される情報の一例が示されている。Frames内のフレーム数を示す情報(group0fFramesSize)が格納される。headerと同じ情報が格納される。subsampleとしてもよい。[0055]図10乃至図16を参照して、ISOBMFFのシグナリングについて説明する。trackに格納する際の一例が示されている。[0057]例えば、ISOBMFFのmoovには、新たに定義するPCSampleEntry(図12参照)が格納され、PCSampleEntryは、図13に示すPCHeaderBox、図14に示すSubSampleEntryBox、および、図15に示すLayerCompositionBoxからなる。subsampleとの境界をシグナルすることができる。SubSampleInformationについては、後述の図54に示すSubSampleInformationBoxの概要を参照して説明する。sampleが格納される。[0060]ここで、SubSampleInformationBoxにおいて、符号化コーデックごとに決まるsubsampleの情報であるcodec_specific_parametersが定義される。subsampleであることを示す。[0062]なお、codec_specific_parametersにlayer識別子の情報を含んでもよい。subsample群の単位で提供されてもよい。informationに、それぞれのsubsampleを示す値を追加してもよい。[0063]図12には、本開示で新たに定義するPCSampleEntryの構造が示されている。entryは、例えば、'pcbs'となる。headerと同一の情報が記述される。groupとしてシグナルしてもよい。groupなどにシグナルしてもよい。Groupの概要を参照して説明する。headerおよびheaderはシグナルされなくてもよい。sampleの境界および各componentのsubsampleの境界を識別可能である。streamを抽出し、それぞれデコーダに入力してデコード処理を実施することができる。configuration情報をシグナルする。entryが対応するcomponentの種類を表す。entryが対応するcomponentの種類はtexture画像であることを示す。SampleEntry()は、componentの符号化コーデックに応じて変化し、例えば、HEVC符号化されている場合にはHEVCSampleEntryとなる。entryのtypeでシグナルされるcomponentの種類によって行われる。componentのtypeごとに、符号化コーデックを変更してもよい。streamのコーデックを識別し、正しくデコード処理を実行することができる。sampleを構成するcomponentの数をシグナルする。picture数を示す。frameを構成するcomponent数を示す。entryにシグナルする例について説明したが、この場所に限らず、例えばSubSampleEntryBoxにシグナルされてもよい。Cloudを構成し、同時にレンダリングすべきsubsampleを明示的に示すことができる。Cloudを構成してレンダリングすることができる。sampleの一例が示されている。subsamplesから構成されることが示される。interleavingと同様の考え方となる。本技術は、component数が複数であって、layer数が複数である構成への対応を可能としている点で、そのような構成への対応ができない従来の技術とは異なるものである。streamをISOBMFFに格納したPCファイルを生成するPCファイル生成処理を実行する情報処理装置の第1の構成例を示すブロック図である。stream生成部23、およびファイル生成部24を備えて構成される。map)とを生成して、符号化部22に供給する。streamを符号化する。codingで符号化を行う。このとき、符号化部22は、2台のエンコーダ25-1および25-2によって、geometry画像の符号化とtexture画像の符号化とを並列的に行うことができる。sampleを生成する。streamを生成して、ファイル生成部24に供給する。trackに格納し、PCファイルを生成する。trackに格納したPCファイルを出力することができる。Cloud再生処理を実行する情報処理装置の第1の構成例を示すブロック図である。[0086]図18に示すように、情報処理装置12は、抽出部31、復号部32、2D3D変換部33、および表示処理部34を備えて構成される。streamを抽出して復号部32に供給する。streamを復号して、2D3D変換部33に供給する。このとき、復号部32は、2台のデコーダ35-1および35-2によって、geometry画像の復号とtexture画像の復号とを並列的に行うことができる。Cloudを構築する。Cloudを、クライアントの表示デバイスに合わせてレンダリングし、表示画像を生成して、図示しない表示デバイスに表示させる。Cloudをレンダリングした表示画像を表示させることができる。CloudからPCファイルを生成するPCファイル生成処理を説明するフローチャートである。Cloudから、geometry画像、texture画像、および3次元情報メタデータを生成する。streamを符号化する。streamを生成する。streamを、3次元情報メタデータを含むBoxをシグナルしたISOBMFFに格納し、PCファイルを生成する。Cloud再生処理を説明するフローチャートである。streamを抽出する。streamを、それぞれ個別に復号する。streamは2デコーダインスタンスによる個別のデコードとなる。Cloudを構築する。Cloudをレンダリングして表示画像を表示させる。streamの終端である場合には、処理は終了される。Cloud再生処理によって、クライアント側における処理が簡潔に行えるようにすることができる。streamをISOBMFFの構造に格納したときのISOBMFF構造の一例が示されている。groupを用いてシグナルしてもよい。codingを用いてもよい。layerとして符号化される。streamが格納される。reference(参照タイプ'sbas')で紐づけが行われる。entryはPCEnhancementSampleEntry('penh')とする。trackは、layer数分に応じて存在する。entryでシグナルしてもよい。entryに格納してもよい。trackに格納する方法である第2の格納方法について説明する。streamとして符号化することで、1デコーダによるデコード処理を実現することは可能である。そのような符号化では、texture画像とgeometry画像との間に相関が少ないことより、圧縮効率が悪化してしまう。[0112]また、第1の格納方法では、生成されたシングルストリームを1デコーダでデコードすることも可能である。符号化されたtexture画像とgeometry画像との境界でデコーダの初期化が必要となることより、オーバーヘッドが大きくなってしまう。streamに対して2デコーダインスタンスによる個別のデコードが必要であった。このため、第1の格納方法を、1デコーダインスタンスによるデコードに適用すると、圧縮効率が悪化してしまい、また、オーバーヘッドが大きくなってしまう。streamを構成する。複数componentの画像を1つの画像にパッキングしたり、複数layerの画像を1つの画像にパッキングしたり、複数componentの複数layerの画像を1つの画像にパッキングすることができる。これにより、上述したような圧縮効率の悪化を回避しつつ、クライアントによる1デコーダインスタンスでのデコード処理を可能にする。bottomなどの方法を採用するだけでなく、その他の方法を採用してもよい。[0115]図23を参照して、パッキングのバリエーションについて説明する。sideの方法で、同一のlayerを異なるcomponentどうしで1つの画像にパッキングする例が示されている。sideで1つの画像にパッキングする。sideの方法で、同一のcomponentの画像を異なるlayerどうしで1つの画像にパッキングする例が示されている。sideで1つの画像にパッキングする。[0118]なお、図23のBに示すパッキングでは、1デコーダインスタンスでのデコード処理は可能であるものの、上述したようにtexture画像とgeometry画像との間に相関が少ないため、圧縮効率の悪化を改善することにはならない。layer間で画像の相関が高い場合においては、パッキングされた画像内で参照関係を持たせることで、符号化効率の向上を図ることができる。streamを分割してtrackに格納する場合において有効なパッキングとなる。bottomの方法で1つの画像にパッキングすることで、全てのcomponentにおける全てのlayerの画像を1つの画像にパッキングする例が示されている。sideで1つの画像にパッキングする。1のgeometry画像が1つの画像にパッキングされる。PCファイルと称する。[0121]なお、ここで説明した第2の格納方法におけるパッキング方法は、geometry画像およびtexture画像のように、それぞれ大きく異なる画像をパッキングする点で、例えば、視差を利用した立体視に関する先行技術であるステレオパッキングとは異なる技術である。PC画像を用いた例について説明する。streamのシグナリングの一例が示されている。sampleの一例が示されている。subsampleとしている点で、第1の格納方法(上述の図6参照)とは異なる。[0126]また、第2の格納方法では、headerは、第1の格納方法で定義した情報に加え、subsampleのタイプとしてgeometry+textureをシグナルする。SEIを新たに定義してシグナルすることができる。図25に示されているSEIは、geometry画像およびtexture画像のパッキング方法についての情報を持つ。bottomであることを示す。packing_arrangementが、その他である場合、パッキングがreservedであることを示す。同様に、SEIにおいて、frame0_is_geometryが0である場合、frame0がgeometryであることを示し、frame0_is_geometryが1である場合、frame0がtextureであることを示す。[0129]ここで、frame0の定義は、図27に示すようになる。sideの場合には、図27のAに示すように、frame0が左側、かつ、frame1が右側となるようにパッキングされる。bottomの場合には、図27のBに示すように、frame0が上側、かつ、frame1が下側となるようにパッキングされる。headerでシグナルしてもよい。bottom以外の方法を用いてもよい。きを考慮し、パッキングされる各componentの幅および高さを2の倍数のピクセル数とすることで、エンコード処理やcomponent切り出し処理などを容易に行うことができる。パッキングされる各componentの幅および高さを、8または16の倍数のピクセル数とすることで、エンコード時のブロックサイズとの親和性を高めることができ、エンコード処理やcomponent切り出し処理などを容易に行うことができる。sampleの境界を識別可能であり、headerでsubsampleの境界を識別可能である。SEIからtexture画像およびgeometry画像の分離が可能となる。Cloudを構成してレンダリングが可能となる。trackに格納する際の一例が示されている。subsampleであることを示す。第2の格納方法では、codec_specific_parametersの値について、図11を参照して説明した0および1に追加して2が用いられる点で、第1の格納方法とは相違する。subsampleの境界をシグナルすることができる。SubSampleInformationについては、後述の図54に示すSubSampleInformationBoxの概要を参照して説明する。entryにシグナルされる。[0136]なお、第2の格納方法においても、第1の格納方法で説明した変形例を、同様に適用することができる。entryは'resv'となり、SchemeTypeBoxのscheme_typeは'pacp'となる。このとき、ポストデコード処理に使用されるPCPackingInfoBoxは、図28に示したように、rinf/schi下にシグナルされる。CloudコンテンツからPCファイルを生成するPCファイル生成処理を実行する情報処理装置の第2の構成例を示すブロック図である。図30に示す情報処理装置11Aにおいて、図17の情報処理装置11と共通する構成については、同一の符号を付し、その詳細な説明は省略する。stream生成部23、ファイル生成部24、およびパッキング処理部26を備えて構成される。[0140]即ち、情報処理装置11Aは、パッキング処理部26を備え、符号化部22Aが1台のエンコーダ25を有する点で、図17の情報処理装置11と異なる構成となっている。PC画像を符号化部22Aに供給する。PC画像を符号化することができる。Cloud再生処理を実行する情報処理装置の第2の構成例を示すブロック図である。図31に示す情報処理装置12Aにおいて、図18の情報処理装置12と共通する構成については、同一の符号を付し、その詳細な説明は省略する。[0144]即ち、情報処理装置12Aは、復号部32Aが1台のデコーダ35を有する点で、図18の情報処理装置12と異なる構成となっている。streamを復号することができる。PCファイル生成処理を説明するフローチャートである。Cloudから、geometry画像、texture画像、および3次元情報メタデータを生成する。PC画像を符号化する。streamを生成する。PCファイルを生成する。Cloud再生処理を説明するフローチャートである。streamを抽出する。streamを復号する。streamは1デコーダインスタンスによるデコードとなる。Cloudを構築する。Cloudをレンダリングして表示画像を表示させる。streamの終端である場合には、処理は終了される。Cloud再生処理によって、クライアント側における処理が簡潔に行えるようにすることができる。streamをISOBMFFの構造に格納したときのISOBMFF構造の一例が示されている。sampleの境界および各componentのsubsampleの境界を識別可能である。クライアントは、PCPackingInfoBoxからtexture画像とgeometry画像の分離に必要な情報を取得することができる。streamを抽出してデコード処理を実施する。Cloudを構成してレンダリングを実行することができる。SEI(図25)およびPCPackingInfoBox(図29)によりパッキング方法をシグナルすることができる。これにより、クライアントは、texture画像およびgeometry画像の各layerを分離することが可能となる。SEIおよびPCPackingInfoBoxにより、例えば、各componentおよび各layerのピクチャ内における配置や位置、サイズなどをシグナルすることで、自由度のあるパッキングを行うことができる。[0163]図35には、PCPackingInfoBoxの変形例が示されている。PC画像を構成するlayer数を示す情報(layer_num)、および、componentの種類を示す情報(component_type)が記述される。component_typeが0である場合、componentの種類はgeometry画像であること示し、component_typeが1である場合、componentの種類はtexture画像であることを示す。PC画像内においてcomponent_typeおよびlayer_idで示される画像が配置される位置を示す情報(left/top)と、それらのサイズを示す情報(width/height)とが記述される。mapをcomponentとして扱ってもよい。mapも、geometry画像およびtexture画像とともにパッキングすることができる。trackに格納する方法である第3の格納方法について説明する。subsampleをISOBMFFのsampleとして格納する点で、第1の格納方法および第2の格納方法に対する変形例となる。stream(図24参照)と同一の構造となる。subsampleと定義する。sampleと称する。streamと同様の構造が示されている。[0169]図37には、ISOBMFFのシグナリングの一例が示されている。samplesの境界(ComponentGroupEntry)をシグナルすることができる。Groupの概要を参照して説明する。('sgpd')でシグナルされる各SampleGroupEntryに紐づけられる。('stbl')にシグナルされてもよい。[0172]ここで、図38乃至図40に、新たに定義したGroupEntryを示す。[0173]図38に示すようにGOFEntryは定義され、grouping_type_parameter='gofg'とする。headerの各fieldと同一である。[0175]図39に示すようにPCFrameEntryは定義され、grouping_type_parameter='pcfg'とする。frameのサイズを示す。frameを構成するcomponentの数を示し、具体的には、geometry画像およびtexture画像から構成される場合には、2となる。[0177]図40に示すようにComponentGroupEntryは定義され、grouping_type_parameter='cmpg'とする。groupに属するsampleのcomponentの種類を示す。具体的には、typeフィールドが0である場合には、componentの種類がgeometry画像であることを示し、typeフィールドが1である場合には、componentの種類がtexture画像であることを示す。typeフィールドが2である場合には、componentの種類がgeometry&texture(第2の格納方法)であることを示す。infoなどのような3次元情報メタデータをSEIとしてシグナルせずにcomponentの一種として扱う場合、typeフィールドに、それぞれのcomponentの種類を示す値を追加してもよい。[0180]また、ComponentGroupEntryにおけるnumber_of_layerフィールドは、componentのlayer数を示す。[0181]さらに、ComponentGroupEntryの代わりに、GeometryGroupEntryおよびTextureGroupEntryを定義してもよい。samplesの境界をシグナルすることができる。infoなどのような3次元情報メタデータをSEIとしてシグナルせず、componentの一種とし、sampleとしてシグナルする場合は、それぞれのsamplesの境界をシグナルするGroupEntryを定義してもよい。GroupEntryにより、それぞれのsamplesの境界を示してもよい。entryにPCPackingInfoBoxがシグナルされる。schemeとして運用することができる。entryは'resv'になり、SchemeTypeBoxのscheme_typeは'pcbs'になり、OriginalFormatBoxのdata_formatは用いられたコーデックによって、avc1やhev1などになる。[0185]そして、これらの新たに定義された複数のBoxは、ポストデコード処理に使用されるという位置づけになり、図37に示すrinf/schi下にシグナルされる。このrinf/schiには、第1の格納方法で説明したPCHeaderBoxおよびLayerCompositionBoxも、図示するようにシグナルされる。streamに相当する。samplesを識別することができる。sampleの境界および各componentのsampleの境界を識別可能である。クライアントは、PCPackingInfoBoxからtexture画像とgeometry画像との分離に必要な情報を取得できる。streamを抽出してデコード処理を実施する。Cloudを構成してレンダリングを実行することができる。[0190]ここで、第1の格納方法のようにパッキングを適用しない場合、生成処理および再生処理は、それぞれ図19および図20のフローチャートを参照して上述したのと同様に行われる。streamを、3次元情報メタデータを含むBoxをシグナルしたISOBMFFに格納する際、ISOBMFFのsampleは各componentのsampleとなる。streamは、2デコーダインスタンスによる個別のデコードとなる。[0191]また、第2の格納方法のようにパッキングを適用する場合、生成処理および再生処理は、それぞれ図32および図33のフローチャートを参照して上述したのと同様に行われる。pictureとなる。streamは1デコーダインスタンスによるデコードとなる。streamをISOBMFFの構造に格納したときのISOBMFF構造の一例が示されている。[0193]なお、図43を参照して、SEIを用いずにシグナルする例について説明する。frame内の3次元情報メタデータについて、SEIを用いてシグナルする例について説明した。informationを利用して3次元情報メタデータをシグナルしてもよい。infromationの位置をシグナルする。informationのサイズをシグナルする。SampleAuxiliaryInformationOffsetBoxおよびSampleAuxiliaryInformationSizeBoxは、aux_info_type='pcmd'で関連づけられる。[0196]SEIは、AVCやHEVCなどのような符号化コーデックで用いられる要素であるため、SEIを用いた場合には、コーデックに依存したシグナリングとなってしまう。informationを用いた場合には、符号化コーデックに依存することなく3次元情報メタデータをシグナルすることが可能となる。tracksに格納する方法である第4の格納方法について説明する。[0198]図44には、第4の格納方法におけるISOBMFFのシグナリングの一例が示されている。trackに格納する。track(または副track)と称する。referenceと、新たに定義したPCMultiStreamBoxでシグナルする。groupをシグナルしてもよい。layerが格納される構成としてもよい。entryでシグナルしてもよい。entryに格納してもよい。schemeとして運用できる。entryは'resv'になり、SchemeTypeBoxのscheme_typeは'pcbs'になり、OriginalFormatBoxのdata_formatは用いられたコーデックによって、avc1やhev1などになる。[0204]そして、これらの新たに定義された複数のBoxは、ポストデコード処理に使用されるという位置づけになり、図44に示すrinf/schi下にシグナルされる。このrinf/schiには、第1の格納方法で説明したPCHeaderBoxおよびLayerCompositionBoxも、図示するようにシグナルされる。trackに格納してもよい。trackなどと同様のBoxおよび情報がシグナルされてもよい。streamに相当する。num_of_component)の値から、sampleのインターリーブ周期を識別することができる。[0207]なお、第4の格納方法における手法は、上述した第3の格納方法のみでなく、第1の格納方法および第2の格納方法において同一のcomponentの異なるlayerのパッキングの構成に対しても、適用可能である。streamとを分割してtrackに格納することで、texture画像とgeometry画像との間に相関が少ないのに起因して、圧縮効率が悪化してしまうのを回避することができる。trackが紐づくような構成としてもよい。[0209]図45には、PCMultiStreamBoxのシンタックスの一例が示されている。trackであることを示す。trackのtrack_idをシグナルする。trackか識別可能である。trackを識別することができる。trackが紐づくケースにおいて処理を簡易化することが可能となる。groupに紐づけてもよい。groupは、図47に示すように、PCTextureTrackGroupBoxを新たに定義し、rack_group_typeは'pctg'である。[0214]なお、texture_track_idで、PCTextureTrackGroupのtrack_group_idに紐づけてもよい。[0215]また、図48に示すように、PCMultiStreamBoxに、textureがgeometryと同じtrackに格納されているか否かを示すisInGeometryStreamを追加してもよい。これにより、第1乃至第3の格納方法でも、シグナル可能なBoxとすることができる。trackをシグナルしてもよい。groupは、PCStreamGroupBoxを新たに定義し、rack_group_typeは'pcgp'である。streamを構成する。trackであることを示す。streamをISOBMFFの構造に格納したときのISOBMFF構造の一例が示されている。[0219]<DASHのシグナリング>図52および図53を参照して、DASHのシグナリングについて説明する。[0220]例えば、texture画像およびgeometry画像と3次元情報メタデータとは、DASHのMPDでシグナルされる。Descriptorと定義し、Representationが、texture画像およびgeometry画像のどちらであるかを示す。representationへの紐づけをRepresentation@dependencyIdで行う。これは、presentation時に、geometry画像および3次元情報メタデータがないとtexture画像をマッピングできないという依存関係があるためである。streamを適切に取得することができる。streamの切り替えも可能となる。representationへの紐づけをRepresentation@associationIdで行ってもよい。[0224]この場合、図53に示すように、associationTypeは"ptex"となる。cloudのpresentationを可能とするため、associationIdを用いた紐づけが適切である。0のsubsample、または、sampleのSEIとして、全て格納してもよい。[0226]ここで、図54には、SubSampleInformationBoxの概要が示されている。[0227]図54に示すように、sample中の、連続した特定byte領域をsub-sampleと定義している。unitがsub-sampleとなる。SubSampleInformationBoxでは、sub-sampleごとに情報を付加することができる。Groupの概要が示されている。Boxのgrouping_typeを示す。entryにつき、sample_countとgroup_description_indexがシグナルされる。Entryに属するsample数を示す。[0230]<システム構成>図56および図57を参照して、本技術を適用したデータ生成装置およびデータ再生装置のシステム構成について説明する。[0231]図56には、データ生成装置の構成例を示すブロック図が示されている。Description)ファイル生成部73、記録部74、およびアップロード部75を備えて構成される。データ符号化・生成部72は、前処理部76、符号化部77、およびセグメントファイル生成部78を有している。Cloudから、geometry画像、texture画像、および3次元情報メタデータを生成する処理を実行する。streamを符号化する処理を実行する。PC画像を符号化する処理を実行する。streamをISOBMFFに格納したPCファイルを生成する処理を実行する。[0236]図57には、データ再生装置の構成例を示すブロック図が示されている。[0237]図57に示すように、データ再生装置52は、制御部81および再生処理部82を備えており、再生処理部82は、MPDファイル取得部91、MPDファイル処理部92、セグメントファイル取得部93、表示制御部94、データ解析・復号部95、および表示部96を備えて構成さる。データ解析・復号部95は、セグメントファイル処理部97、復号部98、および表示情報生成部99を有している。streamを抽出する処理を実行する。streamを抽出する処理を実行する。streamを、それぞれ個別に復号する処理を実行する。streamを復号する処理を実行する。Cloudをレンダリングして表示画像を表示させる。trackに格納することができる。streamのデコード処理の実行を可能とし、通常再生時のstream内ランダムアクセスの発生を抑制することができる。streamのデコード処理の実行を可能とすることができる。trackに格納することができる。streamのデコード処理の実行を可能にすることができる。tracksに格納することができる。streamを格納するtrackの紐づけを効率的に行うことができる。stream画質の最適化するためのクライアントにおけるstream取得処理を容易に行うことができる。[0245]<コンピュータの構成例>次に、上述した一連の処理(情報処理方法)は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。[0246]図58は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。[0247]プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク105やROM103に予め記録しておくことができる。[0248]あるいはまた、プログラムは、ドライブ109によって駆動されるリムーバブル記録媒体111に格納(記録)しておくことができる。このようなリムーバブル記録媒体111は、いわゆるパッケージソフトウェアとして提供することができる。Disc)、磁気ディスク、半導体メモリ等がある。[0249]なお、プログラムは、上述したようなリムーバブル記録媒体111からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク105にインストールすることができる。Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。Unit)102を内蔵しており、CPU102には、バス101を介して、入出力インタフェース110が接続されている。Memory)103に格納されているプログラムを実行する。Memory)104にロードして実行する。[0252]これにより、CPU102は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。CPU102は、その処理結果を、必要に応じて、例えば、入出力インタフェース110を介して、出力部106から出力、あるいは、通信部108から送信、さらには、ハードディスク105に記録等させる。[0253]なお、入力部107は、キーボードや、マウス、マイク等で構成される。Display)やスピーカ等で構成される。[0254]ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。[0255]また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。[0256]さらに、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。[0257]また、例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。[0258]また、例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。[0259]また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。[0260]また、例えば、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、1つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を1つのステップとしてまとめて実行することもできる。[0261]なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。[0262]なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。任意の複数の本技術を併用して実施することもできる。いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。[0263]<構成の組み合わせ例>なお、本技術は以下のような構成も取ることができる。(1)3次元構造を表す3Dデータを2次元に変換することによって、少なくとも第1の画像および第2の画像と、前記第1の画像および前記第2の画像を3次元に構築するのに必要な3次元情報メタデータとが得られ、特定時刻に表示される前記3Dデータを構成する1単位のファイルを、前記第1の画像および前記第2の画像を前記3次元情報メタデータに基づいて3次元に再現して再生する際に必要な再生順に従って、前記第1の画像および前記第2の画像と前記3次元情報メタデータとを格納して生成するファイル生成部を備える情報処理装置。前記ファイル生成部は、前記第1の画像ストリームおよび前記第2の画像ストリームがそれぞれ復号された後に、前記第1の画像および前記第2の画像を前記3次元情報メタデータに基づいて3次元構造として再構築されるのに必要な復号順に従って、前記第1の画像および前記第2の画像と前記3次元情報メタデータとを格納して前記ファイルを生成する上記(1)に記載の情報処理装置。codingで符号化する上記(2)に記載の情報処理装置。(4)前記3次元情報メタデータは、前記第1の画像および前記第2の画像を指し示す情報を含む上記(1)から(3)までのいずれかに記載の情報処理装置。Framesを示す情報を含む上記(1)から(4)までのいずれかに記載の情報処理装置。(6)前記3次元情報メタデータは、同時刻に表示するlayer数およびcomponent数を示す情報を含む上記(1)から(5)までのいずれかに記載の情報処理装置。(7)前記3次元情報メタデータは、前記3Dデータの前記3次元構造の構成要素ごとのコーデック情報を含む上記(1)から(6)までのいずれかに記載の情報処理装置。codingで符号化する上記(2)に記載の情報処理装置。前記ファイル生成部は、前記パッキング画像、前記3次元情報メタデータ、および、前記パッキングの方法を示すパッキング情報を前記ファイルに格納する上記(1)から(8)までのいずれかに記載の情報処理装置。(10)前記パッキング処理部は、同一のlayerの前記第1の画像どうし、および、同一のlayerの前記第2の画像どうしをパッキングする上記(9)に記載の情報処理装置。(11)前記パッキング処理部は、前記第1の画像と前記第2の画像との同一のlayerどうしをパッキングする上記(9)に記載の情報処理装置。(12)前記パッキング処理部は、前記第1の画像および前記第2の画像の全てのlayerをパッキングする上記(9)に記載の情報処理装置。sampleとして格納することで前記ファイルを生成する上記(1)から(12)までのいずれかに記載の情報処理装置。sampleとして格納される上記(13)に記載の情報処理装置。(15)前記ファイル生成部は、前記第1の画像および前記第2の画像と前記3次元情報メタデータとを少なくとも含むストリームを、異なるトラックに格納することで前記ファイルを生成する上記(1)から(14)までのいずれかに記載の情報処理装置。(16)前記3次元情報メタデータは、前記トラックの間の関係性を示す情報を含む上記(15)に記載の情報処理装置。(17)前記第1の画像および前記第2の画像と前記3次元情報メタデータとは、ISOBMFFでシグナルされる上記(1)から(16)までのいずれかに記載の情報処理装置。Description)でシグナルされる上記(1)から(16)までのいずれかに記載の情報処理装置。(19)情報処理装置が、3次元構造を表す3Dデータを2次元に変換することによって、少なくとも第1の画像および第2の画像と、前記第1の画像および前記第2の画像を3次元に構築するのに必要な3次元情報メタデータとが得られ、特定時刻に表示される前記3Dデータを構成する1単位のファイルを、前記第1の画像および前記第2の画像を前記3次元情報メタデータに基づいて3次元に再現して再生する際に必要な再生順に従って、前記第1の画像および前記第2の画像と前記3次元情報メタデータとを格納して生成することを含む情報処理方法。(20)情報処理装置のコンピュータに、3次元構造を表す3Dデータを2次元に変換することによって、少なくとも第1の画像および第2の画像と、前記第1の画像および前記第2の画像を3次元に構築するのに必要な3次元情報メタデータとが得られ、特定時刻に表示される前記3Dデータを構成する1単位のファイルを、前記第1の画像および前記第2の画像を前記3次元情報メタデータに基づいて3次元に再現して再生する際に必要な再生順に従って、前記第1の画像および前記第2の画像と前記3次元情報メタデータとを格納して生成することを含む情報処理を実行させるためのプログラム。[0264]なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。範囲[請求項1]3次元構造を表す3Dデータを2次元に変換することによって、少なくとも第1の画像および第2の画像と、前記第1の画像および前記第2の画像を3次元に構築するのに必要な3次元情報メタデータとが得られ、特定時刻に表示される前記3Dデータを構成する1単位のファイルを、前記第1の画像および前記第2の画像を前記3次元情報メタデータに基づいて3次元に再現して再生する際に必要な再生順に従って、前記第1の画像および前記第2の画像と前記3次元情報メタデータとを格納して生成するファイル生成部を備える情報処理装置。前記ファイル生成部は、前記第1の画像ストリームおよび前記第2の画像ストリームがそれぞれ復号された後に、前記第1の画像および前記第2の画像を前記3次元情報メタデータに基づいて3次元構造として再構築されるのに必要な復号順に従って、前記第1の画像および前記第2の画像と前記3次元情報メタデータとを格納して前記ファイルを生成する請求項1に記載の情報処理装置。codingで符号化する請求項2に記載の情報処理装置。[請求項4]前記3次元情報メタデータは、前記第1の画像および前記第2の画像を指し示す情報を含む請求項3に記載の情報処理装置。Framesを示す情報を含む請求項3に記載の情報処理装置。[請求項6]前記3次元情報メタデータは、同時刻に表示するlayer数およびcomponent数を示す情報を含む請求項3に記載の情報処理装置。[請求項7]前記3次元情報メタデータは、前記3Dデータの前記3次元構造の構成要素ごとのコーデック情報を含む請求項3に記載の情報処理装置。codingで符号化する請求項2に記載の情報処理装置。前記ファイル生成部は、前記パッキング画像、前記3次元情報メタデータ、および、前記パッキングの方法を示すパッキング情報を前記ファイルに格納する請求項1に記載の情報処理装置。[請求項10]前記パッキング処理部は、同一のlayerの前記第1の画像どうし、および、同一のlayerの前記第2の画像どうしをパッキングする請求項9に記載の情報処理装置。[請求項11]前記パッキング処理部は、前記第1の画像と前記第2の画像との同一のlayerどうしをパッキングする請求項9に記載の情報処理装置。[請求項12]前記パッキング処理部は、前記第1の画像および前記第2の画像の全てのlayerをパッキングする請求項9に記載の情報処理装置。sampleとして格納することで前記ファイルを生成する請求項1に記載の情報処理装置。sampleとして格納される請求項13に記載の情報処理装置。[請求項15]前記ファイル生成部は、前記第1の画像および前記第2の画像と前記3次元情報メタデータとを少なくとも含むストリームを、異なるトラックに格納することで前記ファイルを生成する請求項1に記載の情報処理装置。[請求項16]前記3次元情報メタデータは、前記トラックの間の関係性を示す情報を含む請求項15に記載の情報処理装置。[請求項17]前記第1の画像および前記第2の画像と前記3次元情報メタデータとは、ISOBMFFでシグナルされる請求項15に記載の情報処理装置。Description)でシグナルされる請求項15に記載の情報処理装置。[請求項19]情報処理装置が、3次元構造を表す3Dデータを2次元に変換することによって、少なくとも第1の画像および第2の画像と、前記第1の画像および前記第2の画像を3次元に構築するのに必要な3次元情報メタデータとが得られ、特定時刻に表示される前記3Dデータを構成する1単位のファイルを、前記第1の画像および前記第2の画像を前記3次元情報メタデータに基づいて3次元に再現して再生する際に必要な再生順に従って、前記第1の画像および前記第2の画像と前記3次元情報メタデータとを格納して生成することを含む情報処理方法。[請求項20]情報処理装置のコンピュータに、3次元構造を表す3Dデータを2次元に変換することによって、少なくとも第1の画像および第2の画像と、前記第1の画像および前記第2の画像を3次元に構築するのに必要な3次元情報メタデータとが得られ、特定時刻に表示される前記3Dデータを構成する1単位のファイルを、前記第1の画像および前記第2の画像を前記3次元情報メタデータに基づいて3次元に再現して再生する際に必要な再生順に従って、前記第1の画像および前記第2の画像と前記3次元情報メタデータとを格納して生成することを含む情報処理を実行させるためのプログラム。Sample、および前記3次元情報メタデータを格納してファイルを生成するファイル生成部を備える情報処理装置。Boxに格納される請求項1に記載の情報処理装置。Entryに格納される請求項2に記載の情報処理装置。Sampleが対応するLayerを示すLayer識別子が含まれる請求項1に記載の情報処理装置。Sampleであることを示す請求項4に記載の情報処理装置。前記Type情報は、SubSampleInformationとしてシグナルされる請求項5に記載の情報処理装置。前記Type情報は、SubSampleEntryBoxにシグナルされる請求項5に記載の情報処理装置。前記Geometry画像のSample、前記Texture画像のSample、および前記3次元情報メタデータを格納してファイルを生成するファイル生成部を備える情報処理装置。Boxに格納される請求項8に記載の情報処理装置。Entryに格納される請求項9に記載の情報処理装置。headerには、さらに前記SampleがGeometry画像のSampleか、Texture画像のSampleかを示すType情報、および、前記Sampleが対応するLayerを示すLayer識別子が含まれる請求項9に記載の情報処理装置。Entryでシグナルされる請求項11に記載の情報処理装置。前記Type情報が0であるとき、前記SampleはGeometry画像のSampleであることを示し、前記Type情報が1であるとき、前記SampleはTexture画像のSampleであることを示す請求項11に記載の情報処理装置。前記Type情報は、SubSampleInformationとしてシグナルされる請求項13に記載の情報処理装置。前記Type情報は、SubSampleEntryBoxにシグナルされる請求項13に記載の情報処理装置。前記3次元情報メタデータは、前記複数のSampleの間の関係性を示す情報を含む請求項8に記載の情報処理装置。前記Geometry画像および前記Texture画像と前記3次元情報メタデータとは、ISOBMFFでシグナルされる請求項8に記載の情報処理装置。Description)でシグナルされる請求項8に記載の情報処理装置。Sample、および前記3次元情報メタデータを格納してファイルを生成することを含む情報処理方法。Sample、および前記3次元情報メタデータを格納してファイルを生成することを含む情報処理を実行させるためのプログラム。前記Geometry画像のSample、前記Texture画像のSample、および前記3次元情報メタデータを格納してファイルを生成することを含む情報処理方法。前記Geometry画像のSample、前記Texture画像のSample、および前記3次元情報メタデータを格納してファイルを生成することを含む情報処理を実行させるためのプログラム。