第1のビデオストリーム内の第1のフレームと、第2のビデオストリーム内の第2のフレームとを結合したと想定した場合に生成される結合フレームのデータサイズを算出するデータサイズ算出部と、結合フレームのデータサイズの情報を用いて、結合ビデオストリームを含む多重化ストリームのヘッダを生成するヘッダ生成部と、結合ビデオストリームを生成する結合ビデオストリーム生成部と、多重化ストリームのヘッダの出力処理、又は、結合ビデオストリームを含む多重化ストリームを出力する処理を行う多重化ストリーム出力部とを備える。前記データサイズ算出部で算出された前記結合フレームのデータサイズの情報を、前記第1のビデオストリーム又は前記第2のビデオストリームのメタデータとして記憶する、ビデオストリームメタデータデータベースをさらに備え、前記結合ビデオストリーム生成部及び前記多重化ストリーム出力部は、前記ビデオストリームメタデータデータベースに記憶された前記メタデータの情報を用いて、前記結合ビデオストリームの生成処理、又は前記結合ビデオストリームの多重化処理を行う請求項4に記載のデータ処理装置。