Preparationで作成した既存のプレパレーションをビッグデータジョブで直接再使用できます。Batchジョブで、同じモデルを持つ入力データに対してプレパレーションを適用するプロセスの操作が可能になります。次の簡単なジョブについて見てみましょう。HDFS上の.csvファイルから顧客データを読み取る。既存のプレパレーションをこのデータに適用する。その結果をHiveデータセットに出力する。これらの操作を実行するには、ジョブの入力データと同じスキーマでデータセット上にプレパレーションを事前に作成しておく必要があります。ここでは、既存のプレパレーションはdatapreprun_sparkといいます。このプレパレーションは、世界中の顧客の名前、メールアドレス、サブスクリプション日、居住国などのデータが保管されたデータセット上に作成されています。このシンプルなプレパレーションは、中国とロシアの顧客のみを維持するようにフィルターをデータに適用し、データ形式を調整し、メール部分を抽出します。1つの行またはセルにしか影響しない処理がプレパレーションに含まれている場合、ジョブの実行中、tDataprepRunコンポーネントによってこれらの処理はスキップされます。(行の削除)ファンクションは、ビッグデータなどのコンテキストでは機能しません。Studioで作成します。デザインワークスペースでtHDFSConfiguration、tFileInputDelimited、tDataprepRun、tHiveOutputコンポーネントを追加します。(メイン)リンクを使って、tFileInputDelimited、tDataprepRun、tHiveOutputをリンクします。(Spark設定)タブを設定します。Streamingを参照してください。(コンポーネント)タブをクリックして基本設定を設定します。tFileInputDelimitedコンポーネントのスキーマは必ず、tDataprepRunコンポーネントによって予測されるスキーマに一致させてください。入力スキーマは、datapreprun_sparkプレパレーションが最初に作成されたデータセットと同じである必要があります。(コンポーネント)タブをクリックして基本設定を定義します。WebアプリケーションのURLを入力します。Preparationのデフォルトポートです。(パスワード)フィールドに、接続情報を二重引用符で囲んで入力します。Preparationで使用可能なプレパレーションのリストを表示し、[datapreprun_spark]を選択します。互換性のない処理を含み、1つの行またはセルにしか影響しないプレパレーションの横に警告が表示されます。(スキーマを取得)をクリックして、プレパレーションのスキーマを取得します。この場合は、datapreprun_sparkです。tDataprepRunコンポーネントの出力スキーマには、各プレパレーションステップで行われた変更が反映されています。スキーマでは、たとえば、追加または削除されたカラムが考慮されます。(コンポーネント)タブをクリックして基本設定を定義します。(カラムの同期)をクリックして、tDataprepRunコンポーネントから継承された新しい出力スキーマを取得します。ジョブを保存し、[F6]を押して実行します。タスクの結果datapreprun_sparkのすべてのプレパレーションステップがデータ統合ジョブのフローから直接データに適用されます。