StudioaddParameters{}関数内のaddElementParameters{}関数を使用して、ジョブスクリプト内にSpark接続を定義します。{}プロパティ使用するSparkクラスターの選択に関連するプロパティは、次のとおりです。必須?SPARK_LOCAL_MODESparkジョブをローカルモードで実行するには、"true"と入力します。デフォルトでは、この値は"false"になっています。リモートクラスターを使用する設定です。利用可SPARK_LOCAL_VERSIONローカルモードで使用するSparkのバージョンを入力します。SPARK_LOCAL_MODEに"true"を入力した場合にのみ該当します。Studioでは、一部のSparkバージョンはローカルモードでの使用がサポートされていません。次の値のいずれか1つを入力します。"SPARK_1_3_0""SPARK_1_4_0""SPARK_1_5_0""SPARK_1_6_0""SPARK_2_0_0""SPARK_2_1_0"Sparkのローカルモードが使用されている場合は、利用可です。DISTRIBUTIONお使いのディストリビューションのプロバイダー名を入力して下さい。ディストリビューションに応じて、次の値のいずれか1つを入力します。EMRディストリビューションも使用していない場合は、利用可です。SPARK_VERSIONお使いのディストリビューションのバージョンを入力します。次のリストには、利用可能な各ディストリビューションのフォーマット例が一覧表示されています。JobsでサポートされているHadoopディストリビューションのバージョンを参照して下さい。関連するディストリビューションを使用している場合は、利用可です。SUPPORTED_SPARK_VERSIONディストリビューションで使用しているSparkのバージョンを入力します。"SPARK_2_1_0"関連するディストリビューションを使用している場合は、利用可です。SPARK_API_VERSION"SPARK_200"と入力します。APIのバージョンです。変数を使用している場合は、"true"と入力します。それ以外の場合は"false"と入力します。この情報が不明な場合は、クラスターの管理者にお問い合わせ下さい。Hortonworksを使用している場合は、利用可です。HDP_VERSION使用するHortonworkのバージョンを入力します。"\"2.6.0.3-8\""この情報が不明な場合は、クラスターの管理者にお問い合わせ下さい。バージョン番号はクラスターのyarn-site.xmlファイルにも追加する必要があります。この例では、hdp.version=2.6.0.3-8を追加します。SET_HDP_VERSION]に"true"を入力した場合にのみ該当します。SPARK_MODESparkクラスターが実装されているモードを入力します。状況に応じて、次の値のいずれか1つを入力します。Sparkのスタンドアロンモードで実行することを意味します。"YARN_CLIENT"Sparkのローカルモードを使用していない場合は、利用可です。Sparkへの接続設定に関連するプロパティは、次のとおりです。必須?RESOURCE_MANAGER使用するHadoopクラスターのResourceManagerサービスのアドレスを入力します。Yarnクライアントモードを使用している場合は、利用可です。スケジューラーがある場合は"true"と入力します。それ以外の場合は"false"と入力します。Yarnクライアントモードを使用している場合は、利用可です。RESOURCEMANAGER_SCHEDULER_ADDRESSスケジューラーのアドレスを入力します。SET_SCHEDULER_ADDRESS]に"true"を入力した場合にのみ該当します。ある場合は"true"と入力します。それ以外の場合は"false"と入力します。Yarnクライアントモードを使用している場合は、利用可です。JOBHISTORY_ADDRESS使用するHadoopクラスターのジョブヒストリーサーバーの場所を入力します。これにより、現在のジョブのメトリックス情報がそのジョブヒストリーサーバーに保存されます。SET_JOBHISTORY_ADDRESS]に"true"を入力した場合は、利用可です。SET_STAGING_DIRECTORY実行中のプログラムによって作成された一時ファイルを保存するステージングディレクトリがクラスターにある場合は"true"と入力します。それ以外の場合は"false"と入力します。Yarnクライアントモードを使用している場合は、利用可です。STAGING_DIRECTORYこのディレクトリに、たとえば"\"/user\""と入力します。プロパティが設定され、ディストリビューションのyarn-site.xmlやmapred-site.xmlなどの構成ファイルに含まれます。SET_STAGING_DIRECTORY]に"true"を入力した場合は、利用可です。HDINSIGHT_ENDPOINTHDInsightクラスターのエンドポイントを入力します。"\"https://mycluster.azurehdinsight.net\""関連するディストリビューションを使用している場合は、利用可です。HDINSIGHT_USERNAMEおよびHDINSIGHT_PASSWORDたとえば、ユーザー名に"\"talendstorage\""、パスワードに"my_password"を使用します。関連するディストリビューションを使用している場合は、利用可です。LIVY_HOST関連するディストリビューションHDInsightを使用している場合は、利用可です。ポート番号を入力します。デフォルトでは、ポート番号は"\"443\""です。関連するディストリビューションHDInsightを使用している場合は、利用可です。LIVY_USERNAMEHDinsightユーザー名を入力します。"\"my_hdinsight_account\""関連するディストリビューションHDInsightを使用している場合は、利用可です。Blobのアドレスを入力します。"\"https://my_storage_account_name.blob.core.windows.net\""関連するディストリビューションHDInsightを使用している場合は、利用可です。WASB_CONTAINER使用するコンテナの名前を入力します。"\"talend_container\""関連するディストリビューションHDInsightを使用している場合は、利用可です。Storageアカウントで現在のジョブとその依存ライブラリを保存する場所を入力します。"\"/user/ychen/deployment_blob\""関連するディストリビューションHDInsightを使用している場合は、利用可です。SPARK_HOST使用するHadoopクラスターのSparkマスターのURIを入力します。"\"spark://localhost:7077\""Sparkのスタンドアロンモードを使用している場合は、利用可です。SPARK_HOME使用するHadoopクラスターのSparkマスターのURIを入力します。"\"/usr/lib/spark\""Sparkのスタンドアロンモードを使用している場合は、利用可です。DEFINE_HADOOP_HOME_DIRwinutils.exeファイルの場所がわかっており、それを使用する場合は、"true"と入力します。それ以外の場合は"false"と入力します。クラウド上で実行されていないディストリビューションを使用している場合は、利用可です。HADOOP_HOME_DIRwinutils.exeが保存されているディレクトリを入力します。DEFINE_HADOOP_HOME_DIR]に"true"を入力した場合は、利用可です。DEFINE_SPARK_DRIVER_HOSTSparkのYarnクライアントモードで、ジョブが起動しているマシンをSparkクラスター自らが認識できない場合は"true"と入力します。それ以外の場合は"false"と入力します。クラウド上で実行されていないディストリビューションを使用しており、SparkモードがYarnクライアントの場合は、利用可です。SPARK_DRIVER_HOSTこのマシンのホスト名またはIPアドレスを入力します。"\"127.0.0.1\""この設定により、Sparkマスターとそのワーカーはこのマシンを認識して、ジョブとそのドライバーを見つけることができます。DEFINE_SPARK_DRIVER_HOST]に"true"を入力した場合は、利用可です。"\"my-google-project\""関連するディストリビューションを使用している場合は、利用可です。"\"my-cluster-id\""関連するディストリビューションを使用している場合は、利用可です。GOOGLE_REGION計算リソースが使用され、データが保存/処理される地理的ゾーンを入力します。特定のリージョンを指定する必要がない場合は、"\"global\""と入力します。関連するディストリビューションを使用している場合は、利用可です。"\"gs://my-bucket/talend/jars/\""関連するディストリビューションを使用している場合は、利用可です。Platformにアクセスする権限があるマシンからジョブを起動する場合は、"false"と入力します。この状況では多くの場合、このマシンはお使いのローカルマシンです。ジョブをジョブサーバーなどのリモートマシンから起動する場合は、"true"と入力します。関連するディストリビューションを使用している場合は、利用可です。PATH_TO_GOOGLE_CREDENTIALSこのJSONファイルが保存されているディレクトリをリモートマシンに入力します。これは以上に多くの場合、ジョブサーバーです。DEFINE_PATH_TO_GOOGLE_CREDENTIALS]に"true"を入力した場合は、利用可です。ALTUS_SET_CREDENTIALSジョブにAltusのクレデンシャルを使用する場合は、"true"と入力します。configureコマンドを手動で入力して、Altusのクレデンシャルを個別に提供する場合は、"false"と入力します。関連するディストリビューションを使用している場合は、利用可です。ALTUS_ACCESS_KEYおよびALTUS_SECRET_KEYAltusのアクセスキーと、Altusの秘密キーファイルを参照するディレクトリを入力します。ALTUS_SET_CREDENTIALS]に"true"を入力した場合は、利用可です。"\"/opt/altuscli/altusclienv/bin/altus\""関連するディストリビューションを使用している場合は、利用可です。Altusクラスターを使用する場合は、"true"と入力します。それ以外の場合は"false"と入力して、ジョブがクラスターをオンザフライで作成できるようにします。関連するディストリビューションを使用している場合は、利用可です。"\"talend-altus-cluster\""関連するディストリビューションを使用している場合は、利用可です。"\"talend-altus-cluster\""関連するディストリビューションを使用している場合は、利用可です。Altusクラスターを実行するCloudサービスを入力します。現時点では、AWSのみサポートされています。したがって、"\"AWS\""と入力します。関連するディストリビューションを使用している場合は、利用可です。ALTUS_DELETE_AFTER_EXECUTIONジョブの実行後に特定のクラスターを削除する場合は、"true"と入力します。それ以外の場合は"false"と入力します。関連するディストリビューションを使用している場合は、利用可です。S3バケットへの接続に必要な認証情報を入力します。ALTUS_CLOUD_PROVIDER]に"\"AWS\""を入力した場合は、利用可です。ALTUS_S3_REGION使用するAWSリージョンを入力します。ALTUS_CLOUD_PROVIDER]に"\"AWS\""を入力した場合は、利用可です。ALTUS_BUCKET_NAMEジョブの依存性を保存するために使用するバケットの名前を入力します。既存のバケットを用意しておく必要があります。ALTUS_CLOUD_PROVIDER]に"\"AWS\""を入力した場合は、利用可です。ALTUS_JARS_BUCKETこの特定のバケット内のジョブの依存性を保存するディレクトリを入力します。"\"altus/jobjar\""このディレクトリは、ランタイム時にまだなかった場合は作成されます。ALTUS_CLOUD_PROVIDER]に"\"AWS\""を入力した場合は、利用可です。ALTUS_USE_CUSTOM_JSONJSONコードを手動で編集してAltusクラスターを設定する必要がある場合は、"true"と入力します。それ以外の場合は"false"と入力します。関連するディストリビューションを使用している場合は、利用可です。ALTUS_CUSTOM_JSONカスタムjsonコードを入力します。ALTUS_USE_CUSTOM_JSON]に"true"を入力した場合は、利用可です。ALTUS_INSTANCE_TYPEクラスター内のインスタンスのタイプを入力します。このクラスターに展開されたすべてのノードで同じインスタンスタイプが使用されます。"\"c4.2xlarge\""関連するディストリビューションを使用している場合は、利用可です。"\"10\""関連するディストリビューションを使用している場合は、利用可です。"\"altus\""関連するディストリビューションを使用している場合は、利用可です。SPARK_SCRATCH_DIR転送するジョブの依存性などの一時ファイルをローカルシステムに保存するディレクトリを入力します。"\"/tmp\""利用可。STREAMING_BATCH_SIZEジョブがソースデータを検証して変更を特定し、新しいマイクロバッチを処理するまでの間隔(ミリ秒)を入力します。"1000"Sparkストリーミングジョブを開発している場合は、利用可です。DEFINE_DURATIONストリーミングのタイムアウト(ミリ秒)を定義する必要がある場合は、"true"と入力します。それ以外の場合は"false"と入力します。Sparkストリーミングジョブを開発している場合は、利用可です。STREAMING_DURATIONストリーミングジョブが自動的に実行を停止するまでの期間(ミリ秒)を入力します。DEFINE_DURATION]に"true"を入力した場合は、利用可です。SPARK_ADVANCED_PROPERTIES他のHadoopまたはSparkに関連するプロパティを使用するためのコードを入力します。セキュリティ設定の定義に関連するプロパティは、次のとおりです。必須?USE_KRB使用するクラスターをKerberosで保護する場合は、"true"と入力します。それ以外の場合は"false"と入力します。JobsでサポートされているHadoopディストリビューションのバージョンを参照して下さい。利用可RESOURCEMANAGER_PRINCIPALResourceManagerサービスのKerberosプリンシパル名を入力します。"\"yarn/_HOST@EXAMPLE.COM\""KerberosおよびYarnクライアントモードを使用している場合は、利用可です。JOBHISTORY_PRINCIPALジョブヒストリーサービスのKerberosプリンシパル名を入力します。"\"mapred/_HOST@EXAMPLE.COM\""KerberosおよびYarnクライアントモードを使用している場合は、利用可です。keytabファイルを使用する必要がある場合は、"true"と入力します。それ以外の場合は"false"と入力します。Kerberosを使用している場合は、利用可です。PRINCIPAL使用するプリンシパルを入力します。keytabファイルを使用している場合は、利用可です。KEYTAB_PATHkeytabファイル自体へのアクセスパスを入力します。Jobserverに保存する必要があります。keytabファイルを使用している場合は、利用可です。USERNAMEディストリビューションのログインユーザー名を入力します。空のまま("\"\"")にしておくと、ジョブを実際に実行するマシンのユーザー名が使用されます。Kerberosを使用していない場合は、利用可です。USE_MAPRTICKET使用するMapRクラスターをMapRチケット認証メカニズムで保護する場合は、"true"を入力します。それ以外の場合は"false"と入力します。MapRクラスターを使用している場合は、利用可です。MAPRTICKET_PASSWORDMapRへのログインに使用するパスワードを入力します。"my_password"Kerberosを使用せず、MapRチケット認証メカニズムを使用している場合は、利用可です。MAPRTICKET_CLUSTER接続先とするMapRクラスターの名前を入力します。"\"demo.mapr.com\""MapRチケット認証メカニズムを使用している場合は、利用可です。MAPRTICKET_DURATIONチケットを有効とする期間(秒)を入力します。"86400L"MapRチケット認証メカニズムを使用している場合は、利用可です。SET_MAPR_HOME_DIRMapR構成ファイルの場所がクラスター内のどこかに変更されている場合、つまり、MapRホームディレクトリが変更されている場合は、"true"と入力します。それ以外の場合は"false"と入力します。MapRチケット認証メカニズムを使用している場合は、利用可です。MAPR_HOME_DIR新しいホームディレクトリを入力します。SET_MAPR_HOME_DIR]に"true"を入力した場合は、利用可です。SET_HADOOP_LOGIN使用するログインモジュールがMapRセキュリティ設定ファイル(mapr.login.conf)内で変更されている場合は、"true"と入力します。それ以外の場合は"false"と入力します。MapRチケット認証メカニズムを使用している場合は、利用可です。HADOOP_LOGINmapr.login.confファイルから呼び出すモジュールを入力します。モジュールを呼び出すことを意味します。SET_HADOOP_LOGIN]に"true"を入力した場合は、利用可です。Sparkのチューニングに関連するプロパティは、次のとおりです。必須?ADVANCED_SETTINGS_CHECKジョブの実行に使用するリソースの割り当てを最適化する必要がある場合は、"true"と入力します。それ以外の場合は"false"と入力します。SPARK_DRIVER_MEMおよびSPARK_DRIVER_CORES現在のジョブのドライバーが使用するメモリの割り当てサイズとコアの数を入力します。メモリは"\"512m\""、コアの数は"\"1\""と入力します。スタンドアロンモードでSparkのチューニングを行っている場合は、利用可です。SPARK_YARN_AM_SETTINGS_CHECKYarnクラスターのApplicationMasterチューニングプロパティを定義するには、"true"と入力します。それ以外の場合は"false"と入力します。YarnクライアントモードでSparkのチューニングを行っている場合は、利用可です。SPARK_YARN_AM_MEMおよびSPARK_YARN_AM_CORESApplicationMasterが使用するメモリの割り当てサイズを入力します。メモリは"\"512m\""、コアの数は"\"1\""と入力します。SPARK_YARN_AM_SETTINGS_CHECK]に"true"を入力した場合は、利用可です。SPARK_EXECUTOR_MEM各Sparkエグゼキューターが使用するメモリの割り当てサイズを入力します。"\"512m\""Sparkのチューニングを行っている場合は、利用可です。SET_SPARK_EXECUTOR_MEM_OVERHEADエグゼキューターごとにオフヒープメモリ(MB単位)の容量を割り当てる必要がある場合は、"true"と入力します。それ以外の場合は"false"と入力します。YarnクライアントモードでSparkのチューニングを行っている場合は、利用可です。SPARK_EXECUTOR_MEM_OVERHEADエグゼキューターごとに割り当てるオフヒープメモリ(MB単位)の容量を入力します。SET_SPARK_EXECUTOR_MEM_OVERHEAD]に"true"を入力した場合は、利用可です。SPARK_EXECUTOR_CORES_CHECK各エグゼキューターが使用するコアの数を定義する必要がある場合は、"true"と入力します。それ以外の場合は"false"と入力します。Sparkのチューニングを行っている場合は、利用可です。SPARK_EXECUTOR_CORES各エグゼキューターが使用するコアの数を入力します。SPARK_EXECUTOR_CORES_CHECK]に"true"を入力した場合は、利用可です。SPARK_YARN_ALLOC_TYPEYarnによるエグゼキューターへのリソースの割り当て方法を選択します。次の値のいずれか1つを入力します。エグゼキューターのデフォルトの数をYarnで使用することを意味します。デフォルト値は2です。SPARK_EXECUTOR_INSTANCES]で使用するエグゼキューターの数を定義することを意味します。Yarnに負荷に合わせてエグゼキューターの数を調整させることを意味します。SPARK_YARN_DYN_MAX]を定義する必要があります。YarnクライアントモードでSparkのチューニングを行っている場合は、利用可です。SPARK_EXECUTOR_INSTANCESYarnが使用するエグゼキューターの数を入力します。SPARK_YARN_ALLOC_TYPE]に"FIXED"を入力した場合は、利用可です。SPARK_YARN_DYN_INIT、SPARK_YARN_DYN_MINおよびSPARK_YARN_DYN_MAXこれら3つのプロパティを定義することで、動的な割り当てのスケールを定義します。最初のエグゼキューターの番号を"\"1\""、最小数を"\"0\""、最大数を"\"MAX\""とします。SPARK_YARN_ALLOC_TYPE]に"DYNAMIC"を入力した場合は、利用可です。UIのデフォルトポートを変更する必要がある場合は、"true"と入力します。それ以外の場合は"false"と入力します。Sparkのチューニングを行っている場合は、利用可です。UIに使用するポート番号を入力します。WEB_UI_PORT_CHECK]に"true"を入力した場合は、利用可です。SPARK_BROADCAST_FACTORY各ワーカーマシンで変数をキャッシュするために使用するブロードキャスト実装を入力します。次の値のいずれか1つを入力します。"AUTO""TORRENT""HTTP"Sparkのチューニングを行っている場合は、利用可です。CUSTOMIZE_SPARK_SERIALIZER外部Sparkシリアライザーをインポートする必要がある場合は、"true"と入力します。それ以外の場合は"false"と入力します。Sparkのチューニングを行っている場合は、利用可です。SPARK_SERIALIZER使用するシリアライザーの完全修飾クラス名を入力します。CUSTOMIZE_SPARK_SERIALIZER]に"true"を入力した場合は、利用可です。ENABLE_BACKPRESSURESparkのバックプレッシャフィーチャーを有効にする必要がある場合は、"true"と入力します。それ以外の場合は"false"と入力します。バックプレッシャフィーチャーは、Sparkバージョン1.5以上で使用できます。バックプレッシャを有効にすると、Sparkによって最適な受信速度が自動的に検出され、あくまでも処理可能な速度に合わせてデータを受信できるように、現在のバッチスケジューリングの待機時間と処理時間を基に速度が動的に変更されます。Sparkストリーミングジョブ用にSparkのチューニングを行っている場合は、利用可です。ジョブ実行のロギングに関連するプロパティは、次のとおりです。必須?ENABLE_SPARK_EVENT_LOGGINGYarnクラスターのファイルシステム内での持続性を保つために、このジョブのSparkアプリケーションログを有効にする必要がある場合は、"true"と入力します。それ以外の場合は"false"と入力します。YarnクライアントモードでSparkを使用している場合は、利用可です。COMPRESS_SPARK_EVENT_LOGSログを圧縮する必要がある場合は、"true"と入力します。それ以外の場合は"false"と入力します。ENABLE_SPARK_EVENT_LOGGING]に"true"を入力した場合は、利用可です。SPARK_EVENT_LOG_DIRSparkイベントがログされているディレクトリを入力します。ENABLE_SPARK_EVENT_LOGGING]に"true"を入力した場合は、利用可です。SPARKHISTORY_ADDRESSヒストリーサーバーのロケーションを入力します。ENABLE_SPARK_EVENT_LOGGING]に"true"を入力した場合は、利用可です。USE_CHECKPOINTジョブにエラー回復力が必要な場合は、"true"と入力してSparkチェックポイント操作を有効にします。それ以外の場合は"false"と入力します。CHECKPOINT_DIRメタデータなどの計算のコンテキストデータ、この計算から生成されたRDDをSparkが保存する、クラスターのファイルシステム内のディレクトリを入力します。SET_SPARK_EXECUTOR_MEM_OVERHEAD]に"true"を入力した場合は、利用可です。Navigatorの設定に関連するプロパティは、次のとおりです。Navigatorを活用して特定のデータフローの来歴を追跡し、ジョブによりこのデータフローがどのように生成されたかを調べることができます。JobsでサポートされているHadoopディストリビューションのバージョンを参照して下さい。Navigatorを使用する場合は、"true"と入力します。それ以外の場合は"false"と入力します。Cloudera上でSparkを使用している場合は、利用可です。Navigatorへの接続に使用するクレデンシャルを入力します。ユーザー名に"\"username\""、パスワードに"password"を使用します。USE_CLOUDERA_NAVIGATOR]に"true"を入力した場合は、利用可です。Navigatorの接続先となるロケーションを入力します。USE_CLOUDERA_NAVIGATOR]に"true"を入力した場合は、利用可です。Metadataのロケーションを入力します。USE_CLOUDERA_NAVIGATOR]に"true"を入力した場合は、利用可です。CLOUDERA_NAVIGATOR_CLIENT_URLNavigatorクライアントのロケーションを入力します。USE_CLOUDERA_NAVIGATOR]に"true"を入力した場合は、利用可です。Navigatorが現在のジョブの来歴を生成するように設定するには、"true"と入力します。それ以外の場合は"false"と入力します。USE_CLOUDERA_NAVIGATOR]に"true"を入力した場合は、利用可です。Navigatorに接続したときにSSL検証プロセスを使用しないように設定するには、"true"と入力します。それ以外の場合は"false"と入力します。USE_CLOUDERA_NAVIGATOR]に"true"を入力した場合は、利用可です。Navigatorへの接続が失敗したときにジョブの実行が停止するように設定するには、"true"と入力します。それ以外の場合は"false"と入力します。USE_CLOUDERA_NAVIGATOR]に"true"を入力した場合は、利用可です。Atlasの設定に関連するプロパティは、次のとおりです。Atlasがインストールされている場合は、Atlasを活用して特定のデータフローの来歴を追跡し、ジョブによりこのデータがどのように生成されたかを調べることができます。必須?USE_ATLASAtlasを使用する場合は"true"と入力します。それ以外の場合は"false"と入力します。Hortonworks上でSparkを使用している場合は、利用可です。ATLAS_USERNAMEおよびATLAS_PASSWORDAtlasへの接続に使用するクレデンシャルを入力します。ユーザー名に"\"username\""、パスワードに"password"を使用します。USE_ATLAS]に"true"を入力した場合は、利用可です。ATLAS_URLAtlasの接続先となるロケーションを入力します。USE_ATLAS]に"true"を入力した場合は、利用可です。SET_ATLAS_APPLICATION_PROPERTIESAtlasクラスターにSSLや読み取りタイムアウトなどのカスタムプロパティが含まれている場合は、"true"と入力します。それ以外の場合は"false"と入力します。USE_ATLAS]に"true"を入力した場合は、利用可です。ATLAS_APPLICATION_PROPERTIESローカルマシンにディレクトリを入力し、そのディレクトリにAtlasのatlas-application.propertiesファイルを保存します。"\"/user/atlas/atlas-application.properties\""こうすることでジョブが有効になり、これらのカスタムプロパティを使用できるようになります。SET_ATLAS_APPLICATION_PROPERTIES]に"true"を入力した場合は、利用可です。ATLAS_DIE_ON_ERRORAtlasに関連する問題が発生したときにジョブの実行が停止するように設定するには、"true"と入力します。それ以外の場合は"false"と入力します。USE_ATLAS]に"true"を入力した場合は、利用可です。