(Spark設定)タブで、Atlus接続設定を完成させます。この設定はジョブごとに有効です。このタイプのクラスターでは、Yarnクラスターモードしか使用できません。ビッグデータ対応のTalend製品のいずれかにサブスクライブしているユーザーだけを対象とします。Dataユーザーは対象外です。CLIは、ジョブが実行されるマシンにインストールする必要があります。Linuxをご覧ください。Windowsをご覧ください。Altusに基本的な接続情報を入力します。このチェックボックスをオンにすると、Sparkはシステムで指定されているローカルタイムゾーンを使います。注:このチェックボックスをオフにすると、SparkによってUTCタイムゾーンが使用されます。(日付にローカルタイムゾーンを使用)チェックボックスもあります。コンポーネントのチェックボックスをオフにすると、Spark設定からのタイムゾーンを継承します。APIを使用させます:チェックボックスを選択する場合は、ジョブ内のコンポーネントはDSで実行されて、パフォーマンスが向上します。チェックボックスをオフにする場合は、ジョブ内のコンポーネントはRDDで実行されて、変更されていない状態のままです。これにより、下位互換性が保証されます。ジョブにtDeltaLakeInputコンポーネントとtDeltaLakeOutputコンポーネントが含まれている場合は、このチェックボックスを選択する必要があります。7.3で新しく作成されたジョブはDSを使用し、7.3以前のバージョンからインポートされたジョブはデフォルトでRDDを使用します。すべてのコンポーネントがRDDからDSに移行されないため、デフォルトでエラーを避けるには、チェックボックスをオフにすることをお勧めします。このチェックボックスをオンにすると、日付でjava.sql.Timestamp使われます。このチェックボックスをオフのままにしておくと、パターンに応じてjava.sql.Timestampかjava.sql.Dateが使われます。Altus認証情報を使用)このチェックボックスをオンにして、ジョブに認証情報を提供します。configureコマンドを手動で入力して、認証情報を個別に提供する場合は、このチェックボックスをオフにします。Altusクライアントへのパスを入力します。本番環境の場合、このマシンは通常、Talendジョブサーバーです。使用する仮想Clouderaクラスターを設定します。Altusクラスターを使用する場合は、このチェックボックスをオンにします。それ以外の場合は、ジョブをクラスター上で即座に作成できるように、このチェックボックスをh外します。このチェックボックスをオンにすると、クラスター名のパラメーターだけが使用可能になり、クラスター設定のその他のパラメーターは非表示になります。(クラスター名)使用するクラスターの名前を入力します。Altus環境の名前を入力します。Altus管理者にお問い合わせください。(実行後にクラスターを削除)ジョブの実行後に特定のクラスターを削除する場合は、このチェックボックスをオンにします。(カスタムJSON)フィールドでJSONコードを手動で編集する場合は、このチェックボックスをオンにします。(インスタンスの種類)クラスター内のインスタンスのタイプを選択します。このクラスターに展開されたすべてのノードで同じインスタンスタイプが使用されます。(ワーカーノード)クラスター用に作成するワーカーノードの数を入力します。Altusのドキュメンテーション)をご覧ください。Managerサービスの認証情報を入力します。Altus環境で指定したリージョンにSSHプライベートキーをアップロードして登録するために、SSHプライベートキーへのパスを参照または入力します。Engineeringサービスはこのプライベートキーを使って、使用するクラスターのインスタンスにアクセスし、設定を行います。(カスタムブートストラップスクリプト)フィールドにパスを入力します。(クラスターの作成時にカスタムPython環境をインストールする)をご覧ください。Altusクラスターを実行するクラウドサービスを選択します。S3ディレクトリーを定義します。S3バケットへの接続に必要な認証情報を入力します。クリックして設定を保存します。リストからリージョン名を選択するか、リスト内で二重引用符の間にリージョンを入力して("us-east-1"など)、AWSリージョンを指定します。Endpointsをご覧ください。ジョブの依存項目を保存するために使用するバケットの名前を入力します。既存のバケットを用意しておく必要があります。この特定のバケット内に保存したジョブの従属環境のディレクトリー(altus/jobjarなど)を入力します。このディレクトリーは、ランタイム時にまだなかった場合は作成されます。S3は、ジョブの依存関係を保存する目的でのみ使用されます。Storageに保存します。Storageへのアクセスに使用するAzureアプリケーションに読み取り/書き込み/実行の権限を割り当てます。Storageのアカウントファイルまたはフォルダーに割り当てる)をご覧ください。Storageに転送できません。(インスタンス設定)セクションで特定します。Storageのアカウントファイルまたはフォルダーに割り当てる)で説明している同じ手順を使用して、このAADグループに読み取り/書き込み/実行の権限を割り当てます。Storageに転送できません。Storageへの接続を設定します。Storageアカウントのスキーム部分を除いてアドレスを入力します。ychendls.azuredatalakestore.net。このアカウントはAzureポータル内に既に存在する必要があります。Storageへのアクセスに使うアプリケーションを登録する際に生成された認証IDと認証キーをそれぞれ入力します。Storageへのアクセス権を割り当てたアプリケーションである必要があります。2.0トークンエンドポイントをコピーして貼り付けます。Storageは、ジョブの依存項目だけを保存するために使用されます。実際のデータをホストするAzureシステムに接続するには、ジョブでtAzureFSConfigurationコンポーネントを使用します。(ジョブの終了を待機)チェックボックスをオンにしてStudio、またはTalendジョブサーバーを使用している場合はジョブJVMで、ジョブの実行完了までジョブの監視を続けます。このチェックボックスをオンにすると、spark.yarn.submit.waitAppCompletionプロパティをtrueに設定したことになります。Streamingジョブを実行する場合はチェックボックスをオフにしたほうが賢明です。接続の設定後、必須ではありませんがSparkのパフォーマンスを調整できます。調整する場合は、以下に記載のプロセスに従います。Sparkジョブのアクティビティをロギングおよびチェックポインティング。ManagerサービスまたはAltusクラスターインスタンスでご確認ください。