使用データの準備コンポーネントをリンク繰り返し処理の設定ファイルの選択ジョブを実行これらのプロパティは、標準ジョブのフレームワークで実行されているtHDFSCompareを設定するために使われます。tHDFSCompareコンポーネントは、ビッグデータファミリーとファイルファミリーに属しています。Fabricで利用できます。一元的に保存されるプロパティデータはありません。プロパティが保管されるリポジトリーファイルを選択します。後続フィールドは、取得されたデータを使用して自動的に入力されます。(コンポーネントリスト)で、定義済みの接続詳細を再利用するHDFS接続コンポーネントをクリックします。(コンポーネントリスト)には同じジョブレベルの接続コンポーネントのみが表示されます。(ディストリビューション)ドロップダウンリストで、使用するクラスターを選択します。リストのオプションは使用するコンポーネントによって異なります。これらのオプションの中でも、以下のオプションを使用するには特定の設定が必要です。Insightクラスターを利用できます。Storageサービスへの接続を設定する必要があります。(https://help.talend.com)で接続の手動の設定について検索してください。(https://help.talend.com)をご覧ください。正式にサポートされていないクラスターに接続できます。(既存のバージョンからインポート)を選択すると、正式にサポートされているディストリビューションをベースとしてインポートしてから、ベースディストリビューションで提供されていない他の必要なjarファイルを追加できます。(zipからインポート)を選択すると、使用するカスタムディストリビューションの設定zipファイルをインポートできます。zipファイルには、Hadoopの各種エレメントのライブラリーおよびこれらのライブラリーのインデックスファイルが含まれている必要があります。(Hadoop設定)リストからダウンロードして接続に直接利用できます。さまざまなHadoop関連のプロジェクトが継続的に進展しているため、このリストから対応するディストリビューションの設定Zipが見つからないことがあります。(既存のバージョンからインポート)オプションを使って、既存のディストリビューションをベースとして取得し、ディストリビューションに必要なjarを追加することをお勧めします。カスタムバージョンを公式にサポートしていません。そのコミュニティでは、Studioからカスタムバージョンに接続するための方法を紹介していますが、Hadoopのディストリビューションとバージョンの種類は幅広いため、選択したバージョンの設定がスムーズに機能するかどうかは保証できません。そのような接続のセットアップは、Hadoopについてどんな問題でもご自身で対処できる十分な経験をお持ちの場合のみ行ってください。注:カスタムディストリビューションとこのコンポーネント間で作成する接続に関わるjarファイルがインポートされるように、このダイアログボックスのアクティブなチェックボックスをオフにしないでください。カスタムディストリビューションに接続して、その接続を共有する方法を段階的に説明する例については、Hortonworksをご覧ください。(バージョン)使用しているHadoopのディストリビューションのバージョンを選択します。使用可能なオプションは、使用しているコンポーネントによって異なります。(スキーム)ドロップダウンリストで、使用するファイルシステムのURIスキームを選択します。このスキームはHDFSWebHDFSである場合があります。SSLはまだサポートされていません。このリストにあるスキームは、使用しているディストリビューションによって異なります。特定のディストリビューションでこのリストに表示されるスキームのみが、Talendによって正式にサポートされています。スキームを選択すると、WebHDFS用のwebhdfs://localhost:50070/などの対応する構文が、クラスターのNameNodeロケーションのフィールドに表示されます。ADLSを選択した場合、定義の必要な接続パラメーターは以下のとおりです。Storageへのアクセスに使うアプリケーションを登録する際に生成された認証IDと認証キーをそれぞれ入力します。Lakeへのアクセス権があることを確認します。(必要な権限)ビューをチェックしてください。folderをご覧ください。2.0トークンエンドポイントをコピーして貼り付けます。Jobをご覧ください。NameNodeのURIを入力します。NameNodeとしてmasternodeという名前のマシンを選択した場合、その場所はhdfs://masternode:portnumberになります。WebHDFSを使用している場合、ロケーションはwebhdfs://masternode:portnumberとなります。SSLはまだサポートされていません。(Kerberos認証を使用)Kerberosセキュリティを実行しているHadoopクラスターにアクセスする場合は、このチェックボックスをオンにし、表示されるフィールドにネームノードとしてKerberosのプリンシパル名を入力します。これにより、ユーザー名を使って、Kerberosに保存された認証情報に対して認証を実行できます。接続しているHadoopのディストリビューションによってはこのチェックボックスが表示されないこともあります。(Keytabを認証に使用)チェックボックスをオンにして、所定のkeytabファイルを使ってKerberos対応のシステムにログインします。keytabファイルには、Kerberosのプリンシパルと暗号化されたキーのペアが含まれています。フィールドに入力します。JobServerなど)に保存する必要があります。keytabが有効なジョブは、プリンシパルに任命されたユーザーでなくても実行できますが、使用するkeytabファイルの読み取り権限が必要です。user1というユーザー名でジョブを実行し、使用するプリンシパルがguestの場合、user1に使用するキータブファイルの読み取り権限があることをご確認ください。(ユーザー名)フィールドは、認証にKeroberosを使っていない場合に利用できます。(ユーザー名)フィールドに、ディストリビューションにログインするためのユーザー名を入力します。このフィールドを空白のままにすると、Studioをホストするマシンのユーザー名が使用されます。グループHDFSインスタンスが起動された認証ユーザーを含めたメンバーシップを入力します。このフィールドは、使用しているHadoopのディストリビューションによっては、表示されないことがあります。(スキーマを編集)スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。このコンポーネントのスキーマは読み取り専用です。(スキーマを編集)をクリックすると、スキーマを表示できます。(比較モード)比較に適用するモードを選択します。(比較するファイル)品質管理を確認するために必要なHDFS内のファイルへのパスを参照または入力します。(参照ファイル)比較の基になっているHDFSのファイルへのパスを参照するか、入力します。(実行)コンソールに表示するメッセージを入力します。(実行)コンソールにメッセージが表示されます。(カスタム)を選択して、手動で定義します。このフィールドはデータベースデータ処理の必須フィールドです。サポートされるエンコーディングは、使用しているJVMに応じて異なります。詳細は、https://docs.oracle.comをご覧ください。Hadoopディストリビューションの処理を実行するエンジンに、デフォルト設定を使用しています。特定の場合にカスタム設定を使用する必要がある場合は、カスタマイズするプロパティをこのテーブルで設定します。設定後、カスタマイズしたプロパティによってこれらのデフォルトのプロパティがランタイム時に上書きされます。(リポジトリー)に一元的に保管されたメタデータを使用している場合、テーブルにはそのメタデータで定義されたプロパティが自動的に継承されます。(組み込み)に変更しないと、テーブルは編集できなくなります。Hadoop、およびHDFSやHiveなどのその関連システムで必要なプロパティの詳細は、使用しているHadoopディストリビューションのドキュメンテーションを参照するか、http://hadoop.apache.org/docsに掲載されているApacheのHadoopのドキュメンテーションを参照し、必要なバージョンのドキュメンテーションを選択してください。以下のリンクでは、一部のプロパティについて実例を紹介しています。http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xmlなど、ディストリビューションのhdfs-default.xmlファイル内にあります。Apacheでは、Hive関連のプロパティを一覧にしたページ(https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties)も掲載されています。(tStatCatcher統計)このチェックボックスをオンにすると、ジョブレベルやコンポーネントレベルでジョブ処理メタデータが収集されます。これはFlow変数で、ブール値を返します。エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。(エラー発生時に強制終了)がオフになっている場合のみ機能します。Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。スペースを押して変数リストにアクセスし、使用する変数を選択します。Studioユーザーガイドをご覧ください。使用ルールtHDFSCompareは、スタンドアロンコンポーネントにすることも、生成した情報を次のコンポーネントに送信することもできます。(コード)フィールドにコンテキスト変数を入力して、ジョブ内で計画した複数の接続からHDFS接続をダイナミックに選択します。介さずにジョブをデプロイおよび実行する必要がある時など、ジョブの設定を変更できない環境で作業している場合に役立ちます。(既存の接続を使用)チェックボックスがオンになっている場合のみ利用できます。(コンポーネントリスト)ボックスは利用できなくなります。動的パラメーターの使用サンプルは、コンテキストベースの動的接続によるデータベースからのデータの読み取りおよび動的に読み取られた接続パラメーターを使用した異なるMySQLデータベースからのデータの読み取りをご覧ください。Studioユーザーガイドをご覧ください。操作を確実に行うには、Hadoopディストリビューションを適切にインストールする必要があります。以下のリストに、MapR関連の情報などを示します。MapRクライアントは必ずStudioのあるマシンにインストールして、そのマシンのPATH変数にMapRクライアントライブラリーを追加します。hadoop\hadoop-VERSION\lib\nativeにあります。Windows版のライブラリーは、\lib\native\MapRClient.dllにあるMapRクライアントのjarファイルにあります。詳細は、MapRからhttp://www.mapr.com/blog/basic-notes-on-configuring-eclipse-as-a-hadoop-development-environment-for-maprをご覧ください。java.library.pathというエラーが発生する可能性があります。(ジョブ実行VMの引数)エリアで、-Djava.library.path引数を設定するために使われます。この引数により、そのMapRクライアントのネイティブライブラリーへのパスがStudioに渡されるので、サブスクリプションベースのユーザーはデータビューアーをフルに活用して、MapRに保存されたデータをStudioでローカルに表示できます。Hadoopディストリビューションのインストール方法の詳細は、使用しているHadoopディストリビューションに対応するマニュアルをご覧ください。