使用データの準備コンポーネントをリンク繰り返し処理の設定ファイルの選択ジョブを実行これらのプロパティは、標準ジョブのフレームワークで実行されているtHDFSOutputRawを設定するために使われます。標準のtHDFSOutputRawコンポーネントは、ビッグデータファミリーに属しています。Fabricで利用できます。(リポジトリー)のいずれかです。一元的に保存されるプロパティデータはありません。プロパティが保存されているリポジトリーファイルを選択します。(スキーマを編集)スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。このコンポーネントのスキーマは読み取り専用です。(スキーマを編集)をクリックすると、スキーマを表示できます。スキーマのみを表示する場合は、このオプションを選択します。ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。(リポジトリーのコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。(コンポーネントリスト)で、定義済みの接続詳細を再利用するHDFS接続コンポーネントをクリックします。(コンポーネントリスト)には同じジョブレベルの接続コンポーネントのみが表示されます。(ディストリビューション)ドロップダウンリストで、使用するクラスターを選択します。リストのオプションは使用するコンポーネントによって異なります。これらのオプションの中でも、以下のオプションを使用するには特定の設定が必要です。Insightクラスターを利用できます。Storageサービスへの接続を設定する必要があります。(https://help.talend.com)で接続の手動の設定について検索してください。(https://help.talend.com)をご覧ください。正式にサポートされていないクラスターに接続できます。(既存のバージョンからインポート)を選択すると、正式にサポートされているディストリビューションをベースとしてインポートしてから、ベースディストリビューションで提供されていない他の必要なjarファイルを追加できます。(zipからインポート)を選択すると、使用するカスタムディストリビューションの設定zipファイルをインポートできます。zipファイルには、Hadoopの各種エレメントのライブラリーおよびこれらのライブラリーのインデックスファイルが含まれている必要があります。(Hadoop設定)リストからダウンロードして接続に直接利用できます。さまざまなHadoop関連のプロジェクトが継続的に進展しているため、このリストから対応するディストリビューションの設定Zipが見つからないことがあります。(既存のバージョンからインポート)オプションを使って、既存のディストリビューションをベースとして取得し、ディストリビューションに必要なjarを追加することをお勧めします。カスタムバージョンを公式にサポートしていません。そのコミュニティでは、Studioからカスタムバージョンに接続するための方法を紹介していますが、Hadoopのディストリビューションとバージョンの種類は幅広いため、選択したバージョンの設定がスムーズに機能するかどうかは保証できません。そのような接続のセットアップは、Hadoopについてどんな問題でもご自身で対処できる十分な経験をお持ちの場合のみ行ってください。注:カスタムディストリビューションとこのコンポーネント間で作成する接続に関わるjarファイルがインポートされるように、このダイアログボックスのアクティブなチェックボックスをオフにしないでください。カスタムディストリビューションに接続して、その接続を共有する方法を段階的に説明する例については、Hortonworksをご覧ください。(バージョン)使用しているHadoopのディストリビューションのバージョンを選択します。使用可能なオプションは、使用しているコンポーネントによって異なります。(スキーム)ドロップダウンリストで、使用するファイルシステムのURIスキームを選択します。このスキームはHDFSWebHDFSである場合があります。SSLはまだサポートされていません。このリストにあるスキームは、使用しているディストリビューションによって異なります。特定のディストリビューションでこのリストに表示されるスキームのみが、Talendによって正式にサポートされています。スキームを選択すると、WebHDFS用のwebhdfs://localhost:50070/などの対応する構文が、クラスターのNameNodeロケーションのフィールドに表示されます。ADLSを選択した場合、定義の必要な接続パラメーターは以下のとおりです。Storageへのアクセスに使うアプリケーションを登録する際に生成された認証IDと認証キーをそれぞれ入力します。Lakeへのアクセス権があることを確認します。(必要な権限)ビューをチェックしてください。folderをご覧ください。2.0トークンエンドポイントをコピーして貼り付けます。Jobをご覧ください。NameNodeのURIを入力します。NameNodeとしてmasternodeという名前のマシンを選択した場合、その場所はhdfs://masternode:portnumberになります。WebHDFSを使用している場合、ロケーションはwebhdfs://masternode:portnumberとなります。SSLはまだサポートされていません。(Kerberos認証を使用)Kerberosセキュリティを実行しているHadoopクラスターにアクセスする場合は、このチェックボックスをオンにし、表示されるフィールドにネームノードとしてKerberosのプリンシパル名を入力します。これにより、ユーザー名を使って、Kerberosに保存された認証情報に対して認証を実行できます。接続しているHadoopのディストリビューションによってはこのチェックボックスが表示されないこともあります。(Keytabを認証に使用)チェックボックスをオンにして、所定のkeytabファイルを使ってKerberos対応のシステムにログインします。keytabファイルには、Kerberosのプリンシパルと暗号化されたキーのペアが含まれています。フィールドに入力します。JobServerなど)に保存する必要があります。keytabが有効なジョブは、プリンシパルに任命されたユーザーでなくても実行できますが、使用するkeytabファイルの読み取り権限が必要です。user1というユーザー名でジョブを実行し、使用するプリンシパルがguestの場合、user1に使用するキータブファイルの読み取り権限があることをご確認ください。(データノードホスト名を使用)チェックボックスをオンにして、これらのホスト名によるデータノードへのアクセスをジョブに許可します。これは、実際にはdfs.client.use.datanode.hostnameプロパティをtrueに設定しています。S3Nファイルシステムに接続する場合、このチェックボックスをオンにする必要があります。(ユーザー名)フィールドは、認証にKeroberosを使っていない場合に利用できます。(ユーザー名)フィールドに、ディストリビューションにログインするためのユーザー名を入力します。このフィールドを空白のままにすると、Studioをホストするマシンのユーザー名が使用されます。グループHDFSインスタンスが起動された認証ユーザーを含めたメンバーシップを入力します。このフィールドは、使用しているHadoopのディストリビューションによっては、表示されないことがあります。(ファイル名)データを書き込むファイルに移動するか、またはファイルのロケーションを入力します。このファイルが存在しない場合は、自動的に作成されます。(アクション)ファイルに対して実行するアクションを選択します。(ファイル名)フィールドで定義されたファイル名を使用して、データを含むファイルを作成します。(ファイル名)フィールドで指定されたファイルのデータを上書きします。(ファイル名)フィールドで指定されたファイルにデータを挿入します。指定したファイルが存在しない場合は、自動的に作成されます。(カスタムエンコーディング)保管データを処理する際、エンコーディングの問題が発生することがあります。(エンコーディング)リストを表示します。(カスタム)を選択して、手動で定義します。このフィールドはデータベースデータ処理の必須フィールドです。サポートされるエンコーディングは、使用しているJVMに応じて異なります。詳細は、https://docs.oracle.comをご覧ください。このオプションはシーケンスファイルでは使用できません。(データの圧縮)チェックボックスをオンにすると、出力データが圧縮されます。Hadoopではファイルの保存に必要な領域を削減し、データ転送を高速化するための圧縮形式が異なります。圧縮ファイルを読み取る場合、Studioでは入力フローにフィードする前に展開する必要があります。書き込まれるファイルの種類がシーケンスファイルの場合、圧縮アルゴリズムはこのシーケンスファイルのコンテナーファイル(part-ファイル)内に組み込まれていることにご注意ください。コンポーネントやシーケンスファイル形式を読み取れる他のアプリケーションで読むことができます。(テキストファイル)の場合、出力ファイルにはbzip2またはgzipコンテナーファイルを読み取れる標準の圧縮ユーティリティを使用してアクセスできます。(エラー発生時に強制終了)このチェックボックスをオンにすると、エラー発生時にジョブの実行が停止されます。エラーの発生した行をスキップし、エラーが発生していない行の処理を完了するには、このチェックボックスをオフにします。(リジェクト)リンクを使用してエラーの発生した行を収集できます。Hadoopディストリビューションの処理を実行するエンジンに、デフォルト設定を使用しています。特定の場合にカスタム設定を使用する必要がある場合は、カスタマイズするプロパティをこのテーブルで設定します。設定後、カスタマイズしたプロパティによってこれらのデフォルトのプロパティがランタイム時に上書きされます。(リポジトリー)に一元的に保管されたメタデータを使用している場合、テーブルにはそのメタデータで定義されたプロパティが自動的に継承されます。(組み込み)に変更しないと、テーブルは編集できなくなります。Hadoop、およびHDFSやHiveなどのその関連システムで必要なプロパティの詳細は、使用しているHadoopディストリビューションのドキュメンテーションを参照するか、http://hadoop.apache.org/docsに掲載されているApacheのHadoopのドキュメンテーションを参照し、必要なバージョンのドキュメンテーションを選択してください。以下のリンクでは、一部のプロパティについて実例を紹介しています。http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xmlなど、ディストリビューションのhdfs-default.xmlファイル内にあります。Apacheでは、Hive関連のプロパティを一覧にしたページ(https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties)も掲載されています。(tStatCatcher統計情報)このチェックボックスをオンにすると、コンポーネントレベルでログデータを収集できます。これはAfter変数で、文字列を返します。エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。(エラー発生時に強制終了)がオフになっている場合のみ機能します。Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。スペースを押して変数リストにアクセスし、使用する変数を選択します。Studioユーザーガイドをご覧ください。使用ルールこのコンポーネントには、単一カラムのデータを提供する入力コンポーネントが必要です。(オブジェクト)である必要があります。tHMapを使用して、この単一のカラムを提供します。globalMapオブジェクトに追加し、このデータがtFixedFlowInputなどの他のコンポーネントのグローバル変数として使用できるようにして、この必要なシングルのカラムを作成します。thmap_c.htmlをご覧ください。tConvertType,の詳細は、tconverttype_c.htmlをご覧ください。tJavaRowの詳細は、tjavarow_c.htmlをご覧ください。tFixedFlowInputの詳細は、tfixedflowinput_c.htmlをご覧ください。(ユーザーガイド)のコンテキストと変数の使用方法を説明するセクションをご覧ください。(コード)フィールドにコンテキスト変数を入力して、ジョブ内で計画した複数の接続からHDFS接続をダイナミックに選択します。介さずにジョブをデプロイおよび実行する必要がある時など、ジョブの設定を変更できない環境で作業している場合に役立ちます。(既存の接続を使用)チェックボックスがオンになっている場合のみ利用できます。(コンポーネントリスト)ボックスは利用できなくなります。動的パラメーターの使用サンプルは、コンテキストベースの動的接続によるデータベースからのデータの読み取りおよび動的に読み取られた接続パラメーターを使用した異なるMySQLデータベースからのデータの読み取りをご覧ください。Studioユーザーガイドをご覧ください。操作を確実に行うには、Hadoopディストリビューションを適切にインストールする必要があります。以下のリストに、MapR関連の情報などを示します。MapRクライアントは必ずStudioのあるマシンにインストールして、そのマシンのPATH変数にMapRクライアントライブラリーを追加します。hadoop\hadoop-VERSION\lib\nativeにあります。Windows版のライブラリーは、\lib\native\MapRClient.dllにあるMapRクライアントのjarファイルにあります。詳細は、MapRからhttp://www.mapr.com/blog/basic-notes-on-configuring-eclipse-as-a-hadoop-development-environment-for-maprをご覧ください。java.library.pathというエラーが発生する可能性があります。(ジョブ実行VMの引数)エリアで、-Djava.library.path引数を設定するために使われます。この引数により、そのMapRクライアントのネイティブライブラリーへのパスがStudioに渡されるので、サブスクリプションベースのユーザーはデータビューアーをフルに活用して、MapRに保存されたデータをStudioでローカルに表示できます。Hadoopディストリビューションのインストール方法の詳細は、使用しているHadoopディストリビューションに対応するマニュアルをご覧ください。