中文HDFSでのデータの読み書きこのチュートリアルでは、ランダムデータを生成してHDFSに書き込みます。次に、HDFSからデータを読み取り、ソートして結果をコンソールに表示します。CDHバージョン5.4)を使用します。新しい標準ジョブを作成する[Integration]パースペクティブが選択されていることを確認します。Cluster]を展開します。Job]をクリックします。Job]ウィザードの[Name]フィールドに、ReadWriteHDFSと入力します。HDFSと入力して、[Finish]をクリックします。ジョブデザイナーでジョブが開きます。ランダムな顧客データを生成するために、tRowGeneratorコンポーネントを追加して構成します。ランダムな顧客データを生成するには、ジョブデザイナーでtRowGeneratorを追加します。tRowGeneratorコンポーネントのスキーマと関数のパラメーターを設定するには、[tRowGenerator_1]をダブルクリックします。スキーマに列を追加するには、[+]アイコンを3回クリックして、列名をCustomerID、FirstName、LastNameとして入力します。次に、これらのフィールドの属性を構成します。[CustomerID]列のタイプを変更するには、[Type]フィールドをクリックし、[Integer]をクリックして、3つの列の[Functions]フィールドをそれぞれrandom(int,int)、TalendDataGenerator.getFirstName()、TalendDataGenerator.getLastName()に設定します。parameters]タブで最大値を1000に設定します。RowGenerator]フィールドに1000と入力し、[OK]をクリックして構成を保存します。HDFSにデータを書き込むここでは、プロジェクトリポジトリで利用可能な既存のHDFSメタデータを再利用する新しいtHDFSOutputコンポーネントを作成します。[HDFS]をクリックし、[MyHadoopCluster_HDFS]をクリックしてジョブデザイナーにドラッグします。[Components]リストで、[tHDFSOutput]を選択して[OK]をクリックします。tRowGenerator_1コンポーネントからMyHadoopCluster_HDFSコンポーネントへのデータフローを作成するため、2つのコンポーネントを[Main]行にリンクします。次に、[MyHadoopCluster_HDFS]コンポーネントをダブルクリックして[Component]ビューを開きます。注:コンポーネントは定義済みのHDFSメタデータ接続情報ですでに構成されています。Name]ボックスに「/user/student/CustomersData」と入力し、[Action]リストの[Overwrite]を選択します。HDFSにデータを書き込む最初のサブジョブはこれで完了です。先に作成したtRowGeneratorで生成されたデータを使用し、メタデータを使用して定義された接続を使用してHDFSに書き込みます。HDFSからデータを読み取る次に、HDFS上の顧客データを読み取り、ソートしてコンソールに表示するためのサブジョブを作成します。HDFSから顧客データを読み取るには、プロジェクトリポジトリで利用可能な既存のHDFSメタデータを再利用する新しいtHDFSInputコンポーネントを作成します。[HDFS]をクリックし、[MyHadoopCluster_HDFS]をクリックしてジョブデザイナーにドラッグします。[Components]リストで、[tHDFSInput]を選択して[OK]をクリックします。MyHadoopCluster_HDFS入力コンポーネントの[Component]ビューを開くには、[MyHadoopCluster_HDFS]入力コンポーネントをダブルクリックします。注:コンポーネントは定義済みのHDFSメタデータ接続情報ですでに構成されています。Name]ボックスに/user/student/CustomersDataと入力します。schema]をクリックします。スキーマに列を追加するには、[+]アイコンを3回クリックして、列名をCustomerID、FirstName、LastNameとして入力します。CustomerID列の種類を変更するには、[Type]フィールドをクリックし、[Integer]をクリックします。注:このスキーマは、tRowGeneratorおよびtHDFSOutputと同じです。これらのコンポーネントのいずれかからコピーして、このスキーマに貼り付けることができます。OnSubjobOkトリガーを使用して、tRowGeneratorコンポーネントをMyHadoopCluster_HDFS入力コンポーネントに接続します。tSortRowコンポーネントを使用し、顧客IDのデータを昇順でソートするtSortRowコンポーネントを追加し、[Main]を使用してMyHadoopCluster_HDFS入力コンポーネントに接続します。tSortRowコンポーネントの[Component]ビューを開くには、コンポーネントをダブルクリックします。columns]をクリックします。[Criteria]テーブルに新しい条件を追加するには、[+]アイコンをクリックして[Schema]列にCustomerIDと入力します。desc?]列で[asc]を選択します。tLogRowコンポーネントを使用し、ソートされたデータをコンソールに表示するtLogRowコンポーネントを追加し、[Main]を使用してtSortRowコンポーネントに接続します。tLogRowコンポーネントの[Component]ビューを開くには、コンポーネントをダブルクリックします。[Mode]パネルで[Table]を選択します。これで、ジョブを実行する準備ができました。ジョブは、最初にデータを生成してHDFSに書き込みます。次に、HDFSからデータを読み取り、ソートしてコンソールに表示します。7.ジョブを実行し、コンソールで結果を確認するジョブを実行するには、[Run]ビューで[Run]をクリックします。ソートされたデータがコンソールに表示されます。