byClassmethod検索AWSAlexaモバイルビッグデータサーバーレスTableauAlteryxイベントTalendでディレクトリの中にある一番最新ファイルを取得する方法Talend『カスタマーストーリー』を支えるツール特集2016年07月08日Yura(22)1この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。はじめに忘れない内にまたTalendネタを書きます。ディレクトリの内に複数のファイルがあり、その中から最新のファイルのみを処理したい場合があります。今回は、そういった場合にTalendでどう作るかをご紹介します。今回使用した環境は以下の通りです。日次でCSVファイルがアップロードされて、差分をDBに登録するというジョブを作ってみます。例として、ディレクトリ構成は以下の様な構成の場合で考えてみます。yyyyMMddにはアップロードされた日付が入るとします。└─uriagedata.csv実際に作ったジョブは以下のようなジョブになりました。tFileListでディレクトリの中にあるファイルの情報を取得しています。tFileListを他のコンポーネントとIterateでつなげて、取得したファイルの分だけつなげたコンポーネントの処理を動作します。基本設定コンポーネントのディレクトリに、取得したいデータのあるディレクトリを記述します。今回はディレクトリに日付が入っているという想定なのでディレクトリには日付のフォルダは入力せずに、"サブディレクトリを含む"チェックボックスにチェックを入れておきます。tFileListで取得したファイルの情報は、Iterateでつなげられたコンポーネントで以下のようにしてglobalMapから取得できます。(String)globalMap.get("tFileList_1_CURRENT_FILE");tFileListコンポーネントを使用した場合、globalMapから取得できるのは以下の5つです。1tIterateToFlowでは、tFileListで取得した情報をスキーマの形に変換しています。今回の例でいえば、tFileListから取得した情報を表のような形にしているイメージでしょうか。C:\File\csv\uriage\20160701tSortRowコンポーネントでファイルディレクトリを降順にソートすることで、最新の日付のファイルが1番上に来ます。tSampleRowコンポーネントで1番上のデータのみ抽出することで、最新データのファイルパスを取得することができます。あとはtFlowToIterateを使用して、処理の流れをIterateの形に戻してtMYsqlBulcExecでDBにデータを投入すればよいです。tMysqlBulkExecのローカルファイル名には、抽出したファイルパスを指定してください。今回の場合は、globalMap.get("row3.filePath")で取得することができます。tMysqlBulkExecの注意点については前回のエントリをみて頂ければと思います。おわりに今回の例では、1番最新のファイルを取得する方法をご紹介しました。応用も効くと思うので何かのお役に立てば幸いです。#cmdevio新型コロナウイルスの感染拡大を受け、本イベントを延期させていただくことになりました(開催時期未定)。お申し込みいただいた皆様には大変申し訳ございませんが、何卒ご理解いただけますようよろしくお願いいたします。AWSについてライトに色んな情報交換をしましょう。2020年03月11日3【3/11(水)リモート】クラスメソッドの会社説明会を開催しますクラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。kaji900AWSを全く知らない状態で入社して5年が経過、中途採用のAWSエンジニアの育成リーダーを1年間担当しています。そんな中で教える機会が増えました。自分がAWSに関するスキルアップために実践したことについてまとめてみました。どなたかのお役に立てれれば光栄です。濱田孝治437re:Invnetの動画検索でもめちゃくちゃ便利ですが、その他ブログやホワイトペーパーやGitHubも横断検索できるので、是非一度使ってみてください。CAFEの他、NTTデータとセブンイレブンの取り組みや、サインポスト、Zippinなどの各社と流通・小売業との連携を業界マップに作成してみました。泰雨132皆さん、こんにちは。コンサル部のテウです。2020年もあっという間に2ヶ月が経ちました。今年こそ機械学習に入門しようぜ!!って決心された方もいらっしゃると思います。入門できる方法をご紹介させて頂きたいと思います。本記事の手順通り、ランチタイム等の時間を活かして、手軽に入門してみてください。kaji900AWSを全く知らない状態で入社して5年が経過、中途採用のAWSエンジニアの育成リーダーを1年間担当しています。そんな中で教える機会が増えました。自分がAWSに関するスキルアップために実践したことについてまとめてみました。どなたかのお役に立てれれば光栄です。濱田孝治437re:Invnetの動画検索でもめちゃくちゃ便利ですが、その他ブログやホワイトペーパーやGitHubも横断検索できるので、是非一度使ってみてください。夏目祐樹414こんにちは、CX事業本部の夏目です。MacのタッチバーのタッチIDが非常に便利なのですが、Terminalでsudoを叩かないと行けないときに使えたらなぁと思ったので、情報を共有します。臼田佳祐296ワークフロー自動化OSSのn8nをAWS環境で建てて検証してみました。非常に期待できるサービスです。Fargateの勉強をしています。使ってみたい方は参考にしてください。クラスメソッド株式会社が運営するAWS・iOS・HTML5に関する技術情報サイトです。