byClassmethod検索AWSAlexaモバイルビッグデータサーバーレスTableauAlteryxイベントTalendでファイル圧縮Talend『カスタマーストーリー』を支えるツール特集2016年07月19日Yura(22)1この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。はじめに大量データをファイル出力した際には、ファイル圧縮を行う必要性もあると思います。Talendのコンポーネントでもファイルを圧縮することができるので、ご紹介します。今回使用した環境以下の通りです。1.7やり方Talendで圧縮する方法はいくつかあります。tFileArchiveを使うzip圧縮するだけなら、このコンポーネントを使えば簡単にできます。圧縮元のディレクトリと圧縮したファイル名を指定します。(Talend6.2.0ではgzip形式でのファイル圧縮にも対応してくれているようです。)tFileOutputDelimitedを使うCSV・TSVファイルを出力する際に便利なtFileOutputDelimitedコンポーネントですが、ファイル出力する際に、zip形式に圧縮もしてくれます。やり方としては、『ZIPファイルに圧縮』チェックボックスにチェックを入れるだけです。(こちらは6.2.0ではgzip形式ファイル圧縮には対応してないようです。)Javaで書くzip形式で圧縮するだけなら、上記のtFileArchiveコンポーネントを使えばいいのですが、gzip形式で圧縮するとなるとTalendのバージョンが古い場合、tFileArchiveがgzip圧縮に対応していません。実際に6.0.0でファイルをGZip圧縮をする必要性があるジョブを作成する機会があったのですが、Javaで書かざるをえませんでした。案件によっては古いバージョンを使うこともありますので、そんな時はJavaで書くといいと思います。何度も使うのであれば、ルーチンとして専用のクラスを作っておくと便利です。ただのJavaのコードですが、備忘録も兼ねてソースを残しておきます。{writer.write(line.getBytes());writer.write(eol.getBytes());}}}}簡単ではありますが、以上となります。Talendを使ってサイズの大きいCSVファイルができた時などの参考になればと思います。リモート】クラスメソッドの会社説明会を開催しますクラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。#cmdevio新型コロナウイルスの感染拡大を受け、本イベントを延期させていただくことになりました(開催時期未定)。お申し込みいただいた皆様には大変申し訳ございませんが、何卒ご理解いただけますようよろしくお願いいたします。AWSについてライトに色んな情報交換をしましょう。濱田孝治391re:Invnetの動画検索でもめちゃくちゃ便利ですが、その他ブログやホワイトペーパーやGitHubも横断検索できるので、是非一度使ってみてください。CAFEの他、NTTデータとセブンイレブンの取り組みや、サインポスト、Zippinなどの各社と流通・小売業との連携を業界マップに作成してみました。PolicyのConditionにaws:CalledViaというキーが追加されました。いったキーなのかご説明します。夏目祐樹410こんにちは、CX事業本部の夏目です。MacのタッチバーのタッチIDが非常に便利なのですが、Terminalでsudoを叩かないと行けないときに使えたらなぁと思ったので、情報を共有します。濱田孝治391re:Invnetの動画検索でもめちゃくちゃ便利ですが、その他ブログやホワイトペーパーやGitHubも横断検索できるので、是非一度使ってみてください。臼田佳祐296ワークフロー自動化OSSのn8nをAWS環境で建てて検証してみました。非常に期待できるサービスです。Fargateの勉強をしています。使ってみたい方は参考にしてください。洋介256SnowflakeがAWSの東京リージョン上で稼働するようになりました。データを日本に置けます。クラスメソッド株式会社が運営するAWS・iOS・HTML5に関する技術情報サイトです。