弘和(55)7この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。はじめに最近よくデータプレパレーションという言葉を耳にするようになったので流れにのって実際にツールを使って体験してみました。報告レポートを生成するための前準備として多くの時間を費やしている方も多いのではないでしょうか。Tableau等でデータ分析する際に効率的に分析をするためにはデータを整形するという作業がつきまといます。Preparation等々インストールまずはTalend社本家のサイトからダウンロード※現記事公開の時点では1.3.0が最新のようですTalend-DataPreparation-Free-Desktop-1.3.0.exeがダウンロードされますので、実行してインストールします。起動させてみるインストールが終わったらスタートメニューから選択して起動します。立ち上げると起動中に以下のアイコンが表示されますので暫く待ちましょう。ブラウザが起動し、以下の初期画面が表示されます。最初はデスクトップアプリかと思ってましたが、ブラウザアプリケーションで起動します上記は起動直後の画面になりますまずはデータセットを追加したいので左側ペインにあるDatasetsを選択します。最初からいくつかサンプルデータがありますが、今回はテストデータとして国土交通省に公開されているEXCELデータを使ってみます。DATASETをクリックして、対象ファイルを選択します。(ここではダウンロードしたEXCELファイル(001158120.xlsx)を選択しました。)元データの中身は上記のような感じになっています。ダウンロードしたEXCELデータそのものを指定したら文字化けせずにプレビューできましたが、EXCELデータを一旦CSVに書き出して、そのCSVファイル(SHIFT-JIS)を指定した場合、Datasetsとして追加したら以下のように文字化けを起こしました。大丈夫!(どっかで聞いたことのあるフレーズ。)文字化けした場合は、一旦左上にある歯車アイコンをクリックしてEncodingを下記の様に適切に指定してあげる必要があります。(今回はSHIFT_JIS)しばらくするとプレビュー画面がリフレッシュされ下記のように正しく表示されます。※データプレビューは対象行として30000行がデフォルトです。PREPARATION」します。(名称を「外国人訪問データ」にリネームしています)ファイルの指定が終わると下記のようにプレビュー画面に切り替わります。1列目に不要なカラムがあるので、削除してみます。Columnを選択すると処理が走り、下記の画面になります。左ペインには実施した操作が記録されています。Columnしたかったのですが、やり方がわからなかったので、1列ずつDeleteしました。指定すると先頭2行がintegerではない値なので取り除かれます。最後に出国港のコードが101のものだけ残すってことをやってみます。試しに成田のコードだけ残す指定をしてみます。比較演算子は4パターン+正規表現もサポートしているので、ある程度のことはできそうですね。データクレンジングしてみます。成田のコードはファイルから読み取ると101なので、101より大きいものを削除したいと思いますので、101と入れてSUBMITしてみましたが、全レコード削除になってしまいました。いうことで102と入れてSUBMITする必要があります。以上ってことのようです)データをEXPORTしてみるとりあえずサンプル的にデータクレンジングをやっているので、終わった体にして、次にデータをEXPORTしてみます。Preparationでは以下のように3種類の出力形式が選べます。今回はTableau形式で書き出してみます。いうファイルがダウンロードフォルダに書き出されます。Desktopで開いてみるエクスポートされたTDEファイルを開きます。開くと下記のようになりました。ここまで来てしまえばあとはTableauの世界なので、カラム名を変更して分かりやすくしたり、不要な列を非表示にしたりしました。Tableauでデータを見てみます。Preparation側でカラム名称の変更もできます。2014年のデータですが、ダントツで中国からの訪問が多いですね。米国が2位くらいかと勝手に想像していましたが、データを見る限りイギリスが多いんですね。(データクレンジングで成田に絞っているからかもしれませんが。)訪日目的としては以下の様になっていました。観光がダントツですね。3位に位置づけてる「家族・知人の訪問」ってのが意外と多いのにはびっくりしました。Preparationはデータ加工用として様々な機能が標準提供されているので、ノンプログラミングでサクッとデータクレンジングしてデータ整形するってことでは使いやすいツールではないかなと思います。分析担当者はクレンジング後のデータを使ってそのまま即座にアドホックな分析も可能になります。StudioやPython、Java等を使ってETL処理を実装するのは容易になるのではないかと思います。Preparationで定義したレシピから自動生成でTalendジョブができたりしたら最高ですけどね。553,815まだプロフィールが設定されていません。リモート】クラスメソッドの会社説明会を開催しますクラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。#cmdevio新型コロナウイルスの感染拡大を受け、本イベントを延期させていただくことになりました(開催時期未定)。お申し込みいただいた皆様には大変申し訳ございませんが、何卒ご理解いただけますようよろしくお願いいたします。AWSについてライトに色んな情報交換をしましょう。和樹25こんにちは植木和樹@上越オフィスです。Terminalの機能確定版がリリースされたので試してみました。CAFEの他、NTTデータとセブンイレブンの取り組みや、サインポスト、Zippinなどの各社と流通・小売業との連携を業界マップに作成してみました。川原征大4形態素解析の入門中で、ブログの内容の分析を試しています。作業効率化をしたという話。夏目祐樹395こんにちは、CX事業本部の夏目です。MacのタッチバーのタッチIDが非常に便利なのですが、Terminalでsudoを叩かないと行けないときに使えたらなぁと思ったので、情報を共有します。臼田佳祐295ワークフロー自動化OSSのn8nをAWS環境で建てて検証してみました。非常に期待できるサービスです。Fargateの勉強をしています。使ってみたい方は参考にしてください。洋介255SnowflakeがAWSの東京リージョン上で稼働するようになりました。データを日本に置けます。芳賀健233こんにちは!猫様の忠実なるしもべ、芳賀健です。Tokyoで開催されました。クラスメソッド株式会社が運営するAWS・iOS・HTML5に関する技術情報サイトです。