Lakeで利用するU-SQLのご紹介です。長編なので、小分けにして書きます。簡単に言うと様々なデータを、生データのまま蓄積できる場所の事をいいます。Lakeを利用する際に使うU-SQLを紹介します。摘出したデータに対して処理を命令するために、C#を組み合わせたものになります。U-SQLの特徴して、下記があります。読込時にこちらでスキーマを定義して適用できるその際にカスタムロジックとUDSを挿入できるそこで非構造化データの処理ができる実行する方法が細かく指定できる見たほうが早いので、まずは下記のサンプルコードを見てみましょう。Outputters.Csv();上記のコードは、SearchLog.tsvというファイルから各フィールドを指定し、SearchLog-first-u-sql.csvというファイルに書き出したものになります。ここで見られるように、各クエリーを変数化することができます。Extractors.Tsvを使い読み取り、OUTPUTではCSVファイルに出力しています。スカラー変数を使い、メンテナンスしやすいコードも書くことができます。Outputters.Csv();SELECTを使い、摘出するデータをフィルタリングすることもできます。Outputters.Csv();下記のように、複数回にわけてデータの条件を指定することもできます。Outputters.Csv();集計も、下記のようにビルトインされた関数を使って行うことができます。地域ごとの合計を期間でまとめて抽出したもの、トップ5の地域を抽出したもの、この2つがCSVファイルで出力されます。Outputters.Csv();HAVING条件を使い、下記のように条件を満たしたものだけを出力することも可能です。Outputters.Csv();ここまでが基本編となります。ECXサイト編集部トランスコスモスのECX本部が運営するサービスサイト「ECX」編集部です。コーディング、WEBデザイン、SEM、UI改善などの実務経験豊富なメンバーで執筆・運営・管理をしております。Plus」の優れた成果を持つ提携企業として認定された、国内に7社しかいない(2021年9月時点)最上位の公式パートナーです。partner(ショッピファイプラスパートナー)」です。