2017年11月27日0件のコメントGMOアドマーケティングに中途入社してまもないy.yです。Storageへのアップロードをし、BigQueryでの集計手順について記載します。😀Gopherくんはホリネズミという動物がモチーフらしいです。!Gopherくんが可愛いから選んだというのは冗談で実際は下記の2点でGo言語を選択しました。いくつかの言語でパフォーマンスを計測した結果、Go言語のパフォーマンスが一番良かった。並列処理でログをparseするのにGo言語が簡単だった。ここから本題の手順を記載いたします。型:StringContentTypeを指定します。型:Int指定したサイズを上限にオブジェクトを分割してアップロードする指定。1回のリクエストでアップしたい場合はCunkSizeを指定。上限を指定しない場合は0または無指定。オプションの詳細はこちら容量の大きいObjectをUploadする際はネットワークに影響しないように制限した方がいいかもしれないですね。型:bool不正なレコードがあった場合、NULLとして扱うかエラーとして扱うかを選択します。型:Int不正なレコード数を許容するレコード数を指定します。StorageにuploadされたLoadするObjectの圧縮タイプを指定します。型:StringLoadされるファイルのdelimiterを指定します。オプションの詳細はこちら圧縮されたファイルをLoadをする場合はCompression、CSV形式ではないファイルをLoadする場合はFileDelimiterを指定しましょう。tableの保持期間の設定↓の場合は1時間経過したらtableが消えます。tableの保持期間の設定↓の場合は1時間経過したらtableが消えます。型:boolオプションの詳細はこちらLegacySQLを使用する場合はUseLegacySQLをtrueにしましょう。Storageへのアップロード、BigQueryでの集計手順は終わりです。いったオプションがあるのか確認するのに時間が多少かかりましたがアップロード、集計までの処理はサクッと簡単に書くことができました。Go言語に関してまだまだ初心者なのでまずは中級者を目指したいと思います。BigQueryでの集計の手順でした。弊社は、広告をより便利な物にしていく事を一緒に目指してくれるエンジニアを募集しています。@gmoap_engineer本ブログで発信される情報は、各エンジニア個人の見解であり、弊社の公式見解ではありません。本ブログに掲載、引用等をしている商品またはサービス等の名称は、各社の商標または登録商標です。その他の事項について一切責任を負いかねます。発表する情報には注意を払っておりますが、公式発表、見解については、弊社WEBサイトおよびプレスリリースなどをご確認ください。GMOインターネットグループにおけるソーシャルメディア運用ポリシーについては次のページをご確認ください。本ブログに掲載のあるソフトウェアのダウンロードは自己責任で御願い致します。ソフトウェアのダウンロードの結果、ご利用者に何らかの損失・損害が生じたといえども、当社ではその責任を負いかねます。本ブログに掲載のあるソフトウェアを扱う際は、各ソフトウェアの公式リファレンスを参照のもとご使用下さい。ソフトウェアの実行の結果、ご利用者に何らかの損失・損害が生じたといえども、当社ではその責任を負いかねます。