|-----------------------BigQuery運営していると無駄にSQLが発行されて料金が高くなってしまう恐れがあるので、embulkで完結できないものかとググっていたら良いプラグインを発見しました!■embulk-filter-columnhttps://github.com/sonots/embulk-filter-columnadd_columsは下記。"INT64"},~省略~今回はhistory_dateという名前にして先頭に追加しました。"Asia/Tokyo"BigQueryの仕様上データ件数1件でもフルスキャンされて死亡してしまうため、38行目のtable指定は日付を分割テーブルにしています。embulk/hoge.yml.liquidまた日付の変数は上記のように月次の1日に実行するよう表記しています。hoge.dig!!!Viewテーブル作って確認してみると、ちゃんと値取れてるので問題なさそう!!■まとめしかしembulkで書いてテストしてエラー起きての繰り返しで1日で終わってしまう。BigQuerydigdagembulkMySQLadachin1989年生まれのSRE。ホスティングから大規模なアドテクなどのインフラエンジニアとして携わり、AnsibleやTerraformでのインフラコード化を推進。副業では数社サーバー保守、未経験によるエンジニアのメンターなども実施している。「脆弱性スキャナVuls」のOSS活動もしており、自称エバンジェリスト/技術広報/テクニカルサポート/コントリビュータでもある。レイテンシ、パフォーマンス、モニタリング、緊急対応、インフラコード化、リファクタリング、セキュリティ強化、新技術の検証、Docker開発環境の提供、AWSでのインフラ構築、ECS(Fargate)、Wordpressによるコーポレートサイトの修正、メンター、分析基盤の運用を担当している。コメントデータの処理方法の詳細はこちらをご覧ください。