2019/05/26TweetPocket今回S3にある、圧縮された配列でできているJSONファイルをembulkでBigQueryにシンクしてみました。するだけでOK※ちなみにembulk-input-s3プラグインはインストールされている前提です。stdoutにして標準出力できるか確認してみましたが、ちゃんと出力されてますね。BigQuery■まとめしかしこのプラグイン配列だろうがなんだろうが、様々な形式に対応しているので万能ですな。このプラグインを作った@hiroysatoさんからリプ!ご紹介ありがとうございます。今(v0.9.16以降)は組み込みjsonでも類似の機能が使えるのでこちらもいいですよ。ROBOTICS/SRE。ホスティングから大規模なアドテクなどのインフラエンジニアとして携わる。現在はサービスの信頼性向上、DevOps、可用性、レイテンシ、パフォーマンス、モニタリング、オブザーバビリティ、緊急対応、AWS/Azureでのインフラ構築、Docker開発環境の提供、Kubernetes保守、インフラコード化、新技術の検証、リファクタリング、セキュリティ強化、エンジニア採用広報などを担当している。個人開発では「夫婦、パートナー向け家事管理サービス/famii」をCakePHPで開発中。副業では数社サーバー保守とベンチャー企業のインフラコンサルティングやMENTAで未経験者にインフラのコーチング/コミュニティの運用を実施している。「脆弱性スキャナVuls」のOSS活動もしており、自称エバンジェリスト/技術広報/テクニカルサポート/コントリビュータでもある。コメントデータの処理方法の詳細はこちらをご覧ください。limitについてDigdagパフォーマンス上がってエラー出る頻度が少なくなってた。