2018/06/07TweetPocket本日はembulkでBigQueryからRDS(Aurora)に何回もrunしたら、DBがフェイルオーバーしました。大量なログにより、I/O負荷になっていたというなんとも悲しい体験をしました。そこで、今回はgeneral_logの無効化とログ削除方法をブログします。'mysql'上記のようにTRUNCATEを使ってテーブル内のすべての行を抹消することはできません。複数のSQL文をまとめて名前を付けて関数のように呼び出せるようにしています。general_logをgeneral_log_backupに退避していることも分かりますな。AWSdigdagembulkMySQLRDSSQLadachin1989年生まれのSRE。ホスティングから大規模なアドテクなどのインフラエンジニアとして携わり、AnsibleやTerraformでのインフラコード化を推進。副業では数社サーバー保守、未経験によるエンジニアのメンターなども実施している。「脆弱性スキャナVuls」のOSS活動もしており、自称エバンジェリスト/技術広報/テクニカルサポート/コントリビュータでもある。レイテンシ、パフォーマンス、モニタリング、緊急対応、インフラコード化、リファクタリング、セキュリティ強化、新技術の検証、Docker開発環境の提供、AWSでのインフラ構築、ECS(Fargate)、Wordpressによるコーポレートサイトの修正、メンター、分析基盤の運用を担当している。コメントデータの処理方法の詳細はこちらをご覧ください。