integrationとAlertの設定をTerraformで行い、バージョン管理やレビューできるようにする。全体のコードはGitHubに置いてある。integrationの設定を作成してExternalIDを取得し、Policy/Roleを作成する。必要な権限はドキュメントを参照。providerにはないSlackなどその他のintegrationは手動で設定する必要がある。IntegrationのところにLambdaのARNを入れるのも手動。Alertdatadog_monitorでAlertを作成する。今回はLambdaの実行が失敗したときと、WARNという文字列が含まれるログが一定数出力されたときにAlertを飛ばすようにしてみた。infoやwarnといったログレベルはjsonのlevelフィールドに入れればデフォルトのpipelineでマップされるので通常は文字列比較などする必要はない。初めに作るときは一度画面で意図通りアラートが飛ぶものを作成し、クエリなどをコピーするのが確実。10}一定確率でログやエラーを出すLambdaを動かしてAlertが飛ぶことを確認した。