Noteビジネスチャット「Chatwork」のエンジニアとデザイナーのブログです。ビジネスチャット「Chatwork」のエンジニアとデザイナーのブログです。DatadogSRE部のcw-sakamotoです。Checkに関する内容です。Kubernetesの監視と言えば、Prometheusのイメージが強い?ですが、ChatWorkでは、もともと非Kubernetes環境においてDatadogで監視していることから、KubernetesもDatadogで監視しています。Checkの設定や、確認方法について記載します。Checkとは、Prometheus形式で公開されているmetricsを、Datadogが収集して、Datadogのmetricsとして扱う、というものです。metricsのみに対応していることが多いです。Prometheus形式のmetricsをDatadogが収集し、表示することが可能になります。設定に関しては、基本的には下記の通りですが、これをnginx-ingressで試したいと思います。6(6.1以降)に関するものです。5では対応していない内容ですので、お気をつけください*1。ちなみにv6になってから、パフォーマンスが向上したので、v6の利用をオススメします。v5には、隠れlimitがあって、メトリクス欠損がかなり発生していました*2。Datadogで取得できるmetricsはたくさんあります。jobの成否やpodの生死などのeventも取得できるので、それをチャットに流したりしています。下記はpodごとのCPU使用率のグラフで、ChatWorkでは他にも必要なmetricsをdashboardにまとめてKubernetes監視を行っています。agentのインストール公式のChartsを利用します。GitHub検証時の各versionです。0.11.3設定ファイルは下記の内容です。trueで動かします。APIのstatus.hostIPで取得し、アプリでは環境変数で設定しています。この設定内容で、下記のようにinstallします。keyを記載しています。v5でも利用可能でしたが、v6の6.1から、デフォルトで利用可能になりました。https://www.datadoghq.com/blog/monitor-prometheus-metrics/https://docs.datadoghq.com/agent/prometheus/設定の例が上記にありますが、ここではnginx-ingressで設定してみます。Check用のannotationを記載します。discoveryのannotationの書き方でもあります。Checkがうまく動作しているかどうかを確認する起動しているかどうかの確認は下記のいずれかで確認します。statusコマンド現状の設定でのステータス確認ということで、それらをまとめてまるっと見るために下記のワンライナーを実行します。execでコマンドを実行しています。statusには下記のように表示されます。40msDatadogでmetricsを確認するでは実際にmetricsが送られているかどうかをDatadog側で確認します。今回設定したメトリクスは下記で、そのうちのいくつかを見てみます。"process_open_fds"]たしかにDatadog側でmetricsが確認できました。まとめDatadogで、Prometheus形式で公開されているmetricsを取得する手順を、nginx-ingressを例にして、試してみました。Datadogで見たいけど(見るところは統一したいけど)、Prometheus形式のmetricsが...という場合に使えそうです。Beginningこんにちわ。The...2021-01-05EKSでDNSを安定させるために対応したこと今回はEKSでDNSを安定させるために対応した話を書きたいと思い...2020-12-23ChatworkのKubernetesを支えるツールたち(2020年版)こんにちは。@Chatwork_devメンバーid:cw-oritaid:okuzawatsid:d-hayashiid:shibe23id:cw-jeromechaid:cw-araiid:tinpayid:cw-sakamotoid:rabe1028id:cw-suetakeid:lmdexprid:cw-shinyaid:cw-takaseid:cw-niinumaid:j5ik2oid:tan-yukiid:yamakenji24id:yoshiyoshifujiiid:cw-ayumitakahashiid:cw-furuyaid:kaz3284id:cw-ozakiid:cw-nishikawaid:daiksyid:tasuku43id:louvre2489id:sykt13id:yamatomo73id:cw-kasugaid:cw-mottyid:cw-nishiguchiid:s12btid:cw-sayamaid:cw-moriyaid:cw-makotoikedaid:cw-yoheihayashiid:wakakumaid:cw-sakaguchiid:cw-matsubaid:ymgnid:shige0501id:nottegraid:shinharadid:eielid:cw-michihiroid:crossroad0201id:cw-miyashitaid:agoetcid:at-akaid:cw-chibaid:tenslerid:cw-akatsuid:cw-kajiwaraid:cw-otakeid:TomokoNishinaid:cw-tanakaid:cw-hayashiid:cw-marikoid:cw-shinmenid:cw-masakiid:cw-hayama最新記事モバイルアプリ開発チーム、カンバンはじめました。(1)引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。