ブログ枠で参加してきました。歴ですが、3年ほど前に前職で同僚が試していたのをちょっと横目にみた程度で、雰囲気は知っていますが実運用は行ったことがありません。?という検証をやっていた記憶があります。その時はPrometheusやGrafanaへの割り当てリソースの問題もあったとは思いますが、Grafanaからのクエリ応答が非常に重くて「まあ、Zabbixで良いんじゃない」という感想で終わっていました。今は全然触ってない...現在は全く触っていません。自前運用しているGitLabCEで動いていることは知っていますが、内部で動いているので意識する必要はありません。システムの監視は基本的にSaaSを利用していて、Mackerel・Datadog・NewRelicをシステムや適材適所を考えながら利用しています。参加のモチベーション現状触っていないのになぜ参加したかというと、知識のアップデートが主な目的です。3年前にちょっと検証しただけの「何か重くって微妙...」の感想を払拭したいと思ったのと、Kubernetesの上で動作するコンテナの運用が増えていく中で、改めてPrometheusという監視の選択肢を見つめ直したいなと考えました。会場は以下で行われました。田町駅から5分程度と立地も良く、内装も素敵で良い会場でした。事前にメール配布されたQRコードでの入室ができるのもスマートで良かったです。今考えると34Fの高所から夜景を眺めておけば良かったと少し後悔しています。(仮)1本目から大規模な環境の話で興味深く拝聴しました。問題があり、それをThanosを用いて解決した、という話でした。speakerdeck.com冒頭で「Prometheusについては入門Prometheusにお任せします」でさらっと始まり、課題解決のために模索した3案について説明を頂きました。APIのダウンがクリティカルな問題になるので課題があった(現在の2.8以降は改善されてるかも)最終的にはThanosを採用し、独自Adapterを置き換えた。Queryを利用してユーザはメトリクスを長期間に対して検索ができるThanosについてはコンポーネントについて丁寧に説明があり、おかげで概要について学ぶことができました。2020年1月15日まとめとして、まだまだワークアラウンド的な不具合回避が必要だったり、500以上の複数クラスタ全てのメトリクスをThanosで受けるには超えていく課題があるよ、という締めでした。Metricsを選択したという話でした。Metricsを導入して安定動作するようになったとのこと。Metricsについても丁寧に説明がありました。シンプルな構成(コンポーネントがレイヤ毎にありわかりやすい)Scale-Outが可能(ただしScale-Inはできない)安定してる個人的に面白く感じたのは、Scale-Outが可能な理由の説明の中で「毎回全てのVMStorage*4にクエリを実行するので、データがどこに分散されようが問題がない」という仕様でした。面白い「複数のストレージ全てに同時にクエリを投げて、戻りをマージする。Metoricsのチューニングについても解説や公式ドキュメントの通りエラーメッセージに推奨値が出るのでそれに従うそれ以外の工夫なども面白く拝聴しました。*5内容も学びが多かったのはもちろんですが、発表全体を通してスピーカーの入江さんのキリッとした語り口調が素晴らしくて、ある種アカデミックな空気感があって良かったです。このブログを書くためにアップいただいた資料を見直しましたが、Appendixとして付録が付与されていて、発表時より読み応えが増えてました。