ひとつLSPを別パスで作ってECMPして回避。最初は手動だけどまわらない。サーバでやるかルータでやるか。ルータの数・LSPの数が数万とかある。(個人的にout-of-bandあまり信用してない)実トラフィックと予約帯域の比較。自動化とチューニングで予約効率が非常に上がった。postcheckをいろいろ増追加することになった。scriptingルータのバグでおかしくなる、という話がある。それをルータ上でなおす。junoscriptでうまくいった。ルーティングブラックホール回避のメカニズムもjunoscriptで。intelligence数が多いとモニタリングでもいろいろ工夫が必要。applicationを作る。全体の健康状態がよくわからんので一目で見たい。linkdownの合計、発生頻度、イベント同士の相関(関連)がわかる。裏側ではいろんなデータコレクタが動いてる。Analysis(pdf)たくさんVMがある。問題、サーバなのかネットワークなのかよくわからない。全VM間でping撃ってレイテンシはかればいいじゃん縦横src/dstで画像化。SNMPpみててもブラックホールってわからない。このリンクおかしいってところまで特定したい。ECMPパス、icmpヘッダをいじってパラレルにリンク通るように投げる。トポロジのデータも持ってきて、逆算していく。美味く動かないけど面白いデータは出てる。coverのほうがより多くの事象がとれる。ファイバカット起こったときのインパクトとかの比較。coverしてる方がはっきりレイテンシが起きてる(インパクトがどのくらいあったのか)わかる。プラットフォームについて最初にやっておかないといけないこと。今までのシステムが、全然違うサービスレベルのシステムやフレームワークでうごいていると、そのシステムのオペレート自体ができない。仕組み、フレームワークを用意して、その上で開発をやってる。難しいのはデータ収集。インタフェースでも億単位。それを毎分集めるとか。障害時もデータ収集止まってはいけない。