04/16/14サーバ屋日記2002年創業のインフラ屋さんです。サーバーの販売からWEBサービス系のクラスタシステム構築が得意です。AWS、GCP、オンプレ実績あります。2014年4月16日水曜日Lineのインフラセミナーに参加してきました。Conference(テーマ:インフラ)に参加してきましたので、備忘録的にメモ。Systemのお話し(講演の途中から参加)年末年始の障害、redisのレスポンスが悪化し、コネクションバースト。redisの処理とNIC割り込みを同じコアで処理していた。/proc/interruptをwatchして発見し、tasksetで解決。データベースのお話しLineツムツムのデータベースのお話し。replication。Managerを使用。VIPをMMMが管理。Failover時にVIPを移動。Shardの自動追加。すべてのUIDに対しハッシュ関数を通しグループIDを発行。グループIDに対しshardを割り当てる。MMMはカスタマイズして使っている。shardの追加時には、移動するグループに対しselect/insert(update?)を複数回に分けて実行する。更新時刻でソートして実行しているので、マイグレーション中に更新されたデータも、もれなく移動することができる。3.ネットワークのお話し内部ネットワーク。Core-Pod-Edgeの3階層。より、ギガビット大半の帯域を消費していた。Pod当たり数千台のサーバ。L2セグメントはPod単位だったのを、L2セグメントをEdge単位にした。ロードバランサL3DSR採用。L2セグメントを小さくしたので必要になった。Tosフィールドのdscp=1などを設定し、それに応じてソースアドレスをリアルサーバで付け替える。