akiyan.comakiyan.comあのときライブドアが落ちなかったのは、技術力ではなく運用方法にあるのかもしれない2006-02-27一連のライブドア騒動が起こったときライブドアのサービス群へのアクセスはかなりの量になったと聞きます。ライブドアのサービスが落ちなかったことに対して、ライブドアには技術力があるというコメントが数多く寄せられ関心を集めました。私も注意してその様子を見ていて、ほんとうにどういったシステムでどういったサーバー構成なんだろうと興味を持ちました。いうのも、多くのWebサービスは予測不可能な急激なトラフィックは想定していません。想定すればするほど余分にコストがかかりますし、絶対に落ちないことが求められるサービスでなければ割にあわないでしょう。ライブドアはその辺りのコスト意識は高いように思えます。そこで、実はライブドアのサービスは落ちまくっていて、単に表面化していないだけではないかという推測を立ててみました。落ちまくっているのに表面化しないというのは一件矛盾していそうで、納得できそうな理由があります。推測材料として「ライブドアのシステム部署はサーバールームのあるビルに同居している(もしくは近くにいる)」ということ。「ネットワーク管理はほぼ自社でまかなっていて、24時間常駐している」ということを、元関係者の方からライブドアは強い方向付けでこれを実行していたという話を聞きました。この二つが揃うことで、サーバーにトラブルが起きたときの対処までの時間がかなり短くなります。この二つが揃っている企業は少ないです。(YahooやGoogleは会社規模的に比較対象にしません)もうひとつの材料としてWebサーバーのトラブルの多くはApacheが固まるのが原因だということをつけたします。Apacheは構成によっては応答ができなくなってしまうことが当然のようになることがあります。だいたいは再起動すれば直るんです。嘘のように正常に走りだすんです。Apache以外にもこのケースは多々当てはまります。WindowsはOS自体がそれですからね。DBについては、公開された構成から推測すると普段からほとんど負荷はかかってなかったんじゃないかと思います。DBはそう簡単には増やせませんしApacheに比べれば落ちる頻度も低いです。うまくキャッシュをきかせればDBへの問い合わせは激減させることができます。サーバーまでの物理的&時間的距離を短かくしてエンジニアを常駐させておけば落ちたら即座に再起動、どんなに落ちても再起動なんて芸当が可能になります。ライブドアにトラフィックが集中したとき、中の人は必死にApacheを再起動しまくり、ターミナルを開くこともできなければサーバールームへひた走って電源をポチポチっと入れ直すなんてことを繰り返してたんじゃないかと思うわけです。船が沈みそうなときにバケツで水をくみだして耐えている状態といいましょうか。くみだす能力はとても高いので船はまったく沈まないと。それでもサーバーが落ちればいくら台数があっても相当なお客さんがアクセス不能になっていたのではないかと思われるかもしれません。そこは技術的な解決策があって、あるサーバーが落ちたときに負荷分散装置が落ちたサーバーへトラフィックを振り分けないように構成されていれば、サーバーが頻繁に落ちていることをほとんど誰にも気付かれずにサービスを続けることができます。ほったらかしにすると全部落ちてしまいますが、再起動すればとりあえず正常になります。したら緊急時は5分おきにApacheを自動再起動してたかもしれません。再起動すれば少数のユーザーに影響は出ますがトラフィックは落ちませんから、結果としては正しいときもあります。以上のことから、サーバーやシステムの構成が想像できないほどに綿密に冗長性をもって作られていたのではなく、経験と人間の力と総合的な判断力で持ちこたえたんじゃないかと推測しました。これが当たっているのであれば中の人は大変ですね。この運用方法を選んだというのも技術力のうちといえますけどね。これはあくまで推測の範囲内ですし、真相は中の人しか知る術はありません。23:05いや、それは違うでしょう。近ごろのシステムダウンの原因はデータベースにあり、httpd単体ではまず落ちません。(仮に落ちたとしてもLinuxは自分で再起動するのでいちいちサーバ管理者が電源を入れ直しているなどはありえません。)私の感覚では、livedoorはブログを更新するごとにテンプレートまたはhtmlの形式にすることでデータベースへの問い合わせ回数を減らしているように思います。これが、強さの秘密と考えていますが、最近のオープンソース系のシステムであれば、適切に設計すれば信じられないようなパフォーマンスを生み出すことも事実です。00:21まずはDATAHOTELで検索してみましょう。サーバを再起動してるような運用じゃお金はもらえませんよ。13:22トラフィックあがるとapacheささっちゃったりするんですよね僕としてはまあ、ありえるかなと思いましたそんなに必死こいてやってたかはちょっと?ですが。多少なりともありそうな感じはします。