Tweetこんにちは。クラウドアーキテクチャグループの小川と申します。前回は、OSI参照モデルについて話をしました。今回は、ぐるなびのネットワークの裏側、これからの展望についてお伝えしたいと思います。インフラに携わるエンジニアの皆さんへ参考になれば幸いです。ぐるなびにおけるこれまでの遍歴ぐるなびでは、時代とともにインフラが変化していきました。ぐるなびのインフラがどのような課題を抱え、改善や進化を遂げたかを説明していきます。カオスの時代2000年代前半のぐるなびが急成長した頃から利用していた、データセンターに設置されていたインフラです。少ない人数で会社の成長に対応してきたこともあり、ラックがフロアを跨いで点々と設置され、ネットワークも分散して構築されているような状況でした。ネットワークを作った当初はVLANが使えるL2スイッチ、L3スイッチやファイアウォールなどが非常に高価ラックやサーバの急な増設を繰り返していた上記2点が要因で、カオスなネットワークインフラとなっていました。データセンター近くの家電量販店で購入したノンインテリジェントのスイッチを各ラックに設置し、同じ店で買った様々な色のケーブルがラック間を縦横無尽に張り巡らされていたためです。場当たり的に配線していたため保守性は皆無。シングルポイントが多くあり、耐障害性の問題も抱えていました。サーバが増加したことにより、それまで利用していたデータセンターの限界を迎えたため、2010年のお正月に新しいデータセンターへ移転することに。それに合わせてネットワークインフラを1から作り直して移行することになりました。物理サーバの時代このときのネットワークインフラは、以下のコンセプトを持ち、長く使えるネットワークを目標に設計して構築をおこないました。Network部分を10Gbps化して帯域に余裕を持たせるInternetの境界と内部のAPIやDBなどInternetに直接接続させない機器を設置するサブネットの境界にファイアウォールを置いて通信制御できるようにするファイアウォール、ロードバランサーを含む全てのネットワーク機器をタグVLAN(※1)で接続して、ネットワークインフラの変更に柔軟に対応できるようにするケーブルの色やタグの付け方、ホスト名の命名規則など最低限のルールを定義しドキュメント化しておく。サーバの主系ポートは青、待機系ポートは黄色、マネージメントポートは赤のケーブルをそれぞれ使用するなどこれらのコンセプトは2017年現在でも生かされています。(※1)タグVLAN......イーサネットフレームにVLANの情報(VLANタグ)を付与するスイッチの機能。メーカーによってはトランクポートとも呼ばれる2010年当時、10Gbpsに対応できる機器のポート数は少なかったので、外部用ファイアウォール、外部用コアスイッチ、ロードバランサー、Webサーバ用コアスイッチ、内部用ファイアウォール、内部用コアスイッチを直列に設置。Rack)スイッチへ接続し、たくさんの物理サーバを接続していました。それぞれの機器は物理的なサイズが非常に大きく、ネットワーク機器専用のラックをたくさん必要としていました。物理サーバで順調にサーバ台数が増えている間はラックがきれいに埋まっていましたが、2012年頃からはじまったサーバの仮想化により状況が変化します。仮想化の時代サーバ仮想化が進むと、それまで埋まっていたラックに徐々に空きが出はじめ、1本のラックに数台のサーバしか入っていない歯抜けのラックができてしまいました。外部用、Web用、内部用それぞれのコアスイッチからToRスイッチに接続する構成で、用途毎に専用のラックがあったためです。この状況を受けて専用のコアスイッチを集約して、全てのラックに対して、全てのVLANを届けられる構成に変更。Forwarding)を利用して1U(ユニット)のボックス型スイッチに集約する構成にしました。これにより、外部内部問わず共通の仮想化基盤を利用できるようになり、サーバの仮想化が一気に進みました。仮想化によりサーバがソフトウェア上で稼働するため、物理サーバの移動が容易に。これにより、歯抜けのラックを解消し、空いたラックを本番環境とは切り離された検証環境用に転用したり、データセンターへ返却できるようにするなど、ラックを有効に活用できるようになりました。データセンターを利用したインフラでは、ラックの月額費用とサーバやネットワーク機器の保守費用はコスト面で大きなウェイトを占めているため、これらを削減すると大幅なコスト削減に繋がります。集約化NWの時代2010年におこなったデータセンター移転から5年が経過した2014年の年末。主なネットワーク機器のリース期間が満了し、機器によってはメーカーの保守対応期限を迎えるものがあったため、コアネットワークのリニューアルを計画しました。新しいネットワークは以下のコンセプトで設計構築しました。機器を集約してオペレーションを減らす機器の数と高さ(厚さ)を減らしてネットワーク機器のラックを減らす仮想化基盤まで10Gbpsネットワークを伸ばすこのころには、ファイアウォール機能を包含したロードバランサーが市場に出はじめていました。検証したところ問題なく使えそうなことが分かったので、思い切って集約することに。これにより、ファイアウォールとロードバランサーの操作を一括でおこなえるようになり、運用のオペレーションを減らすことができました。ファイアウォールの集約と合わせ、10U以上あるシャーシ型スイッチを1Uのボックス型スイッチに変更しました。仮想基盤のToRスイッチも10GBASE-T対応スイッチに替えて、2〜3ラックで共有し、ToRスイッチを削減。見た目にもシンプルなネットワーク構成になりました。ネットワーク機器のダウンサイジングで空いたラックを使い、本番環境から物理的にも切り離された開発環境の提供が可能に。インフラ担当だけではなく、開発部門全体でメリットを享受できるネットワークインフラができました。弊社のようにコンテンツを配信する事業会社では、ITインフラ自体が直接お金を稼ぐわけではありません。ITインフラが事業の足かせになってしまってはいけないと考えています。現在では仮想化やクラウド普及に伴い、インフラの抽象化が急激に進んでいます。インフラの抽象化による理想的な姿とは、インフラを利用するすべての関係者が電気や水道のように、ITインフラの存在を意識せずに本来の業務に集中できるようにすることだと考えています。その観点から、以下を検討しています。プライベートクラウドとしてIaaSやPaaSの提供ネットワークインフラを抽象化するオーバーレイネットワークの導入また、主要なパブリッククラウドではAIやIoTなどのSaaSが提供され、物凄い勢いで発展しています。それらをデータセンターのネットワークと高速かつ安全に接続して、ぐるなびのサービスと連携できるようなネットワークインフラを検討しています。これまではネットワークインフラの運用に関わるコストやオペレーションの削減を中心とした施策が多かったのですが、これからは会社の事業に直接貢献できるネットワークインフラに成長させていきたいと考えています。保法2009年ぐるなび入社。前職は文教、公共系の大規模ネットワークの構築やロードバランサーの製品担当などネットワークに関する仕事に幅広く関わっていました。ぐるなびのネットワークは大体知ってます。趣味はトロンボーンを拭くこと、MLBを見に行くこと、ダイエット中と周りにアピールすることなどです。google.setOnLoadCallback(initialize);スターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。