GIO」の安定稼働を支える仕組みを、サービスの開発者や基盤運用エンジニアが解説します。今回は、「大規模インフラの安定運用」についてご説明します。大規模インフラの安定運用クラウドコンピューティングサービスを利用しているお客様にとっては、物理的なインフラを気にすることなく欲しい機能を必要なだけ利用できることが大きな利点ですが、その裏でサービスを提供する我々は如何に物理インフラを安定稼働できるかを考え運用をしています。対処といった挙げたらきりがないほどの技術要素と経験が必要です。今回はその中からいくつかのトピックを紹介します。P2)構成しているハードウェアは、メーカ製のものがほとんどです。自社で開発していない分、組み合わせて動作の保障と長期にわたり安定運用をするため、「製品のより詳しい動作原理の知見を得ること」「トリッキーなことはせず、より安定稼働できてエンジニアであれば誰が見ても分かり易い構成で利用すること」をポリシーにしています。iSCSIを利用しているネットワークでは、マイクロバーストなどでストレージに負荷が一時的に集中した場合、ネットワークスイッチのポートバッファの容量が少ないとパケットロスが起き、急激にストレージアクセスが遅くなることがあります。buffer)ネットワークスイッチを利用して、バーストトラフィックをバッファでキャッシュさせパケットロスを防ぎます。機器の採用を決める際も、実環境でのテストだけではなく、高負荷テスト、ランニングテストを必ず行い、動作原理や挙動を把握した上で採用の可否を決めています。GIOはコンピューティングリソースを提供するサービスのため、サーバ等の在庫を常に確保できるよう定期的にサーバ増設を行っています。GIOサービス提供以降は増設する量が飛躍的に増え、必要数を都度発注していては追いつかない状態となりました。機器の納品からお客様利用までの時間短縮の必要性にも迫られました。そのため、物理作業の分散化と構築・テストを自動化し、問題の解決を図っています。今まではサーバ機器の納品をデータセンターで行っていたため、サーバ機器をラックに設置しケーブル結線するといっ作業工程がボトルネックとなっていました。そこで、サーバ工場で、サーバとネットワーク機器を直接ラックに設置し、ラック内の結線まで済んだ状態で、ラックまるごとデータセンターに搬入することで、データセンター内ではラックの設置とコアネットワークへの接続だけで済むようになり、大量のサーバを順次設置することが可能になりました。従来と現在の違いまた、自社開発したツールで、初期の簡単な設定以外は電源投入から結線確認までの設定やテスト等を自動処理で行うようにしています。Table情報と比較し、ケーブル結線も含めた物理構成の確認まで行ってくれます。P2内の内部ネットワークは、40ギガビットイーサネット(40GbE)をベースに作られています。P2開発当時40GbEのデータセンターで利用できる多ポートのスイッチ製品が出始めてきたこともあり、お客様のEast-Westトラフィックの増大によるトラフィック量増大に対処するため、40GbEの採用を決めました。(2017年現在、既に25G/50G/100Gの製品が出てきているため、今後40GbEは主流ではなくなり、この25G/50G/100Gが主流になっていくと考えています)IEEE802.3baで標準化された40GbEの規格は、10GbEをベースに多重化することで帯域を増やすものです。そのため、10GbEでは、光ファイバーケーブルが1対(2芯)で済んでいたものが、4対(8芯)必要となります。40GBASE-LR4)光ファイバーケーブルは、8芯以上あるMPOコネクタの多芯(一般的に、12芯のケーブル)が必要です。このMPOコネクタのケーブルは、1つのコネクタで多芯を接続できますが、当時コネクタ種の多様性もあり発注先の業者も間違えて納品するといったトラブルも多く、多芯によるコスト増もあったため、運用上の現地オペレーションのミスを防ぐためMPOコネクタの採用をできるだけ避けるべきという結論に至りました。そこで、トランシーバーで波長を多重化することで、従来利用していたLCコネクタで2芯の光ファイバーが利用できるトランシーバーの採用を決定し、従来通りの運用性を確保することができました。トランシーバーとケーブル以前からデータセンター内のシステムを設計・運用をされていた方にとっては目新しいものが無いかもしれませんが、クラウドコンピューティングサービスの裏側は、地道に運用している物理インフラが支えているのです。※2017年5月に弊社ブログに掲載した記事を、一部加筆修正しました。10の更新プログラム。10の更新プログラム。~世界情勢に応じたスピーディーな海外拠点展開と各国レギュレーション対応の両立を実現するソリューションとは~IIJの法人向けサービス・ソリューションについては、お気軽にお問い合わせください。Blogこのサイトは株式会社インターネットイニシアティブが運営しています。