x2(RAID1)Cephを構築4ノード構成1号機:NAS上のデータストアで構築(ESXi#2を使用)2号機:ローカルデータストアで構築(ESXi#1を使用)3号機:NexentaStorの重複排除データストアで構築(ESXi#2を使用)4号機:ローカルデータストアで構築(ESXi#3を使用)Workerノードを増設ESXi#3に増設。結果、全体として1Master/5Worker構成にとなりました。成長したなぁ、知らないうちに。APIなんでもござれな分散オブジェクトストレージとなっています。ハードパワー不足も有り、どうやらOpenEBSを安定的に動作させるのは難しかったようで、安定した小規模ブロックストレージを構成するべく、導入したというのもあります。パフォーマンス評価はまだできてないんですが、それはそれでそのうちやりたいなーと思っています。いまのところは比較的安定して動いていて、MastodonのPostgreSQLデータ領域として大活躍中です。Calicoの相互iBGP接続モードの変更をしたいなと思っとります。falsedefault-ipv4-ippoolですが、現状「IPIPMODE」が「Always」となっており、各ノードのBIRDはiBGPフルメッシュ接続をしています。これは、常にiBGP接続をする際、IPIP接続したトンネル越しに接続をしますよーということを意味していて、その分通信オーバーヘッドが発生することになり、通信信頼性の低下に繋がります。そこで、こいつのIPIPモードを解除するというのが本記事の目指すゴールです。calicoctlを使用して、設定を変更する使用するのはcalicoctlです。導入の手順は以下のサイトを参考にしてください。apply」をしてあげることで反映することが可能です。今回、こんなファイルを作りました。CrossSubnet」としているのは、「異なるサブネットをまたがる場合に限り、IPIPを使用する」というのを意味しています。これを「Never」にすることで「IPIPを使用しない」、「Always」にすることで「IPIPを必ず使用する」となります。resource(s)反映されたようです。状態を確認してみます。falseIPIPモードが変わっているのが分かるかと思います。その後の接続状況を確認します。|+----------------------------------------+-------------------+-------+------------+-------------+・・・・た、多分接続状況は維持されているとは思います・・・Calicoは面白いWeavenetもVXLANを駆使してL2ネットワークを形成していて面白いのですが、CalicoはびっくりするほどL2通信を行わない、行うにしても極力限定的にするよう作られていて、非常に興味深いアーキテクチャとなっています。そのおかげか、IPv6への適用が最もしやすく、MastodonでIPv6対応していたインスタンスをk8s基盤に載せ、かつ、IPv6対応を復帰させられたのはぶっちゃけこれのおかげです。いずれにしても、Kubernetesの持つ各種機能とその連携コンポーネントは最新技術の塊で、慣れてしまえばどこまでもハマり込めるものがありますので、ぜひぜひお試しくださいまし。SaaS系ソリューションなどでは、結構用いられているのではないかなーと思います。