参加メモmemoホワイトボックススイッチユーザ改題1回勉強会に参加してきました。Togetterまとめ以下内容のメモです。プログラム、1社だけだとわからないことがあるのでみんなで意見、情報交換出し合いませんか、という話から。パネルセッション:検証してみて感じたホワイトボックススイッチの未来ほんとに使えるものだっけ、いいところ悪いところ、本当の姿ってどういうところっていうのをディスカッションしていきたい。全部作るOSまでありもの+アプリを作って使うアプリまで含めて買ってきて、足りないところやインテグレーションのところをやるスイッチソフトウェア開発のためのツールもいろいろ出てきている。二つの大きなコンポーネントASICCPUどう動くのかほとんどのパケットはASICで処理されるCPU上ではOSとdaemonが動いている。)FBOSSFBのスイッチエージェント。FBOSSの上に自社開発のBGPエージェントをくっつけてDC内ルーティング。supportという噂。at&t,bt大規模BGP運用している側が仕様策定いろんなコンポーネントでスイッチソフトウェア開発ツールが出てきている。オープン化が進んでいる。GolangOpenConfiggRPCでAPI実装ベンダに頼らないNW機器の開発ができるようになっていく。利用してパケットが飛ぶこういうのが、今まではベンダにお願いしたり、ベンダから出てくるのを待たなければいけなかったが、いまはやろうと思えばユーザがどんどん作っていけるようになっている。まとめ北米大規模DC運用者向けコモディティハードウェアがドミナントになるのは止められないそういうのが使えるように技術を身につけないといけないだろういろんなツールやソフトウェアがどんどん出てきている開発するリソースがない・リターンが受けられないというユーザ、新しいビジネスの開始。スイッチソフトウェアパッケージだけを開発・販売するような会社が出てくるのでは。これ/ロギングソフトウェアはこれ...とか、サーバでやっている話がNW機器でもやるようになるだろう。国内でもWBS利活用を進めるのが個人でも企業でもメリットになるのでは。やってみたいことがある人はいろいろやってみましょう。いえ北米利用は始まって進んでいる。デモで使った話はほぼバグバグ。普通のソフトウェアと同じように枯れているものも枯れていないものもある。OpenStackみたいにいろんな企業や人が参入すれば変わっていくだろう。chipはfixな機能しか処理できない作り。XPliant?)ので、そういうのを使って、特殊な機能をチップ側の力で実装したい(後から)という話はあり得る。ハコ自体のライフサイクルも伸びる...と彼ら(Cavium)は言っていた。スイッチソフトウェアを売る企業とかも出てきそう、という話。いまはOSの会社がでてきてる。上のBGPとかのパッケージ販売って見えている?今回の話は個人の妄想ですが、BGPソフトウェアとして確立したものはあるので、そういうものが上に乗ってくる、という話はあるだろう。serverでつかわれていたアプリ、Quaggaとか、サーバでやるのとスイッチでやるのと動作が違う。これまでのアプリがどっちにも対応する方向なのか、全く別に開発が進むのか。今回Linuxと同じと言っているのはCumulusに限られる話。WBSはただのハードウェアで、その上にいろんなのが乗ってくると言うのはできる。Quaggaになってる。それに関しては同じように動く。機能を前提にしているNWスタックの作りになっているわけではないので、Cumulusの人たちがLinuxのNWスタックの開発していたりする。利用してスクリプトを実行させる。Ansiblepython実装の構成管理ツール標準入出力できればどの言語でもプラグイン作れる対象がSSHアクセス可能であれば実行できるCumulus操作ライブラリがあるよ。PowerPC版OSが入るスロットが2カ所ある。このコマンドではスロット1/2の2カ所にOSが入る機種によるけど、今回デモで使っている機種は中にSDカードのスロットが2カ所あるハードウェアに対してOSが作ってあって、今回はPowerPCのを書き込んでる。PowerPC/x86の2種類のイメージがCumulusとしては提供されている。scriptつかってるけど、Cumulusはperl/rubyあたりならプロビジョニング時にも使えるようになってる。QAiptables?入ってる。書き方順序特殊になってるところがあるけど。みたいな形になってない。Pica8とかはそういうCLIインプリがあるけど。機能的にはあるけどCLIですべてやれるかというと、そうでもないというところがある。的なものも機能としてはあるので、よほどマニアックなことやベンダ依存なもの以外はあるのでは。netlink経由で経路情報をインストールする。付属のコマンドでも、Quaggaでも、自作でもなんでもいい。switch編あまりWBSっぽい話じゃないけど。XMLもメーカーによって違いがあったり。NW機器の場合、枯れていることを重視。新しいものが入ってこなくて格差があったり。結果的に、装置ごとに異なる制御モジュールが個別に必要に。失敗の影響範囲が大きいサーバとかに比べればNW障害の影響範囲が広い。DCエッジスイッチ、コアルータ......失敗すると総務省に自動化の際のリスクエンジニアのスキルが自動化から遠い自動化開発に必要なスキルはどちらかというとサーバ屋さんが持ってるスキル。自動化のアイディアが出づらい文化エンジニアの文化ここしばらくは、最初からNWはNWだって分業。サーバ屋さんと向かう先が違ったりする。NW機器の技術革新もメーカー待ち。開発者はメーカーの人、こっちはオペレータ、みたいな差が大きい。台数自体があまり多くないし、作業頻度も少ない。開発に時間が割けない運用メンバは必要最低限しかいない。Framework構成管理ツールNW業界の変化netconfメーカーごとのXML記述の違いなどがある。yangモデル対応が一つの鍵ODLいろんなメーカが参加WBSWBSに期待していないことどうしても入れたい、使うべきだ、という話ではない。既存機器を全部置き換えるとは思ってない。ハイパージャイアントが大規模に入れるならいいけど、小さく入れるだけだと大して安くないいまいれてもWBS用の制御モジュールが増えるだけなので、自動化の上ではそんなにおいしくないWBSに対する期待メーカーの変革に期待NW機器の全機能が外部から制御できること標準的なサーバ用ツールが流用できること業界標準の制御方法の確立。系で自動化しているところは、ベンダしばって前提おいて制御モジュール作って自動化している。制御自動化に対応していないなら買わないよ、という流れもあり得るだろう。自動化のストーリーNW運用者の中から開発ができる人の余力を出す、というのが重要。運用自動化して、新しいことを始めたい。自分たちのかゆいところに手が届くツールを自分たちで用意できるようにする。cloud環境の開発/運用をやってます。製品・サービスの組み合わせが自由になる。とりうる選択肢の幅が広がる。networkをどうするか。特定のベンダに依存する。素朴な疑問をぶつけてみる。意味ある?ハードウェアのアーキテクチャとして、ハードウェア組み合わせのための仕組みが標準化されていない。いままでのNW機器は、ハコはブラックボックスだけどつなぐ仕組みが標準化されているので、箱を選ぶ自由度があるという話。そこでの優位性が現時点ではあまり見えないなあ安くなる?全体の維持・運用コスト含めて安くなるだろうか?1ラックあたりToR2スイッチだとして、そこのコスト自体の割合。実際の24/365回す際にそういうのをなんとかとかできるエンジニアどうするか。教育コスト、チームの維持サーバエンジニアをNWに持ってきた方が早くシフトできるのかもしれない品質大丈夫?トラブルが起きたときにS/W,H/Wの切り分けは非常に難しい。組み合わせが増える...試験バラエティが増える。どこまでQA/品質保証ができるのか。結果としてユーザ側のコストは増えるのではないか。「安くなる」という期待に人件費として乗ってくるのではないか。unbundleに本質があると思う。使い方によってパラダイムシフトが起きる可能性はあるのではないか。過度に安い・楽・価値が出せる、という話をBuzzらセルのは危険なのではないか。いまのところ、無理にメリットを合弁するよりは、面白そうだからやってみない?というところくらいでよいのではないでしょうか。QAサーバエンジニアとして。NW機器はあまりトラブルがないもの・触らないですむもの。Linuxはよくトラブルがあるもの。LinuxをNWに持ってくる必要ってあるんだっけ?マーケットが変わるんじゃないかという予想。望む・望まないによらず、ハイパージャイアントの人たちの動かしているものを使っていかないといけなくなるのでは、というのが一つ。単純にエンジニアとして面白そうだから、というのもある。それよりも、追随していかないと、後から慌てて入っていくとよくないんじゃないかという感じ話。はいってきたりそういう動きなのでは。境目がわかりにくくなる。みたいなのが有名だけど、DCのリソースとして、リソース操作で見ればWBSじゃなくて単純にAPIで動くスイッチがあればいいよね。WBSが唯一の解決策じゃなくて、ほかにもあると思うけど、ユーザ側から触りやすいのはWBSかなあハイパージャイアントからこぼれるものの恩恵にあずかれるという話?エンタープライズではいままでのがなくなるってことはないでしょう。WBSについては、機能開発やサイクルを早めるという話とかはありそう。Linuxを使いたいからでも安さについてでもない。自分たちでできなかったNWの機能をユーザ側で作ってくれる人がいて、そういうのを共有してサービスに提供できるようになるとか、新しいサービスのやり方、作り方みたいな発展がありそうなところが魅力。designがどうなっているのか。きいたら、OCPのはFacebookの要件に寄ってるるから、代わりにこれ使えみたいのいわれたりした。万人が使えるデザインにはなってない。リファレンスデザインがない状態で進んでいくのが心配。印象としてどう収束していくか...あるいは収束しないのか。今までのNW機器をサーバに近づけるアプローチ。Intel/FulcrumとかサーバをNW機器に近づけるようなアプローチもある。Fulcrumはマイクロサーバの集約スイッチとかIntelのナントカアーキテクチャ、ToRという感じじゃなくなってる。ToRとしてはFulcrumによるってことはないかな。そもそもToRアーキテクチャ自体今後どうなるって話もあり...そこは正直よくわからないけど。して、というのがまだよくわからない。メリットがあるというのが、体感的に、どこまでメリットあると思っているのか。自分たちでLinuxのバグつぶして運用していけるのか、それよりも大きなメリットがあると思ってやっているのか。見ているチームなので。どちらかというと、欲しい機能があるときに明日出せって言われても出せない。ユーザ希望があってデプロイして安定版出せるまで時間がかかることにモヤモヤする。安定性は保証されていないけど特定機能だけが使いたいところで自分たちで出せる(品質は許容してもらうけど)、デプロイスピードの話。レイヤでやれる範囲を超えてる?APIがあればできるってところの方が多い。それ以外にもEVPN使いたいとか試験的にやりたいとかお客さんがそれでもいいよって言われる変態的な使い方したいところがbackboneでもあればいいなと。品質が保証されるべきところにはいれないだろうな...。Linuxだけに限らずアーキテクチャ全体の話。ToRだけなのか、とか、運用全体に持って行ったときに、どこまで自分たちが手を出すか。安定性必要なところと新しく挑戦するところと。今までのNWのあり方・やり方を変えないといけないのでは。切り替えるみたいな話とは別に。Web系、落ちてもいいアーキテクチャになっているところ、スケールアウトに特化、そういうところではWBSとかのがいいって話はあるだろう。DCでもCoreのところやキャリアバックボーンとかはまた別。多さで品質を保つというのがWBSにと思ってる。秋くらいに2回目やりたいな。個人的なコメント単純にエンジニアとして、技術的には、こういうの面白そうだなーと言うシンプルな理由で参加してみたわけですが、じゃこれをお仕事的に使うとするとどこなんだろうなあ...というのが正直なところです。ウチみたいにエンタープライズ系個別SIとか、DCやってても数十台〜百何十台程度のオーダーだとどこまでうまみが出せるだろうかとか考えるとまだちょっとなー、と。(まあ、いままでのアーキテクチャのシステムに対して、その中の一部をこういのに置き換えて使うと...みたいな発想がそもそもフィットしないか。)今回の話の中でも所々出てきているけど、こういうのをベースにして新しい技術開発や標準化の話が加速していくというのはあるんじゃないかと思う。そこら辺はもうちょっと期待したい。国内だと買うっていっても検証環境用に〜とかで進みそうだし、みんなまだ当面ウォッチしておくって感じな気がするので、新しい動き自体を自分たちで起こしていくぞーって体力あところはどこだろう。特定機能特化のスタートアップか大企業か...。今までのNW製品に比べれば圧倒的に変化早いし、こういう感覚もあっという間に古くなっちゃうんじゃないかな。