StormをhomebrewでインストールしてKafkaに繋ぐまでの記事です。動機Mac開発環境の人は多くいる中で、Macでのセットアップ方法が書かれている記事がここ一年だと皆無なので、記事を書こうと思いました。以下が検索結果である。Apacheにひっかかてか、Kafkaばかりヒットします。streamみたいな名前でストリーム処理のためのソフトウェアを出しているので、この業界では老舗のようになっています。https://databaseline.wordpress.com/2016/03/12/an-overview-of-apache-streaming-technologies/個人的には影響しあってこれらが乱立しているので、老舗を抑えておきたいと思います。StormのHomebrewでのインストールまずフォーミュラがあることを確認しましょう。stormssh-completionあったのでインストールしてみます。stormインストール先は/usr/local/Cellar/storm/1.2.2です。自分はv1.2.2を入れました。設定ファイルはconf/storm.yamlに記述します。最低限設定しないといけないことは、zookeeperのサーバーnimbusノードです。in:...とMUSTと書かれてあります。localhostの場合は上記のように記述すれば大丈夫です。古い文献だと、nimbus.seedsではなくてnimbus.hostとなっているかもしれませんが、v1.0+から配列で定義することになったみたいです。状態(state)のためのディレクトリ。ワーカーの数とポート指定。デフォルトではワーカーは四つ立ちます。github.comそしてnimbusとsupervisorを起動してみましょう。どれもバックグラウンドで実行するのが良いと思います。どれも数分前にたちあげたものなので良いかと思います。StormとKafkaを接続する公式サイトには以下のように二つあります。バージョンごとにかなり差異があるので、注意が必要です。新しい方を利用することが推奨されているので、そっちを使います。サンプルが/libexec/examples/store-kafka-client/にあります。myBolt()).shuffleGrouping("kafka_spout");のように定義されていました。APIという高レベルAPIが用意されてある。Stormの構成で追っていきます。Stormの主要な概念は解説しません。KafkaSpoutKafkaSpoutConfigクラスで実装することできる。これはbuilderパターンであるので、デザインパターンを知らない人は以下の本が必読です。見るSpoutとして機能させるためにはいくつかの設定をKey/Value形式で渡す必要があります。exampleでは、以下のよう関数定義しています。Stormのトポロジの追加Boltは必要性に応じて使用してください。コンパイルしたら終わりです。2018の第3日目の記事です。Beamを使ってPipelineを構築します。»プロフィール学生エンジニア。忘れてしまうので備忘録です。flaskでServerlessにホストするTelepresence概論スターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。