元データ分析の会社で働いていた人の四方山話スマートフォン用の表示で見る元データ分析の会社で働いていた人の四方山話この広告は、90日以上更新していないブログに表示しています。2015-02-05Kafkaをとりあえず動かす最近TL等ではKafkaという単語をよく目にするようになってきましたが、kafkaとググっても日本語の情報がほとんどないのが悲しいですね。Start的なモノを動かしてみた話です。本当に動かすだけです。以外にこのレベルの情報もない!のがKafkaですね。あっても良さそうなのに。Kafkaってなんなのよ、って話は今は触れずにとりあえずKafkaをローカル環境にて動かしてみます。Startに従います。動かすKafkaを取ってくるミラーサイトからKafkaを取ってきます。最新版は8.2.0のようですが、公式ドキュメントは8.1.1なので、8.1.1を取ってきます。適当に展開しましょう。kafka_2.9.2-0.8.1.1.tgzZooKeeperを起動するKafkaはZooKeeperが必須のプロダクトとなっていますので、Kafkaを立ち上げる前に、ZooKeeperも起動しておきます。先ほど取ってきたKafkaのディレクトリにZooKeeperも同梱されているのでテスト的に利用する際はそちらを利用するとよいでしょう。bin/ディレクトリに各種操作実行用のスクリプト、config/ディレクトリ以下にKafkaやZooKeeperの設定ファイル一式が入っています。ZooKeeprの起動です。(org.apache.zookeeper.server.quorum.QuorumPeerMain)...Kafka(Broker)を起動する続いて、Kafkaの起動です。続いて、topicを作成します。topicは、Kafkaにおけるメッセージのカテゴリ名のようなものです。メッセージが入る箱みたいなものですね。"kafka-sample".topicが出来たようです。ついでにtopicを確認してみます。localhost:2181kafka-sample確かにkafka-sampleが作られています。データを投入する同梱されているスクリプトを利用してデータを投入します。ちなみに、Kafkaではデータを投入する役割をProducer、メッセージを受け取る(一時的に保持する)役割がBroker、メッセージを取り出す役割をConsumerと言います。慣れるまではワケワカメですね。最初に立ち上げたKafkaはBrokerに相当します。同梱しているスクリプトは標準入力を受け取り、Brokerにデータを渡す機能を提供しています。details.testmessageという感じです。これでBrokerにメッセージが渡された状態になります。データを取り出すConsumer経由でデータを取り出します。こちらも同梱のスクリプトを利用します。details.testmessageという感じで結果が返ってきます。確かにproducer側で投入したデータが返ってきますね。双方のスクリプトを動かした状態でProducer側で入力した結果は、すぐにConsumer側で表示されます。Entriesはてなブログをはじめよう!rindai87さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。