14:00前回の記事では、Sparkを使ってバスケット分析を行いました。Search」を使って全文検索アプリケーションを構築します。保存Page3まとめサーバのログは常に生成され続けます。一日に一回アップロードするという運用では、直近で発生しているイベントを検索することができません。Searchを使えば、生成されるログメッセージをほぼリアルタイムで検索できるようになります(NRT=ニアリアルタイム)。Searchを使ってサーバログの全文検索を行うSolrを使うには、まず設定ファイルの作成とスキーマの定義を行わないといけませんが、このチュートリアルではすでに用意されているため、このフェーズは省略します。Solrの設定をアップロードします。./solr_configsログ検索用のコレクションを作成します。1コレクションとは論理的な検索インデックスのことです。Solr入門』のp.263以降を参照してください。次に、ダミーデータ生成ツールを起動します。start_logsこのツールは、擬似ログデータを少しずつ生成していきます。どのようなログが出力されているかを確認したい場合は以下のコマンドを入力します。tail_logsツールを停止させる場合は以下のコマンドを入力します。Flumeというログ収集ソフトウェアを起動し、生成されていくログメッセージをストリームでHadoopに取り込んでいきます。「http://<VMのIPアドレス>:8888/indexer」にアクセスし、「live_logs」をクリックすると、インデックスを表示する画面になります。左の「検索」をクリックすると、検索画面に移ります。live_logsインデックス画面Googleなどの検索ウィンドウとは違い、Solr単体では検索用のクエリをきちんと記述しないといけません。検索ウィンドウに、以下のクエリを入力してみてください。action:checkoutこのクエリは、「action」フィールドから「checkout」という文字を含むドキュメントを検索します。AND検索する場合は、下記のようにクエリを記述します。(department:apparel))検索結果画面このようにしてログデータの検索を行うことができます。工夫して見やすくしてみましょう。ショウ)2011年、Clouderaの最初の日本人社員として入社。サポートエンジニアとして3年務めた後、セールスエンジニアとして働いている。ファシリテーターを務めている。圧縮・解凍UNIX基本講座@CodeZine『CodeZine(コードジン)』の公式アカウントです。【NEW】デブスト2019デブサミ2019福岡・関西デブサミ2019夏デブスト関西デブサミ2019×ログインEメールパスワード※旧SEメンバーシップ会員の方は、同じ登録情報(Eメール&パスワード)でログインいただけます。イラストの無断転載を禁じます。記載されているロゴ、システム名、製品名は各社及び商標権者の登録商標あるいは商標です。