5」という記事が公開されました。SparkでWordCountを実行するというものです。英語の記事でもそれほどハマるところはないと思いますが、手元にCDH5の環境があるので試してみました。5を使ってSparkサービスを追加します。Managerに慣れると、手作業での設定に戻れなくなる、、、)まずは「サービスを追加」を選びます。続いてSparkを選択します。依存関係でZookeeperがインストールされます。この画面はわかりにくいですが、Masterをhadoop12号機、Workerを11,13,14,15号機に指定しました。あとは設定されるのを待ちます。(手動でやると面倒なんですが、、、)何も問題なくインストール完了です。SparkでWordCountを実行Clouderaのブログに従って進めていきます。Gitレポジトリをクローンまずはgitのレポジトリをクローンします。ディレクトリ以下にあります。インストールされていませんでした。使ってインストールします。maven[/code]依存関係で複数のパッケージがインストールされるので、しばらく待ちます。手元の環境では特にエラーも発生しませんでした。コンパイル手順に従いコンパイルします。package[/code]こちらも必要なパッケージのダウンロードなど、かなり時間がかかるかもしれません。エラーは発生しませんでした。コンパイルが終わると、jarファイルが作成されています。test-classes[/code]サンプルデータのアップロードワードカウントしたいデータをHDFSにアップロードします。実際、このデータは何でも良いのですが、今回はgitのレポジトリにあったデータを利用しました。実行はブログに書いてある通りに行います。ブログに書いてあった手順からの変更箇所は、以下の2カ所です。ManagerでセットアップしたJava7のパスが異なっていました。アップロードしたHDFSのパス1)に関して、時間がなかったので強制的にリンクを張り替えました。本来はalternativesを使うんですが、なぜかインストールされてなかったので、無理矢理です。下記はlocalモードでの実行です。環境が脆弱なので、standaloneとYARNの環境での実行は、リソースが足りずに断念しました。ログは長いですが、参考までに全部貼っておきます。SparkのWordCountの実行は比較的簡単です。皆さんも是非試してみて下さい。Spark2.x版です。Summitが開催されています。Summe...Spark「初めてのSpark」が発売されます!2015/8/22発売予定です。翻訳は象本、馬本、などHadoopやビッグデータ関係の翻訳でおなじみの玉川さん。Kuduにデータを書き込むチュートリアルを試してみましょう。NiFiはNSA(国家安全保障局)が開発し、オープンソースとしてApacheに寄贈されたソフトウェアです。Sparkは「インメモリで処理できる分散処理基盤」ですが、状況によってはディスクへのアクセスがあります。コメントをキャンセルメールアドレスが公開されることはありません。*サイトProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。(outdated)ホーム検索トップサイドバーProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。