それが僕には楽しかったんです。スマートフォン用の表示で見るそれが僕には楽しかったんです。分散システムはじめにインフラに興味をもってから、その中でも特に分散システムや分散並列処理に興味を持ったので有名な分散処理フレームワークであるHadoopを使ってみる。16.04上で動かす。2.7以降のものはJava7の環境下で動く。JDK/JREの2つが存在する。Hadoopはこの両方をサポートしているため、いずれかがインストールされていればいい。wikiに書いてある。Wiki次はJDK/JRE以外で必要なものをインストールする。公式ドキュメントにはssh,rsyncが必要と書いているがこれらはUbuntuにデフォルトで入っているため省略。Hadoop本体をインストールする。今回は次のリンクからhadoop-2.8.2をダウンロードした。PATH=/<展開したディレクトリ>/hadoop-2.5.0/bin:$PATHその次に展開したディレクトリ内の/etc/hadoop/hadoop-env.shにJAVA_HOMEのパスを通す。それが完了したなら、コマンドを実行する。parameters.このあと参考にした記事ではスタンドアロンモードで起動して動作確認しているがそれは省略。HDFSデーモンやDataNode、yarnなどを全て同一のサーバ上で実行するモードを使う。設定ファイルの編集etc/hadoopのディレクトリに設定ファイルが存在する。</property></configuration>次にhdfs-site.xmlにプロパティdfs.replicationを1にセットしたproperty要素を追加。system)をフォーマット初回はデーモンを起動する前にファイルシステムのフォーマットが必要になる。-formathdfsデーモンの起動hdfsのデーモンを起動するにはhadoopを展開したディレクトリ直下のsbin/start-dfs.shを実行する。実行後にjpsコマンドを叩いて、NameNodeとDataNodeがあれば正常に動作している。NameNodeWebインターフェースの確認50070番ポートの通信をファイヤーウォールの設定から許可するとlocalhost:50070でwebインターフェースが起動していることが確認できる。/user/<username>この時のusernameは現在自分の使用しているアカウント名と同一にするといい。次に、ディレクトリ内に格納されている既存のサンプルを動作させる。3.14120000000000000000今回はHDFS上で円周率を求めるサンプルがあったのでそれを実行した。調べてみるとWordCountなどもあるらしい。おわりに今回はHadoopをインストールし、HDFS上でサンプルを動かすところまでやった。HDFS上で実行したためジョブがローカル実行されている。次回はそれを分散実行するためのyarnについて触れていこうと思う。友達曰く、「NetBeansが英...2017-05-13【メモ】sbtで自作ライブラリを使えるようにした話とりあえず公開したかった。なんか公開したかった。月別アーカイブ参加グループプログラミングはてなブログをはじめよう!RabbitFoot141さんは、はてなブログを使っています。あなたもはてなブログをはじめてみませんか?はてなブログをはじめる(無料)はてなブログとはそれが僕には楽しかったんです。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。