beta2が公開されてからしばらく経ちました。GAまでは(おそらく)もう少しです。beta1->beta2にアップデートして、いくつか変更点を確認してみます。ManagerではなくRPM(yum)でセットアップしていたので、コマンドラインからyumで更新します。(余談)本来はドキュメントにある正しいアップグレード手順に従うべきですが、今回は片手間にやっていて、なんとかなるだろう、と軽い気持ちで実行したところ、NameNodeが起動せず...。hadoop*[/code]依存関係もあり、以下のようなファイルが更新されました。beta2のリリースノートによると、HiveがParquetフォーマットに対応しています。NameNodeなどを起動した、つもりが、NameNodeがいません。JobTracker[/code]何かやってもうた?と一瞬焦りましたが、冷静にNameNodeのログをチェック。ログによると、NameNodeのメタ情報のバージョンが変わっているため、アップグレードが必要とのこと。(再:ドキュメントはちゃんと読みましょう)ログは以下のようでした。47->51に変更となっているので、upgradeオプションを付けて起動しろとのこと。SelectChannelConnector@0.0.0.0:50070[/code]指示に従いアップグレードを実施します。automatically(略)[/code]しばらく放置して、無事に終了し、NameNodeも無事に起動しました。2.x.0ではWebUIのデザインが変更になっているようです。http://<namenodeのホスト名>:50070にアクセスしてみると、以下のようなデザインになっていました。見た目が変わると新鮮ですね。(しかし、なぜ緑にする必要が!?)NameNodeのUIファイルブラウザファイルブラウザは使いにくくなった印象。表示されてないので、かならずパスを入力しなければならないようです。上記の画面でファイル名をクリックすると、以前のバージョンまでは、ファイルの内容やブロックの情報、レプリケーションされているホストの情報などをを見ることができましたが、このバージョンではダウンロードしかできないようです。これってかなり不便なのでは!?ファイルの情報を表示しかし、以前のバージョンと同じURL(例:http://huetest:50075/browseDirectory.jsp?dir=/user&namenodeInfoPort=50070&nnaddr=0.0.0.0:8020)を直接指定すれば、ファイルのブラウジングなどもできるようです。機能がなくなったわけじゃないようですが、どのページ/リンクから辿っていけるのかは今のところ不明。ファイル情報を直接見るDataNodeのWebUI変わってDataNodeのWebUIです。以前のバージョンよりも情報量が増えました。古いWebUIということで、本日はこの辺で。コマンドで利用できるサブコマンドの一覧、その3です。表のレイアウトがおかしいので近いうちに直します。hdfsHDFSでアクセス制御リスト(ACL)を設定する6日目です。昨日のブログでHDFSの拡張属性を紹介しましたが、当初の予定はACLがメインででした。ご存知の通り、HDFSはマスターとスレーブ群から構成されます。スレーブノードを大量に用意することで、膨大なデータを蓄積することができます。現状のHDFSでは、個々のデータノードが持っているス...hdfsbashでhadoopコマンドのタブ補完をするBash使いの皆さん。コメントをキャンセルメールアドレスが公開されることはありません。*サイトProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。(outdated)ホーム検索トップサイドバーProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。