HDInsightは,PowerShellなどを使ってリモートから操作することが多いのですが,ネームノードに直接ログオンしてhadoopコマンドを実行したりすることも可能です。その設定をしてみましょう。これはAzure管理ポータルから行ってみます。Azure管理ポータルで,できあがったばかりのHDInsightクラスタをクリックし,「⁠構成」タブに切り替えてから黒帯の「リモートを有効にする」をクリックします。リモートを有効にするすると「リモートデスクトップの構成」ダイアログがでてきます。ユーザー名とパスワード,有効期限を設定します。各種設定リモート接続が有効になると「接続」ボタンが出現しますので,クリックするとリモートデスクトップ接続ファイル(.rdpファイル)がダウンロードできます。リモートデスクトップ接続ファイルこれを開くと,ログオンすることができます。R2上で動いているのでした。HDInsightの実行の様子ここで,デスクトップにあるショートカットからMapReduceやHDFSの管理画面にアクセスしたり,コマンドプロンプトを開いてhadoopコマンドなどを実行することもできますし。注意していただきたいのは,HDInsightクラスタを構成するノードは,すべてAzureの「Workerロール」のインスタンスだということです。Workerロールは,Azureの「仮想マシン」機能で提供されるインスタンス(PersistentVMRole)と違い,永続的なストレージを持ちません。Infrastructureなのです⁠)⁠。ネームノードへログオンするユーザーは管理者権限を持っていません。これらのことから,「⁠ネームノードにログオンして,さまざまなツールを導入しクラスタ管理作業を行う」といった使い方は適切ではありません。いうわけで,ネームノードにログオンせずに,HDInsightクラスタを利用する方法を紹介していきましょう。ファイルシステム操作からです。HDInsightのファイルシステムにアクセスHDInsightがAzureのBLOBストレージをデフォルトのファイルシステムとして利用するということは,つまりBLOBストレージ用の既存ツールを,Hadoopのファイルシステム操作に利用できるということです。ここでは,広く利用されているCloudXplorerを使って,クラスタ作成直後のファイルシステムを覗いてみましょう。クラスタ作成時に指定したコンテナ(下図では“⁠hdinsight⁠”⁠)の中に,いくつものフォルダやファイルが作成されていることがわかります。実は,BLOBストレージには「フォルダ」という概念はなく,コンテナの下にフラットにファイルが並ぶだけなのですが,フォルダ名まで含めた「フルパス形式」のファイル名を付けることで,擬似的に階層ディレクトリ構造を表現しています。CloudXplorerをはじめ,さまざまなツールがこの方式に対応しています。CloudXplorerたとえば,上の図で/example/jars配下に“⁠hadoop-example.jar⁠”ファイルがありますが,実際には“⁠example/jars/hadoop-examples.jar⁠”という名前のファイルがコンテナ直下に置かれているのです。MapReduceプログラムの実行ファイルシステムの扱い方がわかったところで,いよいよMapReduceプログラムを実行してみましょう。先ほど,サンプルプログラムがたくさん詰まったhadoop-example.jarを見つけたばかりですから,これに含まれるプログラムを何か実行してみましょう。なればやはり,「⁠MapReduce界のHelloWorld」たるWordCountプログラムにしましょうか。これは,指定されたファイルの中のテキストを単語に分割し,個々の単語の出現回数を数え上げる,というシンプルなプログラムです。HDInsightのファイルシステムには,/example/data/gutenbergにWordCountの練習用テキストファイルが置いてあります。書き出すようにしましょう。通常のHadoop環境であれば,hadoopコマンドを次のように実行するところです(HDInsightでも,ネームノードにログオンしてこのコマンドを実行することができます⁠)⁠。PowerShellでは次のようになります。※PowerShellでは継続行記号は`(バッククォート)です。New-AzureHDInsightMapReduceJobDefinitionでジョブを定義し,それをStart-AzureHDInsightJobへ流し込むという形になります。クラスタ名のところは適宜置き換えてください。コマンドラインで上記コマンドを実行し,無事にジョブが投入されると,このように各種情報が出力されます。job_201403241248_0001ジョブの状態を問い合わせるには,クラスタ名とジョブIDを指定して,次のコマンドを実行します。job_201403241248_0001どうやら,ジョブはすでに終わっていたようです。job_201403241248_0001結果を確認してみましょう。CloudXplorerなどのツールでBLOBを見るのが便利です。“⁠part-r-00000⁠”が出力ファイルです。結果の確認はCloudXplorerで開いてみると,単語とその出現回数が淡々と記録されていることがわかります。2019」を開催しました。DAY1・DAY2の様子を注目セッションとともにお伝えします。LINEのエンジニア3名がイベントに先駆けて見どころを紹介します。コードの安全性・安定性を高める開発サイクル~テスト管理の効率を上げ,脆弱性診断を自動で行う~本連載では,連載「業務を改善する情報共有の仕掛け」を受けつつ,安全性・安定性を加えた開発サイクルについて考えていきます。若者世代から圧倒的な人気を誇るライブ配信&動画投稿コミュニティアプリ「MixChannel」(ミクチャ)の裏側(レコメンドシステムやサーバサイド開発など)について解説していきます。その他の連載CSS3アニメーションでつくるインターフェイス表現CSS3によるアニメーション表現を紹介していきます。その中でも,幅広い読者に応用してもらえるだろうインターフェイスを主なお題とします。MySQL道普請便り本連載では,MySQLを使ったアプリ開発・運用に関するノウハウをご紹介していきます。RecipeUbuntuの強力なデスクトップ機能を活用するための,いろいろなレシピをお届けします。JavaScriptセキュリティの基礎知識JavaScriptに関するセキュリティ上の問題はどこで発生し,どうすれば防ぐことができるのか?について解説していきます。〜システムをきちんと運用するための基礎知識システムは「作って終わり」ではなく,運用の中でさまざまな問題が発生します。問題の発生に備えて事前にどのような対応をしておくべきなのか,問題発生時に何をしなければならないのか,ポイントを解説していきます。きたみりゅうじの聞かせて珍プレーソフトウェア開発の現場で体験したトホホな失敗,思わずうなる珍プレーをきたみりゅうじ氏が四コママンガで紹介。Linuxのメンテナンスの傍ら,Linuxやオープンソースソフトと日々を過ごす著者が,その魅力とつきあい方を,エッセイ風味でお届けします。PRESS特別編集部員,さわやか笑顔のスーパーハカーはまちちゃんとネット大好き14歳わかばちゃんが,毎号,読者の皆さんから寄せられたおたよりを紹介します。皆さんの日頃の悩みにも答えちゃいますよ。]メールでのお知らせメールで次の案内をお送りしております。メールの配信を希望する方は,利用したい項目をチェックしてメールアドレスを入力し,[登録]ボタンをクリックしてください。UPDATES[ほぼ週間に1回]新刊メールマガジン[ほぼ週間に1回]電脳会議の各号案内[ほぼ1ヵ月半に1回]※変更する場合や停止する場合は,登録情報変更ページをご覧ください。※登録いただいたメールアドレスには,そのお知らせ以外,配信いたしません。Ltd.ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。