HDInsightサービスの概要に関してお伝えしました。今回は,実際にHDInsightのクラスタを作り,いくつかの方法でジョブを動かす方法をご覧いただこうと思います。お手元のマシンで実際にお試しください。作業環境の準備さて,さっそく本題に入りたいのですが,その前に。PowerShell⁠”を利用します。いうことはつまり,Windows環境が必要です。あなたが今どこかのカフェで,銀色に輝く素敵なラップトップのトラックパッドをスリスリしているのであれば,そこでPowerShellは動かないかもしれません。そんなときのためのAzureです。Server仮想マシンを作成し,そこですべての処理を行う方法をご紹介します。Azureのアカウントもし,まだAzureを使える環境をお持ちでない場合,ひとまず1ヵ月間無料評価版のサブスクリプションを作成してください。次に,先ほどサブスクリプションを作成した際のマイクロソフトアカウントで,Azure管理ポータルへログオンし,仮想マシンを作成します。クリックすると,簡単に作成できます。できあがったら,管理ポータル下の黒帯にある「接続」をクリックしてリモートデスクトップ接続してください。PowerShellをインストールし,Azureの認証情報を追加します。Installer(WebPI)を使うと簡単です。PowreShellが選択可能になっていますので,“⁠Add⁠”をクリックしてこれをインストールします。PowerShellを起動し,Add-AzureAccountコマンドレットを実行します。すると,認証画面がポップアップしてきますから,Azure管理ポータルへアクセスするのと同じマイクロソフトアカウントで,認証を行ってください。PowerShellが利用できるようになりました。HDInsightクラスタの作成いよいよHDInsightクラスタを作成することができます。PowerShellのセットアップをしたところですから,これを使ってみましょう。前回の記事でお伝えしたとおり,HDInsightはAzureのBLOBストレージをデフォルトファイルシステムとして利用します。このストレージは,下図に示すような階層構造を持ち,最上位の要素として「ストレージアカウント」があります。その中に「コンテナ」というフォルダのようなものがあり,コンテナの中に「BLOB(ファイル⁠)⁠」が格納される形です。BLOBストレージのイメージHDInsightのクラスタを作る際には,「⁠ストレージアカウント」と「コンテナ」を指定する必要がありますから,あらかじめこれらを作成しておくことが必要です。ストレージアカウントを作りましょう。PowerShellで次のコマンドを実行します。Asia"「ストレージアカウント名」は英数字のみが使えます。-Locationは,ストレージアカウントを配置するデータセンターの場所(リージョン)ですが,残念ながらHDInsightはまだ日本リージョンでは使えません。Asia⁠”(シンガポール)にありますので,ストレージアカウントもそこに作ります。ストレージアカウントが作成できたら,その中にコンテナを1つ作成します。これも,コマンドで作ってしまいます。複数行に渡りますが,1行ずつコマンドラインに打ち込んでもかまいませんし,スクリプトファイルにしてもOKです。$contextクラスタの作成ようやく,クラスタの作成ができます。少々長くなりますが,以下のコマンドを実行してください。長いと言っても,実行しているコマンドはNew-AzureHDInsightClusterだけです。データノードの数は,下記の例では控えめに“⁠2⁠”としていますが,コア数クォータの範囲内で,任意の値を指定できます。既定では,HDInsightのコア数クォータは170コアとなっていますから,40ノードまで指定可能です(ネームノードがXLサイズ=8コア,データノードはLサイズ=4コアです⁠)⁠。クラスタを配置するリージョン。$clusterNodes実行すると,ユーザ名とパスワードの入力を促すダイアログがポップアップしてきます。これは,クラスタの管理者となるユーザー名とパスワードを設定するものです。パスワードは最低10文字必要です。作成完了まで10分程度かかりますので,お待ちください。できあがると,管理ポータルにもこのようにHDInsightクラスタが現れます。2019」を開催しました。DAY1・DAY2の様子を注目セッションとともにお伝えします。LINEのエンジニア3名がイベントに先駆けて見どころを紹介します。コードの安全性・安定性を高める開発サイクル~テスト管理の効率を上げ,脆弱性診断を自動で行う~本連載では,連載「業務を改善する情報共有の仕掛け」を受けつつ,安全性・安定性を加えた開発サイクルについて考えていきます。若者世代から圧倒的な人気を誇るライブ配信&動画投稿コミュニティアプリ「MixChannel」(ミクチャ)の裏側(レコメンドシステムやサーバサイド開発など)について解説していきます。その他の連載CSS3アニメーションでつくるインターフェイス表現CSS3によるアニメーション表現を紹介していきます。その中でも,幅広い読者に応用してもらえるだろうインターフェイスを主なお題とします。MySQL道普請便り本連載では,MySQLを使ったアプリ開発・運用に関するノウハウをご紹介していきます。RecipeUbuntuの強力なデスクトップ機能を活用するための,いろいろなレシピをお届けします。JavaScriptセキュリティの基礎知識JavaScriptに関するセキュリティ上の問題はどこで発生し,どうすれば防ぐことができるのか?について解説していきます。〜システムをきちんと運用するための基礎知識システムは「作って終わり」ではなく,運用の中でさまざまな問題が発生します。問題の発生に備えて事前にどのような対応をしておくべきなのか,問題発生時に何をしなければならないのか,ポイントを解説していきます。きたみりゅうじの聞かせて珍プレーソフトウェア開発の現場で体験したトホホな失敗,思わずうなる珍プレーをきたみりゅうじ氏が四コママンガで紹介。Linuxのメンテナンスの傍ら,Linuxやオープンソースソフトと日々を過ごす著者が,その魅力とつきあい方を,エッセイ風味でお届けします。PRESS特別編集部員,さわやか笑顔のスーパーハカーはまちちゃんとネット大好き14歳わかばちゃんが,毎号,読者の皆さんから寄せられたおたよりを紹介します。皆さんの日頃の悩みにも答えちゃいますよ。]メールでのお知らせメールで次の案内をお送りしております。メールの配信を希望する方は,利用したい項目をチェックしてメールアドレスを入力し,[登録]ボタンをクリックしてください。UPDATES[ほぼ週間に1回]新刊メールマガジン[ほぼ週間に1回]電脳会議の各号案内[ほぼ1ヵ月半に1回]※変更する場合や停止する場合は,登録情報変更ページをご覧ください。※登録いただいたメールアドレスには,そのお知らせ以外,配信いたしません。Ltd.ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。