VMを利用できるようにしました。今回はKerberosを使用してセキュアなクラスタ化を行います。セキュア化の背景Hadoopのメリットの一つはデータを一箇所に溜めておき、そのデータに対して様々なアプローチができることです。2016参考リンク:データを一箇所に集めることで「データ活用の民主化」が進んだという話データを一箇所に集めることによってデータの民主化は進みますが、その一方、セキュリティについて考慮することも必要でしょう。以下のようなことが考えられます。VMをKerberos化し、認証されたユーザーのみが利用できるようにします。Directoryを使って行います。Sentryなどを利用して、ロールベースの認可を行うこともできます。Kerberosのセットアップ手順はOSのディストリビューション等により異なります。VMにはKerberos化するためのスクリプトが含まれています。今回の目的はあくまでKerbrorsを利用することなので詳細は割愛しますが、セキュアなHadoopクラスタを運用する場合にはKerberosの知識は必須なのでご注意下さい。Managerサービスを停止します。Kerberos」アイコンをダブルクリックします。(注:手元の環境ではスクリプト実行中に途中で止まってしまうことがありました。Kerberos化する前にスナップショットを取得しておくと良いかもしれません)ターミナルが開き、セットアップが自動的に行われます。exit...[/code]Enterキーを押してセットアップを完了します。ターミナルからKerberosの確認をしてみましょう。Managerの各サービスを起動しておきます。Managerを使ったKerberos化の手順はドキュメント化されています。メニューから、セキュリティを選びます。(管理->セキュリティ)セキュリティ画面が開きます。セキュリティインスペクタを実行してみます。※レルムには注意が必要ですね。致命的なエラーがなかったので、先ほどの画面から「Kerberosの有効化」ボタンをクリックします。ウィザードが起動するので(今回は全てにチェックを入れて)続行します。セキュリティインスペクタで提示されたレルムに変更します。Managerから管理できるようにします。スクリプト実行時に表示されたパスワードを入力します。cloudera-scm/admin@CLOUDERAのパスワードはclouderaですね。資格情報のインポートです。Kerberosのプリンシパルの設定です。今回はポートも変更しません。再起動する準備ができたのでチェックボックスにチェックして続行します。Kerberosの有効化が始まります。終わったので続行します。おめでとうございます。無事にKerberos化が行われました!完了を押して終了します。全てのサービスを起動しておく必要はないので、不要なサービスは停止しておいた方が良いかもしれません。Kerbros化をテストする現在はclouderaユーザでログインしています。コマンドラインからHDFSにアクセスしてみましょう。Managerがウィザードで設定した中にはclouderaのプリンシパルはありませんでした。(impalaやhueなどのプリンシパルは作成されています。)kadminコマンドを使ってプリンシパルをリストします。アカウント用のプリンシパルを追加します。パスワードはclouderaとしてみました。created.[/code]作成したらkadminを抜けて、kinit、klistします。~]$[/code]先ほど失敗したHDFSにアクセスしてみます。~]$[/code]Kerberos化に合わせてYARNの設定を変更するHDFSにはアクセスできるようになりましたが、MapReduceのジョブを実行すると次のようなエラーになってしまいました。~]$[/code]原因は次のログです。他のスーパーユーザーを防ぐために使用されます」とあり、この値が1000になっています。ところがドキュメントにも記載されていますが、ユーザーIDは1000以上である必要があります。~]$[/code]clouderaユーザーのユーザーIDは501なので、このままではうまく実行できません。ManagerのYARNの設定から変更してみます。(allowed.system.users)にclouderaを追加します。保存すると、右上に再起動を促すアイコンが表示されるのでクリックします。「古いサービスの再起動」をクリックします。クライアント設定も配布しておきましょう。今すぐ再起動を押してサービスを再起動します。終わったら完了を押します。無事にサービスが起動していることが確認できたら、先ほど失敗したMapReduceのジョブを実行してみましょう。~]$[/code]これでセキュアなHadoopクラスタの第一歩が完了です。CDH5の仮想マシンを使ってみる**この記事の内容は若干古くなっています。5に対応した仮想マシンイメージが公開されました。コマンドで利用できるサブコマンドの一覧、その3です。表のレイアウトがおかしいので近いうちに直します。ベータ環境を簡単に試す(後編)**この記事の内容は若干古くなっています。Managerを使ったHadoopの運用について、数回に渡って連載予定です。コメントをキャンセルメールアドレスが公開されることはありません。*サイトProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。(outdated)ホーム検索トップサイドバーProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。