(outdated)ホーム未分類Hadoop使いのためのRPMの便利な使い方5つ未分類2012.07.04Hadoopにどっぷりつかってもうすぐほぼ一年。去年の今頃はKVMやCluster、Linuxのパフォーマンスチューニングやらで休む暇もなかったわけですが、今年はより自転車操業的生活を送っています。LinuxやCentOSを選ぶ方は多いでしょう。Hadoop)をRPMパッケージ[1]を利用すると便利です。Managerを利用すればもっと簡単にセットアップできます。今回はRPMの便利な使い方を5つ紹介します。Guideなどをご覧ください。断りのない限り、下記のコマンドは全てrootユーザーあるいはsudoで実行する必要があります。オプションによりインストールされている全てのパッケージが一覧できるので、その結果をgrepすることで、探したいパッケージを抽出できます。hadopパッケージがインストールされているかを調べる場合は以下のように行います。~]#検索したい文字列が思い浮かばないと探しにくい、というデメリットはありますが、個人的には最も利用しているかもしれません。Managerを使ってセットアップしたような場合、何のパッケージがインストールされたかが気になることがあります。利用することができます。09時59分24秒(略)インストールされた時間もわかります。yumを使ってインストールした場合には/var/log/yum.logを確認しても良いでしょう。いうコマンド、どのRPMパッケージでインストールされたんだっけ?という場合に役立ちます。RPMパッケージが特定できればアンインストールするなんてこともできますしね。RPMパッケージのインストールでどのファイルが更新されたのかを調べるRPMパッケージにはインストールするファイルのリストが入っています。より、パッケージのインストールした時に変更(追加)されたファイルを確認できます。hadoop-yarn/etc/hadoop/conf.empty/yarn-env.sh/etc/hadoop/conf.empty/yarn-site.xml/etc/security/limits.d/yarn.conf/usr/bin/yarn/usr/lib/hadoop-yarn/usr/lib/hadoop-yarn/bin/usr/lib/hadoop-yarn/bin/container-executor/usr/lib/hadoop-yarn/bin/mapred/usr/lib/hadoop-yarn/bin/yarn/usr/lib/hadoop-yarn/cloudera/usr/lib/hadoop-yarn/cloudera/cdh_version.properties/usr/lib/hadoop-yarn/etc(略)これを一歩応用し、RPMパッケージをインストールする前に、追加されるファイルを確認をすることも可能です。ようにパッケージのファイル名を指定をします。yumdownloaderというコマンドを利用してrpmファイルをダウンロードし、追加されるファイルを確認してみましょう。~]#このように、インストールしなくても初期スクリプトが含まれていることがわかります。パッケージインストール時に実行されるスクリプトを確認するRPMパッケージをインストール/アンインストール時に、スクリプトを自動で実行させることができます。パッケージをインストールしたときにユーザーを作成したり、必要なディレクトリを作成すれば、人の手を介さずに実行させることができるので便利です。その一方、パッケージのインストール時に何を行っているのか確認したい場合もあるでしょう。~]#preinstはインストールする前に実行されるスクリプト、postinstはインストール後に実行されるスクリプト。preuninstはアンインストール前に実行されるスクリプト、postuninstはアンインストール後に実行されるスクリプトです。設定しているようなことがわかりますね。このようにRPMパッケージは意外に情報が含まれているので、インストールや削除以外の使い方を知っていると役立つかもしれません。これらHadoop使いのためのRPMの便利な使い方5つ[2]を活用してHadoopライフを満喫してください。Mangerの略だった。Impalaの講演もあります。使用するように書かれていることが多いですが、CDHをパッケージからインストールした場合に上記のコマンドの実行は必須ではありません。RHEL/Cent...未分類Hadoopデーモンの設定を表示するHadoopの各デーモンにはwebuiがありますが、オプションを渡すことにより、稼働中のデーモンの設定を表示することができます。Clouderaから日本語訳が出ると思うので、ここでは概要のみ。ファイルフォーマット:Avro...Hadoopエンジニアの記事(1)PageCacheとSwapProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。(outdated)ホーム検索トップサイドバーProfilekernel023HadoopやSparkなどのビッグデータ系技術情報を公開しています。