CDH5でHadoop擬似分散環境を構築② – CDHインストール

CDH5でHDFSとYARNをインストール。

(1)yumリポジトリのインストール
Clouderaからyumリポジトリをダウンロードしてリポジトリディレクトリにインストール

# wget http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloudera-cdh5.repo
# mv cloudera-cdh5.repo /etc/yum.repos.d/

(2)CDH5のインストール
擬似分散環境用の設定ファイルpseudoをyumでインストールする。
依存関係のあるモジュールも自動でインストールされるため、これでHDFSやYARNも入る。
(CentOSをMinimalでインストールしてあるため、依存関係のあるglibcなどのライブラリ類もここで入る。)

# yum install -y hadoop-conf-pseudo

(3)設定
本当はデータの保存先などちゃんと設定した方がいいが、とりあえず遊び用なのでデフォルトのままで。

各種設定ファイルの中のホスト名をlocalhostから実際のホスト名に変えておく。(擬似分散環境なので変えなくても動作するが、なぜかHistoryServerのWebUIが設定ファイルで指定したホスト名でしかアクセスさせてくれないので。NameNodeのWebUIなどはlocalhostに設定したままでもホスト名やIPアドレスでも受け付けてくれるのに…)

・/etc/hadoop/conf/core-site.xml

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://[hostname]:8020</value>
</property>

・/etc/hadoop/conf/mapred-site.xml

<property>
  <name>mapred.job.tracker</name>
  <value>[hostname]:8021</value>
</property>
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>[hostname]:10020</value>
</property>
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>[hostname]:19888</value>
</property>

それと、HDFSのパーミッションを無効にしておく。これをやっておかないと色々なところでPermission deniedが発生する。(本当はちゃんとパーミッション管理をした方がいいと思うが、遊び用なので…)

・/etc/hadoop/conf/core-site.xml
以下を追加。

<property>
  <name>dfs.permissions.enabled</name>
  <value>false</value>
</property>

(4)HDFSのフォーマット

# sudo -u hdfs hdfs namenode -format

(5)HDFSの起動
SecondaryNamenodeは起動しなくても動くので遊び用環境ではメモリ節約のため起動しない。

# service hadoop-hdfs-namenode start
# service hadoop-hdfs-datanode start

正常に起動できたらWeb管理画面にアクセスできるので以下のURLを叩いてみる。

http://[ホスト名orIPアドレス]:50070/

hadoop-hdfs-webui

(6)YARNの起動
YARNのデーモンを起動。

# service hadoop-yarn-resourcemanager start
# service hadoop-yarn-nodemanager start
# service hadoop-mapreduce-historyserver start

正常に起動できたらWeb管理画面にアクセスできるので以下のURLを叩いてみる。
・ResourceManager

http://[ホスト名orIPアドレス]:8088/

hadoop-resourcemanager-webui

・NodeManager

http://[ホスト名orIPアドレス]:8042/

hadoop-nodemanager-webui

・HistoryServer

http://[ホスト名orIPアドレス]:19888/

hadoop-historyserver-webui

(7)自動起動の設定
CDHでインストールすると各種デーモンが自動起動するように設定されるので、使わないSecondaryNamenodeの自動起動設定を無効にしておく。

# chkconfig hadoop-hdfs-secondarynamenode off

コメント

コメントする