CentOS 6.8 での Hadoop 3.1.1 完全分散インストール ガイド (推奨)

上記：

このドキュメントは、3 台の仮想マシンが相互に ping を実行できること、ファイアウォールがオフになっていること、hosts ファイルが変更されていること、SSH パスワードなしのログイン、ホスト名の変更などが行われていることを前提としています。

1つ。受信ファイル

1. インストールディレクトリを作成する

mkdir /usr/local/soft

2. xftpを開き、対応するディレクトリを見つけて、必要なインストールパッケージをそこに渡します。

インストールパッケージを表示します: cd /usr/local/soft

二。 JAVAをインストールする

1. JDKがインストールされているかどうかを確認します: java -version

2. インストールされていない場合は、Javaインストールパッケージを解凍します: tar -zxvf jdk-8u181-linux-x64.tar.gz

（各人のインストールパッケージは異なる場合がありますので、ご自身で参照してください）

3. jdkの名前を変更し、現在の場所を確認します: mv jdk1.8.0_181 java

4. jdk環境を設定します: vim /etc/profile.d/jdk.sh

JAVA_HOME=/usr/local/soft/java をエクスポートします。
エクスポート PATH=$PATH:$JAVA_HOME/bin
エクスポート CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/rt.jar

5. 環境変数を更新して検証する: source /etc/profile

三つ。 Hadoopをインストールする

1. hadoopインストールパッケージを解凍します: tar -zxvf hadoop-3.1.1.tar.gz

2. 確認して名前を変更します: mv hadoop-3.1.1 hadoop

3. Hadoop設定ファイルを設定する

3.1 core-site.xml設定ファイルを変更する: vim hadoop/etc/hadoop/core-site.xml

<プロパティ>

<name>fs.defaultFS</name>

<値>hdfs://master:9000</値>

</プロパティ>

<プロパティ>

<name>hadoop.tmp.dir</name>

<値>ファイル:/usr/local/soft/hadoop/tmp</値>

<description>他の一時ディレクトリのベースです。</description>

</プロパティ>

<プロパティ>

 <name>fs.trash.interval</name>

 <値>1440</値>

</プロパティ>

3.2 hdfs-site.xml 設定ファイルを変更する: vim hadoop/etc/hadoop/hdfs-site.xml

<プロパティ>
<name>dfs.namenode.secondary.http-address</name>
<値>ノード1:50090</値>
</プロパティ>
<プロパティ>
<name>dfs.replication</name>
<値>3</値>
</プロパティ>
<プロパティ>
<name>dfs.namenode.name.dir</name>
<値>ファイル:/usr/local/soft/hadoop/tmp/dfs/name</値>
</プロパティ>
<プロパティ>
<name>dfs.datanode.data.dir</name>
<値>ファイル:/usr/local/soft/hadoop/tmp/dfs/data</値>
</プロパティ>

3.3 ワーカー設定ファイルを変更する: vim hadoop/etc/hadoop/workers

3.4 hadoop-env.shファイルを変更する: vim hadoop/etc/hadoop/hadoop-env.sh

JAVA_HOME=/usr/local/soft/java をエクスポートします。

3.5 yarn-site.xml ファイルを変更します: vim hadoop/etc/hadoop/yarn-site.xml

<プロパティ>
<name>yarn.resourcemanager.ホスト名</name>
<value>マスター</value>
</プロパティ>
<プロパティ>
<name>yarn.nodemanager.aux-services</name>
<値>mapreduce_shuffle</値>
</プロパティ>

3.6 設定ファイルを更新する: source hadoop/etc/hadoop/hadoop-env.sh

3.7 start-dfs.sh 設定ファイルを変更する: im hadoop/sbin/start-dfs.sh

エクスポート HDFS_NAMENODE_SECURE_USER=root
エクスポート HDFS_DATANODE_SECURE_USER=root
エクスポート HDFS_SECONDARYNAMENODE_USER=root
エクスポート HDFS_NAMENODE_USER=root
エクスポート HDFS_DATANODE_USER=root
エクスポート HDFS_SECONDARYNAMENODE_USER=root
YARN_RESOURCEMANAGER_USER=root をエクスポートする
YARN_NODEMANAGER_USER=root をエクスポートする

3.8 stop-dfs.sh 設定ファイルを変更する: vim hadoop/sbin/stop-dfs.sh

エクスポート HDFS_NAMENODE_SECURE_USER=root
エクスポート HDFS_DATANODE_SECURE_USER=root
エクスポート HDFS_SECONDARYNAMENODE_USER=root
エクスポート HDFS_NAMENODE_USER=root
エクスポート HDFS_DATANODE_USER=root
エクスポート HDFS_SECONDARYNAMENODE_USER=root
YARN_RESOURCEMANAGER_USER=root をエクスポートする
YARN_NODEMANAGER_USER=root をエクスポートする

3.9 start-yarn.sh 設定ファイルを変更する: vim hadoop/sbin/start-yarn.sh

YARN_RESOURCEMANAGER_USER=root をエクスポートする
HADOOP_SECURE_DN_USER=root をエクスポートする
YARN_NODEMANAGER_USER=root をエクスポートする

3.10 stop-yarn.sh 設定ファイルを変更する: vim hadoop/sbin/stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root をエクスポートする
HADOOP_SECURE_DN_USER=root をエクスポートする
YARN_NODEMANAGER_USER=root をエクスポートする

3.11 警告情報の出力をキャンセルする: vim hadoop/etc/hadoop/log4j.properties

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=エラー

4つ。構成情報を同期します:

1. ノード1を同期する: scp -r soft root@node1:/usr/local/

node2 を同期します: scp -r soft root@node2:/usr/local/

2. すべての転送が完了するまで待ち、プロファイルファイルを設定します: vim /etc/profile.d/hadoop.sh

#HADOOPを設定する
HADOOP_HOME=/usr/local/soft/hadoop をエクスポートします。
HADOOP_INSTALL=$HADOOP_HOME をエクスポートします
HADOOP_MAPRED_HOME=$HADOOP_HOMEをエクスポートします
HADOOP_COMMON_HOME=$HADOOP_HOMEをエクスポートする
HADOOP_HDFS_HOMEをエクスポートする=$HADOOP_HOME
YARN_HOME=$HADOOP_HOMEをエクスポートする
HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native をエクスポートします。
エクスポート PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
エクスポート PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

3. 転送を続行する

node1 の場合: scp /etc/profile.d/jdk.sh root@node1:/etc/profile.d/

scp /etc/profile.d/hadoop.sh root@node1:/etc/profile.d/

node2 の場合: scp /etc/profile.d/jdk.sh root@node2:/etc/profile.d/

scp /etc/profile.d/hadoop.sh root@node2:/etc/profile.d/

4. 3つの仮想マシンすべてで実行する

ソース /etc/profile

ソース /usr/local/soft/hadoop/etc/hadoop/hadoop-env.sh

（1つだけ表示）

5. HDFS ファイルシステムをフォーマットします: hdfs namenode -format (マスターのみ)

五。クラスターを起動する

cd /usr/local/soft/hadoop/sbin/

./start-all.sh

起動後、3つの仮想マシンにそれぞれjpsと入力します。

結果は次のとおりです。

Windows での Google ブラウザ テスト:

http://192.168.204.120:8088/cluster (マスターの IP アドレスを入力してください)

http://192.168.204.120:9870

Hadoopテスト（MapReduce実行計算テスト）：

hadoop jar /usr/local/soft/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar ワードカウント /input /output

実行結果を表示します:

以上でhadoopの設定は完了です。

要約する

上記は、編集者が紹介した Centos6.8 での hadoop3.1.1 の完全な分散インストール ガイドです。皆様のお役に立てれば幸いです。ご質問がある場合は、メッセージを残してください。編集者がすぐに返信します。また、123WORDPRESS.COM ウェブサイトをサポートしてくださっている皆様にも感謝申し上げます。
この記事が役に立ったと思われた方は、ぜひ転載していただき、出典を明記してください。ありがとうございます!