Hadoop 3.2.0 クラスターの構築に関する一般的な考慮事項

1つのポートの変更

バージョン 3.2.0 では、ネームノード ページ ポートは 9870、データノード管理ポートは 8088 であるため、Web ページにアクセスするにはこれら 2 つのポートを開く必要があります。

しかし、YARN_RESOURCEMANAGER_USER が定義されていません。操作を中止します

hadoop-env.sh では、java-home だけでなく、次のユーザー変数も設定する必要があります。

JAVA_HOME=/usr/local/jdk/jdk1.8.0_191 をエクスポートします。
エクスポート HDFS_NAMENODE_USER=root
エクスポート HDFS_DATANODE_USER=root
エクスポート HDFS_SECONDARYNAMENODE_USER=root
YARN_RESOURCEMANAGER_USER=root をエクスポートする
YARN_NODEMANAGER_USER=root をエクスポートする

3.2.0 バージョンの mapred-site.xml ファイル構成に mapreduce.application.classpath 属性を追加する必要があります。

<プロパティ> <名前>mapreduce.application.classpath</名前> <値> /usr/local/hadoop3/etc/hadoop、/usr/local/hadoop3/share/hadoop/common/*、/usr/local/hadoop3/share/hadoop/common/lib/*、/usr/local/hadoop3/share/hadoop/hdfs/*、/usr/local/hadoop3/share/hadoop/hdfs/lib/*、/usr/local/hadoop3/share/hadoop/mapreduce/*、/usr/local/hadoop3/share/hadoop/mapreduce/lib/*、/usr/local/hadoop3/share/hadoop/yarn/*、/usr/local/hadoop3/share/hadoop/yarn/lib/* </値> </プロパティ>

4つのsalaveファイルがworkersファイルにプログラムされており、コンテンツ構成は同じです

5. 起動はエラーなく成功しましたが、最も厄介な問題はライブノードの数が0であることです

解決手順:

まずデータノードのログを確認します。

これが発生した場合は、接続構成に問題があることを意味します。データノードと namnode 間の通信を構成するために使用される core-site.xml 構成を確認してください。

一目でわかる

ここで設定された接続アドレスに問題があります

hdfs は、データノードのアドレスではなく、namnode のアドレスとして設定する必要があります。すべてのノードは同じアドレスを持ちます。設定後、再起動は成功します。

/etc/hots の解決に失敗したという報告もオンラインであります。これも理由の 1 つです。ドメイン名のマッピングを設定するだけです。重要なのは、まずログ分析を見て、何が問題なのかを見つけることです。

最後の成功したページ

以上がこの記事の全内容です。皆様の勉強のお役に立てれば幸いです。また、123WORDPRESS.COM を応援していただければ幸いです。