ubuntu15.10 での hadoop2.7.2 の詳細なインストールと設定

Linux での Hadoop インストール チュートリアルはインターネットや書籍に多数ありますが、実際に試してみた読者は、これらのチュートリアルをステップごとに実行しても、どこかで間違いが発生することに気付くでしょう。主な理由はバージョンの問題です。特に、書籍に掲載されているバージョンは一般的に古いため、書籍のチュートリアルに従うことはお勧めできませんが、参考資料として使用できます。以下は私が実際に体験したインストール手順です。私が知っている原則を書き留めておこうと思います。そのため、一部の手順で問題が発生した場合でも、原因がわかれば簡単に解決できます。唯一心配なのは、問題が発生した場合、どこに問題があるのか​​がまだわからないことです。

以下のコードはすべて Ubuntu コマンド ウィンドウ (ターミナル) に入力されます。

1. ツールの準備:

1.1 apt-get を更新します。コマンドライン ウィンドウでソフトウェアをインストールするには、apt-get を使用すると便利です。

sudo apt-getアップデート

1.2 vim: 設定ファイルをインストールします。

sudo apt-get インストール vim

出力に応じて、続行するには「Y」を入力する必要があります。

2. hadoop ユーザーを作成します。

2.1 hadoopユーザーの追加: hadoopユーザーを作成し、/bin/bashをシェルとして使用します

sudo useradd -m hadoop -s /bin/bash

2.2 パスワードを設定し、プロンプトに従って 2 回入力します。

sudo パスワード hadoop

2.3 hadoop ユーザーに管理者権限を追加します。

sudo adduser hadoop sudo

3. SSHをインストールし、SSHパスワードフリーログインを設定する

クラスター モードとシングル ノード モードの両方で SSH ログインが必要です (リモート ログインと同様に、Linux ホストにログインしてコマンドを実行できます)。Ubuntu にはデフォルトで SSH クライアントがインストールされています。さらに、SSH サーバーをインストールする必要があります。

sudo apt-get で openssh-server をインストールします

インストール後、次のコマンドを使用してマシンにログインできます。

ssh ローカルホスト

4. Java環境をインストールする

4.1 JDK をインストールします。

sudo apt-get install openjdk-8-jre openjdk-8-jdk

4.2 JAVA_HOMEの設定

dpkg -L openjdk-8-jdk | grep '/bin/javac'

このコマンドはパスを出力します。パスの末尾から「/bin/javac」を削除すると、残りのパスが正しいパスになります。出力パスが /usr/lib/jvm/java-8-openjdk/bin/javac の場合、必要なパスは /usr/lib/jvm/java-8-openjdk です。

ここでの出力が間違っている場合、JAVA_HOME のアドレスをどうやって知るのでしょうか?とても簡単です。次のように入力するだけです。

java -詳細

出力: usr/lib/jvm/java-8-openjdk/jre/lib/rt.jar

先ほどの usr/lib/jvm/java-8-openjdk が JAVA_HOME のアドレスです。

次に、sudo gedit /etc/profile コマンドを使用して /etc/profile ファイルを開きます。

sudo gedit /etc/profile

次に、ファイルの最後に次の 3 行を追加します。

JAVA_HOME=/usr/lib/jvm/java-8-openjdk をエクスポートします。
CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
エクスポート PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

次に、Ctrl + S を押して保存します。次に、変更を有効にするために次のコードを実行します。

$source ~/.bashrc

それでもJAVA_HOMEが変更されない場合は、ファイルが有効になっていない可能性があります。

$source /etc/profile

JAVA_HOME をもう一度確認すると、ファイルに設定したパスであることがわかります。

上記の設定が正しければ、$JAVA_HOME/bin/java -version は Java バージョン情報を出力し、出力結果は次の図に示すように java -version と同じになり、構成は成功しています。

5. Hadoopをインストールする

5.1hadoop プログラムのダウンロード: http://mirror.bit.edu.cn/apache/hadoop/common/

「stable」のhadoop-2.xytar.gzをダウンロードすることをお勧めします。

5.2 Hadoopのインストール

次のコマンドを入力します:

sudo tar -zxf ~/Downloads/hadoop-2.7.2.tar.gz -C /usr/local  
/usr/local/ をコピーします
sudo mv ./hadoop-2.7.2/ ./hadoop      
sudo chown -R hadoop ./hadoop

解凍後、Hadoop が使用可能になります。次のコマンドを入力して、Hadoop が利用可能かどうかを確認します。成功すると、Hadoop のバージョン情報が表示されます。

cd /usr/local/hadoop
./bin/hadoop バージョン

5.3 Hadoop クリック構成

Hadoop のデフォルト モードは非分散モードであり、追加の構成なしで実行できます。非分散とは、単一の Java プロセスを意味し、デバッグに便利です。

設定はまだ完了していません。最近とても忙しいので、数日後に時間ができたら設定します。

要約する

以上がこの記事の全内容です。この記事の内容が皆様の勉強や仕事に何らかの参考学習価値をもたらすことを願います。123WORDPRESS.COM をご愛顧いただき、誠にありがとうございます。これについてもっと知りたい場合は、次のリンクをご覧ください。