VirtualBox に CentOS、JDK、Hadoop をインストールする詳細なチュートリアル

1. 前提条件

1.1 サポートされているプラットフォーム

GNU/Linux は、製品が開発され実行されるプラットフォームです。 Hadoop は、2000 台の GNU/Linux ホストで構成されるクラスターシステムで検証されています。
まず、Linux ISO インストールパッケージをダウンロードしてインストールする必要があります。具体的なインストール方法については、以前のブログを参照してください。
VirtualBox仮想マシンとCentOSシステムのインストール[詳細]

1.2 jdk および hadoop インストールパッケージ

公式ウェブサイトにアクセスしてダウンロードするか、私がアップロードしたリソースをダウンロードしてください。私が使用する特定のバージョンは、次の図に示されています。

インストールパッケージのバージョン

リンク: https://pan.baidu.com/s/1XTZfzl0t79Dtz0-jmQrQuQ 抽出コード: pkwy

1.3 Xshell 7 および Xftp 7 ツールのインストール

主な機能は、Xshell 7を使用して仮想マシン上でさまざまな操作を実行し、Xftp 7を使用してローカルのjdkおよびhadoopインストールパッケージを仮想マシンに転送することです。

どちらのツールも公式サイトからダウンロードできます。個人使用の場合は無料でダウンロードできます。

2. 具体的なインストール手順

2.1 ネットワーク構成

前回のブログで CentOS をインストールしてネットワーク接続を設定するときは、次のように両方のゲートウェイを開く必要があることに注意してください。
起動前のネットワーク設定

ネットワークカード 1
ネットワークカード 2

次に、[開始] をクリックします。次の手順に進むときは、必ず両方のゲートウェイをオンにし、2 番目のネットワークを手動で構成してください。

[構成] をクリックし、Ipv4 を手動で構成し、ボックスにアドレスを入力して、[保存] をクリックします。

CentOS をインストールしたら、[スタート] をクリックします。ターミナルでルートアカウントにログインした後、ifconfig コマンドを入力してネットワーク構成を確認します。存在しない場合は、コマンド yum install net-tools.x86_64 を実行します。y/n プロンプトが表示されたら、y を選択します。

埋め込む

vi /etc/sysconfig/ネットワークスクリプト/ifcfg-enp0s8

onboot=no を yes に変更します
挿入キー (キーボードの i キー) をクリックし、変更したい場所まで上下に移動し、esc キーを押して編集モードを終了し、:wq キーを押して保存して終了します。次の点に注意してください。
予想通り、ネットワークが構成されました。
仮想マシンを再起動するか、ネットワークカードサービスを再起動します。

サービスネットワークの再起動

ログイン後、再度ifconfigコマンドを入力します。フィードバック情報が表示されます。図のようにボックスにIPアドレスを書き留めます。

存在する

2.2 Xshell接続

Xshell を開いて新しい接続を作成し、IP アドレスを下のボックスに入力して仮想マシンとローカルに接続します。仮想マシンでのその後のすべての操作は、Xshell ターミナルで実行できます。

2.3 Xftp 転送

下のボタンをクリックして新しいファイル転送を作成し、ファイル転送のためにXftpを自動的に呼び出します

ここに画像の説明を挿入

右側のルートフォルダーの下に新しい java サブフォルダーを作成し、ローカルファイルを見つけて右クリックし、[転送] を選択して、2 つの圧縮パッケージを仮想マシンにアップロードします。

2.4 jdk環境の設定

次のコマンドを入力して、JDK がデフォルトでインストールされているかどうかを確認します。フィードバック情報がない場合、インストールされていないことを意味します。

使用

> 対応するフォルダパスをcd

ディレクトリをjavaサブフォルダに変更し、
次のコマンドを使用して、jdk圧縮パッケージの解凍を開始します。

/etc/profile を通じて環境変数を設定する

[root@bogon ~]# vi /etc/profile

編集モード（i）に入り、次のコードを追加して保存し、終了します（esc+:+wq）

#最後に次の内容を追加します。パスと JDK バージョンを確認してください。export JAVA_HOME=/root/java/jdk-16
エクスポート JRE_HOME=${JAVA_HOME}/jre
エクスポート CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
PATH=${JAVA_HOME}/bin:$PATH をエクスポートします

/etc/profile ファイルを変更後すぐに有効にするには、次のコマンドを使用します。

[root@bogon ~]# ソース /etc/profile

インストールが成功したかどうかを確認します。

[root@bogon ~]# java -version

2.5 ssh サービスの設定

Hadoop スクリプトを使用してリモート Hadoop デーモンを管理できるようにするには、ssh がインストールされ、sshd が実行されている必要があります。ssh サービスがインストールされているかどうかを確認します。

> [root@bogon ~]# rpm -qa|grep ssh

インストールされている場合は、対応するバージョンが表示されます

インストールされていない場合は、次のコマンドを使用してインストールします。

[root@bogon ~]# yum install openssh-server

sshdサービスを有効にする

[root@bogon ~]# sudo サービス sshd 開始

CentOSを起動するたびにsshdサービスを手動で起動しなくて済むように、sshdサービスを自動起動リストに追加して、次のように入力します。

[root@bogon ~]# systemctl sshd.service を有効にする

入場できます

[root@bogon ~]# systemctl list-unit-files | grep sshd

sshd サービスが有効になっているかどうかを確認します。

2.6 Hadoop の設定

Hadoop ディストリビューションを入手するには、Apache のミラーサーバーの 1 つから最新の安定リリースをダウンロードします。
ここではインストールパッケージの安定バージョンhadoop-1.0.3.tar.gzを使用します。
先ほどのJDKの解凍と同様に、javaフォルダ内のhadoop-1.0.3.tar.gzファイルを解凍します。具体的な操作は、ターミナルをjavaパスに切り替え、以下のコマンドで圧縮パッケージを解凍します。

tar -zxvf hadoop-1.0.3.tar.gz

減圧結果は以下のとおりです

hadoop ファイルの解凍

次のコマンドを試してください。

[root@bogon java]# cd /root/java/hadoop-1.0.3
[root@bogon hadoop-1.0.3]# bin/hadoop

Hadoopスクリプトの使用方法のドキュメントが表示されます

Hadoop の使用に関するドキュメント

2.7 Hadoopスタンドアロンモードの操作方法

デフォルトでは、Hadoop は非分散モードでスタンドアロン Java プロセスとして実行されるように構成されています。これはデバッグに非常に役立ちます。
次のコマンドは、hadoop プログラムを 1 回実行し、出力を取得します。

次の例では、解凍された conf ディレクトリのコピーを入力として受け取り、指定された正規表現に一致するエントリを検索して表示し、指定された出力ディレクトリに出力を書き込みます。

[root@bogon hadoop-1.0.3]# mkdir 入力 
[root@bogon hadoop-1.0.3]# cp conf/*.xml 入力 
[root@bogon hadoop-1.0.3]# bin/hadoop jar hadoop-examples-1.0.3.jar grep 入力出力 'dfs[az.]+'
[root@bogon hadoop-1.0.3]# cat 出力/*

以下はhadoopプログラムを実行した結果です。

ここに画像の説明を挿入

CentOS と JDK、Hadoop を VirtualBox にインストールする方法に関する詳細なチュートリアルに関するこの記事はこれで終わりです。VirtualBox と CentOS に JDK と Hadoop をインストールする方法の詳細については、123WORDPRESS.COM の以前の記事を検索するか、次の関連記事を引き続き参照してください。今後とも 123WORDPRESS.COM をよろしくお願いいたします。

以下もご興味があるかもしれません: