シェルを使用して複数のサーバーでバッチ操作を実行する方法

SSHプロトコル

公開鍵ログインについて説明する前に、SSH プロトコルについて説明しましょう。

SSH はネットワークプロトコルです。SSH という場合、通常はその実装、つまり OpenSSH を指します。シェルでは、ssh コマンドです。

パスワード

Secure Shell (SSH) は、安全でないネットワーク内のネットワークサービスに安全な伝送環境を提供できる暗号化されたネットワーク伝送プロトコルです。 SSH は、ネットワーク内に安全なトンネルを確立して、SSH クライアントとサーバーを接続します。

SSH の原理は HTTPS の原理に似ており、どちらも TCP と非対称暗号化に基づくアプリケーション層プロトコルです。 HTTPS との違いは、HTTPS では中間者攻撃を防ぐためにデジタル証明書とデジタル証明書認証センターを使用するのに対し、SSH サーバーの公開鍵は公証されず、その ID は公開鍵のフィンガープリントを通じて手動でのみ判別できることです。

下の図に示すように、ssh を使用して初めてサーバーにログインすると、ssh によってサーバーの公開鍵のフィンガープリントを確認するように求められます。

この公開鍵のフィンガープリントがログインしたいサーバーのものであることを確認すると、サーバーの公開鍵が ~/.ssh/known_hosts に追加されます。再度ログインすると、ssh は認証されたサーバーであることを検出した後、公開鍵の検証段階をスキップします。

接続プロセス

通信暗号化の概念については、以前の記事でも紹介しています。「暗号化についてもう一度話しましょう - RSA 非対称暗号化の理解と使用」をご覧ください。 SSH プロトコルの接続プロセスについては、「プロトコルの基礎: Secure Shell プロトコル」を参照してください。

まとめると、主に次の手順が含まれます。

TCP 3ウェイハンドシェイク
SSHプロトコルバージョンネゴシエーション
クライアントとサーバー間の公開鍵交換
暗号化アルゴリズムのネゴシエーション
クライアントは対称暗号化キー認証を使用する
クライアントとサーバー間の安全な通信

次の図に示すように、tcpdump + wireshark を使用してパケットをキャプチャし、SSH 接続プロセスを確認しました。

tcpdump + wireshark はネットワークプロトコルを学習するための真のツールであることに改めて感嘆せざるを得ません。

sshツール

ssh

ツールとしての ssh はサーバーとクライアントに分かれており、サーバー側では sshd が使用され、通常はポート 22 を占有します。通常はクライアントを使用します。一般的な使用方法は ssh user@host で、ssh プロンプトに従ってパスワードを入力してサーバーにログインします。

サポートされているパラメータからわかるように、その機能は非常に強力です。

ssh [-1246AaCfGgKkMNnqsTtVvXxYy] [-b バインドアドレス] [-c 暗号仕様] [-D [バインドアドレス:]ポート] [-E ログファイル] [-e エスケープ文字] [-F 設定ファイル] [-I pkcs11] [-i アイデンティティファイル] [-J [user@]ホスト[:ポート]] [-L アドレス] [-l ログイン名] [-m mac_spec] [-O ctl_cmd] [-o オプション] [-p ポート] [-Q クエリオプション] [-R アドレス] [-S ctl_path] [-W ホスト:ポート] [-w local_tun[:remote_tun]] [user@]ホスト名 [コマンド]

SSH プロトコルと ssh コマンドを紹介した後、最後に公開鍵ログインについて説明します。

公開鍵ログイン

非対称暗号化の原理を理解すれば、公開鍵を使用したログインは非常に簡単になります。公開鍵と秘密鍵は固有のペアであるため、クライアントが自分の秘密鍵のセキュリティを確保している限り、サーバーは公開鍵を通じてクライアントの信頼性を完全に判断できます。したがって、公開鍵ログインを実装するには、まず公開鍵と秘密鍵のペアを生成する必要があります。

ssh-keygen コマンドを使用してキーペアを生成します。手順をより完全にするために、キーペアを一時的に作業ディレクトリに保存します。デフォルトでは、キーペアは ~/.ssh ディレクトリに保存されます。

~ sshキー生成
公開/秘密 RSA キーペアを生成しています。
キーを保存するファイル (/Users/zbs/.ssh/id_rsa) を入力してください: ./test
パスフレーズを入力してください (パスフレーズがない場合は空白):
同じパスフレーズをもう一度入力してください:
あなたの識別情報は ./test に保存されました。
公開鍵は ./test.pub に保存されました。
キーのフィンガープリントは次のとおりです。
SHA256:xxxxx/B17z/xxxxx [email protected]
キーのランダムアート画像は次のとおりです。
+---[RSA 2048]----+
| o+*..EO* |
| .... |
|oo+ .o++.o|
+----[SHA256]-----+
~ ls ./テスト*
./テスト ./テスト.pub

秘密鍵ファイル ./test の内容をクライアントの ~/.ssh/id_rsa に配置し、パスワードを使用してサーバーにログインし、公開鍵ファイル ./test.pub の内容をサーバーの ~/.ssh/authorized_keys に配置します。

再度ログインすると、ssh は自動的に独自の秘密鍵を認証に使用するため、パスワードを入力する必要がなくなります。

バッチ操作

公開鍵ログインを使用すると、サーバーにログインするたびにパスワードを入力する手間が省けます。また、各ログインセッションの同期ブロックの問題も解決されるため、ssh の ssh user@host コマンドメソッドを使用して、サーバー上で直接コマンドを実行できます。

同時に、IP リストがある場合は、for ループを使用して IP リストを走査し、複数のサーバーでコマンドを一括して実行することも可能です。

複数サーバーファイルのマージ

数日前、私は同僚が複数のサーバー上のログを検索するのを手伝いました。統計分析のために、複数のサーバー上で見つかったログを同じマシンに集約する必要がありました。 psshを使用して複数のサーバーにログインします。ログの容量が大きすぎるため、結果をターミナルに出力してからコピーするのは現実的ではありません。リダイレクトを使用すると、結果は各サーバーにリダイレクトされます。

SCP-10000-1

このとき、scp を使用できます。scp と ssh は同じファミリーのコマンドであり、SSH プロトコルに基づいて実装された安全な転送プロトコルでもあります。各サーバーの公開鍵を保持しておけば、ssh コマンドと同様にパスワードなしで操作できます。

scp の一般的な使用法は scp src dst であり、リモートパスは user@host:/path として表現できます。バッチログインの場合は、まずgrepなどのコマンドを使用して結果ファイルをファイルに入力し、次にscpコマンドを使用して同じサーバーにコピーすることができます。

サーバー間のファイル名の競合を回避するには、uuidgen | xargs -I {} scp result.log root@ip:/result/{} を使用して各サーバーの結果を別のファイルにコピーし、cat を使用して結果フォルダー内のファイルを 1 つにマージします。

いいえ

もちろん、ほとんどの場合、サーバーは互いの公開鍵を保存しませんが、nc コマンドを使用するとこの問題を完全に解決できます。

nc の -k オプションを使用すると、ファイル転送が完了した後も nc サーバーは接続を開いたままにすることができます。このように、nc -k -4l port > result.log を使用して nc サーバーを起動し、grep xxx info.log | nc ip port を使用して結果データをマージします。