サーバー上で selenium+chromedriver を実行するための詳細なチュートリアル

1. はじめに

Selenium を使用して Web サイトからデータをスクレイピングしたいのですが、phantomjs を使用するとエラーが発生することがあります。 Chrome にはヘッドレス実行モードも追加されたため、phantomjs は不要になりました。

しかし、Chromeをサーバーにインストールする際にエラーが発生しました。インストールプロセス全体の概要は次のとおりです。

2. UbuntuにChromeをインストールする

# Google Chromeをインストールする
# https://askubuntu.com/questions/79280/コマンドライン経由でChromeブラウザを適切にインストールする方法
sudo apt-get で libxss1 libappindicator1 libindicator7 をインストールします
https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb を取得します。
sudo dpkg -i google-chrome*.deb # 「エラー」が表示される場合があります。次の行で修正します。
sudo apt-getインストール -f

これでインストールは完了しているはずです。次のコマンドを実行してテストしてください。

google-chrome --headless --remote-debugging-port=9222 https://chromium.org --disable-gpu

ここでは、リモート デバッグにヘッドレス モードを使用します。ほとんどの Ubuntu マシンには GPU がないため、エラーを回避するために --disable-gpu が使用されます。
次に、サーバーへの別の ssh 接続を開き、コマンド ラインを使用してサーバーのローカル ポート 9222 にアクセスできます。

カール http://localhost:9222

正常にインストールされると、デバッグ情報が表示されます。しかし、ここでエラーを報告します。以下はエラーの解決策です。

1) 考えられるエラーの解決方法

上記のコマンドを実行すると、Chrome をルートで実行できないというエラー メッセージが表示される場合があります。現時点では、次の設定を使用してChromeを設定します

1. google-chromeファイルを見つける

私の場所は/opt/google/chrome/です

2. viでgoogle-chromeファイルを開く

vi /opt/google/chrome/google-chrome

ファイル内に見つかりました

exec -a "$0" "$HERE/chrome" "$@"

3. 最後に –user-data-dir –no-sandbox を追加します。シェルコマンド全体は次のようになります。

exec -a "$0" "$HERE/chrome" "$@" --user-data-dir --no-sandbox

4. Google Chrome を再度開くと、通常どおりアクセスできます。

3. Chromeドライバをインストールする chromedriver

chromedriverをダウンロード

Chromedriver は Chrome を操作するための API を提供し、Selenium が Chrome を制御するためのブリッジとなります。

chromedriver は最新バージョンをインストールするのがベストです。 最初は最新バージョンをインストールしておらず、エラーが報告されたことを覚えています。最新バージョンのchromedriverを使用しても問題ありません。最新バージョンは次のアドレスにあります。
https://sites.google.com/a/chromium.org/chromedriver/downloads

この記事を書いた時点での最新バージョンは2.37でした

https://chromedriver.storage.googleapis.com/2.37/chromedriver_linux64.zip を取得します。
chromedriver_linux64.zip を解凍します。

この時点で、サーバー側インターフェースのないバージョンの Chrome がインストールされます。

4. インターフェースなしバージョンのChromeの使い方

セレンからWebDriverをインポート
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument("user-agent='Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'")
wd = webdriver.Chrome(chrome_options=chrome_options、実行可能パス='/home/chrome/chromedriver')

wd.get("https://www.163.com")

コンテンツ = wd.page_source.encode('utf-8')
印刷コンテンツ

wd.quit()

ここで、chrome_options の 3 番目の設定パラメータにより、クロール防止にボーダーレス モードを使用していることが Web サイトによって検出されないようにすることができます。

以下の他の 2 つの設定は、設定されていない場合は、デスクトップ Linux システムまたは Mac システムでユーザー インターフェース付きの Chrome を開きます。デバッグ時には、次の 2 行をコメント アウトし、ユーザー インターフェース付きの Chrome を使用してプログラムをデバッグできます。

chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')

5. 参考文献

https://jiayi.space/post/zai-ubuntufu-wu-qi-shang-shi-yong-chrome-headless
https://blog.csdn.net/u013703963/article/details/71083802

要約する

サーバー上で動作する selenium+chromedriver に関するこの記事はこれで終わりです。サーバー上で動作する selenium+chromedriver の詳細については、123WORDPRESS.COM の以前の記事を検索するか、以下の関連記事を引き続き参照してください。今後とも 123WORDPRESS.COM をよろしくお願いいたします。