Linux システムでの Selenium クローラープログラムの導入の概要

序文

仕事で Linux サーバーに Selenium クローラープログラムを展開する必要があります。これを皆さんと共有したいと思います。ご興味があれば、ぜひご覧ください。

1. セレンとは何ですか?

Selenium は、Web アプリケーションのテストに使用されるツールです。 Seleniumテストは、実際のユーザーが操作しているのと同じようにブラウザで直接実行され、クローラーはそれを使用してjsによって動的に読み込まれたデータをクロールします。

2. 使用手順

1. ライブラリをインポートする

コードは次のとおりです

selenium.webdriverからChromeをインポート
selenium.webdriver.chrome.service から Service をインポート
from selenium.webdriver.chrome.options import Options # ヘッドレスブラウザを使用する from selenium.webdriver import ChromeOptions
chrome_options = オプション()
オプション = ChromeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation']) # => 自動テストソフトウェアによって制御されているブラウザを削除します。options.add_experimental_option('useAutomationExtension', False)
chrome_options.add_argument("--headless") # => Chrome のヘッドレス モードを設定します chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')

2. テストコード

コードは次のとおりです。

s = サービス(r"/home/driver/chromedriver")
ドライバー = Chrome(
     サービス=s、オプション=chrome_options
 ）
 ドライバー.get("https://www.baidu.com")
 print(div.title) を印刷します。

3. 展開手順

1. Chromeをインストールする

コマンドは次のとおりです。

yum で https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm をインストールします
Chromeのバージョンを確認します: google-chrome --version

2. chromedriverをインストールする

コマンドは次のとおりです。

対応する Chrome バージョンに応じて、chromedriver ドライバー アドレスをダウンロードします: https://npm.taobao.org/mirrors/chromedriver
私のバージョン番号は: 96.0.4664.45
https://npm.taobao.org/mirrors/chromedriver/96.0.4664.45/chromedriver_linux64.zip をダウンロードしてください 
yum インストール -y zip を解凍します
unzip chromedriver_linux64.zip # zip ファイルを解凍します mkdir driver # ドライバーを保存するための新しいフォルダーを作成します chmod 777 driver/chromedriver # これは権限です。ここでは 777 を与えます

3. テストコードを実行する

新しいtest.pyファイルを作成する

vi テスト.py

ここに画像の説明を挿入

test.py を保存して実行します。

ここに画像の説明を挿入

これを見ると、私のリクエストは成功したようです。

要約する

Linux システムでの Selenium クローラープログラムの展開に関するこの記事はこれで終わりです。Linux Selenium クローラープログラムに関する関連コンテンツの詳細については、123WORDPRESS.COM の以前の記事を検索するか、以下の関連記事を引き続き参照してください。今後も 123WORDPRESS.COM を応援していただければ幸いです。

以下もご興味があるかもしれません: