Linux に Python クローラースクリプトを展開し、スケジュールされたタスクを設定する方法

昨年、プロジェクトの必要性により、Python でクローラーを作成しました。クロールされたデータは、本番環境の PG データベースに保存する必要があります。したがって、スクリプトを CentOS サーバーに展開し、スクリプトを自動的に開始するスケジュールされたタスクを設定する必要があります。

実装手順は次のとおりです。

1. pip をインストールします (オペレーティングシステムには直接使用できる python2.6 が付属していますが、pip はありません)

# pip インストール パッケージをダウンロードします wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb" --no-check-certificate
# インストールパッケージを解凍してインストールします tar -xzvf pip-1.5.4.tar.gz
cd pip-1.5.4
python setup.py インストール

2. pipでサードパーティのライブラリをインストールする

PyGreSQL==5.0.3 を pip でインストールします
pip インストール リクエスト == 2.18.3

3. スケジュールされたタスクを設定する

# スケジュールされたタスクサービスを開始します service crond start
# スケジュールされたタスクのサービスステータスを表示する service crond status
# スケジュールされたタスク編集ウィンドウを開く crontab -e 
# 毎日 0:00 と 12:20 に 1 回ずつ実行され、ログに書き込まれる 2 つのスケジュールされたタスクを追加します 0 0 * * * /usr/bin/python /home/longrise/psrd/collect.py > /home/longrise/psrd/collect.log 2>&1 &

20 12 * * * /usr/bin/python /home/longrise/psrd/collect.py > /home/longrise/psrd/collect.log 2>&1 &

スケジュールされたタスクの構文は次のとおりです。
# 詳細については man 4 crontabs を参照してください

# ジョブ定義の例:
# .---------------- 分 (0 - 59)
# | .------------- 時間 (0 - 23)
# | | .---------- 月日 (1 - 31)
# | | | .------- 月 (1 - 12) または jan、feb、mar、apr ...
# | | | | .---- 曜日 (0 - 6) (日曜日 = 0 または 7) または sun,mon,tue,wed,thu,fri,sat
# | | | | |
# * * * * * ユーザー名 実行するコマンド

Linux に Python クローラースクリプトを展開し、スケジュールされたタスクを設定する上記の方法は、エディターが皆さんと共有する内容のすべてです。参考になれば幸いです。また、123WORDPRESS.COM をサポートしていただければ幸いです。

以下もご興味があるかもしれません: