Nginx サーバーで Web クローラーをブロックおよび禁止する方法

通常、すべての Web サイトは、多くの非検索エンジンクローラーに遭遇します。これらのクローラーのほとんどは、コンテンツ収集に使用されるか、初心者によって作成されます。検索エンジンクローラーとは異なり、非検索エンジンクローラーには頻度制御がなく、多くのサーバーリソースを消費することが多く、帯域幅の無駄になります。

実際、Nginx は User-Agent に基づいてリクエストを簡単にフィルタリングできます。要件を満たさないクローラーリクエストをフィルタリングするには、必要な URL エントリ位置で単純な正規表現を使用するだけです。

位置 / {
  $http_user_agent の場合、"python|curl|java|wget|httpclient|okhttp") {
    503 を返します。
  }
  # その他の通常の構成...
}

注: 変数$http_user_agentその場所で直接参照できる Nginx 変数です。 ~* は大文字と小文字を区別しない正規一致を示し、Python を通じて Python クローラーの 80% を除外できます。

Nginx で Web クローラーをブロックする

サーバー{ 
    聞く 80; 
    サーバー名 www.xxx.com; 
    #文字セット koi8-r; 
    #access_log ログ/host.access.log メイン; 
    ＃位置 / { 
    #ルートhtml; 
    # インデックス index.html index.htm; 
    #} 
  if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot") { 
        403 を返します。 
    } 
  場所 ~ ^/(.*)$ { 
        proxy_pass http://localhost:8080; 
    proxy_redirect オフ; 
    proxy_set_header ホスト $host; 
    proxy_set_header X-Real-IP $remote_addr; 
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; 
    クライアントの最大ボディサイズは10mです。 
    クライアントボディバッファサイズ 128k; 
    プロキシ接続タイムアウト 90; 
    プロキシ送信タイムアウト 90; 
    プロキシ読み取りタイムアウト 90; 
    プロキシバッファサイズ 4k; 
    プロキシバッファ 4 32k; 
    proxy_busy_buffers_size 64k; 
    proxy_temp_file_write_size 64k; 
  } 
    #エラーページ 404 /404.html; 
    # サーバーのエラーページを静的ページ /50x.html にリダイレクトします 
    # 
    エラーページ 500 502 503 504 /50x.html; 
    場所 = /50x.html { 
      ルートhtml; 
    } 
    # PHP スクリプトを 127.0.0.1:80 で listen している Apache にプロキシします 
    # 
    #場所 ~ \.php$ { 
    # プロキシパス http://127.0.0.1; 
    #} 
    # PHP スクリプトを 127.0.0.1:9000 で待機している FastCGI サーバーに渡します 
    # 
    #場所 ~ \.php$ { 
    #ルートhtml; 
    ＃fastcgi_pass 127.0.0.1:9000; 
    # fastcgi_index インデックス.php; 
    # fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name; 
    #fastcgi_params を含めます。 
    #} 
    # Apacheのドキュメントルートが.htaccessファイルへのアクセスを拒否する 
    # nginxのものと一致します 
    # 
    #場所 ~ /\.ht { 
    # すべて拒否; 
    #} 
  }

curlでテストできます