大多數時候，當您需要阻止訪問時 SeekportBot 或其他人 crawl bots 對於網站，原因很簡單。 網絡蜘蛛在短時間內進行過多的訪問並請求網絡服務器的資源，或者它來自您不希望您的網站被索引的搜索引擎。
對c訪問的網站非常有利raw我撞到了他。 這些網絡蜘蛛旨在探索、處理和索引搜索引擎中的網頁內容。 Google 和 Bing 使用這樣的 craw我撞到了他。 但是，也有一些搜索引擎使用機器人從網頁中收集數據。 Seekport 是這些搜索引擎之一，它使用 craw用於索引網頁的 SeekportBot ler。 不幸的是，它有時會過度使用它並產生不必要的流量。
庫普林斯
什麼是 SeekportBot？
SeekportBot 是 web crawler 公司開發的 Seekport，總部設在德國（但使用來自多個國家/地區的 IP，包括芬蘭）。 該機器人用於抓取和索引網站，以便它們可以顯示在搜索引擎結果中。 Seekport. 據我所知，這是一個不起作用的搜索引擎。 至少，它沒有為我返回任何關鍵詞的任何結果。
SeekportBot 使用 user agent:
"Mozilla/5.0 (compatible; SeekportBot; +https://bot.seekport.com)"如何阻止訪問 SeekportBot 或其他 craw我點擊了一個網站
如果您得出結論，這個網絡蜘蛛或另一個網絡蜘蛛沒有必要掃描您的整個網站並向網絡服務器造成不必要的流量，您可以使用多種方法來阻止它們的訪問。
Web 服務器級別的防火牆
它們是防火牆應用程序 open-source 可以安裝在操作系統上 Linux 並且可以配置為根據多個標準阻止流量。 IP 地址、位置、端口、協議或用戶代理。
APF (Advanced Policy Firewall) 是這樣一種軟件，您可以通過它在服務器級別阻止不需要的機器人程序。
因為 SeekportBot 和其他網絡蜘蛛使用多個 IP 塊，最有效的塊規則是基於“user agent”。 所以，如果你想阻止訪問 SeekportBot 通過 APF，您所要做的就是通過以下方式連接到網絡服務器 SSH，並在配置文件中添加過濾規則。
1.打開配置文件 nano （或其他出版商）。
sudo nano /etc/apf/conf.apf2. 尋找以“IG_TCP_CPORTS” 並在此行末尾添加您要阻止的用戶代理，後跟一個逗號。 例如，如果你想阻止 user agent “SeekportBot"，該行應如下所示：
IG_TCP_CPORTS="80,443,22" && IG_TCP_CPORTS="$IG_TCP_CPORTS,SeekportBot"3. 保存文件並重啟 APF 服務。
sudo systemctl restart apf.service“SeekportBot”訪問將被阻止。
篩選 web crawls 在 Cloudflare 的幫助下 – 阻止 SeekportBot 的訪問
在 Cloudflare 的幫助下，在我看來，這是最安全、最方便的方法，您可以通過它以各種方式限制某些機器人對網站的訪問。 我在案例中也使用的方法 SeekportBot 過濾在線商店的流量。
假設您已經將網站添加到 Cloudflare 並激活了 DNS 服務（即網站的流量通過 Cloudflare），請按照以下步驟操作：
1. 打開您的 Clouflare 帳戶並轉到您要限制訪問的網站。
2. 前往： Security → WAF 並添加一個新規則。 Create rule.
3. 為新規則選擇一個名稱， Field: User Agent - Operator: Contains - Value: SeekportBot （或其他機器人名稱）– Choose action: Block - Deploy.
幾秒鐘後，新規則 WAF (Web Application Firewall) 它開始生效。
理論上，網絡蜘蛛訪問站點的頻率可以設置為 robots.txt，但是……這只是理論上的。
User-agent: SeekportBot
Crawl-delay: 4許多 web crawlerii（Bing 和 Google 除外）不遵守這些規則。
總之，如果您確定一個網絡 crawl 過度訪問你網站的人，最好完全封鎖他的訪問。 當然，如果這個機器人不是來自您感興趣的搜索引擎。
