Meistens, wenn Sie Zugriff blockieren müssen SeekportBot oder zu anderen crawl bots Auf einer Website sind die Gründe einfach. Die Webspinne ermöglicht zu viele Zugriffe in kurzer Zeit und fordert die Server -Webressourcen an oder stammt von einer Suchmaschine, in der Sie nicht möchten, dass Ihre Website indiziert wird.
Inhalt
Es ist sehr vorteilhaft für eine Website, die von Crawl -Bots besucht wurde. Diese Web -Spides sollen den Inhalt der Webseiten in Suchmaschinen untersuchen, verarbeiten und indizieren. Google und Bing verwenden solche Crawl -Bots. Es gibt aber auch Suchmaschinen, die Roboter zum Sammeln von Daten von Webseiten verwenden. Seekport Es ist eine dieser Suchmaschinen, die den Seekportbot -Crawler verwendet, um Webseiten zu indexieren. Leider verwendet es es manchmal in übermäßiger Weise und macht nutzlosen Verkehr.
Was ist der Seekportbot?
SeekportBot Es ist ein web crawler entwickelt vom Unternehmen Seekport, mit Sitz in Deutschland (aber IPS aus mehreren Ländern, einschließlich Finnland). Dieser Bot wird verwendet, um Websites zu erkunden und zu indexieren, damit sie in Suchergebnissen in der Suchmaschine angezeigt werden können Seekport. Eine nicht funktionsfähige Suchmaschine, soweit ich das erkennete. Zumindest habe ich die Ergebnisse für einen Schlüsselsatz nicht zurückgegeben.
SeekportBot VERWENDEN user agent:
"Mozilla/5.0 (compatible; SeekportBot; +https://bot.seekport.com)"Wie blockieren Sie den Zugriff von seeportbot oder anderen Crawl -Bots auf eine Website
Wenn Sie zu dem Schluss gekommen sind, dass das oder das Spinnennetz oder ein anderes Spinnennetz nicht erforderlich ist, um Ihre gesamte Website zu scannen und auf dem Webserver einen nutzlosen Datenverkehr zu erstellen, haben Sie verschiedene Möglichkeiten, ihren Zugriff zu blockieren.
Firewall Die Server -Webebene
Sind die Firewall gilt open-source Dies kann auf Linux -Betriebssystemen installiert und so konfiguriert werden, dass es den Verkehr bei mehreren Kriterien blockiert. IP -Adresse, Speicherort, Ports, Protokolle oder Benutzeragenten.
APF (Advanced Policy Firewall) Es ist eine solche Software, über die Sie unerwünschte Beulen auf Serverebene blockieren können.
Da Seekportbot und andere Webspinnen mehrere IP -Blöcke verwenden, basiert die effizienteste Verriegelungsregel auf “user agent“. Asar, wenn Sie Zugriff blockieren möchten SeekportBot mit Hilfe APFSie müssen lediglich eine Verbindung zum Webserver herstellen SSH, und fügen Sie die Filterregel in die Konfigurationsdatei hinzu.
1. Öffnen Sie die Konfigurationsdatei mit nano (oder ein anderer Herausgeber).
sudo nano /etc/apf/conf.apf2. Suchen Sie nach der Linie, die mit beginnt “IG_TCP_CPORTS” Und fügen Sie den Benutzeragenten hinzu, den Sie am Ende dieser Zeile blockieren möchten, gefolgt von einem Komma. Zum Beispiel, wenn Sie blockieren möchten user agent “SeekportBot“, Linie sollte so aussehen:
IG_TCP_CPORTS="80,443,22" && IG_TCP_CPORTS="$IG_TCP_CPORTS,SeekportBot"3. Speichern Sie die Datei und starten Sie den APF -Dienst neu.
sudo systemctl restart apf.serviceZugang “Seeportbot” wird blockiert.
Filtration web crawls mit Hilfe von Cloudflare – Blockieren Sie Ihren Seekportbot -Zugriff
Mit Hilfe von CloudFre scheint es mir die sicherste und praktischste Methode, mit der Sie auf verschiedene Weise den Zugriff auf einige Bits auf eine Website einschränken können. Die Methode, die ich im Fall von verwendet habe SeekportBot zum Filter des Verkehrs zu einem Online -Shop.
Angenommen, Sie haben bereits die Website der CloudFlore hinzugefügt und die DNS -Dienste werden aktiviert (dh der Datenverkehr auf die Website wird von Cloud durchgeführt), folgen Sie den folgenden Schritten:
1. Öffnen Sie das Cloufle -Konto und gehen Sie zu der Website, für die Sie den Zugriff begrenzen möchten.
2. Gehen Sie zu: Security → WAF und fügen Sie eine neue Regel hinzu. Create rule.
3. Sie wählen einen Namen für die neue Regel. Field: User Agent – Operator: Contains – Value: SeekportBot (oder ein anderer Bot -Name) – Choose action: Block – Deploy.
In nur wenigen Sekunden die neue Regel WAF (Web Application Firewall) Er beginnt seine Wirkung.
Theoretisch kann die Häufigkeit, mit der ein Spinnennetz auf eine Website zugreifen kann robots.txt, obwohl… Es ist nur theoretisch.
User-agent: SeekportBot
Crawl-delay: 4Viele Webcrawler (abgesehen von Bing und Google) befolgen diese Regeln nicht.
Wenn Sie ein Crawl -Web identifizieren, das übermäßig auf Ihre Website zugreifen, blockieren Sie den gesamten Zugriff am besten. Natürlich, wenn dieser Bot nicht von einer Suchmaschine stammt, in der Sie anwesend sind.
