Çoğu zaman erişimi engellemeniz gerektiğinde SeekportBot veya diğerleri crawl bots bir web sitesi varsa nedenleri basittir. Web örümceği kısa sürede çok fazla erişim gerçekleştirerek web sunucusunun kaynaklarını ister veya web sitenizin indekslenmesini istemediğiniz bir arama motorundan gelir.
içerik
Tarama botları tarafından ziyaret edilen bir web sitesi için çok faydalıdır. Bu web örümcekleri, arama motorlarındaki web sayfalarının içeriğini keşfetmek, işlemek ve dizine eklemek için tasarlanmıştır. Google ve Bing bu tür tarama botlarını kullanıyor. Ancak web sayfalarından veri toplamak için robotları kullanan arama motorları da vardır. Seekport web sayfalarını dizine eklemek için SeekportBot tarayıcısını kullanan bu arama motorlarından biridir. Ne yazık ki bazen aşırı derecede kullanıyor ve gereksiz trafik yaratıyor.
SeekportBot nedir?
SeekportBot Bu bir web crawler şirket tarafından geliştirildi Seekport, merkezi Almanya'dadır (ancak Finlandiya dahil çeşitli ülkelerden IP'ler kullanır). Bu bot, web sitelerini arama motoru sonuçlarında görüntülenebilecek şekilde taramak ve dizine eklemek için kullanılır. Seekport. Bildiğim kadarıyla işlevsel olmayan bir arama motoru. En azından herhangi bir anahtar kelime öbeği için benim için herhangi bir sonuç döndürmedi.
SeekportBot KULLANMAK user agent:
"Mozilla/5.0 (compatible; SeekportBot; +https://bot.seekport.com)"Seekportbot veya diğer tarama botlarının erişimini bir web sitesine nasıl engellersiniz?
Bu web örümceğinin veya başka bir web sitesinin tüm web sitenizi taramasına ve web sunucusuna gereksiz trafik oluşturmanıza gerek olmadığı sonucuna vardıysanız, onların erişimini engelleyebileceğiniz birkaç yönteminiz vardır.
Web sunucusu düzeyinde güvenlik duvarı
Bunlar güvenlik duvarı uygulamalarıdır open-source Linux işletim sistemlerine kurulabilen ve çeşitli kriterlere göre trafiği engelleyecek şekilde yapılandırılabilen. IP adresi, konum, bağlantı noktaları, protokoller veya kullanıcı aracısı.
APF (Advanced Policy Firewall) İstenmeyen botları sunucu düzeyinde engelleyebileceğiniz bir yazılımdır.
SeekportBot ve diğer web örümcekleri birden fazla IP bloğu kullandığından, en etkili engelleme kuralı şuna dayanmaktadır: “user agent“. Yani, erişimi engellemek istiyorsanız SeekportBot yardımla APFtek yapmanız gereken web sunucusuna bağlanmak SSHve filtre kuralını yapılandırma dosyasına ekleyin.
1. Yapılandırma dosyasını şununla açın: nano (veya başka bir yayıncı).
sudo nano /etc/apf/conf.apf2. ile başlayan satırı arayın “IG_TCP_CPORTS” engellemek istediğiniz kullanıcı aracısını bu satırın sonuna ve ardından virgülle ekleyin. Örneğin engellemek istiyorsanız user agent “SeekportBot“satırı şu şekilde görünmelidir:
IG_TCP_CPORTS="80,443,22" && IG_TCP_CPORTS="$IG_TCP_CPORTS,SeekportBot"3. Dosyayı kaydedin ve APF hizmetini yeniden başlatın.
sudo systemctl restart apf.serviceerişim “SeekportBot” engellenecek.
Filtrasyon web crawls Cloudflare'in yardımıyla – SeekportBot'a erişimi engelle
Cloudflare'in yardımıyla, bana göre bazı botların bir web sitesine erişimini çeşitli şekillerde sınırlandırabileceğiniz en güvenli ve en uygun yöntem. Bu durumda benim de kullandığım yöntem SeekportBot bir çevrimiçi mağazaya gelen trafiği filtrelemek için.
Web sitenizi zaten Cloudflare'e eklediğinizi ve DNS hizmetlerinin etkinleştirildiğini (yani web sitesine gelen trafiğin Cloudflare üzerinden gittiğini) varsayalım, aşağıdaki adımları izleyin:
1. Clouflare hesabınızı açın ve erişimini sınırlamak istediğiniz web sitesine gidin.
2. Şuraya gidin: Security → WAF ve yeni bir kural ekleyin. Create rule.
3. Yeni kural için bir ad seçin, Field: User Agent – Operator: Contains – Value: SeekportBot (veya başka bir bot adı) – Choose action: Block – Deploy.
Sadece birkaç saniye içinde yeni kural WAF (Web Application Firewall) etkisini göstermeye başlar.
Teorik olarak, bir web örümceğinin bir siteye erişme sıklığı şu şekilde ayarlanabilir: robots.txt, Yine de… sadece teoride.
User-agent: SeekportBot
Crawl-delay: 4Birçok web tarayıcısı (Bing ve Google dışında) bu kurallara uymaz.
Sonuç olarak, sitenize aşırı derecede erişen bir web taraması tespit ederseniz, onun toplam erişimini engellemek en iyisidir. Tabii ki, eğer bu bot, içinde bulunmak istediğiniz bir arama motorundan değilse.
