De cele mai multe ori, atunci cand ai nevoie sa blochezi accesul SeekportBot sau altor crawl bots la un website, motivele sunt simple. Spider-ul web face prea multe accesari intr-o perioada scurta de timp si solicita resursele web serverului, fie provine de la un motor de cautare in care nu doresti ca website-ul tau sa fie indexat.

Este foarte benefic pentru un website sa vizitat de crawl bots. Acesti spideri web sunt conceputi pentru a explora, procesa si indexa continutul paginlor web in motoare de cautare. Google si Bing folosesc astfel de crawl bots. Sunt insa si motoare de cautare care folosesc roboti pentru culegerea de date de pe pagini web. Seekport yra viena iš šių paieškos variklių, kuri tinklalapiams indeksuoti naudoja „SeekportBot“ tikrintuvą. Deja, kartais ji per daug naudojasi ir sukuria nereikalingą srautą.

Ce este SeekportBot?

SeekportBot Tai a web crawler sukūrė įmonė Seekport, kuris yra Vokietijoje (tačiau naudoja kelių šalių IP adresus, įskaitant Suomiją). Šis robotas naudojamas svetainėms tikrinti ir indeksuoti, kad jos būtų rodomos paieškos sistemos rezultatuose. Seekport. Neveikianti paieškos sistema, kiek suprantu. Bent jau man tai nedavė jokių rezultatų jokiai pagrindinei frazei.

SeekportBot NAUDOTI user agent:

"Mozilla/5.0 (compatible; SeekportBot; +https://bot.seekport.com)"

Kaip užblokuoti „Seekportbot“ prieigą ar kitus nuskaitymo robotus į svetainę

Jei padarėte išvadą, kad šis žiniatinklio voras ar kitas, nebūtina nuskaityti visos jūsų svetainės ir generuoti nereikalingą srautą į žiniatinklio serverį, turite keletą būdų, kuriais galite blokuoti jų prieigą.

Firewall la nivel de server web

Tai ugniasienės programos open-source kuris gali būti įdiegtas Linux operacinėse sistemose ir gali būti sukonfigūruotas blokuoti srautą pagal kelis kriterijus. IP adresas, vieta, prievadai, protokolai arba vartotojo agentas.

APF (Advanced Policy Firewall) yra tokia programinė įranga, per kurią galite blokuoti nepageidaujamus robotus serverio lygiu.

Kadangi SeekportBot ir kiti interneto vorai naudoja kelis IP blokus, efektyviausia blokavimo taisyklė pagrįsta “user agent“. Taigi, jei norite užblokuoti prieigą SeekportBot su pagalba APF, tereikia prisijungti prie žiniatinklio serverio per SSHir pridėkite filtro taisyklę konfigūracijos faile.

1. Atidarykite konfigūracijos failą naudodami nano (ar kitam leidėjui).

sudo nano /etc/apf/conf.apf

2. Ieškokite eilutės, kuri prasideda “IG_TCP_CPORTS” ir šios eilutės pabaigoje pridėkite vartotojo agentą, kurį norite blokuoti, o po to kablelis. Pavyzdžiui, jei norite užblokuoti user agent “SeekportBot“, eilutė turėtų atrodyti taip:

IG_TCP_CPORTS="80,443,22" && IG_TCP_CPORTS="$IG_TCP_CPORTS,SeekportBot"

3. Išsaugokite failą ir iš naujo paleiskite APF paslaugą.

sudo systemctl restart apf.service

prieiga “SeekportBot” bus užblokuotas.

Filtravimas web crawls su Cloudflare pagalba – Blochezi accesul SeekportBot

Cloudflare pagalba man atrodo saugiausias ir patogiausias būdas įvairiais būdais apriboti kai kurių botų prieigą prie svetainės. Metodas, kurį taip pat naudojau byloje SeekportBot filtruoti srautą į internetinę parduotuvę.

• Ką aš matau „GoogleBot“ ir kitus žiniatinklio tikrinimo įrenginius, kai pasiekiate svetainę?

Darant prielaidą, kad svetainė jau pridėta prie „Cloudflare“ ir DNS paslaugos yra suaktyvintos (ty srautas į svetainę eina per „Cloudflare“, atlikite toliau nurodytus veiksmus:

1. Atidarykite Clouflare paskyrą ir eikite į svetainę, kurios prieigą norite apriboti.

2. Eikite į: Security → WAF ir pridėkite naują taisyklę. Create rule.

3. Pasirinkite naujos taisyklės pavadinimą, Field: User Agent – Operator: Contains – Value: SeekportBot (arba kitas boto pavadinimas) – Choose action: Block – Deploy.

Vos per kelias sekundes – nauja taisyklė WAF (Web Application Firewall) jis pradeda veikti.

Teoriškai galima nustatyti dažnumą, kuriuo žiniatinklio voras pasiekia svetainę robots.txt, nors… tai tik teoriškai.

User-agent: SeekportBot
Crawl-delay: 4

Daugelis žiniatinklio tikrintuvų (išskyrus „Bing“ ir „Google“) nepaiso šių taisyklių.

Apibendrinant, jei nustatote žiniatinklio tikrinimą, kuris per daug pasiekia jūsų svetainę, geriausia užblokuoti visą jos prieigą. Žinoma, jei šis robotas nėra iš paieškos variklio, kuriame norėtumėte būti.