Tag Etiketleri: petalbot

PetalBot Nedir, Nasıl Engellenir? (Aspiegel – Huawei)

Merhaba arkadaşlar, Uzum zamandır sunucu loglarında bir user-agent dikkatimi çekiyor; web sitemi, Yandex botlarından bile daha agresif bir şekilde crawl ediyor, gün boyu site içerisinde tarama yapıyordu. Ufak bir araştırmayla PetalBot isimli örümceklerin, Çin menşeli Huawei markasına (Aspiegel Limited) ait olduğunu ve arama motoru / tarayıcıları için veri topladığını öğrendim. 5 Farklı Yöntemle PetalBot Engellemek… Devamini OKU »