• Welkom bij Computerforum PiepCompSupport, het pc helpforum voor het verwijderen van virussen, adware en malware.
    Uw computer bevat een virus of er zijn andere problemen: dit forum is er voor iedereen die hulp zoekt! Waar moet ik rekening mee houden?
    U moet zich registreren, voordat u uw virusprobleem als onderwerp kunt beschrijven en posten. Zodra u een discussie hebt gemaakt,
    zal een expert u stap voor stap uitleggen, hoe u de malware kunt verwijderen en hoe u uw computer kunt beveiligen.
    Ons hulpforum en onze programma's zijn gratis. Weet u niet wat u nu moet doen, om hulp te krijgen, klik dan hier.

Informatie Crawlers het leven zuur gemaakt

Abraham54

Beheer
Team lid
Lid geworden
2 aug 2016
Reacties
19.940
Reaction score
4.517
Punten
113
Leeftijd
66
OS
Windows 10 Professional x64
AV
Ziggo F-Secure antivirus
FW
Windows Firewall
Ik heb bots en crawlers het leven behoorlijk zuur gemaakt.​
Wat hebben er bijvoorbeeld aan, als er van de 99 bezoekers er op dat moment een kleine 80 crawlers en bots actief zijn?​
 

Abraham54

Beheer
Team lid
Lid geworden
2 aug 2016
Reacties
19.940
Reaction score
4.517
Punten
113
Leeftijd
66
OS
Windows 10 Professional x64
AV
Ziggo F-Secure antivirus
FW
Windows Firewall
Wow, wat een verschil zonder die crawlers!

 

Abraham54

Beheer
Team lid
Lid geworden
2 aug 2016
Reacties
19.940
Reaction score
4.517
Punten
113
Leeftijd
66
OS
Windows 10 Professional x64
AV
Ziggo F-Secure antivirus
FW
Windows Firewall
Het lijkt erop, dat het bezoek aan dit forum in elkaar geklapt is.
Schijn.

Hele crawlerfamilies en ook bot-families zijn al uitgeschakeld.
Vrijwel wat overgebleven is zijn echte bezoekers.
Google SEO zal het wel niet begrijpen aan het eind van deze maand, ergo, als ik het maar begrijp.
 

Abraham54

Beheer
Team lid
Lid geworden
2 aug 2016
Reacties
19.940
Reaction score
4.517
Punten
113
Leeftijd
66
OS
Windows 10 Professional x64
AV
Ziggo F-Secure antivirus
FW
Windows Firewall
Momenteel zijn alle blokkades opgeheven voor de crawlers.
Vanaf nu gaat er selectief geblokkeerd worden op IP-adressen die ook bestaan uit gerapporteerde links voor spam en meer!
 

Abraham54

Beheer
Team lid
Lid geworden
2 aug 2016
Reacties
19.940
Reaction score
4.517
Punten
113
Leeftijd
66
OS
Windows 10 Professional x64
AV
Ziggo F-Secure antivirus
FW
Windows Firewall
Ondertussen zijn SEMRush en Host Europ geblokkeerd.
Host Europ staat ook vermeld op Stop Forum Spam.

SEMRush heeft in het verleden een crash van deze site veroorzaakt!
 

Abraham54

Beheer
Team lid
Lid geworden
2 aug 2016
Reacties
19.940
Reaction score
4.517
Punten
113
Leeftijd
66
OS
Windows 10 Professional x64
AV
Ziggo F-Secure antivirus
FW
Windows Firewall
Host Plus
IP bekend bij Stop Forum Spam
is bezig zich te registreren, ben benieuwd of Spaminator ingrijpt!
 

Black Tiger

Moderator
Team lid
Lid geworden
6 aug 2018
Reacties
4.042
Reaction score
799
Punten
113
Website
www.satellitefun.org
OS
Windows 10 Pro
AV
AVG
FW
Windows Firewall
SemRush is een bot die veel te veel verzoeken doet, dat kan inderdaad leiden tot enorme vertraging. Bij mij gelukkig nog nooit gecrashed. Men schijnt aan te kunnen geven dat ie minder moet crawlen, maar ik vind dat botten zelf maar een fatsoenlijke norm moeten instellen dus blokkeer die ook per definitie. Ik moet wel zeggen dat hij wel naar de robots.txt luistert.
Er zijn er ook die dat niet doen. Semrush is momenteel wel een van de vervelendsten gezien hun standaard request aantal.
 

Black Tiger

Moderator
Team lid
Lid geworden
6 aug 2018
Reacties
4.042
Reaction score
799
Punten
113
Website
www.satellitefun.org
OS
Windows 10 Pro
AV
AVG
FW
Windows Firewall
Dat kan je ook aanpassen in robots.txt:
Ja dat schreef ik ook min of meer.
Men schijnt aan te kunnen geven dat ie minder moet crawlen, maar ik vind dat botten zelf maar een fatsoenlijke norm moeten instellen dus blokkeer die ook per definitie.
Dus mijns inziens moeten ze dat zelf standaard maar instellen. Vandaar dat ik hem ook helemaal blok in de robots.txt.
 
Bovenaan Onderaan