Vreemde zaak dat het forum voor een korte periode er uit lag

Abraham54

Admin
Teamlid
Lid geworden
2 aug 2016
Berichten
16.945
Waarderingsscore
3.136
Punten
113
Leeftijd
66
Een kleine tien minuten was dit forum onbereikbaar en ik heb geen flauw idee wat er aan de hand was.
Via de server heb ik het weberrorlog geraadpleegt - maar ook daar geen redenen gevonden.

En ook op https://status.antagonist.nl/ is het stil.

Ergo, een groot raadsel.
 

Abraham54

Admin
Teamlid
Lid geworden
2 aug 2016
Berichten
16.945
Waarderingsscore
3.136
Punten
113
Leeftijd
66
Ik heb ondertussen mijn bevindingen per e-mail aan Antagonist verstuurd en nu ineens is de site weer vrijwel normaal.
 

Rubensky

Moderator
Teamlid
Lid geworden
4 aug 2016
Berichten
2.379
Waarderingsscore
198
Punten
63
Heb het ook gemerkt en had je daar al van op de hoogte gebracht. Vreemd; Maar geen verdere actie vereist lijkt mij.
 

Abraham54

Admin
Teamlid
Lid geworden
2 aug 2016
Berichten
16.945
Waarderingsscore
3.136
Punten
113
Leeftijd
66
Ik ben dan ook heel benieuwd naar wat ik van Antagonist ga horen.
Want mij is het nog steeds volkomen onduidelijk waarom dit gebeurde.
 

Abraham54

Admin
Teamlid
Lid geworden
2 aug 2016
Berichten
16.945
Waarderingsscore
3.136
Punten
113
Leeftijd
66
Mogelijk heeft de crawlbot genaamd SemrushBot bij de analyse van alles wat in "What's new" staat deze site in de knieën gekregen!
 

Abraham54

Admin
Teamlid
Lid geworden
2 aug 2016
Berichten
16.945
Waarderingsscore
3.136
Punten
113
Leeftijd
66
Op de server nu een robots.txt gezet om die SemrushBotcrawlers te weren van de server.
 

Rubensky

Moderator
Teamlid
Lid geworden
4 aug 2016
Berichten
2.379
Waarderingsscore
198
Punten
63
Wat richt dit txt bestand uit dan?
 

Abraham54

Admin
Teamlid
Lid geworden
2 aug 2016
Berichten
16.945
Waarderingsscore
3.136
Punten
113
Leeftijd
66
Met een robots.txt in de root van de server kan je specifiek toegang voor een bot verbieden, of gedeeltelijk verbieden.
Dat zijn dus al een aantal mogelijkheden, maar er zijn er meer.
 

Abraham54

Admin
Teamlid
Lid geworden
2 aug 2016
Berichten
16.945
Waarderingsscore
3.136
Punten
113
Leeftijd
66
Martijn van Antagonist schreef dat het uitschakelen van die SemrushBotcrawlers mogelijk ook tot tempowinst leidt.
En inderdaad, dat is het geval - wat een vieze krengen!
 

Rubensky

Moderator
Teamlid
Lid geworden
4 aug 2016
Berichten
2.379
Waarderingsscore
198
Punten
63
Dit forum heeft een prima tempo alhoewel ik niets merk van al die winsten die jij steeds boekt. En ik vermoed de gemiddelde gebruiker ook niet.
 

Abraham54

Admin
Teamlid
Lid geworden
2 aug 2016
Berichten
16.945
Waarderingsscore
3.136
Punten
113
Leeftijd
66
De laadtijd is verlaagd geworden en dat is ook winstpunt.
 

Black Tiger

Senior
Lid geworden
6 aug 2018
Berichten
3.281
Waarderingsscore
550
Punten
113
Locatie
State Penitentiary
Website
www.satellitefun.org
Mogelijk heeft de crawlbot genaamd SemrushBot
Daar kun je van uit gaan.
Wat nog erger is, is dat Semrush zelf zegt dat ze niet zoveel doen en dat ze ook goed luisteren naar robots.txt maar dat is niet altijd het geval.
Ik heb op een gegeven moment via .htaccess de complete ip range van Semrush geblokkeerd en daarna is het naar enige tijd rustig geworden.
Semrush is echt een vies botje die voor overload kan zorgen.
 

Abraham54

Admin
Teamlid
Lid geworden
2 aug 2016
Berichten
16.945
Waarderingsscore
3.136
Punten
113
Leeftijd
66
@Black Tiger - kijk eens hier:

Ik heb die lijst nu in .htaccess staan - weliswaar met een verandering, ik heb de Ahrefsbot erbij gezet en Baidu verwijdert.

Bijgevolg lijkt het nu net of er een enorme dip is gekomen in het bezoekers aantal.
Bad crawlers en bad bots worden ook tot de bezoekers berekent.
Door de lijst te gebruiken moet er nu een behoorlijk stukje bandbreedte weer vrijgegeven zijn, wat de laadtijd van deze site vooral ten goede moet komen.
 

Black Tiger

Senior
Lid geworden
6 aug 2018
Berichten
3.281
Waarderingsscore
550
Punten
113
Locatie
State Penitentiary
Website
www.satellitefun.org
@Abraham54 Ja ik ken die lijst, die is erg groot en daarmee haal je het meeste wel weg. Maar er staan ook zaken in die geen bot zijn.
En daarom heb ik in het verleden die lijst er weer uit geknikkerd.
Het begon met dat ik opeens iets niet meer kon ophalen, bleek wget dus geblokkeerd.
Andere voorbeelden zijn lftp en libcrawl. Dat heeft net als wget niets met bots te maken.
Er zitten er nog wel heel wat meer in, dus als plots een site testprogramma geblokkeerd wordt zou ik eerst even de .htaccess controleren.

Ja bots en crawlers (of die nu goed of slecht zijn maakt niet uit) worden tot de bezoekers gerekend inderdaad. Echter of die lijst de laadtijd ten goede gaat komen is de vraag. Het checken van .htaccess neemt ook tijd in beslag, hoe groter die is, hoe meer tijd dat nodig heeft.
Het gaat allemaal weliswaar om milliseconden, maar het is dus niet dat het alleen voordeel oplevert.

Ik zou in elk geval die 3 genoemden er uit halen en ook de komende tijd goed even je zoekresultaten in de gaten houden, just to be sure.
 

Abraham54

Admin
Teamlid
Lid geworden
2 aug 2016
Berichten
16.945
Waarderingsscore
3.136
Punten
113
Leeftijd
66
@Black Tiger - al gaat het om milliseconden, alles telt in wezen.
Ik heb jouw aanbevelingen overgenomen, dank je.
 
Bovenaan Onderaan