De overlast van Bots, Crawlers en Spiders beperken
Bots en crawlers helpen zoekmachines zoals Google om je website te vinden en te rangschikken. Maar te veel activiteit van deze bots kan de prestaties van je website vertragen. We bespreken hier hoe je ongewenste bots kunt tegenhouden en ervoor kunt zorgen dat je website sneller en veiliger werkt.
Slechte bots met kwade bedoelingen
Naast de nuttige bots van zoekmachines, zijn er ook "slechte bots" die schade kunnen aanrichten. Deze bots proberen bijvoorbeeld versienummers van populaire software zoals WordPress of Magento te vinden om kwetsbaarheden uit te buiten. Ook speuren ze naar e-mailadressen om spam te versturen. Het is daarom belangrijk om je website goed te beschermen tegen deze ongewenste bezoekers.
Hoe beperk je de overlast van bots op je website?
De meeste zoekmachines regelen zelf de frequentie waarmee ze je website bezoeken, maar als je problemen ondervindt, kun je zelf actie ondernemen. Hier zijn een paar manieren waarop je de invloed van bots kunt beperken:
1. Gebruik van robots.txt
Je kunt bots beheren met het robots.txt-bestand, dat in de root van je website staat. Dit bestand vertelt bots welke pagina’s ze wel of niet mogen indexeren. Hoewel niet alle zoekmachines dezelfde regels volgen, kun je met het commando Crawl-delay de snelheid van bots zoals Bing en Majestic-12 vertragen. De crawl-snelheid kun je instellen op:
1: Langzaam
5: Heel langzaam
10: Extreem langzaam
Om individuele bots aan te sturen, voeg je het volgende toe aan je robots.txt:
User-agent: MJ12bot
Crawl-Delay: 5
Voor alle bots tegelijk kun je het volgende gebruiken:
User-agent: *
Crawl-delay: 10
2. Googlebot beheren via Search Console
Google's bot respecteert wel je robots.txt, maar niet het Crawl-delay commando. Via Google Search Console kun je echter zelf de crawlsnelheid aanpassen. Wanneer u nog niet bekend bent met de werking of het nut van de Google Search Console, dan is dit een goed startpunt: Google Webmasters. Ga naar Site-instellingen en kies een geschikte snelheid. Heb je hulp nodig? Een SEO-specialist kan je adviseren over de juiste instellingen.
3. Bescherming met WordPress-plugins
Gebruik je WordPress? Dan zijn er handige plugins beschikbaar om bots te blokkeren. Goede opties zijn bijvoorbeeld:
Deze plugins helpen vooral bij het weren van slechte bots, zonder invloed op de zoekmachine-indexatie.
4. Bots blokkeren met Plesk of .htaccess
Heb je een website op een Plesk-server? Dan kun je via het .htaccess-bestand bepaalde bots blokkeren. Er is een kant-en-klaar script beschikbaar op GitHub genaamd Bad Bot Blocker.
5. Automatische bescherming bij High Performance hosting
Op onze High Performance hosting blokkeren we standaard al veel slechte bots. Je hoeft hier dus niets voor te doen! Onze experts staan altijd klaar om je te helpen met vragen over bots en crawlers.
Wil je meer weten over het blokkeren van bots of heb je specifieke vragen? Neem dan gerust contact met ons op!
Related Articles
Webhosting en Veiligheidsrisico's
Wanneer je denkt aan de beveiliging van je bedrijfsgegevens, is het vaak zo dat webhosting niet meteen het eerste is dat in je opkomt. Toch brengen onwetendheid en het gebrek aan beveiligingsmaatregelen vaak grote problemen met zich mee. Denk ...Veelvoorkomende HTTP-foutcodes en oplossingen
Het kan gebeuren dat je website plots niet meer bereikbaar is, met een driecijferige foutcode op je scherm. Wat nu? We bespreken de zes meest voorkomende HTTP-foutcodes, wat ze betekenen, en hoe je ze oplost. 401 Error - Unauthorized Een 401-error ...Canonical URL's en hoe je ze gebruikt
Canonieke URL's zijn een belangrijk concept in zoekmachineoptimalisatie (SEO). Ze worden gebruikt om aan zoekmachines aan te geven welke versie van een webpagina de "voorkeursversie" is. Dit is essentieel wanneer meerdere URL's dezelfde (of zeer ...Instellen e-mail Workspace (Google) en Office 365 (Microsoft)
Aangezien elk beheerpaneel nét even anders werkt, laten wij je graag zien hoe je binnen de LinQhost Portal op de juiste manier de e-mail van G Suite (Google) en Office 365 (Microsoft) instelt. Algemeen Wanneer je gebruik gaat maken van één van de ...Misbruik van uitgaande e-mail voorkomen
Het kan voorkomen dat een server op een zogenaamde zwarte lijst komt te staan, vaak doordat een klant onbedoeld spam verstuurt. Dit veroorzaakt problemen voor jou en andere klanten, omdat legitieme e-mails mogelijk worden geweigerd door diensten ...