Robots.txt uitgelegd: wat mag en wat mag niet gecrawled worden
Robots.txt is een klein tekstbestand in de root van je website dat zoekmachines vertelt welke delen ze wel en niet mogen crawlen. Je gebruikt het om onbelangrijke of technische pagina's buiten beeld te houden en om naar je sitemap te verwijzen. Eén verkeerde regel kan je hele site uit de zoekresultaten halen, dus het loont om te snappen wat erin hoort en wat niet.
Wat is robots.txt en wat doet het?
Robots.txt staat op je-domein.nl/robots.txt en is vaak het eerste wat een crawler ophaalt voordat hij je site bekijkt. In het bestand geef je per type bot aan welke mappen of pagina's hij mag bezoeken en welke niet. Zo stuur je waar de aandacht van een zoekmachine naartoe gaat.
Belangrijk om te weten: het is een instructie, geen slot. Nette zoekmachines houden zich eraan, maar het bestand beveiligt niets. Wie een pagina echt wil afschermen, gebruikt een wachtwoord of een andere beveiliging, niet robots.txt.
Wat mag je beter wel en niet blokkeren?
Blokkeer wat niets toevoegt in de zoekresultaten: interne zoekpagina's, beheeromgevingen en technische mappen. Die wil je niet laten crawlen, omdat ze rommel toevoegen en de aandacht van je echte pagina's afleiden. Verwijs daarnaast naar je XML-sitemap, zodat een crawler die meteen vindt.
Blokkeer juist niet je belangrijke pagina's, je afbeeldingen of de bestanden die je site nodig heeft om goed te laden. Een veelgemaakte fout is het wegblokkeren van scripts of stijlbestanden, waardoor een zoekmachine je pagina niet meer goed kan weergeven. Hoe een sitemap en robots.txt elkaar aanvullen, lees je in onze blog over de XML-sitemap.
Wat is het verschil tussen crawlen en indexeren?
Crawlen is het ophalen van een pagina, indexeren is het opnemen ervan in de zoekresultaten. Robots.txt regelt alleen het crawlen. Wil je een pagina uit de resultaten houden, dan gebruik je een noindex-instructie in de pagina zelf, niet een blokkade in robots.txt.
Dit verwarren mensen vaak, met vervelende gevolgen. Blokkeer je een pagina in robots.txt, dan kan een zoekmachine de noindex-instructie niet meer lezen, want hij mag de pagina niet ophalen. Het resultaat is dat de pagina soms toch in de resultaten blijft staan. Wil je hem echt weg, laat hem dan crawlen maar zet er noindex op.
Houden AI-crawlers zich aan robots.txt?
Ja, de bekende AI-crawlers zoals GPTBot van OpenAI en PerplexityBot lezen robots.txt en volgen de regels die je voor hen instelt. Daarmee is het bestand ook een knop voor je zichtbaarheid in AI-antwoorden. Wil je dat ChatGPT en Perplexity je content kunnen gebruiken, dan moet je die bots niet blokkeren.
Andersom kun je AI-crawlers gericht weren als je niet meegenomen wilt worden. Dat is een keuze die per bedrijf verschilt. Voor wie groei zoekt in AI-zoekmachines is openstellen meestal logischer dan afsluiten. Hoe je verder werkt aan die zichtbaarheid, lees je in onze GEO optimalisatie checklist.
Hoe controleer je of het klopt?
Open je-domein.nl/robots.txt in je browser om te zien wat erin staat. De grootste fout is een regel die per ongeluk de hele site blokkeert, wat vaak gebeurt als een testversie live gaat zonder dat de blokkade eraf is. Controleer je bestand daarom altijd na een livegang.
Gebruik Google Search Console om te testen of belangrijke pagina's niet onbedoeld geblokkeerd zijn. Een snelle check na elke grote wijziging voorkomt dat een verkeerde regel je vindbaarheid sloopt. Wil je zeker weten dat jouw robots.txt en sitemap goed staan? Plan een gratis gesprek via empowers.nl/contact.
Veelgestelde vragen
Wat is een robots.txt bestand?
Robots.txt is een klein tekstbestand in de root van je website dat zoekmachines vertelt welke delen ze wel en niet mogen crawlen. Het staat op je-domein.nl/robots.txt en is het eerste wat veel crawlers ophalen voordat ze je site bekijken. Het is een instructie aan de crawler, geen slot: nette bots houden zich eraan, maar het is geen beveiliging.
Wat is het verschil tussen crawlen blokkeren en niet indexeren?
Robots.txt regelt het crawlen, dus of een zoekmachine een pagina mag ophalen. Indexeren regel je met een noindex-instructie in de pagina zelf. Verwarrend genoeg kan een pagina die je in robots.txt blokkeert toch in de zoekresultaten verschijnen als er links naar wijzen. Wil je een pagina echt uit de resultaten, gebruik dan noindex en blokkeer hem niet in robots.txt.
Wat zet je meestal in een robots.txt?
Vaak blokkeer je technische of privemappen die niets toevoegen in de zoekresultaten, zoals interne zoekpagina's of beheeromgevingen. Daarnaast verwijs je naar je XML-sitemap, zodat een crawler die meteen vindt. De meeste sites hebben aan een eenvoudig bestand genoeg; uitgebreide regels zijn vooral nodig bij grote of complexe sites.
Welke fout in robots.txt maakt een site onzichtbaar?
De klassieker is een regel die per ongeluk de hele site blokkeert: Disallow met een enkele slash. Dat gebeurt vaak als een testversie live gaat zonder dat de blokkade eraf is. Het gevolg is dat zoekmachines niets meer mogen ophalen en je site uit de resultaten zakt. Controleer daarom je robots.txt altijd na een livegang.
Houden AI-crawlers zich aan robots.txt?
De bekende AI-crawlers zoals GPTBot en PerplexityBot lezen robots.txt en respecteren de regels die je voor hen instelt. Wil je dat AI-modellen je content kunnen gebruiken, blokkeer die bots dan niet. Wil je juist niet meegenomen worden, dan kun je ze gericht weren. Het is dus ook een knop voor je zichtbaarheid in AI-antwoorden.
Hoe controleer ik of mijn robots.txt klopt?
Open je-domein.nl/robots.txt in je browser om te zien wat erin staat. Gebruik daarnaast Google Search Console om te testen of belangrijke pagina's niet per ongeluk geblokkeerd zijn. Een snelle check na elke grote wijziging aan je site voorkomt dat een verkeerde regel je vindbaarheid sloopt.