Hoe snel crawlt Google jouw website

Google crawlt niet elke website even snel. Een drukbezochte nieuwssite krijgt meerdere bezoeken per dag, een stille bedrijfspagina soms maar eens per paar weken. De frequentie hangt af van hoe vaak je content verandert, hoe je site technisch presteert en hoe belangrijk Google je pagina's inschat. Aan alle drie kun je werken.

Wat gebeurt er als Google jouw site crawlt?

Crawlen is het ophalen van je pagina's door Googlebot, het programma dat het web afstruint. Het volgt links, leest content en meldt nieuwe of gewijzigde pagina's aan bij de index. Pas na dat proces kan een pagina in de zoekresultaten verschijnen. Hoe zo'n crawler precies werkt, lees je in onze uitleg over de web crawler van Google.

Belangrijk om te beseffen: crawlen en indexeren zijn twee aparte stappen. Google kan je pagina bezoeken en alsnog besluiten hem niet op te nemen. En een pagina die vandaag gewijzigd is, blijft in de zoekresultaten op de oude versie staan totdat Googlebot opnieuw langskomt. Dat verklaart waarom een verbeterde titel soms pas na dagen zichtbaar wordt.

Waar hangt de crawlsnelheid van af?

De grootste factor is verandering. Google leert het ritme van je site. Publiceer je dagelijks, dan komt Googlebot dagelijks. Staat je site maanden stil, dan zakt de frequentie mee. Het algoritme wil geen rekenkracht verspillen aan pagina's die toch nooit veranderen.

De tweede factor is autoriteit. Pagina's met veel interne en externe links worden vaker bezocht dan verweesde pagina's diep in je structuur. Je homepage wordt vrijwel altijd het vaakst gecrawld. Een pagina waar geen enkele link naartoe wijst, wordt soms helemaal niet gevonden.

De derde factor is techniek. Googlebot past zijn tempo aan op wat je server aankan. Reageert je site traag of geeft hij serverfouten, dan schroeft Google het aantal verzoeken terug om je site niet te overbelasten. Een snelle, stabiele server wordt beloond met meer crawlbezoeken.

Hoe controleer je jouw crawlstatistieken?

Alles wat je hierover wilt weten, staat in Google Search Console. Onder Instellingen vind je het rapport Crawlstatistieken: het aantal crawlverzoeken van de afgelopen negentig dagen, de gemiddelde reactietijd van je server en welke soorten pagina's Googlebot ophaalt.

Wil je het per pagina weten, gebruik dan URL-inspectie. Daar zie je de laatste crawldatum en of de pagina geïndexeerd is. Bij het doorlichten van websites is dit steevast een van de eerste rapporten die we openen, omdat het meteen laat zien of Google de site serieus neemt. Meer halen uit deze tool? Lees onze gids over effectief werken met Google Search Console.

Hoe zorg je dat Google vaker langskomt?

Publiceer regelmatig. Niets versnelt crawling zo betrouwbaar als een site die aantoonbaar leeft. Dat hoeft geen dagelijkse blog te zijn. Ook bijgewerkte productpagina's en verbeterde bestaande artikelen tellen als verandering.

Houd daarnaast je XML-sitemap actueel. Die werkt als een menukaart voor Googlebot: hier staan al mijn pagina's en dit is wanneer ze voor het laatst veranderd zijn. Waarom dat bestand meer doet dan veel site-eigenaren denken, lees je in ons artikel over de XML-sitemap.

Versterk ook je interne links. Elke nieuwe pagina hoort vanaf minstens één bestaande pagina bereikbaar te zijn, het liefst vanaf een pagina die zelf vaak gecrawld wordt. En check je robots.txt: het gebeurt vaker dan je denkt dat een site per ongeluk delen van zichzelf blokkeert na een migratie of een update.

Voor een individuele pagina die haast heeft, is er het indexeringsverzoek via URL-inspectie. Handig na een belangrijke wijziging of bij een nieuwe landingspagina. Verwacht geen wonderen bij grote aantallen: het verzoek geldt per URL en Google hanteert een daglimiet.

Lanceer je een compleet nieuwe website, reken dan op een opstartperiode. Google kent je domein nog niet en begint voorzichtig, met een handjevol bezoeken per dag. Meld je site direct aan in Search Console, dien je sitemap in en zorg voor een eerste externe link vanaf een site die al gecrawld wordt. Vanaf dat moment groeit het vertrouwen, en met dat vertrouwen de bezoekfrequentie.

Na een migratie of herstructurering geldt het omgekeerde: dan moet Google juist veel opnieuw ontdekken. Zorg dat oude URL's netjes doorverwijzen naar hun nieuwe adres, want elke kapotte link is een doodlopende weg voor de crawler. Hoe soepeler die overgang, hoe sneller je nieuwe structuur volledig in de index staat.

Moet je je druk maken om crawlbudget?

Waarschijnlijk niet. Crawlbudget, de hoeveelheid aandacht die Googlebot aan je site besteedt, is volgens Google zelf vooral relevant voor sites met honderdduizenden tot miljoenen pagina's. Een gemiddelde MKB-site of webshop zit daar ver onder.

Wat wél vaak speelt: verspilling. Eindeloze filtercombinaties in een webshop, dubbele URL-varianten en oude testomgevingen die meegecrawld worden. Dat kost aandacht die naar je echte pagina's had kunnen gaan. Grote schoonmaak in je URL-structuur doet dan meer dan welke truc ook. Een technische SEO-audit laat zien waar Googlebot zijn tijd aan verspilt.

Kort samengevat: Google bepaalt zelf hoe vaak het langskomt, maar jij bepaalt hoe uitnodigend je site is. Wil je weten hoe Googlebot met jouw website omgaat en waar de rem zit? Bekijk onze SEO-dienstenpagina of plan een gratis gesprek via empowers.nl/contact.

Veelgestelde vragen over de crawlsnelheid van Google