Wat betekent crawlen?
Crawlen is het proces waarbij zoekmachines het internet afspeuren om nieuwe en bestaande webpagina’s te ontdekken. Dat gebeurt met behulp van automatische programma’s, vaak “crawlers” of “bots” genoemd. Google gebruikt hiervoor bijvoorbeeld Googlebot.
Wanneer een crawler je website bezoekt, bekijkt die de inhoud van je pagina’s en volgt hij links naar andere pagina’s. Zo krijgt de zoekmachine een beeld van hoe je website in elkaar zit.
Waarom is crawlen belangrijk binnen SEO?
Voordat een pagina kan verschijnen in de organische zoekresultaten, moet ze eerst gecrawld worden. Als zoekmachines je pagina niet kunnen bereiken of lezen, kunnen ze ze ook niet indexeren.
Crawlen is dus een noodzakelijke eerste stap binnen SEO. Zonder crawlen geen indexatie, en zonder indexatie geen zichtbaarheid.
Hoe crawlen zoekmachines een website?
Zoekmachines beginnen meestal op bekende pagina’s, zoals de homepagina, en volgen van daaruit interne links naar andere pagina’s. Hoe beter je interne structuur, hoe makkelijker crawlers hun weg vinden.
Ook hulpmiddelen zoals een sitemap helpen zoekmachines om snel te zien welke pagina’s belangrijk zijn en welke nieuw of aangepast zijn.
Niet elke pagina wordt even vaak gecrawld. Zoekmachines houden rekening met factoren zoals:
- de structuur van je website
- hoe vaak content wijzigt
- de snelheid van je website
- technische instellingen zoals robots.txt
Kan je crawlen sturen?
Tot op zekere hoogte wel. Via het robots.txt-bestand kan je aangeven welke delen van je website wel of niet gecrawld mogen worden. Daarnaast kan je pagina’s uitsluiten van indexatie met een noindex-tag, al blijven ze in sommige gevallen wel gecrawld worden.
Het is belangrijk om hiermee voorzichtig om te gaan. Foutieve instellingen kunnen ervoor zorgen dat belangrijke pagina’s niet zichtbaar worden in zoekmachines.
Crawlen is niet hetzelfde als indexeren
Een veelgemaakte verwarring is dat crawlen en indexeren hetzelfde zouden zijn. Dat is niet zo. Crawlen betekent dat een pagina wordt bezocht en gelezen. Indexeren betekent dat de pagina ook effectief wordt opgenomen in de zoekindex.
Een pagina kan dus wel gecrawld zijn, maar toch niet geïndexeerd worden, bijvoorbeeld bij duplicate content of technische problemen.
Crawlen gebeurt grotendeels automatisch en op de achtergrond. Je merkt het niet, maar het bepaalt wel hoe goed zoekmachines je website leren kennen. En hoe beter ze je website begrijpen, hoe groter de kans op zichtbaarheid.