Elke serieuze website heeft een onzichtbaar bestandje dat een belangrijke rol speelt: robots.txt. Het is de portier van je website. Het vertelt crawlers van zoekmachines en AI welke delen ze mogen bezoeken en welke niet. Klein bestand, grote gevolgen als het verkeerd staat.
Wat is robots.txt?
Robots.txt is een tekstbestand in de hoofdmap van je website, bereikbaar op jouwdomein.nl/robots.txt. Het bevat instructies voor crawlers: welke mappen of pagina’s ze mogen bezoeken en welke ze moeten overslaan. Het is een vrijwillige standaard, maar de grote, betrouwbare crawlers houden zich eraan.
Waar gaat het vaak mis?
Een klassieke fout is dat tijdens de bouw van een website alles wordt geblokkeerd voor crawlers, en dat na livegang wordt vergeten dit terug te zetten. Het gevolg: de site verschijnt nergens. Een andere fout is per ongeluk belangrijke mappen blokkeren waardoor crawlers de inhoud niet kunnen lezen.
Robots.txt in het AI-tijdperk
Robots.txt is relevanter dan ooit, omdat ook AI-crawlers zoals GPTBot, ClaudeBot en PerplexityBot zich eraan houden. Je kunt hiermee bepalen of AI-systemen je content mogen gebruiken. Voor de meeste bedrijven die gevonden willen worden door AI, betekent dit: deze crawlers juist toelaten.
Wat betekent dit voor jou?
Robots.txt is een krachtig maar gevoelig instrument. Een verkeerde regel kan je hele vindbaarheid blokkeren. Een correcte instelling geeft je controle over wie je content mag lezen, inclusief de groeiende groep AI-crawlers.
