Je website krijgt al jaren bezoek van zoekmachinecrawlers zoals Googlebot. Sinds de opkomst van AI is er een nieuwe groep bezoekers bijgekomen: AI-crawlers. Ze verzamelen content namens systemen als ChatGPT, Claude en Perplexity. Begrijpen wie ze zijn en hoe je met ze omgaat, is nieuwe noodzaak.
Wat zijn AI-crawlers?
AI-crawlers zijn geautomatiseerde programma’s die websites bezoeken om content te verzamelen voor AI-systemen. Bekende voorbeelden zijn GPTBot van OpenAI, ClaudeBot van Anthropic, PerplexityBot van Perplexity en Google-Extended van Google. Elk heeft een eigen herkenbare naam waarmee het zich aanmeldt op je site.
Wat doen ze met je content?
Ze lezen je pagina’s en gebruiken die informatie om AI-systemen te voeden, hetzij voor training, hetzij voor het live ophalen van actuele informatie. Als jouw content goed leesbaar en gestructureerd is, vergroot je de kans dat deze correct wordt opgepikt en later geciteerd.
Mag je ze tegenhouden?
Ja. Via robots.txt kun je bepalen welke AI-crawlers je toelaat en welke je weert. Sommige bedrijven kiezen ervoor om alles te blokkeren, uit angst voor misbruik van content. Maar voor de meeste bedrijven die gevonden willen worden in AI-antwoorden, is het juist verstandig deze crawlers toe te laten.
Wat is de strategische afweging?
Wil je zichtbaar zijn in AI-antwoorden, dan moeten AI-crawlers je content kunnen lezen. Blokkeer je ze, dan kies je voor onzichtbaarheid in dat kanaal. Het is een bewuste keuze die je per crawler kunt maken. Wij helpen je deze afweging te maken en correct in te stellen.
