llms.txt: de volgende stap na robots.txt
Jarenlang was robots.txt een van de eerste bestanden die je op een website controleerde. Het gaf zoekmachines duidelijke instructies over welke pagina's ze wel of niet mochten crawlen.
Vandaag verschuift de uitdaging. Niet alleen zoekmachines lezen je website, maar ook AI-modellen zoals ChatGPT, Claude en Gemini. Die willen niet alleen weten waar je content staat, maar vooral wat belangrijk is.
Daar komt llms.txt om de hoek kijken.