Crawler Check.
Controleer of AI-crawlers je homepage mogen lezen, en of je een sitemap en llms.txt publiceert.
Zie wie je site mag lezen.
Dit is het technische deel van zoek- en AI-zichtbaarheid. Voor het hele plaatje bestel je de SEO + GEO Audit.
Veelgestelde vragen.
01Wat is robots.txt?
Het is een openbaar bestand dat crawlers vertelt welke paden ze mogen ophalen. Geen bestand betekent dat ze standaard mogen. Een regel voor één bot verandert de regels voor de anderen niet.
02Moet ik AI-crawlers blokkeren?
GPTBot of Google-Extended blokkeren houdt je pagina's buiten die trainings- en antwoordproducten. Ze toelaten maakt citeren mogelijk. Beide keuzes zijn geldig. Deze tool laat alleen zien welke je hebt gemaakt.
03Wat is llms.txt?
Het is een optioneel tekstbestand op /llms.txt dat modellen wijst naar de pagina's die je wilt laten gebruiken. Een sitemap blijft belangrijker voor gewone zoekmachines.