Een robots.txt bestand verteld aan zoekmachines, of "Crawlers" of een pagina wel of niet gecrawled mag worden.
Vul hieronder een URL van een website in en wij controleren of deze beschikbaar is voor zoekmachines.