Een robots.txt bestand is een set instructies voor robots. Dit bestand maakt deel uit van de bronbestanden van de meeste websites. Robots.txt bestanden zijn meestal ontworpen om de acties van goede robots, zoals crawlers, af te handelen, omdat slechte robots waarschijnlijk geen instructies zullen opvolgen.

Denk aan een robots.txt bestand als de "Code of Conduct" op een sportschool, bar, of buurthuis muur: Het bord zelf kan de regels niet afdwingen, maar de "goede" klanten houden zich aan de regels, terwijl de "slechte" ze waarschijnlijk zullen overtreden en worden geweerd.

Een bot is een geautomatiseerd computerprogramma dat communiceert met websites en applicaties. Er zijn goede en slechte robots en een type goede wordt een crawler genoemd. Deze crawlers "crawlen" websites en indexeren inhoud zodat deze verschijnt in de resultaten van zoekmachines. Het robots.txt bestand helpt de werking van deze crawlers te controleren zodat ze de webserver die de webpagina host niet herberekenen of pagina's indexeren die niet door het publiek worden bekeken.

Hoe werkt het robots.txt-bestand?

Een robots.txt-bestand is gewoon een tekstbestand zonder HTML-tag (vandaar de extensie .txt). Het robots.txt-bestand wordt net als elk ander bestand op de webpagina opgeslagen op de webserver. In feite wordt een robots.txt-bestand normaal gesproken weergegeven voor elke gegeven webpagina door de volledige URL van de homepage in te voeren en een /robots.txt-bestand toe te voegen, zoals https://www.domein360.nl/robots.txt. Het bestand is nergens op de site gekoppeld, dus gebruikers zullen het waarschijnlijk niet tegenkomen, maar de meeste crawlers crawlen eerst het bestand voordat ze andere delen van de site crawlen.

Het robots.txt bestand geeft instructies voor robots, maar kan dat nooit doen. Een goede robot, zoals een crawler of nieuwsfeed-robot, zal proberen een robots.txt-bestand te bezoeken voordat hij andere sites in het domein bekijkt en de instructies opvolgt. De kwaadaardige bot zal het robots.txt-bestand negeren of verwerken om verboden websites te vinden.

De crawler robot volgt de meest specifieke set van instructies in het robots.txt bestand. Als er tegenstrijdige commando's in het bestand staan, zal de robot een meer gedetailleerd commando volgen.

Het is belangrijk op te merken dat alle subdomeinen hun eigen robots.txt-bestand nodig hebben. www.domein360.nl heeft bijvoorbeeld een eigen bestand, maar alle subdomeinen van Domain360 hebben ook een eigen bestand nodig.

Controleren of uw robots.txt bestand naar behoren werkt

U kunt met de handige robots.txt checker tool van Domein360 controleren of uw robots.txt bestand goed is geconfigureerd.