Robots.txt is een tekstbestand dat zoekmachines vertelt welke pagina’s of secties van je website ze wel of niet mogen crawlen. Het bestand staat in de hoofdmap van je website en wordt gebruikt om te controleren welke delen van de site zichtbaar zijn voor zoekmachines en welke niet. Het is een essentieel hulpmiddel voor technische SEO en sitebeheer.

Het gebruik van een Robots.txt-bestand is belangrijk voor het beheren van het crawlbudget van zoekmachines. Door onnodige of gevoelige pagina’s te blokkeren, kunnen zoekmachines zich concentreren op de belangrijkste content van je website. Dit helpt bij het optimaliseren van de indexering en voorkomt dat dubbele of irrelevante pagina’s in de zoekresultaten verschijnen. Daarnaast draagt het bij aan de beveiliging door bepaalde directories of bestanden niet toegankelijk te maken voor crawlers.

In Robots.txt kun je specifieke regels instellen, zoals Disallow om een pagina of map te blokkeren, en Allow om uitzonderingen toe te voegen. Het bestand kan ook verwijzingen bevatten naar sitemaps, zodat zoekmachines gemakkelijker de belangrijkste pagina’s vinden. Het correct schrijven van de syntax is cruciaal: een kleine fout kan ertoe leiden dat zoekmachines per ongeluk belangrijke pagina’s niet crawlen.

Een veelgemaakte fout is het per ongeluk blokkeren van belangrijke pagina’s, waardoor deze niet worden geïndexeerd en verloren gaan in de zoekresultaten. Ook komt het voor dat het bestand syntactisch incorrect is of dat regels conflicteren, waardoor zoekmachines de instructies negeren. Een andere fout is het gebruiken van Robots.txt om gevoelige informatie te verbergen; dit beschermt de content namelijk niet tegen directe toegang via URL. Daarnaast vergeten veel websites regelmatig te controleren of hun Robots.txt up-to-date is na wijzigingen in de website-structuur.