Dit is een tekstbestand binnen je domein dat zorgt dat zoekmachines weten welke inhoud van de website ze wel en niet hoeven te indexeren. Deze is te bereiken door /robots.txt achter het domein te zetten (www.voorbeeld.nl/robots.txt).
Hoe ziet een robots.txt eruit?
Een voorbeeld ziet er als volgt uit:
Hoe controleer ik dit?
Om te controleren of je een robots.txt hebt ga je naar je website en je typt achter de URL /robots.txt. Vervolgens verschijnt jouw robots.txt, verschijnt er niets dan heb je dit nog niet toegepast.
Met ‘Allow: /’ geef je aan dat zoekmachines alle pagina’s van je domein na de slash mogen indexeren. Met ‘Disallow’ kun je aan zoekmachines aangeven welke pagina’s zij niet hoeven te indexeren zodat er meer crawlbudget vrijkomt voor content pagina’s die bedoelt zijn om hoger te scoren in Google en dus belangrijk zijn om te crawlen. Voorbeelden van pagina’s die je kunt disallowen zijn bijvoorbeeld de inlog- of checkout-pagina.
Vervolgens kun je de Google-bot nog extra instructies geven om de CSS- en Javascript-files te indexeren. Uiteindelijk is het goed aan te geven waar de sitemap.xml te vinden is.
Waarom is dit belangrijk voor je SEO?
Door een correcte invulling van de robots.txt kunnen zoekmachines de website dus efficiënter crawlen en kun je voorrang geven aan het crawlen van je content pagina’s waardoor deze beter kunnen gaan ranken. Hierin neem je ook altijd een link naar de XML-sitemap op. Zo kunnen de zoekmachines de website nog effectiever indexeren.