Een website bevat meerdere pagina’s, sommige relevanter dan de anderen. Het is belangrijk hier onderscheid in te maken, zodat Google niet de verkeerde pagina’s crawlt.

Robots.txt

Het is verstandig een aantal landingspagina’s te maken en deze te optimaliseren voor SEO. Door in jouw robots.txt te focussen op deze pagina’s word je nog beter gevonden. De robots.txt is een bestandje dat crawlers aangeeft welke delen van de website wel gecrawld mogen worden en welke niet. Op die manier geef je de crawlers instructies over hoe ze jouw website het meest effectief kunnen doorzoeken. Een robots.txt hebben en optimaliseren is erg belangrijk omdat Google hier waarde aan geeft. Dit tekstbestand binnen je domein dat zorgt dat zoekmachines weten welke inhoud van de website ze wel en niet hoeven te indexeren. Deze is te bereiken door /robots.txt achter het domein te zetten (www.voorbeeld.nl/robots.txt). Lees hier meer over robots.txt.

Welke pagina’s verdienen focus

Je wilt jouw crawler budget zo goed mogelijk besteden. Dus vertel de zoekmachines waar de informatie staat zie ze moeten crawlen. Pagina’s die je kunt uitsluiten zijn bijvoorbeeld waar men zich kan inschrijven voor de nieuwsbrief, contactformulieren, de contactpagina, over ons. De pagina’s die je wel wilt laten indexeren zijn deze die geoptimaliseerd zijn rondom de zoekwoorden waarop je gevonden wilt worden, ofwel de landingspagina’s.

Door de robots.txt goed in te stellen haal de meeste winst uit het crawlbudget dat je krijgt van de zoekmachines.