Robots.txt: wat is het en hoe stel je het in?

Een robots.txt is een klein tekstbestand in de hoofdmap van je website. Het vertelt zoekmachines zoals Google welke delen van je site ze wel en niet mogen bezoeken. Je vindt het altijd op jouwdomein.nl/robots.txt. Voor de meeste websites is de standaardversie prima en hoef je er niets aan te doen. Hieronder lees je hoe het werkt, wanneer je het aanpast en hoe dat gaat in WordPress en Framer.

Wat doet robots txt precies?

Zoekmachines sturen crawlers langs je site: programma’s die pagina’s ophalen en lezen. Voordat ze beginnen, kijken ze in je robots.txt. Staat daar dat een map niet bezocht mag worden, dan slaan nette crawlers die over.

Belangrijk om te weten: robots.txt is geen manier om een pagina uit Google te houden. Google zegt dat zelf in de eigen documentatie. Linken andere sites naar een geblokkeerde pagina, dan kan het adres toch in de zoekresultaten verschijnen, alleen zonder beschrijving. Wil je een pagina echt uit Google houden, gebruik dan een noindex-tag of zet de pagina achter een wachtwoord. Lees meer over hoe Google pagina’s opneemt in je website laten indexeren door Google.

Zo lees je een robots.txt

Een gangbare robots.txt voor een WordPress-site ziet er zo uit:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.jouwdomein.nl/sitemap_index.xml

• User-agent zegt voor welke crawler de regels gelden. Het sterretje betekent: alle crawlers.

• Disallow blokkeert een pad. Hier is dat de beheeromgeving van WordPress.

• Allow maakt een uitzondering op een Disallow.

• Sitemap wijst crawlers naar de lijst met al je pagina’s. Dat adres moet volledig zijn, dus met https.

Let op hoofdletters: /Blog/ en /blog/ zijn voor een crawler twee verschillende paden.

De fout die je wilt voorkomen

Deze twee regels blokkeren je hele website voor alle zoekmachines:

User-agent: *

Disallow: /

Het risico zit vooral bij de lancering van een nieuwe site: instellingen van de testomgeving komen dan makkelijk mee naar de live site. Check daarom na elke livegang je robots.txt. Kijk in WordPress ook bij Instellingen, Lezen of het vinkje bij Zichtbaarheid voor zoekmachines uit staat. Staat dat aan, dan vraagt WordPress zoekmachines om je site niet te indexeren.

Robots.txt aanpassen in WordPress

WordPress maakt zelf een virtuele robots.txt aan. Je ziet hem dus niet als bestand op je server, maar hij werkt wel. Aanpassen doe je het makkelijkst met je SEO-plugin.

Met Yoast SEO

1. Ga naar Yoast SEO, Tools, File editor.

2. Klik op Create robots.txt file als er nog geen bestand is.

3. Pas de regels aan en sla op.

Zie je de file editor niet? Dan staat het bewerken van bestanden op je site uit, vaak door je hoster of een beveiligingsplugin.

Met Rank Math

1. Zet Rank Math in de Advanced Mode via het dashboard van Rank Math.

2. Ga naar Rank Math SEO, General Settings, Edit robots.txt.

3. Pas de regels aan en sla op.

Staat er al een echt robots.txt-bestand op je server, dan negeert de site wat je in Rank Math invult. Dat bestand moet dan eerst weg.

Robots.txt in Framer

Framer maakt voor elke gepubliceerde site automatisch een robots.txt. Je bekijkt hem via je domein met /robots.txt erachter. Wil je een eigen versie, dan upload je een bestand via Static Files: open het projectdashboard, kies je domein, ga naar het tabblad Files en upload het bestand met als pad /. Volgens de help van Framer kan dat alleen op het Pro- en Enterprise-abonnement.

Wil je in Framer één pagina uit Google houden, dan heb je geen robots.txt nodig. Zet in de Page Settings de optie Search engines uit en publiceer opnieuw. Framer zet dan een noindex-tag op die pagina.

Testen of het werkt

1. Open jouwdomein.nl/robots.txt in een privévenster. Zie je je regels, dan is het bestand openbaar.

2. Bekijk in Google Search Console het robots.txt-rapport. Daar zie je welke versie Google heeft opgehaald en of er fouten in staan.

3. Controleer met de URL-inspectie in Search Console of je belangrijkste pagina’s niet per ongeluk geblokkeerd zijn.

Ga je pagina’s verplaatsen of verwijderen, blokkeer de oude adressen dan niet in robots.txt. Stuur ze door met een 301 redirect, zodat bezoekers en Google op de juiste plek uitkomen. En vergeet de afbeeldingen niet: met een goede alt tekst snapt Google ook wat er op je foto’s staat.

Wil je meer van dit soort technische basis zelf oppakken? Op SEO zelf doen staat wat je zonder hulp kunt regelen.

Liever laten regelen?

Twijfel je of je robots.txt goed staat, of wil je dat iemand de technische kant van je site in één keer nakijkt? Dat nemen we graag van je over. Bekijk wat SEO uitbesteden bij Rocketstyle inhoudt.