Niet gevonden worden in Google: zo doe je dat
3.6 (71.43%) 7 votes

Soms wil je dat webpagina’s niet gevonden worden in Google. Denk aan disclaimers, privacybeleid of bedankpagina’s, of als je website nog in de steigers staat. Hoe zorg je ervoor dat die niet gevonden worden in Google?

Van welke pagina’s wil je dat ze niet gevonden worden in Google?

Ik kan meerdere voorbeelden bedenken:

  • Je hele nieuwe website, als deze nog niet af is
  • Bedankpagina’s
  • Pagina’s waar een betaald product is te downloaden (want anders kunnen websitebezoekers het gratis krijgen)
  • Een e-book waarvoor betaald moet worden (pdf, epub)
  • Een disclaimer
  • Je privacybeleid
  • Sterk op elkaar lijkende pagina’s (gevaar van duplicate content)
  • Beperkte auteurspagina’s
  • Pagina’s met een tag
  • Enzovoorts

Hoe kun je een pagina afschermen voor Google?

Eerst twee belangrijke Google-begrippen die je moet weten:

  • Indexeren: Google bezoekt je website en onthoudt de url’s, niet de inhoud
  • Crawlen: Google bezoekt je website en telt alle pagina’s mee voor de ranking

Er zijn 3 manieren om ervoor te zorgen dat een pagina niet gevonden wordt door Google. Je kunt (delen van) je website afschermen door de indexering te beperken of door het crawlen te beïnvloeden.

Dit kan met:

1. Via de ‘noindex/nofollow’ tags
2. Via de file robots.txt
3. Via de WordPress admin
4. Pagina’s publiekelijk uitsluiten

Ik ga ze stuk voor stuk langs.

De noindex en nofollow meta tag

De tag noindex zegt precies wat het doet: niet indexeren. De nofollow tag doet ook precies wat het zegt: een linkje wordt niet gevolgd. De invloed ervan is groot: als een spider van een zoekmachine langs komt, slaat hij de pagina over. Staat de metatag op de verkeerde plaats, dan heb je kans dat een zoekmachine je helemaal buitensluit. Je website is dan volledig onvindbaar.

De nofollow tag heeft nog ander nut: het reduceert spam op je website en het beschermt je ranking (bijvoorbeeld als je eigen embeddable content op websites verschijnt met een lagere reputatie).

Hoe plaats je noindex en nofollow?

Dat willen we meestal niet. Je moet dus een stukje code op de juiste plaats zetten. In jargon: Je moet de noindex tag daarom plaatsen in de head van een HTML-pagina. De wat?
Eerst de makkelijke uitleg. Met de plugin WordPress SEO van Yoast kan je deze tag eenvoudig plaatsen. Dat gaat, op de pagina of bij het bericht, via het tabblad Geavanceerd.

Je ziet daar meta robot index en meta robots follow staan. Inderdaad, beide tags.

Bij meta robot index kun je kiezen voor index of noindex.
Bij meta robots follow kun je kiezen voor follow of nofollow.

index = deze pagina indexeren
noindex = deze pagina niet indexeren
follow = de links die op deze pagina staan volgen
nofollow = de links die op deze pagina staan niet volgen.

Dit zijn dan alle combinaties:

  • index, follow: deze pagina indexeren en de links volgen
  • index, nofollow: deze pagina indexeren, maar de links niet volgen
  • noindex, follow: deze pagina niet indexeren, maar wel de linkjes volgen
  • noindex,nofollow: deze pagina niet indexeren en ook niet de linkjes volgen.

Vind je dit allemaal net iets te ingewikkeld, dan kun je ook de plugin Rel Nofollow Checkbox gebruiken. Je krijgt dan een extra functie als je een linkje op een pagina in WordPress maakt. Weliswaar is deze plugin al een tijdje niet bijgewerkt, is het nog steeds de beste plugin om heel makkelijk nofollow links toe te voegen. Je hoeft alleen een vinkje te plaatsen. Kijk maar:

Heb je geen van deze plugins (of weet je niet hoe je die moet installeren), dan kan je nog altijd de codes handmatig op je website plaatsen. In sommige gevallen ondersteunt het WordPress thema dat op een speciale plek.

Dit zijn de codes die je nodig hebt:

Als je dit goed toepast op een bestaande website of webpagina, wordt de pagina pas uit index van Google verwijderd als de Google spider weer langs komt.

Overigens index, follow zul je niet gebruiken. Als er geen code is te vinden, crawlt Google automatisch je website.

Voor de positie van een pagina in Google (SEO) wordt bij een noindex tag wel waarde toegekend aan inkomende en uitgaande links. Die bepalen voor een deel je pagerank, en dus beïnvloedt dat de ranking van je webpagina.

Gebruik van de robots.txt file

De robots.txt file is een bestand dat je in de root van je website plaatst. Daarvoor heb je toegang nodig tot de mappenstructuur van je website. Dat kan via FTP. Een robots.txt is een simpel tekstbestand dat je met Kladblok maakt. De inhoud van robots.txt ziet er bijvoorbeeld zo uit:

User-agent: *
Disallow: /deze-map=mag-je-niet-zien /
Disallow: /dit-bestand-mag-niet-worden-gevonden.pdf
Allow: /deze-map-afschermen/maar-dit-bestand-mag-je-wel-zien.pdf

User-agent staat in dit voorbeeld voor zoekmachines zoals Google of Bing.
Disallow staat voor: niet indexeren
Allow staat voor: wel indexeren

In de robots.txt file geef je dus aan wat zoekmachines wel en niet mogen bekijken (en crawlen). Bijvoorbeeld bepaalde mappen, bestanden of afbeeldingen. Als je deze toevoegt aan robots.txt wordt deze niet geindexeerd en dus ook niet gevonden in Google.

Nadeel is dat het niet waterdicht is. Pagina’s kunnen toch in de zoekresultaten teruggevonden worden als andere websites naar de pagina linken met een follow-tag. Als dat zo is, dat slaat de spider je robots.txt over. Maar soms ook weer niet: dat is afhankelijk van de instellingen van de spider.

Je kunt een robots.txt tester tool van Google gebruiken om te zien wat er met je website gebeurt.

Via de WordPress admin

De volgende mogelijkheid is gelijk de meest rigoureuze. Via je WordPress instellingen kun je je hele website uitsluiten van de spiders van zoekmachines. Via Instellingen > Lezen kun je zoekmachines blokkeren om je website te indexeren.

Dat kan handig zijn als je website in de maak is. Vergeet dan niet het vinkje uit te zetten zodra je website live staat.

 

Pagina’s publiekelijk uitsluiten

Het niet-indexeren van een pagina is niet altijd de beste oplossing. Als je een pagina voor de hele wereld wilt verbergen, kan het soms praktischer zijn om de toegang te beperken voor een beperkt publiek. Je kunt de pagina pas zien als je inlogt.

Daarvoor heb je in WordPress meerdere plugins ter beschikking, zoals MemberPress  en Restrict Content Pro.

Hoe haal je pagina’s weg uit Google?

Tot slot.

Bovenstaande tips helpen je om pagina’s niet te laten crawlen of indexeren door Google. Maar hoe haal je pagina’s weg uit Google die al zijn gesignaleerd?

Het meest eenvoudige is de removal tool van Google Search Console.  Kies voor de optie URL’s verwijderen en het kind doet de was.

Heb je hulp nodig om je pagina’s af te schermen, neem dan gerust contact op met ons.

 

 

Delen in je netwerk: Share on FacebookTweet about this on TwitterShare on LinkedInShare on Google+Pin on PinterestBuffer this pageEmail this to someone