Google stopt met ondersteuning noindex in robots.txt

Wat is noindex?

Noindex is een attribuut dat wordt gebruikt om web crawlers aan te geven dat ze een specifieke pagina niet mogen indexeren. Omdat dit eigenlijk geen officiële richtlijn is, maar crawlers dit vaak wel respecteerden, heeft Google besloten de ondersteuning voor dit attribuut te stoppen. Tot 1 september 2019 hebben websitebeheerders de tijd om noindex uit het robots.txt-bestand te verwijderen en te vervangen voor een alternatief.

Waarom verandert Google nu?

Doordat de noindex richtlijnen nooit door Google zijn gedocumenteerd, is het gebruik ervan door de Googlebot laag. Daarnaast blijkt dat het gebruik van de richtlijnen in nagenoeg alle robots.txt-bestanden online worden tegengesproken door andere regels. Deze fouten hebben uiteindelijk een negatieve invloed op de zichtbaarheid van websites in zoekresultaten en dat kan volgens Google niet de bedoeling zijn.

De alternatieven

Gelukkig hoeft u niet helemaal zelf op zoek te gaan naar een alternatief. Google komt namelijk zelf met een aantal alternatieven:

Voeg noindex toe in meta tags: In zowel de HTML als de HTTP-reactieheaders van een specifieke pagina kan een meta-tag met noindex regel worden opgenomen.

404- en 410 statuscodes: Deze codes geven aan dat een pagina niet meer bestaat. Hierdoor wordt een URL uit de index gehaald wanneer ze zijn gecrawld.

Eis een wachtwoord: Maak content alleen beschikbaar voor bezoekers die een wachtwoord invullen. Op deze manier worden deze webpagina’s niet geïndexeerd.

Disallow in robots.txt: Zoekmachines indexeren alleen pagina’s waarvan zij op de hoogte zijn. Het Disallow-attribuut blokkeert pagina’s voor web crawlers, waardoor de inhoud niet wordt geïndexeerd.

Verwijder URL’s in Search Console: Maak gebruik van de tool ‘URL’s verwijderen’ in Google Search Console om pagina’s op de website te blokkeren voor weergave in de zoekresultaten. Let wel op, dit is een tijdelijke oplossing.

Online marketing met behulp van yndenz

Heeft u niet voldoende tijd om genoeg aandacht aan de online marketing van uw website of webshop te besteden? Of kunt u de expertise van een online marketingbureau goed gebruiken? Weet dan dat full-service online marketingbureau yndenz graag de online marketing voor u uit handen neemt. Neem gerust contact met ons op voor meer informatie of een vrijblijvend kennismakingsgesprek. Contact opnemen kan via het online contactformulier of telefonisch via +31 (0)10 - 73 70 738.

Volg yndenz op LinkedIn of Facebook

Bent u geïnteresseerd in online marketing nieuws en wilt u hier graag van op de hoogte blijven? Dan kunt u yndenz volgen op Facebook of LinkedIn voor de laatste nieuwtjes, trends en tips op het gebied van online marketing.