Deze vertaling is nog niet redactioneel gecontroleerd. De Duitse versie is leidend. Deutsche Fassung →
Indexierung
Welke vallen in robots.txt schade indexeren?
De robots.txt vertelt zoekmachines welke gebieden ze niet moeten ophalen. Twee soorten inzendingen veroorzaken meer schade dan ze voorkomen. Eerst blokkeren voor stylesheets, scripts en asset mappen: Google rendert pagina's als een browser, en zonder die bestanden, het ziet een gedesintegreerde display, ten onrechte evalueert mobiele-vriendzaamheid, en faalt om opnieuw geladen inhoud te vinden. Ten tweede, richtlijnen die geen crawler begrijpt Het indexeren testgebied leest robots.txt en rapporteert beide.
Wat is een val
Rendering vallen omvatten sloten waarvan het pad eindigt op stijlbestanden of scripts, evenals sloten van typische activa mappen: wp-content en wp-includes op WordPress, activa, statische, css, js, afbeeldingen, media, fileadmin en typo3conf op andere systemen. Een slot in het interne gebied, zoeken of winkelwagen is geen val en wordt niet vermeld. Noindex, Nofollow en Crawl-delay worden beschouwd als inefficiënte richtlijnen: Google heeft de officieuze ondersteuning voor Noindex in robots.txt 2019 stopgezet; Als je een pagina van de index wilt houden, heb je een meta-tag of een header nodig op de pagina zelf. Het resultaat geeft de getroffen lijnen aan. Het verandert de puntwaarde niet omdat de set regels idx-v1 ongewijzigd blijft; het staat in het verslag en in de takenlijst.
Waarom de barrières zijn meestal uit de oudheid
Voor 2015 werd het beschouwd als een goede stijl om alles behalve de inhoud op te slaan kruip budget. Aangezien Google pagina's volledig maakt, is het tegenovergestelde waar: alles wat bij de presentatie hoort moet opgehaald kunnen worden. Veel robots.txt bestanden dragen nog steeds de oude items omdat ze werden gekopieerd van sjablonen en nooit werden geverifieerd. De correctie is het verwijderen van de rijen; die echt individuele mappen moet beschermen doet dat via toegangsrechten, niet via de robots.txt. Voor noindex intenties hoort het statement op de pagina: als een meta-tag in de header of als de servers X-Robots tag header.
- Verwijder sloten op mappen en bestanden die behoren tot het display: CSS, JS, afbeeldingen, asset mappen.
- Vervanging U noindex lijnen in de robots.txt via een meta tag robots met geen index op de relevante pagina's.
- Gebruik de Google Search Console URL verificatie tool om te controleren of de weergegeven weergave is voltooid.
- Houd de robots.txt kort: sitemap referentie, echte uitsluitingen, niets anders.
