Deze vertaling is nog niet redactioneel gecontroleerd. De Duitse versie is leidend. Deutsche Fassung
Indexering
Welke vallen in robots.txt schade indexeren?
De robots.txt vertelt zoekmachines welke gebieden ze niet moeten ophalen. Twee soorten inzendingen veroorzaken meer schade dan ze voorkomen. Eerst blokkeren voor stylesheets, scripts en asset mappen: Google rendert pagina's als een browser, en zonder die bestanden, het ziet een gedesintegreerde display, ten onrechte evalueert mobiele-vriendzaamheid, en faalt om opnieuw geladen inhoud te vinden. Ten tweede, richtlijnen die Google niet leest: Noindex, Nofollow of kruip-vertraging in de robots.txt; Google heeft ondersteuning voor dit op de 1e. September 2019 eindigde, en de lijnen doen alsof er geen beveiliging bestaat. Het indexeren testgebied leest robots.txt en rapporteert beide.
De standaard sets Toestaan en niet toestaan, meer lijnen elke crawler leest volgens zijn eigen regel
RFC 9309, de internetstandaard voor robots.txt uit september 2022, definieert de regels Gebruiker-agent, Toestaan en Uitstaan: voor welke crawler geldt een regel, wat het mag ophalen en wat niet. Een crawler kan meer tekst lezen, dat hoeft niet. Daarom werkt dezelfde lijn niet voor de ene dienst en voor de andere. Google-lijsten als ondersteunde velden Gebruikers-agent, Toestaan, Disallow en Sitemap en schrijft dat andere velden zoals crawl-delay niet worden ondersteund; Ongeldige regels worden doorgegeven. Crawl-vertraging is bedoeld om de roep van een crawler te vertragen. Bing beschreven in 2012 dat zijn crawler aandacht besteedt aan deze lijn, en adviseert tegen hoge waarden, want dan haalt hij minder pagina's. Een regel van noindex komt niet voor in de standaard of in de Google-lijst.
Een geblokkeerde pagina kan in het zoekresultaat zitten, alleen zonder beschrijving
Een slot in de robots.txt verbiedt ophalen, niet weergeven. Google schrijft: Een geblokkeerde pagina kan nog steeds de index invoeren als andere websites ernaar verwijzen; in het zoekresultaat is het adres, maar geen beschrijving. De Search Console bevat voorbeelden als "Indexed, hoewel geblokkeerd door robots.txt file." Dit creëert een val van twee delen: Wie de ene kant sluit en tegelijkertijd een noindex geeft, bereikt het tegenovergestelde van het beoogde. Google leest de noindex alleen wanneer de pagina wordt opgehaald, en het ophalen verbiedt het blok. Voor vergrendelde scriptbestanden, volgens Google: het voert ze niet uit, en wat ze herladen bereikt Google niet.
Zonder de sloten mag Google dezelfde bestanden als de browser van uw bezoekers laden
Google is op 27. oktober 2014 in haar technische richtsnoeren: Degenen die verbieden het ophalen van script en stijlbestanden onmiddellijk verslechteren hoe goed Google toont en registreert de inhoud, en dit kan leiden tot slechtere rankings. Vandaag de dag de introductie van robots.txt zegt het zo: Bestanden zonder welke de crawler begrijpt de pagina harder moet niet worden geblokkeerd. Als de regels worden verwijderd, kan Google dezelfde bestanden als een browser op de volgende ophalen. Het resultaat kan worden bekeken: De URL-controle van de Search Console toont na "Test live URL" onder "Toon geteste pagina" een schermfoto van de pagina zoals Google toont.
Elke regel is openbaar leesbaar
De robots.txt kan door iedereen in de browser worden geopend. RFC 9309 stelt in zijn veiligheidsinstructies: Wie paden in de robots opsomt. txt maakt ze openbaar en dus vindbaar, en het bestand vervangt geen effectieve beschermingsmaatregelen. Dus een regel als Disallow: /internal/of Disallow: /backup/ is precies de map die niemand moet vinden. Crawlers die zich aan de regels houden noemen ze niet; Iedereen kan het adres typen. Google geeft twee manieren voor pagina's die niet worden doorzocht: een noindex op de pagina of een wachtwoord. Wat vertrouwelijk is, hoort achter een registratie.
Een algemeen verbod geldt ook voor de zoektochtscrawlers van de AI diensten
De kruipers van AI providers lezen hetzelfde bestand, en dit voegt twee vallen. De eerste: A Disallow: / onder User-agent: *, ongeveer een rest van de testoperatie, is ook van toepassing op de zoekscrawlers van de AI diensten. OpenAI schrijft dat een website die OAI SearchBot uitsluit niet wordt getoond in ChatGPT Antropisch schrijft dat de kruipers aandacht besteden aan de robots.txt. De tweede: een kruiper volgt alleen de groep die het meest nauwkeurig overeenkomt met zijn naam; Zo beschrijft Google het voor zijn crawlers en Bing for Bingbot. Iedereen die zijn eigen groep voor een AI crawler creëert moet daarom alle regels herhalen die voor hem van toepassing moeten zijn, omdat de algemene groep onder de ster dan voor hem wordt geëlimineerd. Google-Extended heeft alleen invloed op Google.
Wat is een val
Rendering vallen omvatten sloten waarvan het pad eindigt op stijlbestanden of scripts, evenals sloten van typische activa mappen: wp-content en wp-includes op WordPress, activa, statische, css, js, afbeeldingen, media, fileadmin en typo3conf op andere systemen. Een slot in het interne gebied, zoeken of winkelwagen is geen val en wordt niet vermeld. Regels die Google niet leest zijn Noindex, Nofollow en Crawl-vertraging. Crawl-vertraging merkt Bing, waar de lijn de oproepen remt. Google heeft de officieuze ondersteuning voor Noindex in robots.txt 2019 stopgezet; Als je een pagina van de index wilt houden, heb je een meta-tag of een header nodig op de pagina zelf. Het resultaat geeft de getroffen lijnen aan. Het verandert de puntwaarde niet omdat de set regels idx-v1 ongewijzigd blijft; het staat in het verslag en in de takenlijst.
Waarom de barrières zijn meestal uit de oudheid
Voor 2015 werd het beschouwd als een goede stijl om alles behalve de inhoud op te slaan kruip budget. Aangezien Google pagina's volledig maakt, is het tegenovergestelde waar: alles wat bij de presentatie hoort moet opgehaald kunnen worden. Veel robots.txt bestanden bevatten nog steeds de oude items omdat ze werden gekopieerd van sjablonen en nooit werden geverifieerd. De correctie is het verwijderen van de rijen; die echt individuele mappen moet beschermen doet dat via toegangsrechten, niet via de robots.txt. Voor noindex intenties hoort het statement op de pagina: als een meta-tag in de header of als de servers X-Robots tag header.
- Verwijder sloten op mappen en bestanden die behoren tot het display: CSS, JS, afbeeldingen, asset mappen.
- Vervanging U noindex lijnen in de robots.txt via een meta tag robots met geen index op de relevante pagina's.
- Gebruik de Google Search Console URL verificatie tool om te controleren of de weergegeven weergave is voltooid.
- Houd de robots.txt kort: sitemap referentie, echte uitsluitingen, niets anders.
- Hoofdletter en kleine letters tellen in het pad: Niet toestaan: /Intern/ blokkeert niet /intern/. Controleer elk slot tegen de spelling in de adresbalk.
- Een slot zonder schuine streep aan het einde bereikt verder dan het lijkt: Disallow: /image sluit ook /image/ en /formation.html. Met slash, d.w.z. Disallow: /picture/, raakt ze alleen de map.
- Als uw robots.txt zijn eigen groepen voor individuele crawlers heeft, lees dan elke groep alsof de anderen niet bestaan. Als een blok onder de ster ontbreekt in een groep, is het niet van toepassing op deze kruiper.
- Met modulaire systemen zoals Wix kunnen de robots.txt vaak niet direct verwerkt worden, aldus Google. Doorzoek vervolgens de instellingen van het systeem voor zichtbaarheid naar zoekmachines.
- Neem geen robots.txt van een sjabloon of van een andere website. Voor elke regel moet je agentschap kunnen zeggen waar het voor is.




