Vai al contenuto
EUID Servizio di verifica & sigillo, Pagina iniziale
Far verificare il sito

Questa traduzione non è ancora stata rivista dalla redazione. Fa fede la versione tedesca. Deutsche Fassung

Indicizzazione

Che cosa appartiene a robots.txt e che cosa non fa?

Un robots.txt include alcune linee: per le quali si applicano le regole, quali aree crawler non devono recuperare e dove si trova la mappa del sito. Il sito web di una piccola azienda è dotato di quattro linee. Non inclusi sono blocchi su file di stile e script, istruzioni come Noindex, che Google non legge lì, e i percorsi che dovrebbero rimanere segreti, perché il file può aprire chiunque. Se il file manca completamente, Google presuppone che non ci siano restrizioni.

Le righe che Google legge

Google legge questi campi: User-agent dice per i quali si applicano le seguenti regole crawler; La stella sta per tutti. Disallow chiama un percorso che il crawler non deve recuperare. Consentire prende parte di esso di nuovo. Sitemap indica l'indirizzo completo della mappa del sito e si trova ovunque, indipendentemente dai gruppi. Altri campi Google non legge, linee invalide salta. Ciò che non colpisce una linea disallow può essere recuperato. I commenti iniziano con un rombo. Il file deve essere chiamato robots.txt, memorizzato come file di testo in UTF-8 e nella directory principale.

Come un Cratere si applica alle regole

Il file si applica solo all'host, al protocollo e alla porta in cui si trova: Il robots.txt di www.ihre-domain.at non regola nulla per shop.ihre-domain.at. Se diverse regole si applicano a un indirizzo, quello con il percorso più lungo si applica; se due sono la stessa lunghezza, il permesso si applica secondo la norma RFC 9309. I percorsi differiscono in caso superiore e inferiore e si applicano dall'inizio dell'indirizzo: Disallow: /search incontra anche /search-and-finde.html. Se un crawler ha un proprio gruppo, non legge più il gruppo generale sotto la stella su Google. Google legge al massimo 500 KiB del file e di solito lo mantiene nella memorizzazione della cache fino a 24 ore.

Ciò che è significativamente bloccato

Google cita come lo scopo del file principalmente per salvare il server da troppi recuperi. Pertanto, i blocchi sono utili per le aree che generano molti indirizzi senza il loro contenuto per la ricerca: le pagine dei risultati della ricerca interna, il carrello, il checkout. Per un sito web con poche dozzine di pagine, spesso non è necessario alcun blocco. Poi il file consiste del gruppo per tutti i crawler e la linea sitemap.

Che cosa non appartiene in esso

Blocca cartelle con i file di stile e script: Google ha bisogno di questi file per visualizzare la pagina. Linee come Noindex o Crawl-delay: Google non li legge, e un noindex appartiene alla pagina stessa. Percorsi verso aree riservate: RFC 9309 afferma che i percorsi elencati sono pubblici e quindi reperibili e che le regole non sono di controllo di accesso. E bloccare pagine che dovrebbero sparire dalla ricerca: Google può ancora registrare un indirizzo bloccato se altri siti web si collegano ad esso.

Esempi

robots.txt di un sito web aziendale

Non ci siamo conosciuti
User-agent: *
Disallow: /wp-content/
Disallow: /intern-preisliste/
Noindex: /danke/
Crawl-delay: 10
Completo
User-agent: *
Disallow: /suche/
Disallow: /warenkorb/

Sitemap: https://www.ihre-domain.at/sitemap.xml

La prima versione blocca la cartella di file di stile e script, nomina pubblicamente un percorso confidenziale e contiene due linee che Google non legge. Il secondo blocca due aree senza il proprio contenuto per la ricerca e chiama la sitemap.

  • Vai al suo-domain.at/robots.txt e passare attraverso la linea di file: Per ogni blocco, qualcuno dovrebbe essere in grado di dire per cosa è.
  • Dopo ogni cambiamento, ha controllato se homepage, file di stile e script possono essere recuperati ulteriormente.

Altro su questo argomento

Deutsche Fassung dieser Seite

  • Sigillo Digitale Barrierefreiheit
  • Sigillo Daten & Recht
  • Sigillo Technische Qualität
  • Sigillo Digital Excellence
  • Sigillo Cyberversicherung

Verificato. Per un futuro digitale migliore.euid.com