Questa traduzione non è ancora stata rivista dalla redazione. Fa fede la versione tedesca. Deutsche Fassung →
Indexierung
Quali trappole in robots.txt danno indicizzazione?
Il robots.txt dice ai motori di ricerca quali aree non devono recuperare. Due tipi di voci causano più danni di quanto prevedano. In primo luogo, blocco per fogli di stile, script e cartelle di asset: Google rende pagine come un browser, e senza tali file, vede un display disintegrato, valuta in modo errato la semplicità mobile, e non riesce a trovare il contenuto ricaricato. In secondo luogo, le direttive che nessun crawler comprende — Noindex, nofollow o crawl-delay in robots.txt — che sono stati inefficaci per anni e fingono una sicurezza che non esiste. L'area di test di indicizzazione legge robots.txt e segnala entrambi.
Che cosa è una trappola
Trappole di rendering includono serrature il cui percorso termina su file di stile o script, così come serrature di cartelle di asset tipici: wp-content e wp-include su WordPress, beni, statico, css, js, immagini, media, fileadmin e typo3conf su altri sistemi. Una serratura nella zona interna, la ricerca o il carrello non è una trappola e non è menzionato. Noindex, Nofollow e Crawl-delay sono considerate direttive inefficaci: Google ha interrotto il supporto non ufficiale per Noindex in robots.txt 2019; Se si desidera mantenere una pagina dall'indice, è necessario un meta tag o un intestazione sulla pagina stessa. Il risultato indica le linee interessate. Non cambia il valore del punto perché l'insieme delle regole idx-v1 rimane invariato; appare nella relazione e nella lista delle attività.
Perché le barriere sono per lo più antiche
Prima del 2015, è stato considerato un buon stile per bloccare tutto tranne il contenuto per salvare il budget crawl. Dal momento che Google rende completamente le pagine, l'opposto è vero: tutto ciò che appartiene alla presentazione deve essere recuperabile. Molti file robots.txt portano ancora le vecchie voci perché sono stati copiati da modelli e non sono mai stati verificati. La correzione è la rimozione delle righe; chi ha veramente bisogno di proteggere le singole directory lo fa tramite i diritti di accesso, non tramite robots.txt. Per le intenzioni di noindex, l'affermazione appartiene alla pagina: come meta tag nell'intestazione o come intestazione del tag server X-Robots.
- Rimuovere le serrature su cartelle e file che appartengono al display: CSS, JS, immagini, cartelle di asset.
- Sostituzione Le linee noindex nel robots.txt attraverso un robot meta tag con noindex nelle pagine pertinenti.
- Utilizzare lo strumento di verifica URL di Google Search Console per verificare se la vista resa è completa.
- Tenere i robots.txt breve: riferimento sitemap, esclusioni reali, nient'altro.
