Questa traduzione non è ancora stata rivista dalla redazione. Fa fede la versione tedesca. Deutsche Fassung
Indicizzazione
Quali trappole in robots.txt danno indicizzazione?
Il robots.txt dice ai motori di ricerca quali aree non devono recuperare. Due tipi di voci causano più danni di quanto prevedano. In primo luogo, blocco per fogli di stile, script e cartelle di asset: Google rende pagine come un browser, e senza tali file, vede un display disintegrato, valuta in modo errato la semplicità mobile, e non riesce a trovare il contenuto ricaricato. In secondo luogo, le direttive che Google non legge: Noindex, Nofollow o crawl-delay nel robots.txt; Google ha il supporto per questo sul primo. Settembre 2019 terminato, e le linee fingono una sicurezza che non esiste. L'area di test di indicizzazione legge robots.txt e segnala entrambi.
I set standard Consentire e Disallow, più linee ogni crawler legge secondo la propria regola
RFC 9309, lo standard Internet per robots.txt dal settembre 2022, definisce le linee User-agent, Allow and Disallow: per cui si applica una regola crawler, che cosa è permesso recuperare e che cosa no. Un crawler può leggere più righe, non deve. Pertanto, la stessa linea non funziona per un servizio e per l'altro. Google elenca come campi supportati User-agent, Consentire, Disallow e Sitemap e scrive che altri campi come crawl-delay non sono supportati; linee Invalid sono passate. Crawl-delay è destinato a rallentare le chiamate di un crawler. Bing ha descritto nel 2012 che il suo crawler presta attenzione a questa linea, e consiglia contro alti valori, perché poi recupera meno pagine. Una linea di noindex non appare nello standard o nell'elenco di Google.
Una pagina bloccata può essere nel risultato di ricerca, solo senza una descrizione
Una serratura nel robots.txt vieta il recupero, non la visualizzazione. Google scrive: Una pagina bloccata può ancora inserire l'indice se altri siti web collegano ad esso; nel risultato di ricerca è l'indirizzo, ma nessuna descrizione. La console di ricerca elenca casi come "Indexed, anche se bloccato da file robots.txt". Questo crea una trappola di due parti: Chi chiude un lato e allo stesso tempo gli dà un noindex, raggiunge l'opposto del previsto. Google legge il noindex solo quando la pagina viene recuperata, e il recupero vieta il blocco. Per i file di script bloccati, secondo Google: non li esegue, e ciò che ricaricano non raggiunge Google.
Senza le serrature, Google è consentito caricare gli stessi file del browser dei visitatori
Google è il 27. Ottobre 2014 nelle sue linee guida tecniche: Coloro che proibiscono il recupero di script e file di stile deteriorano immediatamente quanto Google visualizza e registra il contenuto, e questo può portare a classifica peggiori. L'introduzione di oggi a robots.txt lo mette in questo modo: i file senza i quali il crawler capisce la pagina più difficile non devono essere bloccati. Se le linee vengono rimosse, Google potrebbe caricare gli stessi file di un browser sul successivo recupero. Il risultato può essere visualizzato: Il controllo URL della console di ricerca mostra dopo "Test URL live" sotto "Mostra pagina testata" una foto della pagina come Google lo visualizza.
Ogni linea disallow è pubblicamente leggibile
Il robots.txt può essere aperto da chiunque nel browser. RFC 9309 afferma nelle sue istruzioni di sicurezza: Chiunque elenca i percorsi nei robot. txt li rende pubblici e quindi reperibili, e il file non sostituisce efficaci misure di protezione. Quindi una linea come Disallow: /internal/ o Disallow: /backup/ è esattamente la cartella che nessuno dovrebbe trovare. I truffatori che aderiscono alle regole non li chiamano; Chiunque altro può digitare l'indirizzo. Google fornisce due modi per le pagine che non sono da ricercare: un noindex sulla pagina o una password. Ciò che è riservato appartiene dietro una registrazione.
Un divieto di coperta si applica anche ai crawler di ricerca dei servizi AI
I crawler dei fornitori di AI leggono lo stesso file, e questo aggiunge due trappole. Il primo: A Disallow: / sotto User-agent: *, circa un resto dall'operazione di prova, si applica anche ai crawler di ricerca dei servizi AI. OpenAI scrive che un sito Web che esclude OAI SearchBot non è mostrato nelle risposte di ricerca di ChatGPT; Antropic scrive che i suoi crawler prestano attenzione ai robot.txt. Il secondo: un crawler segue solo il gruppo che più esattamente corrisponde al suo nome; Questo è il modo in cui Google lo descrive per i suoi crawler e Bing per Bingbot. Chiunque crei il proprio gruppo per un crawler AI dovrebbe quindi ripetere tutte le regole che dovrebbero applicargli, perché il gruppo generale sotto la stella viene eliminato per lui. Google-Extended colpisce solo i modelli AI di Google e, secondo Google, non cambia l'inclusione nella ricerca.
Che cosa è una trappola
Trappole di rendering includono serrature il cui percorso termina su file di stile o script, così come serrature di cartelle di asset tipici: wp-content e wp-include su WordPress, beni, statico, css, js, immagini, media, fileadmin e typo3conf su altri sistemi. Una serratura nella zona interna, la ricerca o il carrello non è una trappola e non è menzionato. Le linee che Google non legge sono Noindex, Nofollow e Crawl-delay. Crawl-delay nota Bing, dove la linea frena le chiamate. Google ha interrotto il supporto non ufficiale per Noindex in robots.txt 2019; Se si desidera mantenere una pagina dall'indice, è necessario un meta tag o un intestazione sulla pagina stessa. Il risultato indica le linee interessate. Non cambia il valore del punto perché l'insieme delle regole idx-v1 rimane invariato; appare nella relazione e nella lista delle attività.
Perché le barriere sono per lo più antiche
Prima del 2015, è stato considerato un buon stile per bloccare tutto tranne il contenuto per salvare il budget crawl. Dal momento che Google rende completamente le pagine, l'opposto è vero: tutto ciò che appartiene alla presentazione deve essere recuperabile. Molti file robots.txt contengono ancora le vecchie voci perché sono stati copiati da modelli e non sono mai stati verificati. La correzione è la rimozione delle righe; chi ha veramente bisogno di proteggere le singole directory lo fa tramite i diritti di accesso, non tramite robots.txt. Per le intenzioni di noindex, l'affermazione appartiene alla pagina: come meta tag nell'intestazione o come intestazione del tag server X-Robots.
- Rimuovere le serrature su cartelle e file che appartengono al display: CSS, JS, immagini, cartelle di asset.
- Sostituzione Le linee noindex nel robots.txt attraverso un robot meta tag con noindex nelle pagine pertinenti.
- Utilizzare lo strumento di verifica URL di Google Search Console per verificare se la vista resa è completa.
- Tenere i robots.txt breve: riferimento sitemap, esclusioni reali, nient'altro.
- Capitale e minuscolo conta nel percorso: Disallow: /Internal/ non blocca /internal/. Controllare ogni blocco contro l'ortografia nella barra degli indirizzi.
- Una serratura senza slash alla fine raggiunge più di quanto sembra: Disallow: /image anche blocca /image/ e /formation.html. Con slash, cioè Disallow: / picture/, colpisce solo la cartella.
- Se il vostro robots.txt ha i propri gruppi per i singoli crawler, leggere ogni gruppo come se gli altri non esistessero. Se un blocco che è sotto la stella manca in un gruppo, non si applica a questo crawler.
- Con sistemi modulari come Wix, i robots.txt spesso non possono essere elaborati direttamente, secondo Google. Quindi cercare le impostazioni del sistema per la visibilità ai motori di ricerca.
- Non prendere robots.txt da un modello o da un altro sito web. Per ogni linea, la vostra agenzia dovrebbe essere in grado di dire per cosa c'è.




