Questa traduzione non è ancora stata rivista dalla redazione. Fa fede la versione tedesca. Deutsche Fassung →
Indexierung
Perché robots.txt e sitemap hanno bisogno l'una dell'altra?
Il file robots.txt è il primo file che un motore di ricerca legge sul Suo sito web — e lì deve stare il riferimento alla sitemap, l'indice dei contenuti leggibile da macchina di tutte le pagine. L'area di verifica "Indicizzazione" verifica l'intera catena: esiste un file robots.txt, rimanda a una sitemap, questa sitemap è accessibile e punta al dominio corretto.
Il file robots.txt come regolamento di casa del Suo sito web
Il file robots.txt è un semplice file di testo che si trova a un indirizzo fisso: il-Suo-dominio.at/robots.txt. I motori di ricerca lo leggono prima di ogni visita. Contiene informazioni su quali aree del sito web i crawler possono visitare — e nel migliore dei casi una riga che indica il percorso della sitemap. La verifica scarica il file e contemporaneamente controlla se una delle regole di blocco colpisce accidentalmente la pagina esaminata. Un blocco a questo livello significherebbe che i motori di ricerca non possono visitare la pagina — un'esclusione silenziosa che nessuno nota nella pratica quotidiana.
La sitemap come indice dei contenuti
La sitemap è un elenco leggibile da macchina di tutte le pagine del Suo sito web. I motori di ricerca la utilizzano per trovare rapidamente pagine nuove e modificate — soprattutto pagine che hanno pochi link interni sarebbero difficili da scoprire senza di essa. La verifica segue il riferimento dal file robots.txt e controlla se la sitemap è effettivamente accessibile. Un errore frequente e silenzioso viene controllato separatamente: dopo un relaunch o un cambio di dominio, la riga della sitemap a volte punta ancora al dominio vecchio o a uno scritto in modo errato. Il riferimento rimane senza risposta, senza che nessuno lo noti — il rilievo punta esattamente a questo.
Campionamento nella sitemap
Inoltre, la verifica esegue un campionamento degli indirizzi elencati nella sitemap e li richiama singolarmente. Vengono distinti tre risultati: indirizzi che rispondono direttamente con stato 200 — lo stato ideale. Indirizzi che arrivano solo attraverso un reindirizzamento — funzionano, ma sprecano sforzo di crawl, perché la sitemap dovrebbe indicare l'indirizzo finale. E indirizzi che si concludono con un errore — non dovrebbero essere nella sitemap e compaiono nel rapporto di verifica insieme al codice di stato. In questo modo, l'indice dei contenuti rimane una fonte affidabile anziché una raccolta di link non funzionanti.
- Richiami il-Suo-dominio.at/robots.txt nel browser — il file dovrebbe apparire e contenere una riga «Sitemap:».
- Apra l'indirizzo della sitemap indicato — deve potersi caricare e elencare le Sue pagine attuali.
- Dopo ogni relaunch o cambio di dominio, verifichi se la riga della sitemap punta ancora al dominio corretto.
- Lasci che la sitemap sia gestita automaticamente, in modo che le nuove pagine vi entrino e quelle cancellate escano.
- Verifichi che nessuna regola di blocco nel file robots.txt blocchi accidentalmente pagine importanti.