Questa traduzione non è ancora stata rivista dalla redazione. Fa fede la versione tedesca. Deutsche Fassung
Indicizzazione
Perché un indirizzo non esistente deve fornire lo status 404?
Ogni risposta da un server web chiama un codice di stato. 200 mezzi: Questa pagina esiste, rispondi. 404 significa: Questo indirizzo non esiste. Alcuni siti web rispondono a qualsiasi indirizzo con 200 e poi mostrano una bella pagina di errore. Per i visitatori inconsapevoli, per i motori di ricerca un problema: Google deve quindi riconoscere la pagina di errore dal suo contenuto. Se questo riesce, Google li lascia fuori dalla ricerca e li conduce nella console di ricerca come Soft-404. Sarà ancora chiamato. L'indicizzazione dell'area di controllo chiama quindi un indirizzo inventato del dominio per ogni controllo e report se viene risposto con 200.
404 significa nello standard: niente trovato, o il server non vuole dirlo
RFC 9110 descrive 404 come segue: Il server non ha trovato nulla sotto questo indirizzo, o non vuole rivelare che c'è qualcosa lì. Se questo è temporaneo o permanente, 404 non dice. Se il server sa che il contenuto è stato finalmente rimosso, lo standard prevede 410. Entrambe le risposte sono autorizzate a ricordare il browser e la cache. Il fatto che gli indirizzi conducono nel vuoto fa parte del web: Google chiama 404 una parte completamente normale di esso, perché il contenuto è costantemente creato e scompare. Il codice di stato è l'unico modo in cui un programma riconosce la situazione. Il testo della pagina di errore è scritto per le persone; Un link checker, un servizio di monitoraggio e un crawler leggere il numero.
A 200 per ogni indirizzo, Google deve indovinare
Google risponde chiaramente a un codice 4xx: Il contenuto è considerato inesistente, un indirizzo 404 appena scoperto non è ulteriormente elaborato, e Google gradualmente lo recupera meno spesso. Se il tuo sito web risponde a ogni indirizzo con 200, questo segnale manca. Google tenta quindi di rilevare la pagina di errore dal suo contenuto e lo esegue come un errore 404 morbido in Search Console. Già nel 2008, Google ha descritto il risultato: Crawlers trascorre del tempo con indirizzi che non esistono, e le pagine effettive possono essere scoperte più tardi o visitate meno spesso. Ogni tipo in un link estero e ogni indirizzo obsoleto diventa così una pagina apparentemente valida del tuo dominio.
Con un vero 404, gli strumenti vedono lo stesso del visitatore
Se il server consegna gli indirizzi mancanti 404, tutti gli strumenti vedono lo stesso del visitatore. Nella console di ricerca, gli indirizzi appaiono sotto "Non trovato (404)". Google scrive che 404 risposte non devono essere un problema se la pagina è stata rimossa senza sostituzione, e raccomanda di fissare quelli che si collegano a voi stessi o che sono nella mappa del sito. Link checker e il registro del server mostrano quali indirizzi mancanti sono effettivamente chiamati. Google lo chiama un aiuto per i visitatori e richiede solo che il server invii lo stato 404 in modo che la pagina non entri nell'indice.
Un errore nella campagna è evidente solo con 404
Le campagne funzionano con molti indirizzi: pagine di atterraggio, parametri, collegamenti brevi. Un typo in esso porta ad un indirizzo che non esiste. Google Google Ads cita obiettivi che forniscono il suo crawler con un codice di errore HTTP come motivo per rifiutare un annuncio; l'errore è così evidente quando si controlla il display. Se il server risponde all'indirizzo sbagliato con 200, non segnala un codice di errore. Lo stesso vale per qualsiasi strumento che si basa sul codice di stato, dal link checker al programma di spedizione newsletter. In entrambi i casi, il visitatore vede il messaggio che la pagina non è stata trovata. Con 404 lo imparerai, con 200 solo se ti guardi.
Lo standard permette anche 404 per indirizzi che nessuno dovrebbe sapere
404 non deve significare che nulla si trova sotto un indirizzo. RFC 9110 dà al server la scelta: se vuole nascondere che c'è un indirizzo bloccato, può rispondere con 404 invece di 403 (accesso negato). Per un'area di amministrazione o file interni, questa è la risposta più prudente, perché un 403 conferma che qualcosa c'è. Al contrario, la pagina di errore non deve rivelare nulla: nessun percorso del server, nessun nome di programmi, nessun numero di versione. Un sito web che risponde a qualsiasi cosa con 200 perde tale distinzione. Per i visitatori, gli strumenti e il proprio monitoraggio, ogni indirizzo sembra lo stesso.
I crawler AI particolarmente spesso chiamano indirizzi che non esistono
Nel dicembre 2024, l'hoster Vercel, insieme a MERJ, misurava dove stanno andando le opinioni dei crawler AI nella sua rete. Il crawler di ChatGPT ha rappresentato il 34.82% delle visualizzazioni su 404 pagine, il 34,16% di Claude; Googlebot ha rappresentato l'8,22 per cento. La causa esatta che gli autori chiamano inspiegabile; Spesso si trattava di file obsoleti. Questi due crawler anche non eseguire JavaScript. Un'applicazione singola pagina che scopre solo nel browser che manca un indirizzo dà loro la shell vuota con stato 200. L'aiuto di Google per tali applicazioni, un JavaScript reindirizza a un indirizzo reale 404 o un noindex impostato tramite JavaScript, presuppone che lo script sia in esecuzione. Readable per ogni programma è lo stato che il server stesso invia.
Che cosa esattamente è controllato
La sonda forma un indirizzo che non può esistere su qualsiasi sito web (con un timestamp nel percorso in modo che non accada mai esistere) e lo chiama con le stesse intestazioni di un crawler motore di ricerca. Se torna 404 o 410, va tutto bene; Questa è la regola. Se viene 200, un risultato con l'indirizzo chiamato come ricevuta sorge. Il risultato non cambia il valore del punto in quanto il regolamento idx-v1 rimane immutato e i sigilli rilasciati conservano il loro significato; appare nella relazione e nella lista delle attività. Se il server inoltra un indirizzo sconosciuto alla pagina di inizio, questo rimane inosservato da questa sonda perché legge solo la prima risposta; Google considera ancora tali reindirizzamenti flat-rate come Soft-404, perché sfocano anche la linea tra esistente e mancante.
Da dove viene il comportamento e come fermarlo
Le cause comuni sono applicazioni di singola pagina in cui il server consegna ogni indirizzo allo stesso file di avvio e solo il browser decide se manca qualcosa; regole di invio coperte che inviano tutto sconosciuto alla homepage; e sistemi editoriali la cui pagina di errore è stata impostata come una pagina normale. La correzione è in ogni caso allo stesso punto: La pagina di errore può essere piacevole, ma deve essere consegnata con lo stato 404. Per le applicazioni di singola pagina, questo fa un rendering lato server o una regola che separa i percorsi conosciuti da quelli sconosciuti; nel caso delle regole di trasmissione, è sufficiente rimuovere la regola di flat-rate. Dopo la conversione, il comportamento può essere controllato con qualsiasi strumento che visualizza i codici di stato.
- Vai a un indirizzo inventato del tuo dominio e controlla il codice di stato negli strumenti dello sviluppatore: 404 è corretto, 200 è il risultato.
- Impostare la pagina di errore nel sistema editoriale o server per spedire con lo stato 404. Puoi progettarli comunque.
- Rimuovere regole di coperta che reindirizzano nulla sconosciuto alla homepage.
- Controllare di nuovo dopo un rilancio; Nuove configurazioni server spesso riportare il comportamento indietro.
- Prova diverse forme: un indirizzo inventato in una sottocartella, una con estensione di file come.pdf, e una con parametri allegati. I server spesso gestiscono questi casi in base a regole diverse.
- Assicurarsi che la pagina di errore venga visualizzata sotto l'indirizzo di accesso. Se la linea di indirizzo salta a /404 o /error e questa pagina risponde con 200, è la stessa posizione in una forma diversa.
- Non bloccare gli indirizzi mancanti nel robots.txt. Google non può recuperare il codice di stato di un indirizzo bloccato e quindi non impara mai che è stato rimosso.
- Per un'applicazione di una singola pagina, chiedere all'agenzia che rileva l'errore: il server con un 404 o solo lo script nel browser.




