Wissen › Indexierung › robots.txt und Sitemap
Stand 19. November 2026
Online: euid.com/
Prüfpunkt sitemap-broken
Warum darf die Sitemap keine toten Adressen enthalten?
Weil die Sitemap eine Einladungsliste an Suchmaschinen ist: Jede eingetragene Adresse sagt „diese Seite existiert, hol sie dir". Antwortet die Adresse dann mit einem Fehler, hat die Einladung in die Irre geführt: Der Crawler hat umsonst angefragt, und eine Adresse mit Status 404 nimmt Google nicht in den Index auf. Unsere Prüfung ruft die in Ihrer Sitemap gelisteten Adressen ab und zählt, wie viele kein Ziel mit Status 200 erreichen.
Das Sitemap-Protokoll prüft nicht, ob die Adressen noch stimmen

Die Sitemap folgt dem Protokoll von sitemaps.org, das Google und Bing lesen. Jeder Eintrag nennt eine vollständige Adresse samt Protokoll, und eine Datei fasst höchstens 50.000 Adressen und 50 MB. Google beschreibt den Zweck knapp: In die Sitemap gehören die Adressen, die Sie im Suchergebnis sehen wollen.
Eine gelöschte Seite gehört demnach nicht hinein. Das Protokoll selbst prüft das nicht. Es hält sogar fest: Nimmt eine Suchmaschine eine Sitemap entgegen, bestätigt sie damit nur den Empfang und sagt nichts darüber, ob die Datei oder die Adressen darin gültig sind. Die Pflege liegt deshalb bei dem System, das die Sitemap erzeugt.
Einen toten Eintrag nimmt Google nicht auf, ein Serverfehler bremst das Crawlen
Für Google ist die Sitemap ein Hinweis, welche Adressen es abrufen soll. Antwortet eine davon mit 404 oder 410, verwendet Google den Inhalt nicht, nimmt die Adresse nicht auf und entfernt sie, falls sie schon im Index stand. Der Eintrag bewirkt also nichts und erscheint nur als Fehler im Bericht. Schwerer wiegt ein Serverfehler, ein Status ab 500: Darauf verlangsamt Google vorübergehend das Crawlen der Website.
Die Search Console meldet Einträge, die sich nicht abrufen lassen, im Sitemaps-Bericht als „URLs nicht zugänglich“. Die Sorge um ein verbrauchtes Abruf-Kontingent betrifft nach Googles eigener Anleitung sehr große Websites, etwa ab 10.000 Seiten mit täglichen Änderungen. Für alle anderen genügt es laut Google, die Sitemap aktuell zu halten und den Bericht zur Seitenindexierung regelmäßig anzusehen.
Mit einer gepflegten Sitemap wird die Search Console zur Kontrollliste
Nennt die Sitemap nur gewollte Seiten, wird ein Filter der Search Console brauchbar: Im Bericht zur Seitenindexierung zeigt die Auswahl „Alle eingereichten Seiten“ nur die Adressen aus Ihren Sitemaps. Jede Adresse, die dort als nicht indexiert steht, ist dann eine Seite, die Sie bei Google sehen wollten und die fehlt, samt Grund, etwa „Nicht gefunden (404)“.
Stehen alte Adressen in der Sitemap, füllen sie diese Liste, und die echten Fälle gehen darin unter. Der Sitemaps-Bericht zeigt je Datei den Status, etwa „Erfolgreich“, und die Zahl der erkannten Seiten. Google weist dort darauf hin, dass es für Adressen aus einer Sitemap keine Garantie gibt, abgerufen oder aufgenommen zu werden.
Bing nennt die Sitemap eine Grundlage seiner KI-gestützten Suche
Bing hat im Juli 2025 beschrieben, was die Sitemap für seine KI-gestützte Suche bedeutet: Sie sei ein grundlegendes Signal dafür, dass alle Adressen einer Website erfasst werden. Das Änderungsdatum lastmod helfe zu entscheiden, welche Adressen Bing neu abruft, und Angaben zur Aktualität bestimmten mit, wie schnell eine Änderung in Suchergebnissen und KI-Antworten ankommt.
Für Seiten, die hinzukommen, sich ändern oder entfallen, empfiehlt Bing zusätzlich das Meldeverfahren IndexNow. Für die KI-Antworten von Google gilt: Als Quelle erscheinen nur Seiten aus dem Index, und eine Adresse, die mit 404 antwortet, entfernt Google daraus.
Die Sitemap ist eine Zusage, kein Archiv
In eine Sitemap gehört der aktuelle Bestand: erreichbare, indexierbare Seiten unter ihrer endgültigen Adresse. In der Praxis veraltet die Liste schleichend: gelöschte Seiten bleiben eingetragen, umbenannte stehen unter der alten Adresse, und bei manchen Systemen erzeugt eine Erweiterung die Sitemap aus Daten, die niemand mehr pflegt. Google nutzt das Änderungsdatum einer Sitemap nur, wenn es nachprüfbar stimmt.
Was die Prüfung genau misst
Die Prüfung lädt die Sitemap der Domain und ruft die gelisteten Adressen ab. Der Bericht nennt die Anzahl der Einträge ohne Status-200-Antwort samt Beispielen. Getrennt davon werden Einträge ausgewiesen, die auf eine Weiterleitung führen: Sie sind kein Fehler, aber die Sitemap soll die endgültige Adresse nennen. Jeder Umweg kostet Abrufe.
So gehen Sie es an
- Lassen Sie die Sitemap automatisch aus dem tatsächlichen Seitenbestand erzeugen, nicht aus einer gepflegten Liste.
- Entfernen Sie gelöschte Seiten aus der Sitemap im selben Schritt, in dem Sie sie löschen.
- Nehmen Sie nach Adressänderungen die neue, endgültige Adresse auf, nicht die alte, die nur noch weiterleitet.
- Prüfen Sie nach einem Relaunch die komplette Sitemap einmal durch. Dort sammeln sich die Altlasten zuerst.
Tipps aus der Praxis
- Öffnen Sie die Sitemap im Browser und rufen Sie zehn Einträge aus verschiedenen Bereichen auf. Jede Adresse muss die Seite zeigen, ohne dass die Adresszeile springt.
- Search Console, Bericht zur Seitenindexierung, Filter „Alle eingereichten Seiten“: Der Grund „Nicht gefunden (404)“ nennt die toten Einträge, auf die Google gestoßen ist.
- Fragen Sie Ihre Agentur, woraus die Sitemap entsteht. Redaktionssysteme wie WordPress erzeugen sie laut Google meist selbst; prüfen Sie, ob daneben noch eine von Hand hochgeladene sitemap.xml aus der Zeit vor dem Relaunch liegt.
- Eine Seite, die es bewusst nicht mehr gibt, soll mit 404 oder 410 antworten und aus der Sitemap verschwinden. Google behandelt beide Antworten gleich.
Häufige Fragen
- Schadet ein einzelner toter Eintrag sofort dem Ranking?
- Ein Einzelfall hat keine unmittelbar messbare Wirkung. Google nimmt die tote Adresse nicht auf. Stehen viele davon in der Sitemap, gehen in der Search Console die echten Fälle unter.
- Gehören Weiterleitungen in die Sitemap?
- Die Sitemap soll die endgültige Adresse listen. Ein Eintrag, der weiterleitet, funktioniert zwar, kostet aber bei jedem Abruf einen zusätzlichen Schritt und meldet der Suchmaschine eine Adresse, die es so nicht mehr gibt.
- Wie oft sollte die Sitemap aktualisiert werden?
- Bei automatischer Erzeugung geschieht das mit jeder inhaltlichen Änderung von selbst. Das ist der Zielzustand. Eine manuell gepflegte Sitemap veraltet zwangsläufig und sollte auf automatische Erzeugung umgestellt werden.
Soll ich IndexNow einsetzen?
Es lohnt sich, wenn sich Ihre Website oft ändert und Ihr System die Meldung von selbst absetzt: bei einem Shop mit wechselndem Sortiment, einem Stellenportal, einer Nachrichtenseite. IndexNow ist ein Meldeverfahren. Die Website sagt teilnehmenden Suchmaschinen sofort, dass eine Adresse neu ist, sich geändert hat oder entfallen ist. Google steht nicht auf der Liste der Teilnehmer. Für eine Firmenwebsite, die sich ein paar Mal im Jahr ändert, reicht die Sitemap: Bing ruft eine eingereichte Sitemap nach eigener Angabe in der Regel mindestens einmal am Tag ab.
Bing und Yandex lesen die Meldung, Google steht nicht auf der Liste

Bing und Yandex haben das Verfahren am 18. Oktober 2021 vorgestellt. Der Gedanke dahinter: Ohne Meldung muss eine Suchmaschine jede Änderung selbst entdecken, und das kann nach Bing Tage oder sogar Wochen dauern. Mit IndexNow meldet die Website die Adresse im Moment der Änderung.
Eine Meldung an einen Teilnehmer geht automatisch an alle anderen. Die Liste der Teilnehmer nennt Amazon, Bing, Naver, Seznam.cz, Yandex und Yep. Google kommt dort nicht vor; für Google bleiben die Sitemap und die Search Console der Weg, Adressen bekannt zu machen.
Ein Schlüssel im Hauptverzeichnis, danach meldet das System jede Änderung
Die Website erzeugt einen Schlüssel aus 8 bis 128 Zeichen und legt ihn als Textdatei in ihr Hauptverzeichnis. So weist sie nach, dass die Meldung von ihr stammt. Danach genügt je Änderung ein Aufruf mit Adresse und Schlüssel oder eine Sammelmeldung mit bis zu 10.000 Adressen.
Gemeldet werden auch Adressen, die weiterleiten oder mit 404 oder 410 antworten; so erfährt die Suchmaschine von der Löschung. Von Hand macht das niemand. Bing führt Baukästen wie Wix Studio und Duda als Systeme mit eingebautem IndexNow. Für WordPress nennt es Erweiterungen wie Yoast und Rank Math, für Cloudflare die Einstellung Crawler Hints.
Eine Meldung ist ein Hinweis und zählt auf das Kontingent der Website
Die Betreiber von IndexNow schreiben: Das Übermitteln einer Adresse garantiert keine sofortige Aufnahme. Die Suchmaschine ruft sie nach ihrem eigenen Zeitplan, ihren Qualitätssignalen und ihrem Kontingent ab, also der Menge an Abrufen, die sie einer Website widmet. Jede gemeldete Adresse zählt auf dieses Kontingent.
Deshalb gilt: nur melden, was sich geändert hat, und zwischen zwei Meldungen derselben Seite mindestens 5 Minuten warten. Wer zu viel meldet, bekommt die Antwort 429 und muss warten. IndexNow ersetzt die Sitemap nicht: Die Betreiber empfehlen beides zusammen, die Sitemap für den ganzen Bestand und IndexNow für die einzelne Änderung.
Die Meldung lohnt sich bei Angaben, die sich täglich ändern
Bing schreibt im Juli 2025, Angaben zur Aktualität bestimmten mit, wie schnell eine Änderung in Suchergebnissen und in KI-Antworten ankommt, und empfiehlt Sitemap und IndexNow zusammen. Das betrifft Angaben, die sich ändern: Preise, Verfügbarkeit, Öffnungszeiten, Termine.
Ändern sie sich auf Ihrer Website täglich oder wöchentlich, erfährt Bing über die Meldung zuerst davon. Ändert sich Ihre Website selten, erfährt Bing es über die eingereichte Sitemap, die es in der Regel mindestens einmal am Tag abruft.
So gehen Sie es an
- Fragen Sie Ihre Agentur oder den Anbieter Ihres Baukastens, ob IndexNow schon eingeschaltet ist.
- Lassen Sie die Meldung nur automatisch einrichten: Das System meldet beim Veröffentlichen, Ändern und Löschen einer Seite.
- Kontrollieren Sie in den Bing Webmaster Tools, ob die gemeldeten Adressen ankommen.
- Behalten Sie die Sitemap und die Sitemap-Zeile in der robots.txt bei.
Häufige Fragen
- Nimmt Google an IndexNow teil?
- Auf der Liste der Teilnehmer bei indexnow.org steht Google nicht. Für Google machen Sie Änderungen über die Sitemap bekannt. Eine einzelne Adresse können Sie in der Search Console mit der URL-Prüfung über „Indexierung beantragen“ melden; eine Zusage ist auch das nicht.
- Muss ich nach dem Einrichten alle Adressen einmal melden?
- Dafür ist das Verfahren nicht gedacht. Die Betreiber verweisen für den ganzen Bestand auf die Sitemap. IndexNow ist für Adressen da, die neu sind, sich geändert haben oder entfallen sind.
Quellen
- sitemaps.org: Sitemap-Protokoll (vollständige Adresse, 50.000 Adressen, 50 MB, Empfang ist keine Prüfung)
https://www.sitemaps.org/protocol.html - Google Search Central: HTTP status codes, network and DNS errors (4xx wird nicht aufgenommen und aus dem Index entfernt, 5xx bremst das Crawlen)
https://developers.google.com/search/docs/crawling-indexing/http-network-errors - Google Search Central: Build and submit a sitemap (Adressen, die im Suchergebnis stehen sollen; vom System erzeugte Sitemaps)
https://developers.google.com/search/docs/crawling-indexing/sitemaps/build-sitemap - Google Search Central: Large site owner's guide to managing your crawl budget (für wen das Crawl-Budget ein Thema ist)
https://developers.google.com/search/docs/crawling-indexing/large-site-managing-crawl-budget - Google Search Console-Hilfe: Sitemaps-Bericht (Status, erkannte Seiten, „URLs nicht zugänglich“, keine Garantie)
https://support.google.com/webmasters/answer/7451001 - Google Search Console-Hilfe: Bericht zur Seitenindexierung (Filter „Alle eingereichten Seiten“, „Nicht gefunden (404)“)
https://support.google.com/webmasters/answer/7440203 - Microsoft Bing Blogs, 31. Juli 2025: Keeping Content Discoverable with Sitemaps in AI Powered Search
https://blogs.bing.com/webmaster/July-2025/Keeping-Content-Discoverable-with-Sitemaps-in-AI-Powered-Search - IndexNow: Documentation (Meldung neuer, geänderter und gelöschter Adressen)
https://www.indexnow.org/documentation - Google Search Central: AI features and your website (nur indexierte Seiten)
https://developers.google.com/search/docs/appearance/ai-features - IndexNow: FAQ (Teilnehmer, keine Garantie, Kontingent, 5 Minuten, Sitemap und IndexNow zusammen)
https://www.indexnow.org/faq - Microsoft Bing Blogs, 18. Oktober 2021: IndexNow, Instantly Index your web content in Search Engines
https://blogs.bing.com/webmaster/october-2021/IndexNow-Instantly-Index-your-web-content-in-Search-Engines - Bing Webmaster Tools: IndexNow, Get started (Systeme mit eingebautem IndexNow, Erweiterungen, Kontrolle der Meldungen)
https://www.bing.com/indexnow/getstarted - Google Search Console-Hilfe: URL-Prüftool („Indexierung beantragen“)
https://support.google.com/webmasters/answer/9012289
Fotos
- Foto: TimHill, Pixabay (https://pixabay.com/photos/whitby-abbey-dracula-bram-stoker-2805489/)
- Foto: cocoparisienne, Pixabay (https://pixabay.com/photos/door-bell-doorbell-bell-clamp-326561/)
Dieses Dokument gibt die Online-Fassung vom 19. November 2026 wieder. Ändern sich Norm, Rechtslage oder Werkzeuge, wird die Online-Fassung überarbeitet; sie steht unter euid.com/wissen/technik/robots-und-sitemap/sitemap-ohne-tote-adressen.