Sitemap und robots.txt richten Sie richtig ein, wenn beide dasselbe sagen: Die robots.txt im Stammverzeichnis lässt Crawler an alle Seiten und Ressourcen, die zählen, sperrt nur unwichtige Bereiche und nennt in einer eigenen Zeile die vollständige Adresse Ihrer XML-Sitemap. Die Sitemap listet ausschließlich die Seiten, die bei Google erscheinen sollen. Danach prüfen Sie beides in der Google Search Console. Hier steht, wie das konkret aussieht, welche Zeilen hineingehören und welche Fehler eine ganze Website unsichtbar machen.
Kurz gesagt
- Die robots.txt steuert, welche Pfade Crawler abrufen dürfen. Die Sitemap empfiehlt, welche Seiten sie erfassen sollen.
- Die robots.txt liegt immer unter
ihredomain.de/robots.txt, als UTF-8-Textdatei, und kann die Sitemap mitSitemap: https://…angeben. - Sperren Sie nie CSS, JavaScript oder Bilder, die Google zum Verstehen Ihrer Seiten braucht.
- Eine Sperre in der robots.txt verhindert nicht die Indexierung. Dafür ist
noindexzuständig. - Prüfen Sie beide Dateien im robots.txt-Bericht und im Sitemaps-Bericht der Search Console.
Inhaltsverzeichnis
- Was Sitemap und robots.txt jeweils leisten
- Die robots.txt richtig aufsetzen
- robots.txt Best Practices: so sperren Sie nichts Wichtiges
- Die XML-Sitemap richtig aufbauen
- Die Sitemap in der robots.txt eintragen
- Crawling ist nicht Indexierung: wann Sie noindex brauchen
- KI-Crawler: steuern statt aussperren
- Prüfen und an Google übermitteln
- Unsere Sicht: Technik, um die sich Betriebe nicht kümmern sollten
- Ihre Homepage mit sauberer Technik von Anfang an
- Häufige Fragen
- Quellen
Was Sitemap und robots.txt jeweils leisten
Beide Dateien richten sich an Maschinen, nicht an Besucher. Trotzdem haben sie gegensätzliche Aufgaben, und genau daraus entstehen die meisten Fehler.
Die robots.txt ist laut Google eine Nur-Text-Datei im Stammverzeichnis, deren Regeln festlegen, auf welche Dateipfade Crawler zugreifen dürfen. Sie ist eine Hausordnung: Hier dürfen Sie rein, dort nicht.
Die XML-Sitemap ist eine strukturierte Liste der URLs, die Sie in der Suche sehen wollen. Sie ist eine Einladung: Diese Seiten gibt es, bitte erfassen. Gerade bei neuen Websites mit wenigen externen Links hilft sie Suchmaschinen, alle Unterseiten überhaupt zu finden, etwa die Seite für jede einzelne Leistung eines Handwerksbetriebs.
| Merkmal | robots.txt | XML-Sitemap |
|---|---|---|
| Aufgabe | regelt, was Crawler abrufen dürfen | empfiehlt, was erfasst werden soll |
| Format | reiner Text, UTF-8 | XML-Datei |
| Ort | zwingend /robots.txt im Stammverzeichnis | frei wählbar, meist /sitemap.xml |
| Anzahl | eine pro Host und Protokoll | eine oder mehrere, auch als Sitemap-Index |
| Verbindlichkeit | seriöse Crawler halten sich daran | nur ein Hinweis, keine Garantie |
| Verhindert Indexierung? | nein | nein |
Die beiden Dateien greifen ineinander: Die robots.txt ist meist die erste Datei, die ein Crawler auf Ihrer Domain abruft, und über die Sitemap-Zeile erfährt er dort sofort, wo Ihre Seitenliste liegt.
Die robots.txt richtig aufsetzen
Google beschreibt den Aufbau in seiner Anleitung zum Erstellen einer robots.txt-Datei. Die wichtigsten Grundregeln daraus:
- Dateiname und Ort: Die Datei heißt exakt
robots.txtund liegt im Stammverzeichnis der Domain, alsohttps://www.beispiel-betrieb.de/robots.txt. Eine Datei in einem Unterordner wird ignoriert. - Kodierung: Speichern Sie sie als einfache Textdatei in UTF-8, nicht mit einem Textverarbeitungsprogramm, das Formatierungen oder typografische Anführungszeichen einfügt.
- Geltungsbereich: Die Datei gilt nur für das Protokoll und den Host, unter dem sie liegt.
https://www.undhttps://ohne www oder eine Subdomain wieshop.brauchen jeweils ihre eigene erreichbare robots.txt. - Gruppen: Jede Gruppe beginnt mit
User-agent:und nennt danachDisallow:- undAllow:-Regeln. Der Stern*meint alle Crawler. - Groß- und Kleinschreibung: Bei Pfaden zählt sie.
/Intern/und/intern/sind zwei verschiedene Regeln. - Hochladen: Legen Sie die Datei per FTP, Dateimanager Ihres Hosters oder über Ihr Content-Management-System ab und rufen Sie die Adresse danach im Browser auf.
Wichtig für das Verständnis: Crawler lesen die Datei von oben nach unten und folgen laut Google der spezifischsten Gruppe, die zu ihrem User-Agent passt. Wer eine eigene Gruppe für den Googlebot anlegt, sollte also wissen, dass der Googlebot die allgemeine Gruppe mit * dann nicht mehr beachtet. Alle Regeln, die auch für Google gelten sollen, gehören in dessen eigene Gruppe.
Ein Beispiel für eine typische Betriebswebsite
So könnte die robots.txt eines Elektrobetriebs, einer Zahnarztpraxis oder eines Restaurants aussehen, dessen Website auf WordPress läuft:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /suche/
Disallow: /danke/
Sitemap: https://www.beispiel-betrieb.de/sitemap.xml
Was hier passiert: Der Verwaltungsbereich bleibt außen vor, eine technisch nötige Datei darin bleibt erreichbar. Interne Suchergebnisseiten, die unendlich viele fast gleiche URLs erzeugen können, sind gesperrt, ebenso die Danke-Seite nach dem Kontaktformular. Alles andere, also Startseite, Leistungen, Team, Speisekarte, Kontakt, Bilder und Stildateien, bleibt frei.

Für die meisten kleinen Websites ist das bereits die vollständige Datei. Eine lange robots.txt ist kein Qualitätsmerkmal. Je weniger Regeln, desto geringer das Risiko, versehentlich etwas Wichtiges zu sperren.
robots.txt Best Practices: so sperren Sie nichts Wichtiges
Eine einzige falsche Zeile reicht, um eine komplette Website für Suchmaschinen zu schließen. Der Klassiker ist Disallow: / unter User-agent: *, oft ein Überbleibsel aus der Entwicklungsphase, das beim Livegang niemand entfernt hat. Diese Punkte sollten Sie sicher beherrschen:
- Ressourcen freigeben: Google rät ausdrücklich davon ab, Bild-, Script- und Stildateien zu blockieren, wenn Google die Seite ohne sie schlechter versteht. Sperren Sie also nie pauschal Ordner wie
/wp-content/oder/assets/. - Datei klein halten: Chrome for Developers empfiehlt, die robots.txt unter 500 KiB zu halten, weil Suchmaschinen die Verarbeitung größerer Dateien abbrechen können, und rät zu breiten Mustern statt vieler Einzelregeln. Eine normale Betriebswebsite kommt mit wenigen Zeilen aus.
- Erreichbarkeit sichern: Die Datei sollte zuverlässig mit Statuscode 200 ausgeliefert werden. Serverfehler beim Abruf der robots.txt können dazu führen, dass Crawler vorsichtshalber gar nichts mehr abrufen. Wer den Hoster wechselt oder ein Sicherheits-Plugin installiert, prüft die Adresse danach im Browser.
- Keine Geheimnisse eintragen: Die robots.txt ist öffentlich. Wer dort
Disallow: /interne-preisliste/einträgt, zeigt jedem neugierigen Besucher, wo es etwas zu holen gibt. Vertrauliches schützen Sie mit Passwort, nicht mit einer Crawler-Regel. - Groß- und Kleinschreibung beachten: Ein Pfad, der auf der Website anders geschrieben ist als in der Regel, wird schlicht nicht getroffen.
- Nach jedem Relaunch prüfen: Neue Systeme bringen eigene Standarddateien mit. Vergleichen Sie nach einem Umzug, ob die Regeln noch zu den neuen URLs passen.
Die XML-Sitemap richtig aufbauen
Die Sitemap ist nur so gut wie ihre Auswahl. In sie gehören ausschließlich Seiten, die Sie bei Google sehen wollen und die selbst sauber erreichbar sind:
- Hinein: Startseite, Leistungsseiten, Standortseiten, Über-uns, Kontakt, Blogartikel, Speisekarte, Praxis- oder Teamseite.
- Nicht hinein: Weiterleitungen, Fehlerseiten, Seiten mit
noindex, Danke-Seiten, Login-Bereiche, Suchergebnisse und doppelte Varianten derselben Seite.
Vor allem der letzte Punkt wird oft übersehen. Eine URL mit angehängten Kampagnenparametern ist für Suchmaschinen eine eigene Adresse, obwohl sie denselben Inhalt zeigt. Wer Links für Anzeigen, Newsletter oder Social Media mit UTM-Parametern für Kampagnen-Links versieht, misst damit sauber die Herkunft der Besucher. In die Sitemap gehört aber nur die nackte, kanonische Adresse ohne Parameter. Ebenso gilt: Wenn Ihre Seiten unter https://www. erreichbar sind, stehen sie auch genau so in der Sitemap, nicht mit http:// oder ohne www.
Eine minimale Sitemap sieht so aus:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://www.beispiel-betrieb.de/</loc>
<lastmod>2026-10-15</lastmod>
</url>
<url>
<loc>https://www.beispiel-betrieb.de/leistungen/badsanierung/</loc>
<lastmod>2026-09-02</lastmod>
</url>
</urlset>
Das Feld lastmod sollte nur dann ein neues Datum tragen, wenn sich der Inhalt der Seite tatsächlich geändert hat. Ein Datum, das bei jedem Abruf automatisch auf heute springt, ist für Suchmaschinen wertlos.
Die meisten Content-Management-Systeme und SEO-Plugins erzeugen die Sitemap automatisch. Das ist gut, solange Sie kontrollieren, was sie aufnehmen: Schlagwortseiten, Autorenarchive oder Anhangseiten von Bildern landen dort häufig ungefragt. Große Websites teilen ihre Sitemap in mehrere Dateien auf, etwa nach Seiten, Beiträgen und Produkten, und fassen diese über eine Sitemap-Indexdatei zusammen.
Die Sitemap in der robots.txt eintragen
Damit jede Suchmaschine Ihre Sitemap findet, nicht nur Google, nennen Sie sie in der robots.txt. Google erlaubt dafür die Zeile Sitemap: mit der vollständigen URL. Drei Details machen den Unterschied:
- Vollständige Adresse:
Sitemap: https://www.beispiel-betrieb.de/sitemap.xml, nichtSitemap: /sitemap.xml. - Mehrere Einträge sind erlaubt: Haben Sie eine Sitemap für Seiten und eine für Bilder, schreiben Sie zwei Zeilen untereinander.
- Unabhängig vom User-Agent: Die Sitemap-Zeile gehört zu keiner Gruppe. Sie kann am Anfang oder am Ende stehen und gilt für alle Crawler. Üblich und gut lesbar ist das Ende der Datei.
Ein Widerspruch, den Sie vermeiden müssen: Steht eine URL in der Sitemap, ist aber per robots.txt gesperrt, senden Sie Google zwei gegensätzliche Signale. Gleichen Sie deshalb nach jeder Änderung ab, ob Ihre Disallow-Regeln Seiten treffen, die Sie in der Sitemap empfehlen.
Crawling ist nicht Indexierung: wann Sie noindex brauchen
Das ist der häufigste Denkfehler beim Thema. Eine Disallow-Regel verhindert, dass ein Crawler eine Seite abruft. Sie verhindert nicht, dass die Adresse im Index landet. Google weist darauf hin, dass eine gesperrte URL trotzdem über Links von anderen Seiten indexiert werden kann, dann meist ohne Beschreibung im Suchergebnis.
Soll eine erreichbare Seite nicht in den Suchergebnissen erscheinen, setzen Sie stattdessen das Meta-Tag <meta name="robots" content="noindex"> in den Kopfbereich der Seite oder senden einen entsprechenden HTTP-Header. Und jetzt der Haken: Damit Google das noindex sieht, muss es die Seite abrufen dürfen. Wer eine Seite gleichzeitig per robots.txt sperrt und mit noindex versieht, sorgt dafür, dass das noindex nie gelesen wird.
Die Faustregel:
| Ziel | Richtiges Werkzeug |
|---|---|
| Crawler sollen einen Bereich nicht abrufen, etwa interne Suche oder Filter | Disallow in der robots.txt |
| Seite soll nicht bei Google erscheinen, etwa Impressum-Varianten, Danke-Seite, Testseite | noindex per Meta-Tag oder Header, Seite bleibt crawlbar |
| Inhalt ist vertraulich | Passwortschutz auf dem Server |
| Seite soll gefunden werden | in die Sitemap aufnehmen, nicht sperren |
KI-Crawler: steuern statt aussperren
Neben Googlebot und Bingbot rufen heute auch Crawler von KI-Anbietern Websites ab. Über die robots.txt lassen sich auch die Aktivitäten von KI-Crawlern verwalten, die Server teils stärker beanspruchen als klassische Suchmaschinen-Crawler. Jeder Anbieter veröffentlicht dafür seine eigenen User-Agent-Bezeichnungen.
Für einen Handwerksbetrieb, eine Praxis oder ein Restaurant lautet die Abwägung aber selten "aussperren". Wer möchte, dass ChatGPT und andere KI-Assistenten den Betrieb empfehlen, wenn jemand nach "Heizungsnotdienst in meiner Nähe" fragt, muss diesen Systemen erlauben, die Inhalte zu lesen. Eine pauschale Sperre aller unbekannten Bots kann genau diese Sichtbarkeit kosten. Wie Sie Ihre Inhalte für KI-Antworten aufbereiten, zeigt unser Beitrag zur GEO-Optimierung Ihrer Website, die Grundlagen erklären wir unter Generative Engine Optimization.

Prüfen und an Google übermitteln
Eine robots.txt, die niemand testet, ist ein Risiko. So gehen Sie vor:
- Im Browser aufrufen: Öffnen Sie
https://ihredomain.de/robots.txtund jede Variante, unter der Ihre Website läuft. Google empfiehlt, die Datei für jede relevante Protokoll- und Host-Kombination zu prüfen. - robots.txt-Bericht öffnen: In der Google Search Console zeigt der Bericht, welche robots.txt Google zuletzt abgerufen hat und ob Fehler oder Warnungen auftreten.
- Einzelne URLs testen: Mit dem URL-Prüftool sehen Sie, ob eine bestimmte Seite, etwa Ihre wichtigste Leistungsseite, durch die robots.txt blockiert wird.
- Sitemap einreichen: Tragen Sie unter "Sitemaps" die Adresse Ihrer Sitemap ein. Der Sitemaps-Bericht der Search Console zeigt danach Status und Verarbeitungsfehler.
- Ergebnis richtig einordnen: Eine eingereichte Sitemap ist laut Google ein Hinweis. Sie garantiert weder, dass alle URLs gecrawlt, noch dass sie indexiert werden. Fehlt eine wichtige Seite nach einigen Wochen im Index, liegt die Ursache meist im Inhalt oder in der internen Verlinkung, nicht in der Sitemap.
- Regelmäßig wiederholen: Nach jedem Relaunch, Plugin-Update oder Hosterwechsel einmal alle Schritte durchgehen.
Wenn Sie nicht selbst in den Code schauen wollen, zeigt Ihnen unser kostenloser SEO- und KI-Check in wenigen Minuten, ob Ihre Website technisch sauber für Suchmaschinen erreichbar ist.
Unsere Sicht: Technik, um die sich Betriebe nicht kümmern sollten
Wir sehen bei Handwerksbetrieben, Praxen und Restaurants immer wieder dasselbe Muster: Die Website sieht gut aus, aber eine vergessene Sperrzeile aus der Entwicklungsphase oder eine Sitemap voller Testseiten bremst die Sichtbarkeit aus. Niemand merkt es, weil niemand im Betrieb Zeit hat, in die Search Console zu schauen.
Unsere Überzeugung ist deshalb: Ein Dachdecker sollte Dächer decken und eine Ärztin Patienten behandeln, statt Disallow-Regeln zu lernen. Sitemap, robots.txt, SEO und GEO gehören bei uns von Anfang an zur Homepage dazu. Sie werden so angelegt, dass Google und KI-Assistenten die Seiten lesen können, die Kunden bringen sollen.
Dazu kommt, was danach passiert. Eine Website lebt, neue Leistungen und Öffnungszeiten kommen hinzu. Bei uns schicken Sie Änderungen einfach per Sprachnachricht oder WhatsApp, ohne sich um die Technik dahinter kümmern zu müssen. So bleibt die Seite aktuell, und der 24/7-Chatbot beantwortet währenddessen die Anfragen Ihrer Besucher.
Shaun
Ihre Homepage mit sauberer Technik von Anfang an
Bei chatpages.ai entsteht Ihre Homepage per Text, Sprache oder Telefon in weniger als sieben Tagen, mit integrierter SEO- und GEO-Optimierung, verkaufsstarken Texten und einem Chat-Interface, das Besucherfragen sofort beantwortet und Termine bucht. Sie müssen keine Datei anfassen und keine Regel schreiben.

Sie möchten zuerst wissen, wo Ihre aktuelle Website steht? Starten Sie mit dem KI-Sichtbarkeits-Check oder lassen Sie sich direkt Ihre Homepage mit KI erstellen.
Häufige Fragen
Brauche ich überhaupt eine robots.txt?
Eine kleine Website kann auch ohne auskommen, denn ohne Datei gibt es schlicht keine Sperren. Empfehlenswert ist sie trotzdem, weil sie Bereiche wie den Adminbereich oder die interne Suche ausklammert und die Adresse Ihrer Sitemap für alle Suchmaschinen bekannt macht.
Wo finde ich meine Sitemap?
Meist unter ihredomain.de/sitemap.xml oder ihredomain.de/sitemap_index.xml, je nach System und Plugin. Steht sie in Ihrer robots.txt, finden Sie die genaue Adresse in der Zeile, die mit Sitemap: beginnt.
Muss ich die Sitemap in der robots.txt und in der Search Console angeben?
Beides ist sinnvoll und widerspricht sich nicht. Die Zeile in der robots.txt erreicht alle Suchmaschinen, die Einreichung in der Search Console liefert Ihnen zusätzlich Status und Fehlermeldungen von Google.
Warum ist eine Seite bei Google, obwohl ich sie per robots.txt gesperrt habe?
Weil die robots.txt nur das Crawling verhindert, nicht die Indexierung. Verweisen andere Seiten auf die Adresse, kann Google sie trotzdem aufnehmen. Heben Sie die Sperre auf und setzen Sie stattdessen ein noindex-Tag.
Wie oft sollte ich Sitemap und robots.txt prüfen?
Nach jedem Relaunch, Hosterwechsel oder größeren Plugin-Update sofort, ansonsten etwa einmal im Quartal im robots.txt- und Sitemaps-Bericht der Search Console. So fallen versehentliche Sperren auf, bevor sie Anfragen kosten.
Quellen
- Google: robots.txt-Datei erstellen und einreichen
- Google: Einführung und Leitfaden zu robots.txt-Dateien
- Chrome for Developers: robots.txt ist ungültig
- Search Console-Hilfe: robots.txt-Bericht
- Search Console-Hilfe: Sitemaps-Bericht
- Cloudflare: Was ist robots.txt?
