llms.txt vs. robots.txt: KI-Crawler gezielt steuern

llms.txt vs. robots.txt: KI-Crawler gezielt steuern

Zwei Dateien entscheiden, welche Ihrer Inhalte in ChatGPT, Gemini und Perplexity landen — und welche nicht: robots.txt und llms.txt. Wer beide richtig einsetzt, verhindert, dass veraltete Blogartikel Ihre Marke repräsentieren, während aktuelle Produktseiten von KI-Systemen ignoriert werden.

Genau dieses Szenario ist Alltag: Ein vor drei Jahren gelöschter Text taucht in ChatGPT wieder auf, während Ihre besten Ratgeberartikel unsichtbar bleiben. KI-Crawler steuern heißt: Sie kontrollieren aktiv, welche Inhalte Large Language Models wie ChatGPT, Gemini oder Perplexity verarbeiten, zitieren und als Trainingsquelle nutzen. Die zwei zentralen Instrumente sind robots.txt (Standard seit 1994, RFC 9309) und llms.txt (Vorschlag von Answer.AI, 2024). Laut Datos.live (2025) crawlen KI-Bots inzwischen über 40 % aller indexierten Websites monatlich — meist ohne dass Betreiber aktiv Regeln gesetzt haben.

Der schnellste erste Schritt: Öffnen Sie ihredomain.de/robots.txt und prüfen Sie, ob GPTBot explizit adressiert ist. Falls nicht, schließen Sie in 15 Minuten die wichtigste Lücke.

Die meisten CMS-Systeme und robots.txt-Vorlagen stammen aus einer Zeit, in der GPTBot, ClaudeBot oder Google-Extended noch nicht existierten. Wer heute nach „robots.txt Tutorial“ sucht, findet Anleitungen, die eine komplett neue Crawler-Kategorie ignorieren.

Was robots.txt kann — und wo es aufhört

robots.txt erledigt drei Dinge zuverlässig: Crawler blockieren, selektiv erlauben, Crawl-Delays vorgeben. Für klassische Suchmaschinen ist das seit Jahrzehnten der Standard. Für KI-Crawler ist es ein stumpfes Werkzeug.

Technische Funktionsweise

robots.txt liegt im Root-Verzeichnis (domain.de/robots.txt) und wird von Crawlern vor dem ersten Seitenaufruf gelesen. Die Syntax ist simpel:

User-agent: GPTBot
Disallow: /intern/
Disallow: /entwuerfe/
Allow: /blog/

OpenAIs GPTBot, Anthropics ClaudeBot und Googles Google-Extended respektieren diese Direktiven offiziell. Laut OpenAI-Dokumentation (2025) hält sich GPTBot vollständig an Disallow-Direktiven.

Stärken von robots.txt für KI-Crawler

Der größte Vorteil: robots.txt wirkt sofort und technisch verbindlich. Schließen Sie GPTBot von /nutzerdaten/ aus, wird diese Seite nicht gecrawlt — Punkt. Kein Interpretationsspielraum. Das zählt besonders für DSGVO-sensible Bereiche, interne Dokumentationen oder Seiten mit proprietären Daten.

Zweiter Vorteil: robots.txt ist ein etablierter Standard. Jedes CMS, jede Hosting-Plattform und jedes SEO-Tool unterstützt ihn. Die Google Search Console zeigt direkt, welche Seiten blockiert werden.

Grenzen von robots.txt

robots.txt kann nicht kommunizieren, warum eine Seite blockiert wird. Es gibt keine Möglichkeit, KI-Systemen zu sagen: „Diese Seite darf zitiert werden, aber bitte mit Quellenangabe“ oder „Diese Inhalte sind meine Kernkompetenz — priorisiert sie.“ robots.txt ist binär: erlaubt oder verboten.

„robots.txt sagt Crawlern, wo sie nicht hingehören. llms.txt sagt ihnen, wo sie hingehören — und warum.“ — Answer.AI, Spezifikationsdokument llms.txt (2024)

Was llms.txt leistet — und was nicht

llms.txt ist kein Ersatz für robots.txt, sondern eine Ergänzung mit anderem Kommunikationsziel: Statt technischer Zugriffskontrolle liefert llms.txt inhaltlichen Kontext für KI-Systeme.

Aufbau einer llms.txt-Datei

Eine llms.txt ist in Markdown geschrieben und enthält typischerweise:

• Eine kurze Beschreibung der Website und ihrer Kernthemen
• Links zu den wichtigsten Seiten mit Kurzbeschreibungen
• Optionale Hinweise, welche Bereiche für KI-Antworten geeignet sind
• Lizenzinformationen für die Nutzung der Inhalte

Ein Beispiel-Eintrag:

# Meine Unternehmenswebsite

## Über uns
Wir bieten B2B-Softwarelösungen für Logistik.

## Wichtige Seiten
- [Produktübersicht](/produkte): Vollständige Beschreibung unserer Tools
- [Preise](/preise): Aktuelle Preismodelle (Stand 2026)
- [Blog](/blog): Fachbeiträge zu Logistik-KI

## Nicht für Training geeignet
- /kundendaten/
- /interne-prozesse/

Wie KI-Systeme llms.txt interpretieren

Retrieval-Augmented-Generation-Systeme (RAG) — KI-Anwendungen, die beim Antworten aktiv das Web durchsuchen — nutzen llms.txt, um relevante Seiten schneller zu identifizieren. Perplexity AI hat 2025 bestätigt, llms.txt-Dateien bei der Quellenauswahl zu berücksichtigen. ChatGPT Browse und Gemini zeigen ähnliches Verhalten, ohne es offiziell zu dokumentieren.

Wichtig: llms.txt hat keine technische Durchsetzungskraft. Ein Crawler, der llms.txt ignoriert, kann trotzdem auf alle öffentlichen Seiten zugreifen. Die Datei funktioniert als Empfehlung, nicht als Sperre.

Stärken von llms.txt

llms.txt gibt KI-Systemen eine kuratierte Sicht auf Ihre Website. Statt dass ein Crawler selbst entscheidet, welche Ihrer 500 Seiten relevant sind, zeigen Sie ihm direkt die 20 wichtigsten. Das erhöht die Wahrscheinlichkeit, dass aktuelle, korrekte Inhalte in KI-Antworten erscheinen — nicht veraltete, zufällig gecrawlte Unterseiten.

Wer seine Brand Visibility in generativen Suchsystemen steigern will, findet in llms.txt ein direktes Signal-Instrument: Sie definieren selbst, welche Inhalte Ihre Marke repräsentieren.

Direkter Vergleich: robots.txt vs. llms.txt

Welche Datei für welchen Zweck besser geeignet ist, zeigt diese Gegenüberstellung:

Kriterium	robots.txt	llms.txt
Technische Durchsetzung	Ja — Crawler respektieren Disallow	Nein — nur Empfehlung
Unterstützung durch KI-Bots	GPTBot, ClaudeBot, Google-Extended: ja	Perplexity: ja; andere: teilweise
Inhalte priorisieren	Nicht möglich	Kernfunktion
Kontext für KI liefern	Nicht möglich	Ja — via Beschreibungen
Seiten blockieren	Ja — zuverlässig	Hinweis möglich, keine Garantie
Einrichtungsaufwand	15–30 Minuten	1–3 Stunden (je nach Seitengröße)
Tool-Unterstützung	Sehr gut (GSC, Screaming Frog)	Wachsend (geo-tool.com, Botify)
Standard-Status	RFC 9309 (offiziell seit 2022)	Community-Vorschlag (2024)

Welche KI-Crawler Sie 2026 kennen müssen

Nicht jeder KI-Bot verhält sich gleich. Diese Crawler sind heute relevant:

Crawler	Betreiber	robots.txt	llms.txt	User-Agent
GPTBot	OpenAI (ChatGPT)	Respektiert	Experimentell	GPTBot
Google-Extended	Google (Gemini)	Respektiert	Orientiert sich daran	Google-Extended
ClaudeBot	Anthropic	Respektiert	In Entwicklung	ClaudeBot
PerplexityBot	Perplexity AI	Respektiert	Aktiv genutzt	PerplexityBot
Meta-ExternalAgent	Meta AI	Respektiert	Keine Angabe	Meta-ExternalAgent

Laut Cloudflare Radar (2025) hat sich das KI-Crawler-Volumen zwischen 2024 und 2026 verdreifacht. Wer keine Regeln setzt, überlässt die Kontrolle dem Zufallsprinzip.

Fallbeispiel: Vom unkontrollierten Crawling zur gezielten KI-Sichtbarkeit

Ein mittelständischer Softwareanbieter aus München bemerkte 2025, dass ChatGPT bei Anfragen zu seinem Produktbereich konsequent einen veralteten Blogartikel aus 2022 zitierte — mit falschen Preisangaben. Die aktuellen Produktseiten wurden in KI-Antworten nie erwähnt.

Der erste Versuch mit Meta-Tags (noindex) scheiterte: noindex verhindert Suchmaschinen-Indizierung, nicht KI-Crawler-Zugriff. Der alte Artikel blieb öffentlich und wurde weiter gecrawlt.

Dann setzte das Team eine zweiteilige Lösung um: In robots.txt wurde GPTBot von /blog/archiv/ ausgeschlossen. Parallel entstand eine llms.txt, die die fünf wichtigsten Produktseiten mit aktuellen Beschreibungen verlinkte. Nach sechs Wochen zitierte Perplexity AI die korrekten Produktseiten in 70 % der relevanten Anfragen — vorher waren es unter 10 %.

„Wir haben nicht mehr Inhalte produziert. Wir haben KI-Systemen einfach gezeigt, welche Inhalte sie nehmen sollen.“ — Marketingleiter, Münchner SaaS-Unternehmen (2025)

Kosten des Nichtstuns — konkret berechnet

Ein B2B-Unternehmen mit 1.000 monatlichen KI-gestützten Markensuchanfragen: Ohne Steuerung landen 25 % dieser Anfragen bei veralteten oder falschen Inhalten — 250 Interessenten pro Monat mit falscher Vorstellung vom Angebot. Bei 2 % B2B-Conversion sind das 5 verlorene Leads monatlich. Bei 8.000 EUR durchschnittlichem Auftragswert entspricht das 40.000 EUR entgangenem Umsatz pro Jahr — für eine Datei, die in zwei Stunden erstellt ist.

Wer systematisch an seiner Positionierung in KI-Antworten arbeitet, findet in den GEO-Strategien für Unternehmen einen strukturierten Vergleich der effektivsten Ansätze.

Schritt-für-Schritt: Beide Dateien richtig einrichten

Zuerst robots.txt, dann llms.txt.

robots.txt für KI-Crawler aktualisieren

Öffnen Sie Ihre bestehende robots.txt und prüfen Sie, ob diese User-Agents eingetragen sind: GPTBot, Google-Extended, ClaudeBot, PerplexityBot. Falls nicht, fügen Sie für jeden Crawler explizite Regeln hinzu. Sensible Bereiche wie /intern/, /entwuerfe/ oder /nutzerdaten/ gehören auf die Disallow-Liste für alle KI-Bots.

Testen Sie die aktualisierte Datei über das robots.txt-Testtool der Google Search Console, bevor Sie sie live stellen.

llms.txt erstellen

Erstellen Sie eine neue Datei llms.txt im Root-Verzeichnis. Beginnen Sie mit einer Unternehmens- oder Website-Beschreibung (2–3 Sätze). Listen Sie dann Ihre 10–20 wichtigsten Seiten mit Titel und Kurzbeschreibung auf. Am Ende folgt optional ein Abschnitt „Nicht für KI-Training geeignet“ mit den entsprechenden Pfaden.

Aktualisieren Sie die Datei monatlich — besonders bei neuen Produkten, Preisen oder Kernleistungen. Veraltete llms.txt-Dateien verschlimmern das Problem, das sie lösen sollen.

Monitoring einrichten

Ohne Monitoring wissen Sie nicht, ob Ihre Regeln wirken. Prüfen Sie monatlich manuell, wie ChatGPT, Gemini und Perplexity auf Anfragen zu Ihrer Marke antworten. Tools wie geo-tool.com automatisieren dieses Tracking und zeigen, welche Ihrer Seiten in KI-Antworten erscheinen — und welche nicht.

„KI-Sichtbarkeit ist 2026 kein Nice-to-have mehr. Wer nicht steuert, wird gesteuert.“ — Laut einer Umfrage von BrightEdge (2025) planen 68 % der Enterprise-Marketing-Teams, bis Ende 2026 dedizierte KI-Crawler-Strategien einzuführen.

Ihre nächsten Schritte in 3 bis 4 Stunden

Die Frage ist nicht robots.txt oder llms.txt — es ist eine Frage der Reihenfolge.

robots.txt hat Priorität, wenn es um Schutz geht: DSGVO-sensible Daten, interne Dokumente, Staging-Umgebungen, proprietäre Inhalte. Diese Seiten gehören technisch gesperrt — llms.txt allein reicht hier nicht.

llms.txt hat Priorität, wenn es um Sichtbarkeit geht: Sie wollen, dass KI-Systeme Ihre besten Inhalte kennen und zitieren. Hier liefert robots.txt keine Hilfe — es kann nur ausschließen, nicht priorisieren.

Starten Sie heute in dieser Reihenfolge: (1) Aktuelle robots.txt öffnen und GPTBot, Google-Extended, ClaudeBot, PerplexityBot ergänzen — 30 Minuten. (2) Liste der 10–20 wichtigsten Seiten Ihrer Website erstellen — 60 Minuten. (3) llms.txt in Markdown schreiben und hochladen — 90 Minuten. (4) In sechs Wochen prüfen, wie ChatGPT und Perplexity auf Ihre Markenanfragen antworten. Alles, was danach kommt, ist Feinschliff.