GEO Lexikon
LLM Crawlability
LLM Crawlability beschreibt, ob ein von einem KI-System genutzter Dienst eine Webseite abrufen und ihre relevanten Inhalte lesen kann. Technischer Zugriff ist keine Garantie für Indexierung, Quellenzitate oder Empfehlungen.
Im Detail
Untersuche die konkrete URL, die eine Kundenfrage beantworten soll. Prüfe die abschließende HTTP-Antwort, Weiterleitungen, Robots-Regeln, Indexierungsanweisungen und den tatsächlich ausgelieferten Inhalt. Ein erfolgreicher Browseraufruf reicht als Nachweis nicht aus: Eine Firewall kann automatisierte Zugriffe abweisen oder der Server zunächst eine leere Anwendungshülle liefern. Umgekehrt beweist ein erfolgreicher Abruf mit nachgeahmtem Crawler-User-Agent noch nicht, dass der echte Crawler aus seinem Netzwerk zugreifen kann. Serverprotokolle und die URL-Prüfung des Suchdienstes helfen, diese Lücke zu schließen.
Unterscheide bei Google zwischen Crawling und Indexierung. Ein Ausschluss in robots.txt steuert den Abruf. Eine noindex-Anweisung fordert dagegen den Ausschluss einer Seite aus dem Index, nachdem Google sie abrufen konnte. Prüfe sowohl das Robots-Meta-Tag im HTML als auch den X-Robots-Tag im HTTP-Header. Kontrolliere zusätzlich das Canonical-Ziel: Eine zugängliche URL kann Suchmaschinen auf eine andere Seite verweisen.
Ein typischer Fall ist ein öffentlicher Produktleitfaden mit HTTP 200, der noindex aus einer Staging-Vorlage geerbt hat. Zusätzliche Links oder Absätze heben diesen Ausschluss nicht auf. Korrigiere die Anweisung auf der gewünschten öffentlichen Seite und kontrolliere die veröffentlichte Antwort. Kontoseiten und private Berichte gehören weiterhin nicht in den Suchindex. Prüfe nach der technischen Korrektur, ob der Inhalt die Zielfrage wirklich beantwortet. Zugänglichkeit allein belegt keinen inhaltlichen Nutzen.
Häufige Fragen
- Bedeutet HTTP 200, dass eine Seite indexierbar ist?
- Nein. Die Antwort kann weiterhin noindex enthalten, eine andere kanonische URL angeben oder keinen hilfreichen Inhalt liefern. Prüfe Header und gerenderte Seite gemeinsam.
- Soll ich eine noindex-Seite zusätzlich in robots.txt sperren?
- Google muss die Seite abrufen können, um noindex zu lesen. Eine Crawling-Sperre kann das verhindern. Vertrauliche Informationen benötigen eine Zugangskontrolle; Robots-Regeln schützen keine Daten.
- Garantiert freier Crawler-Zugriff ein KI-Zitat?
- Nein. Abruf und Quellenauswahl sind getrennte Schritte. Beobachte tatsächliche Zitate und ihren Antwortkontext, statt einen erfolgreichen Technikcheck mit Sichtbarkeit gleichzusetzen.
Die richtige Ebene prüfen
| Beobachtung | Nächster Prüfschritt |
|---|---|
| 403 oder Sicherheitsabfrage | Firewall-Regeln und Zugriff echter Crawler |
| 200 mit noindex | Soll diese Seite öffentlich auffindbar sein? |
| 200 mit hilfreichem, indexierbarem Inhalt | Indexierungsstatus, Relevanz und tatsächliche Antworten |
Quellen & Weiterlesen
- Technical requirements — Google Search Central
- Block indexing with noindex — Google Search Central
- Introduction to robots.txt — Google Search Central
Nächster Schritt
Prüfe deine AI-Sichtbarkeit mit Prompt Monitoring
Starte mit dem kostenlosen AI-Crawlability-Check und sieh, ob KI-Crawler deine Website lesen können.