Warum KI-Bots deine Website nicht crawlen können (und wie du das behebst)

Was „blockiert“ für KI-Antworten wirklich bedeutet

Antwortmaschinen — ChatGPT, Perplexity, Google AI Overviews, Claude — erfinden keine Fakten über dein Unternehmen. Sie rufen deine Seiten ab, lesen sie und zitieren sie. Wenn ihr Crawler deine Seiten nicht erreichen kann, existierst du in der Antwort einfach nicht. Dir wird kein Fehler angezeigt; das Zitat geht schlicht an einen Wettbewerber, dessen Seiten geladen wurden.

Das ist der Kern von AEO (Answer Engine Optimization): von den Bots crawlbar zu sein, die KI-Antworten antreiben. Und der häufigste Grund, warum eine Website daran scheitert, ist keine fehlende llms.txt oder dünne strukturierte Daten — sondern dass der Crawler an der Tür abgewiesen wurde, bevor er das HTML überhaupt gesehen hat.

robots.txt ist eine Bitte; der Server ist die Mauer

Es gibt zwei völlig verschiedene Stellen, an denen ein KI-Bot blockiert werden kann, und sie verhalten sich grundverschieden.

robots.txt ist eine höfliche Bitte. Es ist eine Textdatei, die sagt: „bitte crawle diese Pfade nicht“. Gut erzogene Crawler — GPTBot, PerplexityBot, ClaudeBot, Google-Extended — lesen sie und gehorchen. Aber sie ist freiwillig: technisch blockiert sie nichts und steht und fällt mit dem guten Willen des Crawlers.

Eine Sperre auf Server- oder WAF-Ebene ist eine Mauer. Dein Host, CDN oder deine Firewall prüft den User-Agent der eingehenden Anfrage und gibt einen 403 Forbidden, einen 429 oder eine Challenge-Seite zurück, bevor deine Website überhaupt läuft. Der Crawler bekommt nichts. Entscheidend: Das kann passieren, während die robots.txt fröhlich „erlaubt“ sagt — die beiden Systeme wissen nichts voneinander.

Genau in dieser Lücke lebt die meiste stille KI-Unsichtbarkeit: Du (oder ein Plugin oder ein Tutorial) hast die Bots in der robots.txt erlaubt, aber der Server blockiert sie trotzdem — und nichts warnt dich.

Warum Hosts und WAFs KI-Bots überhaupt blockieren

KI-Crawler zu blockieren ist selten eine bewusst getroffene Entscheidung. Meist kommt sie als Voreinstellung:

Bandbreite und CPU. KI-Crawler können aggressiv sein — ein Trainings-Crawler fragt vielleicht täglich Tausende URLs ab. Budget- und Shared-Hosting-Anbieter liefern zunehmend User-Agent-Sperrlisten aus, die KI-Bots abweisen, um ihre Infrastruktur zu schützen — und sie sagen es dir nicht immer.

Ein-Klick-CDN-Schalter. Cloudflares verwaltete Einstellung „KI-Bots blockieren“ ist ein einziger Schalter. Man aktiviert ihn leicht in dem Glauben, nur Trainings-Scraper zu stoppen — aber dieselbe Regel blockiert GPTBot, ClaudeBot, Amazonbot, CCBot, Bytespider und mehr, einschließlich der Crawler, die dich sonst zitieren würden.

Sicherheits-Plugins und Firewall-Regeln. WordPress-Sicherheits-Plugins und WAF-Regelsätze bündeln oft „Bad-Bot“-Listen, die KI-Crawler zusammen mit echten Scrapern erfassen. Eine Regel gegen Content-Diebstahl stoppt still auch Zitate.

Das Ergebnis ist immer dasselbe: eine Sperre, die du nie beabsichtigt hast — sie spart etwas Bandbreite auf Kosten jedes künftigen KI-Zitats.

Wie du feststellst, ob deine Website KI-Bots blockiert

Du kannst es selbst testen — mit einer Anfrage pro Crawler: Fordere deine Startseite an, während du den User-Agent des Bots vorgibst, und beobachte den Statuscode.

Im Terminal: curl -sI -A "Mozilla/5.0 (compatible; GPTBot/1.1; +https://openai.com/gptbot)" https://deineseite.com/ — ein 200 OK bedeutet, der Bot kommt rein; ein 403, 429, 451 oder 503 oder eine Cloudflare-Challenge („Just a moment…“) bedeutet, er ist blockiert.

Führe das für jeden Crawler aus, der dir wichtig ist (GPTBot, PerplexityBot, ClaudeBot, OAI-SearchBot). Wenn ein normaler Browser-User-Agent 200 bekommt, die Bot-User-Agents aber 403, ist die Sperre User-Agent-basiert — die häufige, billige Art und am einfachsten zu beheben. Wird sogar der Googlebot blockiert, weist dein Host Crawler pauschal ab, was auch dem klassischen SEO schadet.

Ein Vorbehalt: Das testet die Blockierung anhand der User-Agent-Zeichenkette. Ausgefeilte Sperren, die einen Crawler anhand seiner veröffentlichten IP-Bereiche verifizieren, lassen sich vom eigenen Laptop aus nicht nachstellen — aber die sind seltener, und eine User-Agent-Sperre ist das, was du in den allermeisten Fällen findest.

Wie du die gewünschten Crawler entsperrst

Hier geht es um die Mauer, nicht um die robots.txt — die robots.txt zu bearbeiten bringt nichts, wenn der Server einen 403 zurückgibt. Geh zu der Ebene, die tatsächlich blockiert:

Cloudflare / CDN. Schalte die verwaltete Regel „KI-Bots blockieren“ aus oder ersetze sie durch eine eigene Regel, die die Zitier-Crawler (GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot) erlaubt und den Rest weiterhin fordert. Cloudflare erlaubt auch Rate-Limiting statt Blockieren, was die Bandbreite deckelt, ohne dunkel zu werden.

Host-Firewall / ModSecurity. Bitte deinen Host (oder prüfe die Firewall-Regeln) um eine User-Agent-Sperrliste, die GPTBot, ClaudeBot oder PerplexityBot enthält, und setze die gewünschten auf die Allowlist.

Sicherheits-Plugin. Entferne im Bad-Bot- oder User-Agent-Blockierbereich deines WordPress-Sicherheits-Plugins die KI-Zitier-Crawler aus der Sperrliste.

Entscheide dann, wen du wirklich willst. Für Trainings-Crawler ist Blockieren eine legitime Wahl — sie zuzulassen trägt deine Inhalte zum Modelltraining bei. Zitier-Crawler sind anders: GPTBot, OAI-SearchBot, PerplexityBot oder ClaudeBot zu blockieren entfernt dich aus Live-KI-Antworten — ohne Vorteil. Eine gängige, vertretbare Haltung: die Zitier- und Such-Crawler erlauben, die reinen Trainings-Crawler blockieren oder drosseln. OpenAI und Anthropic unterstützen diese Trennung, sodass du OAI-SearchBot für die Suche erlauben und GPTBot für das Training verbieten kannst.

Was auch immer du wählst: Teste danach erneut mit dem obigen curl-Befehl, um zu bestätigen, dass der Server die Bots tatsächlich ausliefert — verlass dich nicht darauf, dass der Schalter gewirkt hat.

Wie Relvato den KI-Crawler-Zugang für dich überwacht

Einmal von Hand zu testen ist gut; das Problem ist, dass diese Sperre wiederkommt. Ein geänderter CDN-Tarif, ein Update des Sicherheits-Plugins, eine neue Host-Firewall-Voreinstellung oder ein Kollege, der den Cloudflare-Schalter umlegt, kann KI-Crawler Monate später erneut blockieren — still, genau wie beim ersten Mal.

Relvatos AEO-Bereitschaftsprüfung führt diesen Test bei jeder Prüfung durch. Sie fordert deine Startseite als jeder Antwortmaschinen-Crawler an (GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot) und bestätigt, dass der Server sie tatsächlich ausliefert — nicht nur, dass die robots.txt sie erlaubt. Eine Browser-User-Agent-Kontrolle verhindert Fehlalarme, und eine Googlebot-Kontrolle unterscheidet KI-spezifisches Blockieren von pauschalem Bot-Blockieren.

Weil sie kontinuierlich läuft und nach Website-Updates erneut prüft, erfährst du im Moment, in dem ein Deploy oder eine Einstellungsänderung KI-Crawler abzuweisen beginnt — per Alarm, bevor Wochen verlorener Zitate vergehen. Daneben prüft dieselbe Kontrolle die robots.txt-Richtlinie, llms.txt, strukturierte Daten, eine Sitemap, Snippet-Metadaten und serverseitig gerenderte Inhalte — sodass „kann KI mich finden und zitieren?“ durchgängig beantwortet ist. Sie läuft auf jeder Website mit verifizierter Domain, ohne Plugin.