---
title: "Effizient für Crawler, zitierbar für KI: Was drei Wochen Access-Log über AI-Crawler verraten"
description: "AI-Crawler im Access-Log: fast verfünffachte ChatGPT-Abrufe, 24 % Fake-Bots und der Google-Index als Nadelöhr der KI-Sichtbarkeit. Drei Wochen Messdaten."
url: https://hechtinsgefecht.de/ai-crawler-traffic/
date_published: 2026-08-21
date_modified: 2026-08-21
---
# Effizient für Crawler, zitierbar für KI: Was drei Wochen Access-Log über AI-Crawler verraten

ChatGPT hat hechtinsgefecht.de in der dritten Woche unserer Messung 70,7-mal pro Tag live abgerufen. In der ersten Woche waren es 14,3 Abrufe. Fast eine Verfünffachung in drei Wochen, das klingt nach der perfekten Wachstums-Story.

Ein Viertel des gemessenen AI-Traffics war gefälscht, und der spannendste Treiber hinter dem echten Anstieg hat mit KI zunächst wenig zu tun.

AI-Crawler, im Deutschen auch KI-Crawler genannt, sind Web-Crawler von KI-Anbietern wie OpenAI, Anthropic oder Perplexity. Sie sind einteilbar in drei Kategorien.

Trainings-Crawler wie GPTBot und ClaudeBot sammeln Daten für künftige Modelle. Search-Crawler wie OAI-SearchBot und PerplexityBot füllen die Suchindizes der KI-Systeme. Und nutzergetriggerte Fetcher wie ChatGPT-User und Claude-User rufen eine Seite in dem Moment ab, in dem ein Mensch der KI eine Frage stellt. Die dritte Kategorie ist kommerziell die wichtigste, denn hinter jedem dieser Abrufe steht eine echte Nutzerfrage.

HECHT INS GEFECHT ist Ende Juli mit hechtinsgefecht.de von WordPress auf Hugo umgezogen, einen Generator für statische Websites. Die AI-Crawler-Zugriffe messen wir direkt im Access-Log, IP-verifiziert statt über reine User-Agent-Zählung. Drei Wochen Daten zeigen zwei Hebel, die beide wirken, bevor irgendein LLM (Large Language Model) deine Inhalte verarbeitet.

Der Google-Index entscheidet, ob deine Inhalte in Googles KI-Antworten zitiert werden können. Die Auslieferungskosten entscheiden, wie oft die Systeme wiederkommen. Wer nur einen der beiden Hebel bedient, verschenkt den anderen.

## Inhalt

1. [Die Messung: ChatGPT-Abrufe fast verfünffacht in drei Wochen](#chatgpt-abrufe)
2. [Ein Viertel des gemessenen AI-Traffics war Fake](#fake-bots)
3. [Das Rätsel: Google crawlt eine einzige URL 23 Tage nicht](#google-crawlt-nicht)
4. [Der Fix: eine neue URL, ein Crawl nach einem Tag](#url-wechsel)
5. [Der Google-Index ist das Nadelöhr der KI-Sichtbarkeit](#google-index-nadeloehr)
6. [Markdown statt HTML: der Kosten-Hebel für AI-Crawler](#markdown-serving)
7. [Ist Markdown-Serving für AI-Crawler Cloaking?](#markdown-cloaking)
8. [Nach dem Markdown-Umbau sanken die Bot-Zahlen, und das war richtig so](#bot-zahlen-sinken)
9. [Attribution: fünf parallele Maßnahmen hinter dem Anstieg der KI-Abrufe](#attribution)
10. [So misst du AI-Crawler-Traffic auf deiner eigenen Website](#ai-crawler-messen)
11. [Häufige Fragen zu AI-Crawlern](#haufige-fragen)
12. [Quellen](#quellen)

## Die Messung: ChatGPT-Abrufe fast verfünffacht in drei Wochen

**Der Live-Fetcher ChatGPT-User hat hechtinsgefecht.de in der Woche vom 14. bis 20.08. im Schnitt 70,7-mal pro Tag abgerufen, nach 14,3 Abrufen in der Woche vom 31.07. bis 06.08.** Alle Zahlen stammen aus dem Access-Log unseres Servers und zählen ausschließlich Zugriffe, deren IP-Adresse nachweislich zum jeweiligen Anbieter gehört.

| Bot (Kategorie) | Woche 1 | Woche 2 | Woche 3 |
| --- | --- | --- | --- |
| ChatGPT-User (Live-Fetch, OpenAI) | 14,3 | 43,3 | 70,7 |
| Claude-User (Live-Fetch, Anthropic) | 4,2 | 5,6 | 11,7 |
| OAI-SearchBot (Search, OpenAI) | 12,8 | 11,9 | 18,4 |
| PerplexityBot (Search, Perplexity) | 11,2 | 13,9 | 14,3 |
| GPTBot (Training, OpenAI) | 11,8 | 9,3 | 5,0 |
| ClaudeBot (Training, Anthropic) | 45,5 | 33,3 | 20,9 |
| Googlebot (klassische Suche, Google) | 269,0 | 231,3 | 121,3 |
| Bingbot (klassische Suche, Microsoft) | 68,0 | 55,3 | 32,0 |

Die Tabelle zeigt verifizierte Abrufe pro Tag. Woche 1 lief vom 31.07. bis 06.08., Woche 2 vom 07.08. bis 13.08. und Woche 3 vom 14.08. bis 20.08.2026.

Die nutzergetriggerten Fetcher steigen am stärksten, die Search-Crawler legen moderat zu, Trainings-Crawler und klassische Suchmaschinen-Bots fallen. Googlebot und Bingbot haben ihr Crawling im selben Zeitraum mehr als halbiert: Nach dem Hugo-Umzug hatten sie die komplette Website neu eingelesen, danach ging ihr Volumen wieder auf Normalniveau zurück. Die Trainings-Crawler GPTBot und ClaudeBot beschränken sich in unserem Log inzwischen weitgehend auf robots.txt, Sitemaps und die Startseite, Inhaltsseiten rufen sie kaum noch ab. Ein Saisoneffekt würde alle Kurven in dieselbe Richtung schieben, das Gegenteil ist der Fall.

Liniendiagramm: ChatGPT-User-Abrufe steigen in drei Wochen von 14,3 auf 70,7 pro Tag, Googlebot fällt von 269 auf 121

ChatGPT-User steigt, Googlebot fällt

Verifizierte Abrufe pro Tag, drei Wochen Access-Log

0
70
140
210
280

269,0
231,3
121,3
14,3
43,3
70,7
Googlebot
ChatGPT-User
Woche 1
Woche 2
Woche 3
31.07. bis 06.08.
07.08. bis 13.08.
14.08. bis 20.08.

ChatGPT-User fast verfünffacht, Googlebot mehr als halbiert
Abb. 1 · HECHT INS GEFECHT

Abb. 1: Verifizierte Abrufe pro Tag über drei Wochen: ChatGPT-User steigt von 14,3 auf 70,7, Googlebot fällt von 269 auf 121.

Eine Einschränkung gehört zu dieser Messreihe: Woche 1 beginnt am Tag des Hugo-Umzugs, die Basis könnte dadurch gedrückt sein. Selbst wer Woche 1 deswegen komplett streicht, sieht noch ein klares Bild: Von Woche 2 auf Woche 3 wächst ChatGPT-User um 63 %, Claude-User verdoppelt sich im selben Fenster, und die klassischen Bots fallen weiter.

## Ein Viertel des gemessenen AI-Traffics war Fake

**Rund 24 % aller Zugriffe mit AI-Crawler-Kennung auf hechtinsgefecht.de bestehen die IP-Verifikation nicht.** Hinter diesen Requests stecken Scraper und Vulnerability-Scanner (automatisierte Schwachstellen-Sucher), die sich als GPTBot, ClaudeBot oder PerplexityBot ausgeben und in der Regel nach Konfigurationsdateien und Sicherheitslücken suchen.

OpenAI, Anthropic, Perplexity und Google publizieren die IP-Bereiche ihrer Bots. Ein Abgleich gegen diese Listen plus ein Reverse-DNS-Check mit Gegenprobe trennt echte Bots von Nachahmern: Die IP löst auf einen Hostnamen des Anbieters auf, und dieser Hostname löst wieder auf dieselbe IP. Ohne die Gegenprobe ließe sich der Reverse-Eintrag fälschen. Ein User-Agent-String ist dagegen frei wählbar, jeder Scraper kann sich GPTBot nennen.

Duane Forrester, der früher bei Bing das Webmaster-Programm verantwortet hat, kam im Juni 2026 auf einer frischen Test-Domain auf noch drastischere Werte. 81,8 % seiner angeblichen KI-Assistenten-Zugriffe waren Fake, nur 6 von 33 Requests kamen von verifizierten Anbieter-IPs. Beim angeblichen Googlebot lag die Fälschungsquote bei 87 %. Forrester warnt selbst davor, diese Zahlen überzubewerten, denn eine kleine Domain über 14 Tage ist statistisch kaum belastbar. Die Richtung deckt sich trotzdem mit unserer Messung.

Fake-Anteil im AI-Crawler-Traffic: 24 Prozent bei hechtinsgefecht.de, 81,8 Prozent bei Duane Forresters Test-Domain.

Wie viel AI-Crawler-Traffic ist Fake?

Anteil der Zugriffe mit AI-Bot-Kennung, die die IP-Prüfung nicht bestehen

24 %
hechtinsgefecht.de
Access-Log, drei Wochen
81,8 %
Duane Forrester
frische Test-Domain, 14 Tage

Beim angeblichen Googlebot lag Forresters Fälschungsquote bei 87 %.
Nur 6 von 33 KI-Assistenten-Requests waren echt.

Wer ohne IP-Prüfung zählt, zählt Scanner mit

Abb. 2 · HECHT INS GEFECHT

Abb. 2: Zwei Messungen, eine Methode: 24 % Fake-Anteil bei hechtinsgefecht.de, 81,8 % auf Duane Forresters frischer Test-Domain.

Tools und Plattformen melden gerade zweistellige Zuwächse bei KI-Traffic, in der Regel ohne ein Wort zur Verifikation. Wer Bot-Traffic ohne IP-Prüfung zählt, zählt Scanner mit und verkauft das Ergebnis als Trend.

Die IP-Verifikation zeigte in unseren eigenen Logs außerdem: Der einzige Googlebot-Zugriff auf eine bestimmte URL in mehreren Wochen war eine Fälschung. Der echte Googlebot hat dieselbe URL konsequent gemieden.

## Das Rätsel: Google crawlt eine einzige URL 23 Tage nicht

**Unser [GEO-Agenturen-Listicle](https://hechtinsgefecht.de/geo-agenturen-deutschland/) blieb nach der Veröffentlichung am 16.07. genau 23 Tage lang ungecrawlt.** GEO steht für Generative Engine Optimization, also die Optimierung für KI-Suchsysteme. Die Seite stand in der Sitemap, war intern verlinkt und trug sauberes Schema-Markup (strukturierte Daten). Wir haben sie zweimal manuell zur Indexierung eingereicht. Der Googlebot holte sie trotzdem nicht ab.

Die Search Console zeigte zunächst „Gefunden, zurzeit nicht indexiert“. Google kannte die URL also, hatte sich aber gegen den Crawl entschieden. Anfang August meldete die URL-Prüfung der Search Console sogar „URL ist Google nicht bekannt“, die Seite war aus Googles Verwaltung komplett herausgefallen. Parallel crawlte der echte Googlebot den Rest der Website, in der ersten Messwoche mit 269 Abrufen pro Tag.

Warum verweigert der Googlebot drei Wochen lang genau eine URL, während er alles andere abholt? Eine offizielle Antwort darauf gibt es nicht. Der Hugo-Umzug scheidet als Ursache aus, die Verweigerung begann 15 Tage vorher. Zwei Hypothesen blieben nach dem Ausschlussverfahren übrig.

Hypothese eins ist Themen-Redundanz: HECHT INS GEFECHT rankte für die passenden Suchanfragen bereits mit zwei anderen Seiten. Aus Googles Sicht war der Intent abgedeckt, eine dritte Seite zum selben Thema hat der Crawl-Scheduler entsprechend niedrig priorisiert. Hypothese zwei stammt aus unserer eigenen Beobachtung: Die URL enthielt das Wort „beste“.

Timeline: 23 Tage ohne Crawl trotz zwei Submits, URL-Wechsel am 08.08., einen Tag später indexiert, ab 15.08. steigende Citations.

23 Tage ignoriert, nach einem Tag im Index

16.07.

GEO-Listicle veröffentlicht
Sitemap, interne Verlinkung, Schema: alles sauber

23 Tage

„Gefunden, zurzeit nicht indexiert“
Zwei manuelle Submits, kein einziger Crawl

04.08.

„URL ist Google nicht bekannt“
Die Seite fällt komplett aus Googles Verwaltung

08.08.

URL-Wechsel: /geo-agenturen-deutschland/
301-Weiterleitung, der Inhalt bleibt unverändert
Geändert wurde ausschließlich die URL

09.08.

Gecrawlt und indexiert
Einen Tag später, 804 Impressionen in Woche 1

ab 15.08.

16 bis 28 Citations pro Tag
vorher 5 bis 9, gemessen mit Rankscale

Quelle: Google Search Console, Access-Log, Rankscale

Gleicher Inhalt, neue URL: ein Crawl nach einem Tag

Abb. 3 · HECHT INS GEFECHT

Abb. 3: Die Chronik des Indexierungs-Dramas: 23 Tage Verweigerung, dann Crawl, Index und Citations innerhalb einer Woche nach dem URL-Wechsel.

## Der Fix: eine neue URL, ein Crawl nach einem Tag

**Am 08.08. haben wir den Slug von /beste-geo-agenturen-deutschland/ auf /geo-agenturen-deutschland/ umgestellt, mit 301-Weiterleitung und unverändertem Inhalt. Einen Tag später war die Seite gecrawlt und indexiert.** In den ersten sieben Tagen nach der Indexierung sammelte sie 804 Impressionen in der Search Console. Ein großer Teil davon entfiel auf lange, promptartige Suchanfragen im Query-Bericht, wie sie typischerweise aus Googles AI Mode kommen.

Der Inhalt des GEO-Listicles war seit Wochen derselbe, Title und H1 tragen bis heute das Wort „besten“. Geändert haben wir ausschließlich die URL, und das hat gereicht.

### Google speichert Seiten unter ihrer URL

Die Erklärung, die das Crawl-Verhalten am besten beschreibt: Die URL ist der Schlüssel, unter dem Google eine Seite intern verwaltet. Content-Updates ändern diesen Schlüssel nicht. Eine URL, die der Crawl-Scheduler einmal aussortiert hat, kann deswegen trotz Content-Arbeit dauerhaft aussortiert bleiben. Eine neue URL ist dagegen ein neuer Datensatz und bekommt eine neue Bewertung. Welche der beiden Hypothesen die Verweigerung ausgelöst hat, lässt sich damit nicht mehr klären: Der URL-Wechsel setzt beide außer Kraft, die neue URL wird neu bewertet, egal warum die alte aussortiert war.

Hätten wir statt der URL den Content überarbeitet, wären wir nach meiner Einschätzung bis heute nicht im Index, egal wie gut der Text geworden wäre. Beobachtet haben diesen Reset auch andere, offiziell dokumentiert ist er nirgends. Der US-SEO Dan Shure beschrieb 2021 einen fast identischen Fall: Eine Seite hing in „Gefunden, zurzeit nicht indexiert“ fest, Indexierungs-Anträge in der Search Console brachten nichts. Nach der Neuveröffentlichung unter leicht geänderter URL war der identische Inhalt laut seinem Bericht innerhalb weniger Stunden im Index, ohne einen einzigen Submit.

John Mueller, Search Advocate bei Google, bestätigt seit Jahren nur die passive Hälfte dieses Musters: Der Status kann dauerhaft anhalten, einen Anspruch auf Indexierung gibt es nicht. Dass ein URL-Wechsel den Reset auslöst, kommentiert Google nicht.

**Pro-Tipp:** Hängt eine technisch saubere neue Seite länger als 3 bis 4 Tage in „Gefunden, zurzeit nicht indexiert“, würde ich heute handeln statt warten. Erst externe Signale setzen (Verlinkung, Social), dann die URL wechseln. Wir haben 23 Tage gewartet. Das war rückblickend ein Fehler.

### Das Wort „beste“ im Slug: eine offene Hypothese

Hat das Wort „beste“ im Slug den Crawl verhindert? Beweisen lässt sich das nicht, das Timing bleibt trotzdem auffällig: 23 Tage Verweigerung, dann ein Crawl innerhalb eines Tages nach dem Wortwechsel. Gegen die These spricht einiges. Der URL-Wechsel selbst wirkt als Reset im Crawl-Scheduler, unabhängig vom entfernten Wort.

Unser [Ranking der sichtbarsten SEO-Agenturen](https://hechtinsgefecht.de/sichtbarste-seo-agenturen-llm-deutschland/) trägt einen Superlativ im Slug und kam problemlos in den Index. Und gegen eine generelle Abneigung gegen das Wort spricht: Andere Seiten von HECHT INS GEFECHT ranken für „beste“-Suchanfragen ohne Auffälligkeiten.

Denkbar wäre eine Muster-Erkennung auf URL-Ebene: Google kämpft seit 2024 sichtbar gegen die Flut austauschbarer Best-of-Listicles. Ein Slug wie /beste-geo-agenturen-deutschland/ passt exakt in dieses Muster. Belegt ist das nirgendwo, Google dokumentiert keine Wort-Signale für die Crawl-Priorisierung. Wir führen die Beobachtung deswegen als das, was sie ist: ein Einzelfall mit präzisem Timing und ohne Kontrollgruppe.

## Der Google-Index ist das Nadelöhr der KI-Sichtbarkeit

**Ohne den Google-Index gibt es keine Zitate in AI Overviews, und auch Gemini zitierte uns erst nach der Indexierung. Die Sichtbarkeit von HECHT INS GEFECHT für GEO-Suchanfragen sprang im Monitoring-Tool Rankscale von 0 auf 11,1 %. Der Sprung lief ausschließlich über Gemini und die AI Overviews und begann erst nach der Indexierung am 09.08.**

Die Kaskade vom Google-Index in die KI-Antworten beginnt bei den AI Overviews und dem AI Mode: Beide setzen den Google-Index dokumentiert voraus. Fehlt eine Seite dort, fällt sie für diese beiden Systeme komplett aus, so gut ihr Inhalt auch sein mag. Bei Gemini sprechen unsere Daten für dieselbe Abhängigkeit. Das passt zur Technik: Das System greift beim Zugriff auf Webquellen auf die Google-Suche zu. ChatGPT und Perplexity arbeiten dagegen mit eigenen Indizes und Bing-Daten und hängen deutlich weniger am Google-Index.

Das heißt: Ein Indexierungsproblem ist mittlerweile kein reines SEO-Problem mehr, sondern ein KI-Sichtbarkeitsproblem. Welche Indizes neben Google relevant geworden sind, steht im Beitrag zur [Indexierung für LLM-Sichtbarkeit](https://hechtinsgefecht.de/indexierung-llm-sichtbarkeit/).

Parallel zu den Log-Zahlen stiegen die von außen gemessenen Zitate. Rankscale zählte ab dem 15.08. zwischen 16 und 28 Citations pro Tag für hechtinsgefecht.de, nach 5 bis 9 in den Wochen davor. 97 % dieser Zitate entfallen auf genau zwei Seiten, das Agentur-Ranking und das frisch indexierte [GEO-Agenturen-Listicle](https://hechtinsgefecht.de/geo-agenturen-deutschland/). In unseren Daten zitieren die KI-Systeme fast nie Startseiten oder Leistungsseiten, sondern Inhalte mit eigenen Messdaten.

Steigende Werte in einem Monitoring-Tool können ein Messartefakt sein, etwa wenn das Tool sein Scan-Volumen erhöht. Deswegen haben wir den Anstieg gegen die 20 mitgemessenen Wettbewerber normalisiert. Deren Citations stiegen im Median auf das 1,4-fache, der Markt insgesamt legte also leicht zu. Unsere stiegen auf das 3,2-fache, während das Scan-Volumen des Tools konstant blieb. Der Anstieg ist real und liegt deutlich über dem Feld.

## Markdown statt HTML: der Kosten-Hebel für AI-Crawler

**hechtinsgefecht.de liefert acht AI-Crawlern seit dem 24.07. Markdown statt HTML aus, unter derselben URL und mit 1:1 identischem Inhalt. Die durchschnittliche Antwortgröße für diese Bots fiel dadurch von 39.310 auf 14.460 Bytes, minus 63 %.**

Die acht umgeleiteten Bots im Einzelnen: GPTBot, ChatGPT-User und OAI-SearchBot von OpenAI, ClaudeBot, Claude-User und Claude-SearchBot von Anthropic sowie PerplexityBot und Perplexity-User von Perplexity. Claude-SearchBot und Perplexity-User tauchen in unserem Log nur vereinzelt auf und fehlen deswegen in der Tabelle oben. Fremde Trainings-Crawler wie der CCBot von Common Crawl und die rendernden Suchmaschinen-Bots (Googlebot, Bingbot, Applebot) bekommen dagegen bewusst dasselbe HTML wie jeder Browser.

Vorher-Nachher-Vergleich: Antwortgröße für AI-Crawler fällt durch Markdown-Serving von 39.310 auf 14.460 Bytes, minus 63 Prozent.

Markdown-Serving: 63 % weniger Bytes

Durchschnittliche Antwortgröße für die acht umgeleiteten AI-Crawler

Vorher: gerendertes HTML

39.310 Bytes

Nachher: Markdown, gleiche URL

14.460 Bytes

-63 %

Auch die Abrufe pro ausgelieferter Seite sanken: von 2,66 auf 2,33

Markdown ist das Quellformat, HTML nur die Renderschicht
Abb. 4 · HECHT INS GEFECHT

Abb. 4: Dieselbe Seite, zwei Formate: Markdown-Serving senkt die durchschnittliche Antwortgröße für AI-Crawler um 63 %.

Gestartet ist das Markdown-Serving noch auf unserem alten WordPress-Stack. Der Umzug auf Hugo eine Woche später hat die Architektur dann radikal vereinfacht. Genau diese einfachere Markdown-Auslieferung war eine der Grundüberlegungen für den Wechsel.

In Hugo liegt jeder Inhalt nativ als Markdown-Datei vor, HTML ist nur die Renderschicht für Menschen. Für die umgeleiteten AI-Crawler übersetzen wir das Quellformat nicht zurück, sondern liefern es direkt aus. Ein einzelner Blogpost ist als Markdown rund 72 % kleiner als seine gerenderte HTML-Fassung. Wer so ein Setup nachbaut, muss die Cache-Ebene nach User-Agent trennen, sonst bekommen menschliche Besucher irgendwann gecachtes Markdown.

### Cost of Retrieval: die Kostenrechnung hinter jedem Abruf

Das Prinzip hinter der schlanken Auslieferung an AI-Crawler heißt [Cost of Retrieval](https://hechtinsgefecht.de/cost-of-retrieval/), und es galt lange nur für den Googlebot. Martin Splitt aus Googles Search-Relations-Team hat die Kostenfrage im Oktober 2025 auf Mastodon trocken auf den Punkt gebracht: „300ms is ja schon super. Bedenke, dass wir meistens aus den USA crawlen.“ Übersetzt: Jeder Abruf kostet Google Rechenzeit und Bandbreite, und beides skaliert mit der Größe der Antwort. Mittlerweile gilt dieselbe Rechnung für jeden Abruf, der eine KI-Antwort speist.

Wie schief das Crawl-zu-Refer-Verhältnis für die Anbieter ist, zeigen Cloudflares eigene Zahlen. Die Kennzahl misst, wie viele Seiten ein Anbieter crawlt, bevor er einen einzigen Besucher an eine Website weiterleitet. Anthropic crawlte im Juni 2025 pro weitergeleitetem Besucher 70.900 Seiten.

Im Cloudflare-Jahresrückblick 2025 pendelte dieses Verhältnis für Anthropic zwischen 25.000:1 und 100.000:1, mit einer Spitze von 500.000:1. OpenAI erreichte in der Spitze 3.700:1, Google lag im selben Zeitraum zwischen 3:1 und 30:1. Jeder Abruf kostet zweimal, den Anbieter das Crawlen und dich das Ausliefern.

Balkendiagramm Crawl-zu-Refer-Verhältnis: Anthropic 70.900 zu 1, OpenAI 3.700 zu 1, Google 30 zu 1, logarithmische Skala.

70.900 Crawls für einen einzigen Besucher

Gecrawlte Seiten pro weitergeleitetem Besucher, Cloudflare 2025

Anthropic(Juni 2025)

70.900:1

OpenAI(Spitzenwert)

3.700:1

Google(obere Spanne)

30:1

Logarithmische Skala: linear wäre der Google-Balken unsichtbar

KI-Crawler holen viel und schicken wenige Besucher zurück
Abb. 5 · HECHT INS GEFECHT

Abb. 5: Das Crawl-zu-Refer-Verhältnis nach Cloudflare-Zahlen: Anthropic crawlt 70.900 Seiten pro weitergeleitetem Besucher, Google maximal 30.

Was passiert, wenn eine Website AI-Crawler stattdessen aussperrt oder ihnen unnötig teure Antworten liefert, sehen wir in Audits regelmäßig. Bei einem Modehändler blockierte die Web Application Firewall (ein vorgeschalteter Sicherheitsfilter) sämtliche AI-Crawler. KI-Systeme zitierten die Marke deswegen bei Produktfragen nie als Quelle.

Ein Plattform-Betreiber wiederum beantwortete jede Bot-Anfrage mit einer vollständigen Seite, über sämtliche URL-Parameter-Kombinationen hinweg. Die Bot-Kosten auf dem CDN (Content Delivery Network) stiegen entsprechend. Beide Fälle laufen auf dasselbe Prinzip hinaus: Bots nicht aussperren, die Auslieferung günstig machen und die Zahl der crawlbaren URLs klein halten.

OpenAIs Fetcher scheitern auf manchen Servern übrigens schon am Protokoll, lange bevor Bytes eine Rolle spielen. Diese Geschichte steht im Beitrag zum [ChatGPT-Crawler-Bug](https://hechtinsgefecht.de/chatgpt-crawler-bug/).

## Ist Markdown-Serving für AI-Crawler Cloaking?

**Markdown-Serving verstößt nicht gegen Googles Cloaking-Richtlinien, solange Googlebot exakt dasselbe HTML bekommt wie jeder menschliche Besucher.** Cloaking bezeichnet die Praxis, Suchmaschinen inhaltlich andere Seiten zu zeigen als Menschen. Genau diese Täuschung findet bei HECHT INS GEFECHT nicht statt: Googlebot und Bingbot stehen nicht in unserer Liste der umgeleiteten User-Agents und sehen die Markdown-Version nie.

Die Kritik an Markdown-Serving existiert trotzdem, und sie kommt von prominenter Stelle. Als die US-SEO Lily Ray Ende 2025 fragte, ob Websites separate Markdown-Seiten für LLM-Crawler anbieten sollten, antwortete John Mueller: „Why would they want to see a page that no user sees? And, if they check for equivalence, why not use HTML?“ Fabrice Canel, Principal Product Manager bei Bing, ergänzte, das verdopple nur die Crawl-Last: „We’ll crawl anyway to check similarity.“

Muellers und Canels Aussagen richten sich gegen separate Markdown-URLs, die zusätzlich zur HTML-Seite existieren und die Suchmaschinen dann mitcrawlen müssten. Das Setup von HECHT INS GEFECHT unterscheidet sich an den entscheidenden Stellen. Es gibt keine separate URL, die Markdown-Version antwortet unter der Original-Adresse. Und die Suchmaschinen-Bots, um deren Richtlinien es geht, bekommen unverändertes HTML.

Cloaking setzt Täuschung voraus. Wir liefern denselben Inhalt in dem Format, das die abrufende KI am günstigsten verarbeitet.

Und die Anbieter, die das Markdown tatsächlich bekommen? OpenAI, Anthropic und Perplexity haben bislang keine dokumentierte Richtlinie gegen formatoptimierte Auslieferung. Die Idee stammt aus dem SEO-Bereich selbst. Mike King, Gründer der US-Agentur iPullRank, hat den Fall für formatbewusstes Ausliefern an LLMs im Mai 2026 ausführlich durchargumentiert.

Die Leitplanke bleibt trotzdem die 1:1-Parität. In dem Moment, in dem die Markdown-Version andere Inhalte trägt als das HTML, wird aus Optimierung Täuschung. Der SEO-Analyst Kevin Indig erwartet in seinem Growth Memo, dass die Anbieter genau solche Equivalence-Checks einführen. Wir planen fest damit.

## Nach dem Markdown-Umbau sanken die Bot-Zahlen, und das war richtig so

**In den ersten fünf Tagen nach dem Markdown-Livegang auf hechtinsgefecht.de fielen die Requests der acht umgestellten AI-Crawler um 31 %. Nach zwei Wochen lag der Rückgang noch bei 16 %. Gleichzeitig sank die Zahl der Abrufe pro ausgelieferter Seite von 2,66 auf 2,33, gezählt als Requests geteilt durch eindeutig abgerufene URLs.**

Zur Einordnung: Diese Messung beginnt am 24.07. und damit eine Woche vor der Messreihe oben. Die ersten Tage stammen noch aus den Logs unseres alten WordPress-Stacks. Im Dashboard sah der Rückgang nach Verlust aus. Tatsächlich brauchten die Fetcher bei HECHT INS GEFECHT für dieselbe Information weniger Anläufe: weniger Requests pro Seite und drastisch weniger Bytes pro Request.

Sicher waren wir uns bei dieser Deutung erst nach Wochen, denn der Rückgang hätte genauso ein echter Frequenzverlust sein können. Die Kontrollgruppe schloss zumindest einen allgemeinen Rückgang aus: Die nicht umgestellten Bots (Googlebot, Bingbot, Applebot) blieben in den Tagen nach dem Livegang stabil bis steigend, betroffen waren ausschließlich die acht umgeleiteten User-Agents. Endgültig entschieden hat die Frage die Entwicklung danach.

Drei Wochen nach dem Livegang zeigen dieselben acht Crawler trotz der schlankeren Auslieferung das stärkste Wachstum im gesamten Log. Für die Messung heißt das: Nach einem Umbau der Auslieferung taugen Hit-Zahlen nicht mehr als Trendwert. Bytes pro Abruf und ausgelieferte Seiten pro Tag zeigen das echte Bild.

## Attribution: fünf parallele Maßnahmen hinter dem Anstieg der KI-Abrufe

**Sauber einem einzelnen Hebel zuordnen lässt sich der Anstieg nicht.** Zwischen dem 24.07. und dem 18.08. liefen bei HECHT INS GEFECHT fünf Maßnahmen parallel: Markdown-Serving, Hugo-Umzug, der Umbau des GEO-Listicles auf Zitierfähigkeit, der URL-Wechsel und Daten-Updates der beiden Agentur-Rankings.

Die plausibelste Deutung aus drei Wochen Log-Daten: Die Nachfrage machen die Inhalte, nicht die Serving-Technik. 97 % der Zitate entfallen auf die beiden Listicles, also auf Seiten mit eigenen Messdaten und klaren Rankings. In den Logs findet sich kein Beleg, dass das Markdown-Serving diese Nachfrage erzeugt hat. Messbar senkt es die Kosten pro Abruf. Das spiegelt das Zwei-Stellschrauben-Modell aus unserem [Information-Gain-Beitrag](https://hechtinsgefecht.de/information-gain/): Einzigartige Information erzeugt die Nachfrage, niedrige Abrufkosten senken die Hürde.

Zwei Hebel: Zitierbarkeit und Indexierung erzeugen die Nachfrage, effiziente Auslieferung senkt die Kosten pro Abruf.

Die zwei Hebel der KI-Sichtbarkeit

Zitierbar und indexiert
erzeugt die Nachfrage

Einzigartige Information: eigene Messdaten, klare Rankings

97 % der Zitate entfallen auf die beiden Listicles

Der Google-Index ist das Nadelöhr: ohne Index kein Zitat

Effizient ausliefern
senkt die Kosten pro Abruf

Markdown statt HTML: 63 % weniger Bytes pro Antwort

Gleiche URL, gleicher Inhalt, Cache nach User-Agent getrennt

Jeder Abruf kostet zweimal: den Anbieter und dich

Wer nur einen Hebel bedient, verschenkt den anderen
Abb. 6 · HECHT INS GEFECHT

Abb. 6: Die zwei Hebel der KI-Sichtbarkeit: Inhalte und Index erzeugen die Nachfrage, effiziente Auslieferung senkt die Kosten pro Abruf.

Die einzige saubere Kausalkette bleibt die Index-Kaskade: Gemini und AI Overviews zitieren das GEO-Listicle erst, seit es im Google-Index steht. Die übrigen Maßnahmen bleiben plausible Treiber ohne sauberen Einzelnachweis. Wachstumskurven ohne Methodik sind Marketing. Ein Access-Log mit IP-Verifikation und Kontrollgruppe, dazu offen benannte Störfaktoren, ist eine Messung.

## So misst du AI-Crawler-Traffic auf deiner eigenen Website

**AI-Crawler-Traffic misst du im Access-Log deines Servers, von außen ergänzt du die Messung über Citation-Monitoring-Tools. Beides zusammen zeigt, ob KI-Systeme deine Inhalte abrufen und ob sie diese Inhalte auch zitieren.**

Für die Messung von innen ziehst du das Access-Log, mindestens 7, besser 30 Tage. Dann trennst du die Bot-Zugriffe nach den drei Kategorien Training, Search und Live-Fetch und prüfst jede IP gegen die publizierten Adressbereiche der Anbieter. Diese Listen liegen offen, zum Beispiel bei OpenAI unter openai.com/gptbot.json, bei Anthropic unter claude.com/crawling/bots.json und bei Google unter developers.google.com in der Datei common-crawlers.json. Ohne Log-Zugriff (Shared Hosting, Managed-Systeme) bleibt dir der Blick von außen über die Citation-Tools.

Als Kennzahlen taugen drei Werte:

- verifizierte nutzergetriggerte Abrufe pro Tag, deine Nachfrage-Metrik und die wichtigste der drei Zahlen
- Bytes pro Abruf als Kosten-Metrik
- Fehlerquote (Anteil der 4xx- und 5xx-Antworten)

Eine Kontrollgruppe aus klassischen Bots trennt echte Trends von Saisoneffekten.

**Pro-Tipp:** Wenn du Crawl- oder Audit-Tools mit Bot-User-Agents auf deine eigene Website loslässt, tauchen deren Abrufe im Log als gefälschte Bots auf: gleicher User-Agent, fremde IP. Schließe die IP-Adressen dieser Tools vor der Auswertung aus, sonst misst du dein eigenes Monitoring.

Von außen ergänzen Tools wie Rankscale oder peec.ai die Log-Messung. Diese Tools stellen KI-Systemen systematisch Fragen und zählen, wie oft deine Seiten als Quelle auftauchen. Achte dabei auf konstantes Scan-Volumen, sonst vergleichst du Messungen unterschiedlicher Dichte. Und normalisiere Anstiege gegen mitgemessene Wettbewerber, so wie wir es oben mit dem Faktor 3,2 gegen 1,4 getan haben.

Wie du Inhalte baust, die diese Systeme überhaupt zitieren wollen, steht im Beitrag zur [Content-Formatierung für LLMs](https://hechtinsgefecht.de/content-formatierung-llm/) und im Überblick zur [LLM-Sichtbarkeit](https://hechtinsgefecht.de/llm-sichtbarkeit/).

## Häufige Fragen zu AI-Crawlern

### Was sind AI-Crawler?

AI-Crawler sind Bots von KI-Anbietern wie OpenAI, Anthropic und Perplexity, die Webseiten abrufen. Sie umfassen drei Kategorien: Trainings-Crawler für künftige Modelle, Search-Crawler für die Suchindizes der KI-Systeme und Live-Fetcher, die Seiten bei einer konkreten Nutzerfrage abrufen.

### Wie erkennt man gefälschte AI-Crawler?

Gefälschte AI-Crawler erkennt man über die IP-Adresse: Die Anbieter publizieren die Adressbereiche ihrer Bots, ein Abgleich plus Reverse-DNS-Check mit Gegenprobe trennt echte Bots von Scrapern. Der User-Agent allein beweist nichts, den kann jeder Scanner kopieren. Bei HECHT INS GEFECHT laufen deswegen alle Bot-Auswertungen IP-verifiziert.

### Warum bleibt eine Seite in „Gefunden, zurzeit nicht indexiert“ hängen?

Google kennt die URL, hat den Crawl aber bewusst zurückgestellt, etwa wegen niedriger Priorität oder thematischer Redundanz. Der Status kann laut Googles John Mueller dauerhaft anhalten, einen Anspruch auf Indexierung gibt es nicht.

### Hilft ein URL-Wechsel bei Indexierungsproblemen?

Ein URL-Wechsel kann einen festgefahrenen Crawl-Status lösen, denn die neue URL ist für Googles Crawl-Scheduler ein neuer Datensatz und wird neu bewertet. Ein garantierter Fix ist der Wechsel nicht: Vorher technische Ursachen ausschließen und die alte URL per 301 auf die neue weiterleiten.

### Ist Markdown-Serving für AI-Crawler Cloaking?

Nein, solange Suchmaschinen-Bots unverändertes HTML bekommen und die Markdown-Version 1:1 denselben Inhalt trägt, so wie HECHT INS GEFECHT es umsetzt. Kritisch wird es erst, wenn Bots inhaltlich andere Seiten sehen als Menschen.

### Sollte man AI-Crawler blockieren?

Für die meisten Websites nein: Wer Live-Fetcher und Search-Crawler aussperrt, verliert seine Sichtbarkeit in KI-Antworten weitgehend und verschenkt damit echte Nutzerkontakte. Diskutabel ist das Blockieren allein bei Trainings-Crawlern, gesteuert über die robots.txt, die seriöse Bots wie GPTBot respektieren.

## Quellen

- Cloudflare: [AI crawl-to-refer ratio auf Cloudflare Radar](https://blog.cloudflare.com/ai-search-crawl-refer-ratio-on-radar/) (Juli 2025)
- Cloudflare: [Radar 2025 Year in Review](https://blog.cloudflare.com/radar-2025-year-in-review/) (Dezember 2025)
- Search Engine Journal: [Google: Sites Need To Be Worthwhile To Be Indexed](https://www.searchenginejournal.com/discovered-not-indexed/426457/) (Dan-Shure-Fall und Mueller-Einordnung, November 2021)
- ppc.land: [Google und Bing zu separaten Markdown-Seiten für AI-Crawler](https://ppc.land/google-and-bing-say-no-separate-markdown-pages-for-ai-violate-search-policies/) (Februar 2026)
- Duane Forrester: [81.8% of My AI Assistant Traffic Was Fake](https://duaneforresterdecodes.substack.com/p/818-of-my-ai-assistant-traffic-was) (Juni 2026)
- iPullRank, Mike King: [Quick Tip: The Case for Cloaking for Large Language Models](https://ipullrank.com/cloaking-for-llms) (Mai 2026)