---
title: "Effizient für Crawler, zitierbar für KI: Was drei Wochen Access-Log über AI-Crawler verraten"
description: "49 % gefälschte AI-Crawler-Zugriffe und fast verfünffachte ChatGPT-Abrufe aus drei Wochen Access-Log."
url: https://hechtinsgefecht.de/ai-crawler-traffic/
date_published: 2026-08-21
date_modified: 2026-11-10
organization: HECHT INS GEFECHT
organization_url: https://hechtinsgefecht.de
organization_knowledge_graph_id: /g/1pp2twrtc
organization_sameas:
  - https://www.northdata.de/HECHT+INS+GEFECHT+GmbH,+Bremen/HRB+42926
  - https://firmeneintrag.creditreform.de/28309/2051250968/HECHT_INS_GEFECHT_GMBH
  - https://www.companyhouse.de/HECHT-INS-GEFECHT-GmbH-Bremen
  - https://implisense.com/de/companies/hecht-ins-gefecht-gmbh-bremen--DETQXQBC7O52
  - https://www.linkedin.com/company/hechtinsgefecht
  - https://www.xing.com/pages/hecht-ins-gefecht/
  - https://social.hechtinsgefecht.de/@hig
  - https://x.com/hechtinsgefecht
  - https://www.facebook.com/HechtinsGefecht/
  - https://www.instagram.com/hechtinsgefecht/
  - https://de.pinterest.com/HechtinsGefecht/
  - https://www.threads.com/@hechtinsgefecht
  - https://www.youtube.com/channel/UC8GKGLujc2AuUteBawMcFTA
  - https://www.crunchbase.com/organization/hecht-ins-gefecht-digitalagentur-f%C3%BCr-webdesign-seo
  - https://clutch.co/profile/hecht-ins-gefecht
  - https://www.designrush.com/agency/profile/hecht-ins-gefecht
  - https://agencies.semrush.com/hecht-ins-gefecht/
  - https://www.sortlist.de/agency/hecht-ins-gefecht
  - https://www.goodfirms.co/company/hecht-ins-gefecht
  - https://techbehemoths.com/company/hecht-ins-gefecht
  - https://themanifest.com/company/hecht-ins-gefecht
  - https://www.topseos.com/profile/hecht-ins-gefecht-digitalagentur-fur-webdesign-seo
  - https://www.semfirms.com/profile/hecht-ins-gefecht
  - https://www.omt.de/agentur-finden/agentur/hecht-ins-gefecht/
  - https://onlinemarketing.de/dienstleister/online-marketing-agentur/bremen/hecht-ins-gefecht
  - https://www.agenturtipp.de/agentur/hecht-ins-gefecht/
  - https://www.seo-united.de/seo-agenturen/hecht-ins-gefecht-3461/
  - https://omr.com/de/reviews/service/hecht-ins-gefecht
  - https://www.ibusiness.de/dienstleister/jb/092582windolph.html
  - https://feedbax.de/anbieter/hecht-ins-gefecht
  - https://feedbax.ai/profile/hecht-ins-gefecht
  - https://www.werbeagentur.de/de/a/hecht-ins-gefecht
  - https://www.campixx.de/agenturen/seo/hecht-ins-gefecht/
  - https://agenturfinder.com/agenturen/hecht-ins-gefecht/
  - https://agencyvista.com/agency/hecht-ins-gefecht/marketing-agency/summary
  - https://www.bark.com/de/de/company/hecht-ins-gefecht/NlYy2/
  - https://www.provenexpert.com/de-de/hecht-ins-gefecht/
  - https://de.trustpilot.com/review/hechtinsgefecht.de
  - https://www.trustedshops.de/bewertung/hechtinsgefecht-de
  - https://www.awwwards.com/HECHTINSGEFECHT/
  - https://www.bremen.de/visitenkarte/digitalagentur-hecht-ins-gefecht---webdesign--seo-46684197
  - https://www.yelp.com/biz/hecht-ins-gefecht-bremen
  - https://maps.apple.com/place?place-id=IBAEFB4CEAFB63F7B
  - https://www.bing.com/maps?ypid=YNB2F0ABA7BE8437E5
author: Benny Windolph
author_url: https://hechtinsgefecht.de/benny-windolph/
author_orcid: https://orcid.org/0009-0009-2458-3099
author_knowledge_graph_id: /g/11v4_sqnsh
---
# Effizient für Crawler, zitierbar für KI: Was drei Wochen Access-Log über AI-Crawler verraten

AI-Crawler sind Web-Crawler von KI-Anbietern wie OpenAI, Anthropic und Perplexity, die Inhalte für Training, Suche und Antworten abrufen. Laut Search Console blieb eine URL trotz Sitemap und Verlinkung wochenlang ungecrawlt. Trenne Training, Suche und Live-Fetch in deinem Access-Log und prüfe jede IP gegen die Anbieterlisten.

ChatGPT hat hechtinsgefecht.de in der dritten Woche meiner Messung 70,7-mal pro Tag live abgerufen. In der ersten Woche waren es 14,3 Abrufe. Fast eine Verfünffachung in drei Wochen, das klingt nach der perfekten Wachstums-Story.

Fast die Hälfte der Zugriffe mit AI-Crawler-Kennung war gefälscht. Ein Teil des Anstiegs der KI-Zitate hängt am Google-Index, einem Hebel, der mit KI zunächst wenig zu tun hat.

AI-Crawler heißen im Deutschen auch KI-Crawler. Sie sind einteilbar in drei Kategorien.

Trainings-Crawler wie GPTBot und ClaudeBot sammeln Daten für künftige Modelle. Search-Crawler wie OAI-SearchBot und PerplexityBot füllen die Suchindizes der KI-Systeme. Und Live-Fetcher wie ChatGPT-User und Claude-User rufen eine Seite in dem Moment ab, in dem ein Mensch der KI eine Frage stellt. Aus meiner Sicht ist die dritte Kategorie kommerziell die wichtigste, denn diese Abrufe lösen Menschen mit ihren Fragen aus.

Ich bin Ende Juli mit hechtinsgefecht.de von WordPress auf Hugo umgezogen, einen Generator für statische Websites. Die AI-Crawler-Zugriffe messe ich direkt im Access-Log, IP-verifiziert statt über reine User-Agent-Zählung. Drei Wochen Daten zeigen zwei Hebel, die beide wirken, bevor irgendein LLM (Large Language Model) deine Inhalte verarbeitet.

Der Google-Index entscheidet, ob deine Inhalte in Googles KI-Antworten zitiert werden können. Die Auslieferungskosten entscheiden nach meiner Einschätzung mit, wie oft die Systeme wiederkommen. Wer nur einen der beiden Hebel bedient, verschenkt den anderen.

## Inhalt

1. [Die Messung: ChatGPT-Abrufe fast verfünffacht in drei Wochen](#chatgpt-abrufe)
2. [Fast die Hälfte der AI-Crawler-Zugriffe war Fake](#fake-bots)
3. [Das Rätsel: Google crawlt eine einzige URL 23 Tage nicht](#google-crawlt-nicht)
4. [Der Fix: eine neue URL, ein Crawl nach einem Tag](#url-wechsel)
5. [Der Google-Index ist das Nadelöhr der KI-Sichtbarkeit](#google-index-nadeloehr)
6. [Markdown statt HTML: der Kosten-Hebel für AI-Crawler](#markdown-serving)
7. [Ist Markdown-Serving für AI-Crawler Cloaking?](#markdown-cloaking)
8. [Nach dem Markdown-Umbau sanken die Bot-Zahlen, und das war richtig so](#bot-zahlen-sinken)
9. [Attribution: fünf parallele Maßnahmen hinter dem Anstieg der KI-Abrufe](#attribution)
10. [So misst du AI-Crawler-Traffic auf deiner eigenen Website](#ai-crawler-messen)
11. [Häufige Fragen zu AI-Crawlern](#haufige-fragen)
12. [Quellen](#quellen)

## Die Messung: ChatGPT-Abrufe fast verfünffacht in drei Wochen

**Der Live-Fetcher ChatGPT-User hat hechtinsgefecht.de in der Woche vom 14. bis 20.08. im Schnitt 70,7-mal pro Tag abgerufen, nach 14,3 Abrufen in der Woche vom 31.07. bis 06.08.** Alle Zahlen dieser Messung stammen aus dem Access-Log meines Servers und zählen ausschließlich Zugriffe, deren IP-Adresse nachweislich zum jeweiligen Anbieter gehört.

| Bot (Kategorie) | Woche 1 | Woche 2 | Woche 3 |
| --- | --- | --- | --- |
| ChatGPT-User (Live-Fetch, OpenAI) | 14,3 | 43,3 | 70,7 |
| Claude-User (Live-Fetch, Anthropic) | 4,2 | 5,6 | 11,7 |
| OAI-SearchBot (Search, OpenAI) | 12,8 | 11,9 | 18,4 |
| PerplexityBot (Search, Perplexity) | 11,2 | 13,9 | 14,3 |
| GPTBot (Training, OpenAI) | 11,8 | 9,3 | 5,0 |
| ClaudeBot (Training, Anthropic) | 45,5 | 33,3 | 20,9 |
| Googlebot (klassische Suche, Google) | 269,0 | 231,3 | 121,3 |
| Bingbot (klassische Suche, Microsoft) | 68,0 | 55,3 | 32,0 |

Die Tabelle zeigt verifizierte Abrufe pro Tag. Woche 1 lief vom 31.07. bis 06.08., Woche 2 vom 07.08. bis 13.08. und Woche 3 vom 14.08. bis 20.08.2026.

Die Live-Fetcher steigen am stärksten, die Search-Crawler legen moderat zu, Trainings-Crawler und klassische Suchmaschinen-Bots fallen. Googlebot und Bingbot haben ihr Crawling im selben Zeitraum mehr als halbiert: Nach dem Umzug riefen beide viele Adressen der Website neu ab, beim Googlebot entfiel in Woche 1 gut die Hälfte der Abrufe auf Feeds. In Woche 3 lagen beide wieder auf dem Niveau vor dem Umzug. Die Trainings-Crawler GPTBot und ClaudeBot beschränken sich in meinem Log inzwischen weitgehend auf robots.txt, Sitemaps und die Startseite, Inhaltsseiten rufen sie kaum noch ab. Ein Saisoneffekt würde alle Kurven in dieselbe Richtung schieben, das Gegenteil ist der Fall.

Verifizierte Abrufe pro Tag im Access-Log von hechtinsgefecht.de, Woche 1 bis Woche 3, logarithmische Achse. Live-Fetch: ChatGPT-User 14,3, 43,3, 70,7; Claude-User 4,2, 5,6, 11,7. Search: OAI-SearchBot 12,8, 11,9, 18,4; PerplexityBot 11,2, 13,9, 14,3. Training: GPTBot 11,8, 9,3, 5,0; ClaudeBot 45,5, 33,3, 20,9. Klassische Suche: Googlebot 269,0, 231,3, 121,3; Bingbot 68,0, 55,3, 32,0. Live-Fetch wächst, Training und klassische Suche fallen.

Acht Bots, drei Wochen Access-Log

Verifizierte Abrufe pro Tag je Bot
Logarithmische Achse

Live-Fetch

Search

Training

klassische Suche

5

10

20

50

100

200

14,3
70,7 ChatGPT-User
4,2

11,7 Claude-User

12,8
18,4 OAI-SearchBot

11,2
14,3 PerplexityBot

11,8
5,0 GPTBot
45,5

20,9 ClaudeBot
269,0
121,3 Googlebot
68,0
32,0 Bingbot
Woche 1
31.07. bis
06.08.
Woche 2
07.08. bis
13.08.
Woche 3
14.08. bis
20.08.
Abb. 1 · HECHT INS GEFECHT

Abb. 1: Eine Linie je Bot von Woche 1 bis Woche 3, die Art der Linie zeigt die Kategorie. ChatGPT-User liegt in Woche 1 noch hinter ClaudeBot und Bingbot, in Woche 3 nur noch hinter dem Googlebot.

Eine Einschränkung gehört zu dieser Messreihe: Woche 1 beginnt am Tag des Hugo-Umzugs, die Basis könnte dadurch gedrückt sein. Selbst wer Woche 1 deswegen komplett streicht, sieht noch ein klares Bild: Von Woche 2 auf Woche 3 wächst ChatGPT-User um 63 %, Claude-User verdoppelt sich im selben Fenster, und die klassischen Bots fallen weiter.

## Fast die Hälfte der AI-Crawler-Zugriffe war Fake

**Fast die Hälfte aller Zugriffe mit der Kennung der acht AI-Crawler von OpenAI, Anthropic und Perplexity bestand im Messzeitraum die IP-Verifikation nicht, 2.281 von 4.687.** Hinter diesen Requests stecken Scraper, Scanner und Prüftools, die sich als GPTBot, ClaudeBot oder PerplexityBot ausgeben. Eigene Tests mit Bot-Kennung lassen sich nachträglich nicht vollständig herausrechnen.

OpenAI, Anthropic, Perplexity und Google publizieren die IP-Bereiche ihrer Bots. Der Abgleich gegen diese Listen trennt echte Bots von Nachahmern. Bei Google und Bing kommt ein Reverse-DNS-Check mit Gegenprobe dazu: Die IP löst auf einen Hostnamen des Anbieters auf, und dieser Hostname löst wieder auf dieselbe IP. Ohne die Gegenprobe ließe sich der Reverse-Eintrag fälschen. Ein User-Agent-String ist dagegen frei wählbar, jeder Scraper kann sich GPTBot nennen.

Duane Forrester, der früher bei Bing das Webmaster-Programm verantwortet hat, kam im Juni 2026 auf einer frischen Test-Domain auf noch drastischere Werte. 81,8 % seiner angeblichen KI-Assistenten-Zugriffe waren Fake, nur 6 von 33 Requests kamen von verifizierten Anbieter-IPs. Beim angeblichen Googlebot lag die Fälschungsquote bei 87 %. Forrester warnt selbst davor, diese Zahlen überzubewerten, denn eine kleine Domain über 14 Tage ist statistisch kaum belastbar. Die Richtung deckt sich trotzdem mit meiner Messung.

Zugriffe mit der Kennung der acht AI-Crawler von OpenAI, Anthropic und Perplexity im Access-Log von hechtinsgefecht.de: 2.281 von 4.687 bestanden die IP-Verifikation nicht, fast die Hälfte. Zum Vergleich Duane Forresters Test-Domain im Juni 2026: nur 6 von 33 Requests kamen von verifizierten Anbieter-IPs, 81,8 % waren Fake; eine kleine Domain über 14 Tage ist statistisch kaum belastbar.

Echte und gefälschte AI-Crawler

Zugriffe mit der Kennung der acht AI-Crawler
Access-Log von hechtinsgefecht.de, im Messzeitraum
2.281 von 4.687
fast die Hälfte, IP-Verifikation nicht bestanden

IP-Verifikation bestanden

Zum Vergleich: Duane Forresters Test-Domain, Juni 2026

81,8 % Fake
6 von 33 Requests verifiziert
Kleine Domain über 14 Tage, statistisch kaum belastbar
Abb. 2 · HECHT INS GEFECHT

Abb. 2: 2.281 von 4.687 Zugriffen mit AI-Crawler-Kennung bestanden die IP-Verifikation nicht. Forresters Test-Domain zeigt dieselbe Richtung, ist mit 33 Requests aber statistisch kaum belastbar.

Viele Tools und Plattformen meldeten im Sommer 2026 zweistellige Zuwächse bei KI-Traffic, nach meiner Beobachtung meist ohne ein Wort zur Verifikation. Wer Bot-Traffic ohne IP-Prüfung zählt, zählt Scanner mit und verkauft das Ergebnis als Trend.

Das gilt auch für die eigene Auswertung. Vor der Korrektur am 16.08.2026 rechnete eine frühere Version meines Log-Analyse-Tools ihre Kennzahlen über alle Zugriffe mit Bot-Kennung. Weil sie die gefälschten Zugriffe mitzählte, meldete sie für GPTBot, OAI-SearchBot, PerplexityBot und ClaudeBot nur 37 bis 63 % Abrufe mit Status 200 oder 304 und dazu Warnungen zur Crawl-Effizienz. Nach der Korrektur, nur über IP-verifizierte Abrufe gerechnet, lagen die Anteile bei 85 bis 100 %, und für GPTBot und OAI-SearchBot blieben Warnungen überwiegend wegen echter Weiterleitungen.

Anteil der Abrufe mit Status 200 oder 304 für GPTBot, OAI-SearchBot, PerplexityBot und ClaudeBot in meinem Log-Analyse-Tool. Vor der Korrektur am 16.08.2026, über alle Zugriffe mit Bot-Kennung inklusive gefälschter Zugriffe: 37 bis 63 %. Nach der Korrektur, nur IP-verifizierte Abrufe: 85 bis 100 %. Nicht die Bots hatten das Problem, sondern die Zählung.

Log-Analyse-Tool vor und nach der Korrektur

Anteil der Abrufe mit Status 200 oder 304
GPTBot, OAI-SearchBot, PerplexityBot und ClaudeBot
Vor der Korrektur am 16.08.2026
alle Zugriffe mit Bot-Kennung, inklusive gefälschter Zugriffe

37 bis 63 %
Nach der Korrektur
nur IP-verifizierte Abrufe

85 bis 100 %

0 %

50 %

100 %

Nicht die Bots hatten das Problem, sondern die Zählung.
Abb. 3 · HECHT INS GEFECHT

Abb. 3: Dieselben vier Bots auf derselben Achse, oben vor der Korrektur, unten danach. Der Balken liegt oben bei 37 bis 63 % und unten rechts bei 85 bis 100 %.

Die IP-Verifikation zeigte in meinen eigenen Logs außerdem: In den ersten Tagen nach dem Hugo-Umzug war der einzige Googlebot-Zugriff auf eine bestimmte URL eine Fälschung. Laut Search Console hatte der echte Googlebot dieselbe URL bis dahin nie gecrawlt.

## Das Rätsel: Google crawlt eine einzige URL 23 Tage nicht

**Mein [GEO-Agenturen-Listicle](https://hechtinsgefecht.de/geo-agenturen-deutschland/) blieb nach der Veröffentlichung am 16.07. genau 23 Tage lang ungecrawlt.** GEO steht für Generative Engine Optimization, also die Optimierung für KI-Suchsysteme. Die Seite stand in der Sitemap, war intern verlinkt und trug sauberes Schema-Markup (strukturierte Daten). Ich habe sie zweimal zur Indexierung gemeldet, am 16.07. und am 30.07. Der Googlebot holte sie trotzdem nicht ab.

Die Search Console zeigte zunächst „Gefunden, zurzeit nicht indexiert“. Google kannte die URL also, hatte sie aber noch nicht gecrawlt. Anfang August meldete die URL-Prüfung der Search Console sogar „URL ist Google nicht bekannt“, die Seite war aus Googles Verwaltung komplett herausgefallen. Parallel rief der echte Googlebot in der ersten Messwoche 269-mal pro Tag andere Adressen der Website ab, gut die Hälfte davon Feeds.

Warum verweigert der Googlebot drei Wochen lang genau eine URL, während er viele andere Adressen abholt? Eine offizielle Antwort darauf gibt es nicht. Der Hugo-Umzug scheidet als Ursache aus, die Verweigerung begann 15 Tage vorher. Zwei Hypothesen blieben nach dem Ausschlussverfahren übrig.

Hypothese eins ist Themen-Redundanz: Ich rankte für die passenden Suchanfragen bereits mit zwei anderen Seiten. Aus Googles Sicht war der Intent abgedeckt, eine dritte Seite zum selben Thema hat der Crawl-Scheduler entsprechend niedrig priorisiert. Hypothese zwei stammt aus meiner eigenen Beobachtung: Die URL enthielt das Wort „beste“.

## Der Fix: eine neue URL, ein Crawl nach einem Tag

**Am 08.08. habe ich den Slug von /beste-geo-agenturen-deutschland/ auf /geo-agenturen-deutschland/ umgestellt, mit 301-Weiterleitung und unverändertem Inhalt. Einen Tag später war die Seite gecrawlt und indexiert.** In den ersten sieben Tagen nach der Indexierung sammelte sie 922 Impressionen in der Search Console. Ein großer Teil davon entfiel auf lange, promptartige Suchanfragen im Query-Bericht, die nach meiner Einschätzung aus Googles AI Mode stammen.

Ich hatte den Inhalt am 30.07. stark ausgebaut und am 04.08. aktualisiert, gecrawlt wurde die Seite trotzdem nicht. Title und H1 tragen bis heute das Wort „besten“. Am 08.08. habe ich ausschließlich die URL geändert, und das hat gereicht.

Zeitachse in Tagen für das GEO-Agenturen-Listicle: am 16.07. veröffentlicht und zur Indexierung gemeldet, am 30.07. Inhalt stark ausgebaut und wieder gemeldet, Anfang August meldet die URL-Prüfung „URL ist Google nicht bekannt“, am 04.08. aktualisiert, URL-Wechsel mit 301-Weiterleitung am 08.08., einen Tag später gecrawlt und indexiert. 23 Tage ungecrawlt, nach dem URL-Wechsel ein Tag.

Das GEO-Agenturen-Listicle bis zum Crawl

Von der Veröffentlichung bis zur Indexierung
Zeitachse maßstäblich in Tagen

23 Tage
ungecrawlt
ein Tag

16.07. veröffentlicht, zur Indexierung gemeldet

30.07. Inhalt stark ausgebaut, wieder gemeldet

04.08. Inhalt aktualisiert

08.08. URL-Wechsel mit 301-Weiterleitung

09.08. gecrawlt und indexiert
Anfang August URL-Prüfung: „URL ist Google nicht bekannt“
Abb. 4 · HECHT INS GEFECHT

Abb. 4: Das GEO-Agenturen-Listicle blieb nach der Veröffentlichung am 16.07. genau 23 Tage lang ungecrawlt. Nach dem URL-Wechsel am 08.08. war die Seite einen Tag später gecrawlt und indexiert.

### Google speichert Seiten unter ihrer URL

Ich erkläre mir das Crawl-Verhalten so: Die URL ist der Schlüssel, unter dem Google eine Seite intern verwaltet. Content-Updates ändern diesen Schlüssel nicht. Eine URL, die der Crawl-Scheduler einmal aussortiert hat, kann deswegen trotz Content-Arbeit dauerhaft aussortiert bleiben. Eine neue URL wäre danach ein neuer Datensatz und bekäme eine neue Bewertung. Welche der beiden Hypothesen die Verweigerung ausgelöst hat, lässt sich damit nicht mehr klären: Der URL-Wechsel setzt beide außer Kraft, die neue URL würde neu bewertet, egal warum die alte aussortiert war.

Die Überarbeitung des Inhalts am 30.07. hatte am Crawl-Status nichts geändert, nach meiner Einschätzung hätte weitere Content-Arbeit daran auch nichts geändert. Beobachtet haben diesen Reset auch andere, offiziell dokumentiert ist er nirgends. Der US-SEO Dan Shure beschrieb 2021 einen ähnlichen Fall: Eine Seite hing in „Gefunden, zurzeit nicht indexiert“ fest, Indexierungs-Anträge in der Search Console brachten nichts. Nach dem Löschen und der Neuveröffentlichung unter leicht geänderter URL mit neuem Datum war der identische Inhalt laut seinem Bericht innerhalb weniger Stunden im Index, ohne einen einzigen Submit.

John Mueller, Search Advocate bei Google, sagte 2022, der Status könne dauerhaft anhalten, Google crawle und indexiere nicht alle Seiten. Auf Shures Fall antwortete er 2021 laut Search Engine Journal, so etwas könne passieren, die Seite könne aber eine Woche später auch wieder herausfallen. Er erklärte das mit Schwankungen bei Seiten am Rand der Indexierung, einen Reset durch den URL-Wechsel bestätigte Google nicht.

**Pro-Tipp:** Hängt eine technisch saubere neue Seite länger als drei bis vier Tage in „Gefunden, zurzeit nicht indexiert“, würde ich nach meiner Faustregel heute handeln statt warten. Erst externe Signale setzen (Verlinkung, Social), dann die URL wechseln. Ich habe 23 Tage gewartet. Das war rückblickend ein Fehler.

### Das Wort „beste“ im Slug: eine offene Hypothese

Hat das Wort „beste“ im Slug den Crawl verhindert? Beweisen lässt sich das nicht, das Timing bleibt trotzdem auffällig: 23 Tage Verweigerung, dann ein Crawl innerhalb eines Tages nach dem Wortwechsel. Gegen die These spricht einiges. Der URL-Wechsel selbst könnte als Reset im Crawl-Scheduler gewirkt haben, unabhängig vom entfernten Wort.

Mein [Ranking der sichtbarsten SEO-Agenturen](https://hechtinsgefecht.de/sichtbarste-seo-agenturen-llm-deutschland/) trägt einen Superlativ im Slug und kam problemlos in den Index. Und gegen eine generelle Abneigung gegen das Wort spricht: Andere Seiten von mir ranken für „beste“-Suchanfragen ohne Auffälligkeiten.

Denkbar wäre eine Muster-Erkennung auf URL-Ebene. Seit Januar 2026 beobachten SEOs wie Lily Ray, dass selbstbewerbende Best-of-Listicles bei Google Sichtbarkeit verlieren, bestätigt hat Google das nicht. Ein Slug wie /beste-geo-agenturen-deutschland/ passt in dieses Muster. Belegt ist das nirgendwo, Google dokumentiert keine Wort-Signale für die Crawl-Priorisierung. Ich führe die Beobachtung deswegen als das, was sie ist: ein Einzelfall mit präzisem Timing und ohne Kontrollgruppe.

## Der Google-Index ist das Nadelöhr der KI-Sichtbarkeit

**Ohne den Google-Index gibt es keine Zitate in AI Overviews, und auch Gemini zitierte mich erst nach der Indexierung. Die Sichtbarkeit von HECHT INS GEFECHT bei generischen GEO-Prompts stieg im Monitoring-Tool Rankscale von 0 % am 04.08. auf 11,1 % am 18.08. Der Anstieg lief ausschließlich über Gemini und die AI Overviews, die Indexierung am 09.08. lag dazwischen.**

Die Kaskade vom Google-Index in die KI-Antworten beginnt bei den AI Overviews und dem AI Mode: Beide setzen den Google-Index dokumentiert voraus. Fehlt eine Seite dort, fällt sie für diese beiden Systeme komplett aus, so gut ihr Inhalt auch sein mag. Bei Gemini sprechen meine Daten für dieselbe Abhängigkeit. Das passt zur Technik: Das System greift beim Zugriff auf Webquellen auf die Google-Suche zu. ChatGPT nutzt für die Suche laut OpenAI externe Suchdienste und Inhalte direkter Partner, Perplexity laut eigener Angabe einen eigenen Index.

Das heißt: Ein Indexierungsproblem ist mittlerweile kein reines SEO-Problem mehr, sondern ein KI-Sichtbarkeitsproblem. Welche Indizes neben Google relevant geworden sind, steht im Beitrag zur [Indexierung für LLM-Sichtbarkeit](https://hechtinsgefecht.de/indexierung-llm-sichtbarkeit/).

Parallel zu den Log-Zahlen stiegen die von außen gemessenen Zitate. Vom 15. bis 20.08. zählte Rankscale im Schnitt 18 Citations pro Tag für hechtinsgefecht.de, in den gut drei Wochen davor 5,6. Im gesamten Zeitraum vom 22.07. bis 20.08. entfielen 97 % der Zitate mit einer Adresse von hechtinsgefecht.de auf genau zwei Seiten, das Agentur-Ranking und das frisch indexierte [GEO-Agenturen-Listicle](https://hechtinsgefecht.de/geo-agenturen-deutschland/). In meinen Daten zitieren die KI-Systeme fast nie Startseiten oder Leistungsseiten, sondern Inhalte mit eigenen Messdaten.

Steigende Werte in einem Monitoring-Tool können ein Messartefakt sein, etwa wenn das Tool sein Scan-Volumen erhöht. Deswegen habe ich den Anstieg gegen die 20 mitgemessenen Wettbewerber normalisiert. Deren Citations stiegen im Median auf das 1,45-fache, der Markt insgesamt legte also ebenfalls zu. Meine stiegen auf das 3,2-fache, während das Scan-Volumen des Tools konstant blieb. Der Anstieg ist real und liegt deutlich über dem Feld.

Citations in Rankscale als Faktor des Anstiegs, Ausgangswert 1: Das Scan-Volumen des Tools blieb konstant, die Citations der 20 mitgemessenen Wettbewerber stiegen im Median auf das 1,45-fache, die von hechtinsgefecht.de auf das 3,2-fache, im Schnitt von 5,6 auf 18 Citations pro Tag. Kein Messartefakt: Das Feld legte zu, ich deutlich stärker.

Citations im Vergleich zu 20 Wettbewerbern

Anstieg als Faktor, Ausgangswert = 1
Gemessen mit Rankscale

Scan-Volumen des Tools

konstant
20 Wettbewerber, Median

das 1,45-fache
hechtinsgefecht.de

das 3,2-fache
von 5,6 auf 18 Citations pro Tag

1

2

3

4
Abb. 5 · HECHT INS GEFECHT

Abb. 5: Der Anstieg der Citations als Faktor, gerechnet ab dem Ausgangswert 1. Das Scan-Volumen bleibt dort stehen, die Wettbewerber kommen im Median bis 1,45, hechtinsgefecht.de bis 3,2.

## Markdown statt HTML: der Kosten-Hebel für AI-Crawler

**hechtinsgefecht.de liefert acht AI-Crawlern seit dem 24.07. Markdown statt HTML aus, unter derselben URL und mit 1:1 identischem Inhalt. Die durchschnittliche Antwortgröße für diese Bots fiel dadurch im Access-Log von 39.310 auf 14.460 Bytes, minus 63 %.**

Die acht umgeleiteten Bots im Einzelnen: GPTBot, ChatGPT-User und OAI-SearchBot von OpenAI, ClaudeBot, Claude-User und Claude-SearchBot von Anthropic sowie PerplexityBot und Perplexity-User von Perplexity. Von Claude-SearchBot und Perplexity-User fand sich im Messzeitraum kein verifizierter Abruf, deswegen fehlen sie in der Tabelle oben. Fremde Trainings-Crawler wie der [CCBot von Common Crawl](https://hechtinsgefecht.de/harmonic-centrality/) und die rendernden Suchmaschinen-Bots (Googlebot, Bingbot, Applebot) bekommen dagegen bewusst dasselbe HTML wie jeder Browser.

Durchschnittliche Antwortgröße für die acht umgeleiteten AI-Crawler im Access-Log, unter derselben URL: vorher HTML mit 39.310 Bytes, seit dem 24.07. Markdown mit 14.460 Bytes, minus 63 %.

Dieselbe Seite als HTML und als Markdown

Durchschnittliche Antwortgröße im Access-Log
Acht umgeleitete AI-Crawler, gleiche URL

39.310 Bytes
14.460 Bytes
minus
63 %

HTML
vorher
Markdown
seit dem 24.07.
Abb. 6 · HECHT INS GEFECHT

Abb. 6: Dieselbe Seite links als HTML, rechts als Markdown, die Größe zeigt die durchschnittliche Antwortgröße. Der leere Rahmen über dem Markdown steht für die minus 63 %.

Gestartet ist das Markdown-Serving noch auf meinem alten WordPress-Stack. Der Umzug auf Hugo eine Woche später hat die Architektur dann radikal vereinfacht. Genau diese einfachere Markdown-Auslieferung war eine der Grundüberlegungen für den Wechsel.

In Hugo liegt jeder Inhalt nativ als Markdown-Datei vor, HTML ist nur die Renderschicht für Menschen. Für die umgeleiteten AI-Crawler übersetze ich das Quellformat nicht zurück, sondern liefere es direkt aus. Vier meiner Blogposts waren im Oktober 2026 als Markdown 53 bis 58 % kleiner als ihre gerenderte HTML-Fassung. Diese Zahl misst die Dateigröße der vier Posts und unterscheidet sich deshalb von den 63 % im Access-Log. Wer so ein Setup nachbaut, muss die Cache-Ebene nach User-Agent trennen, sonst bekommen menschliche Besucher irgendwann gecachtes Markdown.

Im August 2026 baute ich das Markdown-Serving nach demselben Prinzip für einen Kundenblog auf WordPress mit LiteSpeed-Cache, und im Test lieferte der Cache den AI-Crawlern dort HTML statt Markdown. Der Ausschluss vom Caching verhinderte nur das Speichern, und da die Bots die Standard-Cache-Gruppe mit dem Googlebot teilten, bekamen alle acht AI-Crawler HTML, sobald ein Abruf aus dieser Gruppe die Seite gecacht hatte. Mein erster Test bestand nur, weil die Cache-Gruppe frisch geleert war. Die Lösung war eine eigene Cache-Gruppe für die Bots. Leere für einen Beitrag den Cache, rufe ihn zuerst als Googlebot und danach als AI-Crawler ab und prüfe, ob die Antwort als text/markdown kommt.

### Cost of Retrieval: die Kostenrechnung hinter jedem Abruf

Das Prinzip hinter der schlanken Auslieferung an AI-Crawler heißt [Cost of Retrieval](https://hechtinsgefecht.de/cost-of-retrieval/), und es galt lange nur für den Googlebot. Martin Splitt aus Googles Search-Relations-Team antwortete mir im Oktober 2025 auf Mastodon auf eine Frage zur Antwortzeit: „300ms is ja schon super. Bedenke, dass wir meistens aus den USA crawlen also könnte ein CDN da helfen, aber ich würd bei so einer niedrigen response time jetzt nicht zu viel drüber nachdenken.“ Nach meiner Einschätzung kostet jeder Abruf den Crawler Rechenzeit und Bandbreite, und beides wächst mit der Größe der Antwort. Mittlerweile gilt dieselbe Rechnung für jeden Abruf, der eine KI-Antwort speist.

Wie schief die Crawl-to-Refer-Ratio für die Anbieter ist, zeigen Cloudflares eigene Zahlen. Die Kennzahl misst, wie viele Seiten ein Anbieter crawlt, bevor er einen einzigen Besucher an eine Website weiterleitet. Anthropic crawlte im Juni 2025 pro weitergeleitetem Besucher 70.900 Seiten.

Im Cloudflare-Jahresrückblick 2025 pendelte dieses Verhältnis für Anthropic zwischen 25.000:1 und 100.000:1, mit einer Spitze von 500.000:1. OpenAI erreichte in der Spitze 3.700:1, Google lag im selben Zeitraum zwischen 3:1 und 30:1. Jeder Abruf kostet zweimal, den Anbieter das Crawlen und dich das Ausliefern.

Crawl-to-Refer-Ratio nach Zahlen von Cloudflare, gecrawlte Seiten je weitergeleitetem Besucher, logarithmische Achse. Anthropic: im Cloudflare-Jahresrückblick 2025 zwischen 25.000:1 und 100.000:1, Spitze 500.000:1, im Juni 2025 70.900 Seiten pro weitergeleitetem Besucher. OpenAI: Spitze 3.700:1. Google: zwischen 3:1 und 30:1.

Gecrawlte Seiten je weitergeleitetem Besucher

Crawl-to-Refer-Ratio nach Zahlen von Cloudflare
Logarithmische Achse

1:1

10:1

100:1

1.000:1

10.000:1

100.000:1

1.000.000:1

Spitze 500.000:1
Juni 2025: 70.900
25.000:1 bis 100.000:1

Spitze 3.700:1

3:1 bis 30:1
Anthropic
OpenAI
Google
Abb. 7 · HECHT INS GEFECHT

Abb. 7: Crawl-to-Refer-Ratio nach Cloudflare, logarithmische Achse. Anthropic steht mit Bereich, Spitze und dem Wert aus dem Juni 2025 oben, OpenAI mit seiner Spitze darunter, Google mit seinem Bereich unten.

Was passiert, wenn eine Website AI-Crawler stattdessen aussperrt oder ihnen unnötig teure Antworten liefert, sehe ich in Audits regelmäßig. Bei einem Modehändler blockierte die Web Application Firewall (ein vorgeschalteter Sicherheitsfilter) fünf AI-Crawler von OpenAI, Anthropic und Perplexity. Im Audit tauchte der Shop in 29 von 321 KI-Antworten als Quelle auf.

Ein Plattform-Betreiber wiederum beantwortete jede Anfrage mit einer vollständigen Seite. Laut Audit crawlten Suchmaschinen und andere Bots deshalb jeden Tag alle Kombinationen der URL-Parameter neu. Darin lag auch die Erklärung für die Bot-Kosten auf dem CDN (Content Delivery Network), die der Betreiber angesprochen hatte. Beide Fälle laufen auf dasselbe Prinzip hinaus: Bots nicht aussperren, die Auslieferung günstig machen und die Zahl der crawlbaren URLs klein halten.

OpenAIs Fetcher scheitern auf manchen Servern übrigens schon am Protokoll, lange bevor Bytes eine Rolle spielen. Diese Geschichte steht im Beitrag zum [ChatGPT-Crawler-Bug](https://hechtinsgefecht.de/chatgpt-crawler-bug/).

## Ist Markdown-Serving für AI-Crawler Cloaking?

**Markdown-Serving verstößt nach Googles Definition nicht gegen die Cloaking-Richtlinien, solange Googlebot exakt dasselbe HTML bekommt wie jeder menschliche Besucher.** Cloaking bezeichnet die Praxis, Suchmaschinen inhaltlich andere Seiten zu zeigen als Menschen. Genau diese Täuschung findet auf hechtinsgefecht.de nicht statt: Googlebot und Bingbot stehen nicht in meiner Liste der umgeleiteten User-Agents und sehen die Markdown-Version nie.

Die Kritik an Markdown-Serving existiert trotzdem, und sie kommt von prominenter Stelle. Als die US-SEO Lily Ray Ende 2025 fragte, ob Websites separate Markdown-Seiten für LLM-Crawler anbieten sollten, antwortete John Mueller: „Why would they want to see a page that no user sees? And, if they check for equivalence, why not use HTML?“ Fabrice Canel, damals Principal Product Manager bei Bing, ergänzte im Februar 2026, das verdopple nur die Crawl-Last: „We’ll crawl anyway to check similarity.“

Muellers und Canels Aussagen richten sich gegen separate Markdown-URLs, die zusätzlich zur HTML-Seite existieren und die Suchmaschinen dann mitcrawlen müssten. Mein Setup unterscheidet sich an den entscheidenden Stellen. Es gibt keine separate URL, die Markdown-Version antwortet unter der Original-Adresse. Und die Suchmaschinen-Bots, um deren Richtlinien es geht, bekommen unverändertes HTML.

Cloaking setzt Täuschung voraus. Ich liefere denselben Inhalt in dem Format, das die abrufende KI am günstigsten verarbeitet.

Und die Anbieter, die das Markdown tatsächlich bekommen? OpenAI, Anthropic und Perplexity haben bislang keine dokumentierte Richtlinie gegen formatoptimierte Auslieferung. Fürsprecher hat die Idee auch im SEO-Bereich, etwa Mike King, Gründer der US-Agentur iPullRank. Er schlug im Mai 2026 neben Markdown für LLM-Agenten auch Cloaking per JavaScript vor, Googlebot und Bingbot nahm er aus.

Die Leitplanke bleibt trotzdem die 1:1-Parität. In dem Moment, in dem die Markdown-Version andere Inhalte trägt als das HTML, wird aus Optimierung Täuschung. Der SEO-Analyst Kevin Indig erwartete im Februar 2026 in seinem Growth Memo mehr Schutzmaßnahmen gegen Cloaking, weil nichts verhindere, in der Markdown-Fassung mehr Inhalt auszuliefern. Ich plane fest damit.

## Nach dem Markdown-Umbau sanken die Bot-Zahlen, und das war richtig so

**In den ersten fünf Tagen nach dem Markdown-Livegang auf hechtinsgefecht.de fielen die Requests der acht umgestellten AI-Crawler um 31 %. Nach zwei Wochen lag der Rückgang noch bei 16 %. Die Abrufe pro ausgelieferter Seite sanken in den ersten fünf Tagen von 2,66 auf 2,33 und lagen nach zwei Wochen bei 2,59. Gezählt sind Requests geteilt durch eindeutig abgerufene URLs.**

Zur Einordnung: Diese Messung beginnt am 24.07. und damit eine Woche vor der Messreihe oben. Die ersten Tage stammen noch aus den Logs meines alten WordPress-Stacks. Im Dashboard sah der Rückgang nach Verlust aus. Tatsächlich brauchten die Fetcher auf hechtinsgefecht.de für dieselbe Information weniger Anläufe: weniger Requests pro Seite und drastisch weniger Bytes pro Request.

Sicher war ich mir bei dieser Deutung erst nach Wochen, denn der Rückgang hätte genauso ein echter Frequenzverlust sein können. Die Kontrollgruppe schloss zumindest einen allgemeinen Rückgang aus: Die nicht umgestellten Bots (Googlebot, Bingbot, Applebot) blieben in den Tagen nach dem Livegang stabil bis steigend, betroffen waren ausschließlich die acht umgeleiteten User-Agents. Endgültig entschieden hat die Frage die Entwicklung danach.

Drei Wochen nach dem Livegang zeigen die Live-Fetcher ChatGPT-User und Claude-User unter den acht Crawlern trotz der schlankeren Auslieferung das stärkste Wachstum. Für die Messung heißt das: Nach einem Umbau der Auslieferung taugen Hit-Zahlen nicht mehr als Trendwert. Bytes pro Abruf und ausgelieferte Seiten pro Tag zeigen das echte Bild.

## Attribution: fünf parallele Maßnahmen hinter dem Anstieg der KI-Abrufe

**Sauber einem einzelnen Hebel zuordnen lässt sich der Anstieg nicht.** Zwischen dem 24.07. und dem 18.08. liefen bei mir fünf Maßnahmen parallel: Markdown-Serving, Hugo-Umzug, der Umbau des GEO-Listicles auf Zitierfähigkeit, der URL-Wechsel und Daten-Updates der beiden Agentur-Rankings.

Die plausibelste Deutung aus drei Wochen Log-Daten: Die Nachfrage machen die Inhalte, nicht die Serving-Technik. 97 % der Zitate entfallen auf die beiden Listicles, also auf Seiten mit eigenen Messdaten und klaren Rankings. In den Logs findet sich kein Beleg, dass das Markdown-Serving diese Nachfrage erzeugt hat. Messbar senkt es die Kosten pro Abruf. Das spiegelt das Zwei-Stellschrauben-Modell aus meinem [Information-Gain-Beitrag](https://hechtinsgefecht.de/information-gain/): Einzigartige Information erzeugt die Nachfrage, niedrige Abrufkosten senken die Hürde.

Zitate mit einer Adresse von hechtinsgefecht.de vom 22.07. bis 20.08. als Raster aus 100 Feldern, ein Feld steht für 1 %: 97 % entfallen auf genau zwei Seiten, das Agentur-Ranking und das GEO-Agenturen-Listicle, der Rest auf alle anderen Seiten. Im Messzeitraum zitierten die KI-Systeme Startseiten und Leistungsseiten fast nie.

Zitate mit einer Adresse von hechtinsgefecht.de

Zeitraum 22.07. bis 20.08.
Ein Feld = 1 % der Zitate

97 %
entfallen auf zwei Seiten:
Agentur-Ranking
und
GEO-Agenturen-Listicle

alle anderen Seiten

Startseiten und Leistungsseiten
zitierten die KI-Systeme fast nie.
Abb. 8 · HECHT INS GEFECHT

Abb. 8: Vom 22.07. bis 20.08. entfielen 97 % der Zitate mit einer Adresse von hechtinsgefecht.de auf genau zwei Seiten, das Agentur-Ranking und das GEO-Agenturen-Listicle.

Die einzige saubere Kausalkette bleibt die Index-Kaskade: Gemini und AI Overviews zitieren das GEO-Listicle erst, seit es im Google-Index steht. Die übrigen Maßnahmen bleiben plausible Treiber ohne sauberen Einzelnachweis. Wachstumskurven ohne Methodik sind Marketing. Ein Access-Log mit IP-Verifikation und Kontrollgruppe, dazu offen benannte Störfaktoren, ist eine Messung.

## So misst du AI-Crawler-Traffic auf deiner eigenen Website

**AI-Crawler-Traffic misst du im Access-Log deines Servers, von außen ergänzt du die Messung über Citation-Monitoring-Tools. Beides zusammen zeigt, ob KI-Systeme deine Inhalte abrufen und ob sie diese Inhalte auch zitieren.**

Für die Messung von innen ziehst du das Access-Log, mindestens 7, besser 30 Tage. Dann trennst du die Bot-Zugriffe nach den drei Kategorien Training, Search und Live-Fetch und prüfst jede IP gegen die publizierten Adressbereiche der Anbieter. Diese Listen liegen offen, zum Beispiel bei OpenAI je Bot in einer eigenen Datei wie openai.com/chatgpt-user.json, bei Anthropic unter claude.com/crawling/bots.json und bei Google unter developers.google.com in der Datei common-crawlers.json. Ohne Log-Zugriff (Shared Hosting, Managed-Systeme) bleibt dir der Blick von außen über die Citation-Tools.

Als Kennzahlen taugen drei Werte:

- verifizierte Live-Fetch-Abrufe pro Tag, deine Nachfrage-Metrik und die wichtigste der drei Zahlen
- Bytes pro Abruf als Kosten-Metrik
- Fehlerquote (Anteil der 4xx- und 5xx-Antworten)

Eine Kontrollgruppe aus klassischen Bots trennt echte Trends von Saisoneffekten.

**Pro-Tipp:** Wenn du Crawl- oder Audit-Tools mit Bot-User-Agents auf deine eigene Website loslässt, tauchen deren Abrufe im Log als gefälschte Bots auf: gleicher User-Agent, fremde IP. Schließe die IP-Adressen dieser Tools vor der Auswertung aus, sonst misst du dein eigenes Monitoring.

Von außen ergänzen Tools wie Rankscale oder peec.ai die Log-Messung. Diese Tools stellen KI-Systemen systematisch Fragen und zählen, wie oft deine Seiten als Quelle auftauchen. Achte dabei auf konstantes Scan-Volumen, sonst vergleichst du Messungen unterschiedlicher Dichte. Und normalisiere Anstiege gegen mitgemessene Wettbewerber, so wie ich es oben mit dem Faktor 3,2 gegen 1,45 getan habe.

Wie du Inhalte baust, die diese Systeme überhaupt zitieren wollen, steht im Beitrag zur [Content-Formatierung für LLMs](https://hechtinsgefecht.de/content-formatierung-llm/) und im Überblick zur [LLM-Sichtbarkeit](https://hechtinsgefecht.de/llm-sichtbarkeit/).

Das technische Fundament für AI-Crawler ist Teil der laufenden [KI-SEO-Betreuung](https://hechtinsgefecht.de/ki-seo-agentur/) von HECHT INS GEFECHT. Auf Anfrage messe ich deine KI-Sichtbarkeit.

## Häufige Fragen zu AI-Crawlern

### Was sind AI-Crawler?

AI-Crawler sind Bots von KI-Anbietern wie OpenAI, Anthropic und Perplexity, die Webseiten abrufen. Sie umfassen drei Kategorien: Trainings-Crawler für künftige Modelle, Search-Crawler für die Suchindizes der KI-Systeme und Live-Fetcher, die Seiten bei einer konkreten Nutzerfrage abrufen.

### Wie erkennt man gefälschte AI-Crawler?

Gefälschte AI-Crawler erkennt man über die IP-Adresse: Die Anbieter publizieren die Adressbereiche ihrer Bots, ein Abgleich mit diesen Listen trennt echte Bots von Scrapern, bei Google und Bing kommt ein Reverse-DNS-Check mit Gegenprobe dazu. Der User-Agent allein beweist nichts, den kann jeder Scanner kopieren. Bei mir laufen deswegen alle Bot-Auswertungen IP-verifiziert.

### Warum bleibt eine Seite in „Gefunden, zurzeit nicht indexiert“ hängen?

Google kennt die URL, hat sie aber noch nicht gecrawlt. Laut Google-Hilfe hätte der Crawl die Website typischerweise überlastet, deshalb hat Google ihn neu geplant. Martin Splitt von Google nennt außerdem Qualitätsmuster bei URLs der Website und einen langsamen Server. Der Status kann laut Googles John Mueller dauerhaft anhalten, einen Anspruch auf Indexierung gibt es nicht.

### Hilft ein URL-Wechsel bei Indexierungsproblemen?

Ein URL-Wechsel kann einen festgefahrenen Crawl-Status lösen, so war es bei meinem GEO-Listicle. Dass Google die neue URL neu bewertet, ist meine Einschätzung. John Mueller erklärte einen ähnlichen Fall mit Schwankungen bei Seiten am Rand der Indexierung und warnte, die Seite könne auch wieder herausfallen. Vorher technische Ursachen ausschließen und die alte URL per 301 auf die neue weiterleiten.

### Ist Markdown-Serving für AI-Crawler Cloaking?

Nein, solange Suchmaschinen-Bots unverändertes HTML bekommen und die Markdown-Version 1:1 denselben Inhalt trägt, so wie ich es umsetze. Kritisch wird es erst, wenn Bots inhaltlich andere Seiten sehen als Menschen.

### Sollte man AI-Crawler blockieren?

Für die meisten Websites nein: Wer Live-Fetcher und Search-Crawler aussperrt, verliert seine Sichtbarkeit in KI-Antworten weitgehend und verschenkt damit echte Nutzerkontakte. Diskutabel ist das Blockieren allein bei Trainings-Crawlern, gesteuert über die robots.txt, die seriöse Bots wie GPTBot respektieren.

## Quellen

- Cloudflare: [The crawl before the fall… of referrals: understanding AI’s impact on content providers](https://blog.cloudflare.com/ai-search-crawl-refer-ratio-on-radar/) (Juli 2025)
- Cloudflare: [The 2025 Cloudflare Radar Year in Review: The rise of AI, post-quantum, and record-breaking DDoS attacks](https://blog.cloudflare.com/radar-2025-year-in-review/) (Dezember 2025)
- Search Engine Journal: [Google: Sites Need To Be Worthwhile To Be Indexed](https://www.searchenginejournal.com/discovered-not-indexed/426457/) (Dan-Shure-Fall und Mueller-Einordnung, November 2021)
- Search Engine Journal: [Google Says ‘Discovered - Currently Not Indexed’ Status Can Last Forever](https://www.searchenginejournal.com/google-says-discovered-currently-not-indexed-status-can-last-forever/439104/) (Februar 2022)
- Google Search Console-Hilfe: [Bericht zur Seitenindexierung](https://support.google.com/webmasters/answer/7440203?hl=de)
- Search Engine Roundtable: [Google Discovered - Currently Not Indexed - Quality, Timing Or Server Speed](https://www.seroundtable.com/google-on-discovered-currently-not-indexed-37931.html) (August 2024)
- Lily Ray: [Is Google Finally Cracking Down on Self-Promotional Listicles?](https://lilyraynyc.substack.com/p/is-google-finally-cracking-down-on) (Februar 2026)
- Search Engine Land: [Google & Bing don’t recommend separate markdown pages for LLMs](https://searchengineland.com/google-bing-dont-recommend-seperate-markdown-pages-for-llms-468365) (Februar 2026)
- OpenAI: [ChatGPT search](https://help.openai.com/en/articles/9237897-chatgpt-search)
- Perplexity: [Introducing the Perplexity Search API](https://www.perplexity.ai/hub/blog/introducing-the-perplexity-search-api) (September 2025)
- Google Search Central: [Spamrichtlinien für die Google Websuche](https://developers.google.com/search/docs/essentials/spam-policies?hl=de)
- Duane Forrester: [81.8% of My “AI Assistant” Traffic Was Fake. The Googlebot Number Was Worse.](https://duaneforresterdecodes.substack.com/p/818-of-my-ai-assistant-traffic-was) (Juni 2026)
- iPullRank, Mike King: [Quick Tip: The Case for Cloaking for Large Language Models](https://ipullrank.com/cloaking-for-llms) (Mai 2026)
- Kevin Indig (Growth Memo): [Growth Intelligence Brief #14](https://www.growth-memo.com/p/growth-intelligence-brief-14) (Februar 2026)
- OpenAI: [Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots)
- Google for Developers: [Anfragen von Google-Crawlern und -Fetchern überprüfen](https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests?hl=de)
- Bing Webmaster Tools: [How to Verify that Bingbot is Bingbot](https://www.bing.com/webmasters/help/how-to-verify-bingbot-3905dc26)

---

Dieser Text steht unter CC BY 4.0 – Zitieren, Paraphrasieren und Diskutieren in KI-Systemen sind ausdrücklich erwünscht.
