Logfile Analyse: Wie KI-Bots deine Website verarbeiten

1093 Hörer*innen

Jede KI-Antwort basiert auf Quellen. Alle KI-Systeme – egal ob Google, ChatGPT oder Meta – bedienen sich am Internet, werten die Inhalte aus und verarbeiten sie.

Aber wie funktioniert das eigentlich genau? Dafür haben wir unsere Website Logfiles analysiert. Erste Erkenntnis: Es kommen täglich diverse KI-Bots auf unsere Website. Die Bots kommen für unterschiedliche Funktionen in den KI-Systemen.

Was diese Bots genau machen – das besprechen wir in unserem Podcast in der Tiefe. Die Zusammenfassung wie immer hier im Artikel.

Eine solche Logfile Analyse ist nicht nur aus technischer Sicht interessant. Es geht um viel mehr: Eine neue Form der Webanalyse.

Denn Unternehmen müssen verstehen, welche Rolle ihre Inhalte in KI-Systemen spielen. Wann sie zum Beispiel erwähnt werden und wann nicht. Wie etwa ChatGPT ihre Produkte beschreibt – und wie dafür auch die eigene Website als Quelle genutzt wird.

Apple Podcast Logo
Spotify Logo

Diese KI-Bots sind täglich auf unserer Website

Alle großen KI-Plattformen geben öffentlich an, welche Bots sie nutzen, um Websites zu analysieren (Beispiel OpenAI). Jeder Bot hat eine eindeutige Signatur, die in den Logfiles erkennbar ist.

Die KI-Bots haben unterschiedliche Funktionen:

  • Training des Sprachmodells: Spezifische KI-Bots wie etwa der GPTBot von ChatGPT werden dazu genutzt, das Sprachmodell zu trainieren. Auf dieser Basis werden dann die wahrscheinlichsten Antworten generiert, wenn User eine Frage stellen.
  • Search-Bots: Eine andere Art von KI-Bots ist dafür da, wenn das KI-System oder die User aktiv Inhalte im Internet suchen wollen. Dann wird eine Suche angeworfen und die konkreten Website-Ergebnisse vom Bot analysiert.
  • User-Bots (Direct): Die User-Bots werden genutzt, wenn User aktiv eine Website in ein KI-System eingeben und damit etwas machen wollen. Etwa, wenn ein User direkt eine Website eines Unternehmens in ChatGPT eingibt und das KI-System etwas dazu fragt.

Zugriffe auf unsere Webseite nach Typ, 30 Tage

Unsere KI Webanalyse (30 Tage)

Aus diesen Logfile Daten haben wir ein KI-Webanalyse-Tool entwickelt. Es sagt uns:

  • Welche KI-Bots wann vorbei kommen
  • Wie oft diese KI-Bots Inhalte abrufen
  • Welche Inhalte die KI-Bots auslesen

Das ist hoch-relevant: Denn wir wollen den KI-Systemen das richtige „Futter“ geben, damit sie uns so interpretieren, wie wir es wollen. Wir sehen, welche konkreten Inhalte eingespeist werden – oder auch aktiv von Usern genutzt werden.

Diese „Onpage Optimierung“, um einen typischen SEO-Begriff zu nutzen, wird eine zentrale Aufgabe sein, um KI-Systeme zu beeinflussen.

Schon jetzt zeigt sich: Unternehmen, die in SEO investiert haben und hochwertigen Content auf der Website haben, sind in KI-Systemen deutlich häufiger und besser vertreten. Wir sehen hier eine klare Korrelation. Der Grund liegt in den Keywords. Unternehmen, die sich mit SEO beschäftigen, tauchen tief in die Keywords und damit in das Suchverhalten ihrer Zielgruppen ein. Sie verstehen, was die User wissen wollen.

BotTypZugriffe
GPTBottraining2327
Meta ExternalAgenttraining1239
Facebook Crawlerdirect571
ClaudeBottraining539
OpenAI SearchBotsearch508
ChatGPT Userdirect481
ByteSpidertraining105
PerplexityBotsearch43
Perplexity Userdirect19
Claude Userdirect4

Zugriffe pro Tag und Crawler

Relevanz statt Traffic: Die Metriken der Zukunft

Derzeit dreht sich in der SEO-Welt sehr viel um den Abstieg des SEO-Traffics. Weil Google mit seinen AI Overviews die Antworten selbst ausgibt, sinkt der SEO-Traffic. Websites werden zwar angezeigt – zu sehen in den Impressions in der Google Search Console. Aber sie erhalten eben weniger Klicks aus der Suchmaschine.

Dieser Trend wird sich auch in Zukunft fortsetzen. Denn Google plant mit dem AI Mode eine Art ChatGPT Oberfläche. Dann kann mit der KI gechattet werden. Die zehn blauen Links sind dann endgültig Geschichte. Einige Websites werden noch als Quellen angegeben – oft die Websites, die schon jetzt in den Top10 stehen und granulare, exakt passende Antworten und tiefere Inhalte bieten.

Die User werden aber auch viel spezifischer suchen, also ausführlich beschreiben und immer wieder aufs neue Chat-Fragen stellen. Die Antworten werden hoch-individuell. Hier kommt es darauf an, das Nutzerverhalten zu verstehen, mit neuen KI-Tools zu monitoren und daraus Content-Strategien zu entwickeln. Genau dazu führen wir Workshops mit unseren Kunden durch.

Denn auch wenn der Traffic sinkt: Der Bedarf an Produkten und Dienstleistungen ist nach wie vor vorhanden. Die User werden also nach Unternehmen und Lösungen suchen. Dafür werden sie sich leiten lassen – von KI-Antworten. Hauptaufgabe in Zukunft wird sein: Wie sieht die KI dein Unternehmen? Wie schätzt es dich ein und wie spricht es über dich?

Hintergrund-Video: Logfiles, Crawler und KI-Sichtbarkeit

Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Mehr Informationen

Wir beraten Marketing-Teams in SEO, Content und KI

Für alle, die einen SEO-Sparringspartner suchen oder eine umfassende SEO-Beratung benötigen, sind Fabian und Benjamin die perfekte Wahl. Als Inhouse-SEO-Expertin suchte ich nach kompetenter Unterstützung in Sachen SEO und wurde bei ihnen fündig. In einem äußerst angenehmen Kennenlerngespräch entwickelten wir gemeinsam ein Vorgehen, um das Thema SEO bei den einzelnen Stakeholdern zu etablieren und dadurch mehr interne Sichtbarkeit für das Thema zu gewinnen. Basierend auf diesem Erstgespräch und einem gemeinsamen Kick-Off mit den Stakeholdern wurde von den beiden eine fundierte SEO- und Content-Strategie für einen Produktbereich entwickelt. Seitdem begleiten mich beide als Sparringspartner bei der Umsetzung.

Die Zusammenarbeit mit Fabian und Benjamin bereitet mir und allen Projektbeteiligten große Freude, da sie ihr Handwerk verstehen und eine immense Leidenschaft für SEO mitbringen. Diese Kombination ist ansteckend und motiviert alle zu Höchstleistungen.

Regina Biskop
Search Engine Optimization Expert, Deutsche Kreditbank AG

Mit großer Zufriedenheit blicke ich auf das SEO-Projekt zurück, dass wir mit Benjamin und Fabian durchgeführt haben. Zum einen war die Zusammenarbeit auf einer sehr sympathischen, zielorientierten Ebene. Zum anderen war die Beratung so ausgerichtet, dass wir direkt mit der Umsetzung loslegen konnten. Wir haben ganz konkrete Optimierungsvorschläge bekommen, die auf unsere internen Kapazitäten abgestimmt waren und daher auch realistisch umsetzbar waren. Auch wenn erst ein paar Monate vergangen sind, können wir jetzt schon erste Früchte unserer Arbeit in den Google-Rankings sehen. Der Traffic bei den für uns relevanten Keywords nimmt stetig zu und wir haben noch genug konkrete Arbeitspakete von Benjamin in der Pipeline, mit denen wir unsere Site boosten können. Außerdem haben wir durch die Beratung intern so viel SEO-Know-how erworben, dass wir inzwischen selbständig unsere Site optimieren können. Und das Wichtigste: Die Besucherzahlen haben sich verdoppelt – mit entsprechend positiven Auswirkungen auf den Umsatz.

Mark Mauderer
Digital Marketing Manager, Bierbaum Proenen

Vertiefe dein SEO-Wissen: Jeden Montag per Mail

GEO SEO Newsletter



Unsere Gespräche mit SEO-Profis aus der Branche

Neu in unserer GEO & LLMO Academy

SEO & GEO für Solopreneure

Innovative Solo-Selbstständige denken unternehmerisch und verfügen über tiefes Expertenwissen – doch gerade für neue, ungewöhnliche Angebote fehlen oft passende Keywords. Auch KI-Systeme greifen meist nur auf Bekanntes zurück. In diesem Workshop zeigen wir an einem realen Beispiel eines Mitglieds, welche Chancen Solo-Unternehmer*innen in SEO und GEO haben und wie sie darüber neue Kunden gewinnen können. Wir bauen eine Brücke von klassischer Google-Optimierung zu modernen KI-Systemen – von Keyword-Strategien bis zu konkreten Content-Maßnahmen.

KI zeigt Quellen – du beeinflusst sie: Neue Outreach-Strategien

Warum empfehlen KI-Systeme bestimmte Unternehmen – und andere nicht? Ein Grund: Weil die Sprachmodelle auf externe Quellen im Internet zugreifen – das sogenannte Grounding. Wer in diesen Quellen vorkommt, landet häufiger in KI-Antworten. Wer fehlt, verliert Sichtbarkeit – trotz guter Inhalte. Hier entsteht ein neues Arbeitsfeld zwischen PR, Media und SEO: AI Source Optimization. Noch ist unklar, wer sich darum kümmert. Aber klar ist: Die Wirkung ist hoch. Genau das zeigen wir in diesem Academy Workshop anhand eines B2C- und eines B2B-Beispiels.

GEO für Onlineshops

Kaufentscheidung getroffen – nach drei Prompts. Willkommen im neuen Zeitalter von ChatGPT Shopping. User bekommen heute alles in einer KI-Antwort: Top-Auswahl, Preisvergleich, Reviews. ChatGPT liefert die komplette Kaufberatung. Personalisiert, ohne Werbung. Dieser Wandel passiert jetzt. Ob Hersteller oder Händler: Onlineshops berichten uns, dass sie Sales über ChatGPT machen. Darüber sprechen wir in diesem Academy Workshop.

Über den Autor