Logfile Analyse: Wie KI-Bots deine Website verarbeiten

1380 Hörer*innen

Jede KI-Antwort basiert auf Quellen. Alle KI-Systeme – egal ob Google, ChatGPT oder Meta – bedienen sich am Internet, werten die Inhalte aus und verarbeiten sie.

Aber wie funktioniert das eigentlich genau? Dafür haben wir unsere Website Logfiles analysiert. Erste Erkenntnis: Es kommen täglich diverse KI-Bots auf unsere Website. Die Bots kommen für unterschiedliche Funktionen in den KI-Systemen.

Was diese Bots genau machen – das besprechen wir in unserem Podcast in der Tiefe. Die Zusammenfassung wie immer hier im Artikel.

Eine solche Logfile Analyse ist nicht nur aus technischer Sicht interessant. Es geht um viel mehr: Eine neue Form der Webanalyse.

Denn Unternehmen müssen verstehen, welche Rolle ihre Inhalte in KI-Systemen spielen. Wann sie zum Beispiel erwähnt werden und wann nicht. Wie etwa ChatGPT ihre Produkte beschreibt – und wie dafür auch die eigene Website als Quelle genutzt wird.

Apple Podcast Logo
Spotify Logo

Diese KI-Bots sind täglich auf unserer Website

Alle großen KI-Plattformen geben öffentlich an, welche Bots sie nutzen, um Websites zu analysieren (Beispiel OpenAI). Jeder Bot hat eine eindeutige Signatur, die in den Logfiles erkennbar ist.

Die KI-Bots haben unterschiedliche Funktionen:

  • Training des Sprachmodells: Spezifische KI-Bots wie etwa der GPTBot von ChatGPT werden dazu genutzt, das Sprachmodell zu trainieren. Auf dieser Basis werden dann die wahrscheinlichsten Antworten generiert, wenn User eine Frage stellen.
  • Search-Bots: Eine andere Art von KI-Bots ist dafür da, wenn das KI-System oder die User aktiv Inhalte im Internet suchen wollen. Dann wird eine Suche angeworfen und die konkreten Website-Ergebnisse vom Bot analysiert.
  • User-Bots (Direct): Die User-Bots werden genutzt, wenn User aktiv eine Website in ein KI-System eingeben und damit etwas machen wollen. Etwa, wenn ein User direkt eine Website eines Unternehmens in ChatGPT eingibt und das KI-System etwas dazu fragt.

Zugriffe auf unsere Webseite nach Typ, 30 Tage

Unsere KI Webanalyse (30 Tage)

Aus diesen Logfile Daten haben wir ein KI-Webanalyse-Tool entwickelt. Es sagt uns:

  • Welche KI-Bots wann vorbei kommen
  • Wie oft diese KI-Bots Inhalte abrufen
  • Welche Inhalte die KI-Bots auslesen

Das ist hoch-relevant: Denn wir wollen den KI-Systemen das richtige „Futter“ geben, damit sie uns so interpretieren, wie wir es wollen. Wir sehen, welche konkreten Inhalte eingespeist werden – oder auch aktiv von Usern genutzt werden.

Diese „Onpage Optimierung“, um einen typischen SEO-Begriff zu nutzen, wird eine zentrale Aufgabe sein, um KI-Systeme zu beeinflussen.

Schon jetzt zeigt sich: Unternehmen, die in SEO investiert haben und hochwertigen Content auf der Website haben, sind in KI-Systemen deutlich häufiger und besser vertreten. Wir sehen hier eine klare Korrelation. Der Grund liegt in den Keywords. Unternehmen, die sich mit SEO beschäftigen, tauchen tief in die Keywords und damit in das Suchverhalten ihrer Zielgruppen ein. Sie verstehen, was die User wissen wollen.

BotTypZugriffe
Meta ExternalAgenttraining27094
ClaudeBottraining867
GPTBottraining537
OpenAI SearchBotsearch358
Claude Useruser354
ChatGPT Useruser216
ByteSpidertraining185
PerplexityBotsearch64
CCBottraining28
Claude SearchBotsearch6
Meta Fetcheruser4
Perplexity Useruser3

Zugriffe pro Tag und Crawler

Relevanz statt Traffic: Die Metriken der Zukunft

Derzeit dreht sich in der SEO-Welt sehr viel um den Abstieg des SEO-Traffics. Weil Google mit seinen AI Overviews die Antworten selbst ausgibt, sinkt der SEO-Traffic. Websites werden zwar angezeigt – zu sehen in den Impressions in der Google Search Console. Aber sie erhalten eben weniger Klicks aus der Suchmaschine.

Dieser Trend wird sich auch in Zukunft fortsetzen. Denn Google plant mit dem AI Mode eine Art ChatGPT Oberfläche. Dann kann mit der KI gechattet werden. Die zehn blauen Links sind dann endgültig Geschichte. Einige Websites werden noch als Quellen angegeben – oft die Websites, die schon jetzt in den Top10 stehen und granulare, exakt passende Antworten und tiefere Inhalte bieten.

Die User werden aber auch viel spezifischer suchen, also ausführlich beschreiben und immer wieder aufs neue Chat-Fragen stellen. Die Antworten werden hoch-individuell. Hier kommt es darauf an, das Nutzerverhalten zu verstehen, mit neuen KI-Tools zu monitoren und daraus Content-Strategien zu entwickeln. Genau dazu führen wir Workshops mit unseren Kunden durch.

Denn auch wenn der Traffic sinkt: Der Bedarf an Produkten und Dienstleistungen ist nach wie vor vorhanden. Die User werden also nach Unternehmen und Lösungen suchen. Dafür werden sie sich leiten lassen – von KI-Antworten. Hauptaufgabe in Zukunft wird sein: Wie sieht die KI dein Unternehmen? Wie schätzt es dich ein und wie spricht es über dich?

Hintergrund-Video: Logfiles, Crawler und KI-Sichtbarkeit

Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Mehr Informationen

Wir beraten Marketing-Teams in SEO, Content und KI

Für alle, die einen SEO-Sparringspartner suchen oder eine umfassende SEO-Beratung benötigen, sind Fabian und Benjamin die perfekte Wahl. Als Inhouse-SEO-Expertin suchte ich nach kompetenter Unterstützung in Sachen SEO und wurde bei ihnen fündig. In einem äußerst angenehmen Kennenlerngespräch entwickelten wir gemeinsam ein Vorgehen, um das Thema SEO bei den einzelnen Stakeholdern zu etablieren und dadurch mehr interne Sichtbarkeit für das Thema zu gewinnen. Basierend auf diesem Erstgespräch und einem gemeinsamen Kick-Off mit den Stakeholdern wurde von den beiden eine fundierte SEO- und Content-Strategie für einen Produktbereich entwickelt. Seitdem begleiten mich beide als Sparringspartner bei der Umsetzung.

Die Zusammenarbeit mit Fabian und Benjamin bereitet mir und allen Projektbeteiligten große Freude, da sie ihr Handwerk verstehen und eine immense Leidenschaft für SEO mitbringen. Diese Kombination ist ansteckend und motiviert alle zu Höchstleistungen.

Regina Biskop
Search Engine Optimization Expert, Deutsche Kreditbank AG

Mit großer Zufriedenheit blicke ich auf das SEO-Projekt zurück, dass wir mit Benjamin und Fabian durchgeführt haben. Zum einen war die Zusammenarbeit auf einer sehr sympathischen, zielorientierten Ebene. Zum anderen war die Beratung so ausgerichtet, dass wir direkt mit der Umsetzung loslegen konnten. Wir haben ganz konkrete Optimierungsvorschläge bekommen, die auf unsere internen Kapazitäten abgestimmt waren und daher auch realistisch umsetzbar waren. Auch wenn erst ein paar Monate vergangen sind, können wir jetzt schon erste Früchte unserer Arbeit in den Google-Rankings sehen. Der Traffic bei den für uns relevanten Keywords nimmt stetig zu und wir haben noch genug konkrete Arbeitspakete von Benjamin in der Pipeline, mit denen wir unsere Site boosten können. Außerdem haben wir durch die Beratung intern so viel SEO-Know-how erworben, dass wir inzwischen selbständig unsere Site optimieren können. Und das Wichtigste: Die Besucherzahlen haben sich verdoppelt – mit entsprechend positiven Auswirkungen auf den Umsatz.

Mark Mauderer
Digital Marketing Manager, Bierbaum Proenen

Vertiefe dein SEO-Wissen: Jeden Montag per Mail

GEO SEO Newsletter



Unsere Gespräche mit SEO-Profis aus der Branche

Neu in unserer GEO & LLMO Academy

Lokale GEO

AI Visibility: Wie geht regionale Optimierung?

Viele Unternehmen haben einen regionalen oder lokalen Schwerpunkt. Hier gibt es oft sehr wertvolle Leads und Sales, weil die User direkt vor Ort eine Lösung suchen. Aber wie sollte man hier in der Optimierung vorgehen? Manchmal ist es nur eine einzelne Stadt, in der man sichtbar sein will. Manchmal aber auch eine Region mit mehreren Städten. Auch große Plattformen haben Städte-Strategien, die noch aus der SEO-Zeit stammen und kämpfen um Sichtbarkeit. In dem Workshop zeigen wir verschiedene Beispiele, wie wir ein GEO-Monitoring aufsetzen und welche Wege wir in der Analyse und Optimierung gehen.

Prompts auswählen

GEO Monitoring: Gemeinsam die richtigen Prompts auswählen

GEO beginnt mit der Prompt-Recherche – und genau hier bleiben viele hängen. Welche Prompts bilden meinen Markt wirklich sinnvoll ab? Welche sind redundant? Welche gehören ins Monitoring – und welche kann ich weglassen? Genau das machen wir in diesem Workshop gemeinsam. Du arbeitest parallel in unserem Tool und stellst Schritt für Schritt dein eigenes Prompt-Set zusammen. Als Academy-Mitglied hast du Zugriff auf unser Tool JOE (Community-Plan). Das Ziel: Am Ende des Workshops steht dein fertiges GEO Monitoring: fokussiert, sinnvoll strukturiert und passend zu deinem Markt.

AI Brand Intelligence

Brand Sentiment: Wie spricht KI über euer Unternehmen?

Wie spricht ein KI-System über deine Marke? Was wird positiv und was negativ erwähnt? Was wird konkret kritisiert? In diesem Workshop erklären wir dir, wie du eine Brand Sentiment Analyse durchführst – und wie du daraus Maßnahmen ableitest. Hierfür haben wir neue Funktionen in unserem Tool JOE entwickelt, das du als Academy Mitglied nutzen kannst (Community Plan). Hier entsteht ein neues Arbeitsfeld: Markenführung in KI-Systemen.

Über den Autor