Logfile Analyse: Wie KI-Bots deine Website verarbeiten

1220 Hörer*innen

Jede KI-Antwort basiert auf Quellen. Alle KI-Systeme – egal ob Google, ChatGPT oder Meta – bedienen sich am Internet, werten die Inhalte aus und verarbeiten sie.

Aber wie funktioniert das eigentlich genau? Dafür haben wir unsere Website Logfiles analysiert. Erste Erkenntnis: Es kommen täglich diverse KI-Bots auf unsere Website. Die Bots kommen für unterschiedliche Funktionen in den KI-Systemen.

Was diese Bots genau machen – das besprechen wir in unserem Podcast in der Tiefe. Die Zusammenfassung wie immer hier im Artikel.

Eine solche Logfile Analyse ist nicht nur aus technischer Sicht interessant. Es geht um viel mehr: Eine neue Form der Webanalyse.

Denn Unternehmen müssen verstehen, welche Rolle ihre Inhalte in KI-Systemen spielen. Wann sie zum Beispiel erwähnt werden und wann nicht. Wie etwa ChatGPT ihre Produkte beschreibt – und wie dafür auch die eigene Website als Quelle genutzt wird.

Apple Podcast Logo
Spotify Logo

Diese KI-Bots sind täglich auf unserer Website

Alle großen KI-Plattformen geben öffentlich an, welche Bots sie nutzen, um Websites zu analysieren (Beispiel OpenAI). Jeder Bot hat eine eindeutige Signatur, die in den Logfiles erkennbar ist.

Die KI-Bots haben unterschiedliche Funktionen:

  • Training des Sprachmodells: Spezifische KI-Bots wie etwa der GPTBot von ChatGPT werden dazu genutzt, das Sprachmodell zu trainieren. Auf dieser Basis werden dann die wahrscheinlichsten Antworten generiert, wenn User eine Frage stellen.
  • Search-Bots: Eine andere Art von KI-Bots ist dafür da, wenn das KI-System oder die User aktiv Inhalte im Internet suchen wollen. Dann wird eine Suche angeworfen und die konkreten Website-Ergebnisse vom Bot analysiert.
  • User-Bots (Direct): Die User-Bots werden genutzt, wenn User aktiv eine Website in ein KI-System eingeben und damit etwas machen wollen. Etwa, wenn ein User direkt eine Website eines Unternehmens in ChatGPT eingibt und das KI-System etwas dazu fragt.

Zugriffe auf unsere Webseite nach Typ, 30 Tage

Unsere KI Webanalyse (30 Tage)

Aus diesen Logfile Daten haben wir ein KI-Webanalyse-Tool entwickelt. Es sagt uns:

  • Welche KI-Bots wann vorbei kommen
  • Wie oft diese KI-Bots Inhalte abrufen
  • Welche Inhalte die KI-Bots auslesen

Das ist hoch-relevant: Denn wir wollen den KI-Systemen das richtige „Futter“ geben, damit sie uns so interpretieren, wie wir es wollen. Wir sehen, welche konkreten Inhalte eingespeist werden – oder auch aktiv von Usern genutzt werden.

Diese „Onpage Optimierung“, um einen typischen SEO-Begriff zu nutzen, wird eine zentrale Aufgabe sein, um KI-Systeme zu beeinflussen.

Schon jetzt zeigt sich: Unternehmen, die in SEO investiert haben und hochwertigen Content auf der Website haben, sind in KI-Systemen deutlich häufiger und besser vertreten. Wir sehen hier eine klare Korrelation. Der Grund liegt in den Keywords. Unternehmen, die sich mit SEO beschäftigen, tauchen tief in die Keywords und damit in das Suchverhalten ihrer Zielgruppen ein. Sie verstehen, was die User wissen wollen.

BotTypZugriffe
Meta ExternalAgenttraining2237803
GPTBottraining1541
ChatGPT Useruser1297
ByteSpidertraining1224
ClaudeBottraining626
OpenAI SearchBotsearch388
PerplexityBotsearch31
Claude Useruser29
CCBottraining29
Perplexity Useruser8

Zugriffe pro Tag und Crawler

Relevanz statt Traffic: Die Metriken der Zukunft

Derzeit dreht sich in der SEO-Welt sehr viel um den Abstieg des SEO-Traffics. Weil Google mit seinen AI Overviews die Antworten selbst ausgibt, sinkt der SEO-Traffic. Websites werden zwar angezeigt – zu sehen in den Impressions in der Google Search Console. Aber sie erhalten eben weniger Klicks aus der Suchmaschine.

Dieser Trend wird sich auch in Zukunft fortsetzen. Denn Google plant mit dem AI Mode eine Art ChatGPT Oberfläche. Dann kann mit der KI gechattet werden. Die zehn blauen Links sind dann endgültig Geschichte. Einige Websites werden noch als Quellen angegeben – oft die Websites, die schon jetzt in den Top10 stehen und granulare, exakt passende Antworten und tiefere Inhalte bieten.

Die User werden aber auch viel spezifischer suchen, also ausführlich beschreiben und immer wieder aufs neue Chat-Fragen stellen. Die Antworten werden hoch-individuell. Hier kommt es darauf an, das Nutzerverhalten zu verstehen, mit neuen KI-Tools zu monitoren und daraus Content-Strategien zu entwickeln. Genau dazu führen wir Workshops mit unseren Kunden durch.

Denn auch wenn der Traffic sinkt: Der Bedarf an Produkten und Dienstleistungen ist nach wie vor vorhanden. Die User werden also nach Unternehmen und Lösungen suchen. Dafür werden sie sich leiten lassen – von KI-Antworten. Hauptaufgabe in Zukunft wird sein: Wie sieht die KI dein Unternehmen? Wie schätzt es dich ein und wie spricht es über dich?

Hintergrund-Video: Logfiles, Crawler und KI-Sichtbarkeit

Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Mehr Informationen

Wir beraten Marketing-Teams in SEO, Content und KI

Für alle, die einen SEO-Sparringspartner suchen oder eine umfassende SEO-Beratung benötigen, sind Fabian und Benjamin die perfekte Wahl. Als Inhouse-SEO-Expertin suchte ich nach kompetenter Unterstützung in Sachen SEO und wurde bei ihnen fündig. In einem äußerst angenehmen Kennenlerngespräch entwickelten wir gemeinsam ein Vorgehen, um das Thema SEO bei den einzelnen Stakeholdern zu etablieren und dadurch mehr interne Sichtbarkeit für das Thema zu gewinnen. Basierend auf diesem Erstgespräch und einem gemeinsamen Kick-Off mit den Stakeholdern wurde von den beiden eine fundierte SEO- und Content-Strategie für einen Produktbereich entwickelt. Seitdem begleiten mich beide als Sparringspartner bei der Umsetzung.

Die Zusammenarbeit mit Fabian und Benjamin bereitet mir und allen Projektbeteiligten große Freude, da sie ihr Handwerk verstehen und eine immense Leidenschaft für SEO mitbringen. Diese Kombination ist ansteckend und motiviert alle zu Höchstleistungen.

Regina Biskop
Search Engine Optimization Expert, Deutsche Kreditbank AG

Mit großer Zufriedenheit blicke ich auf das SEO-Projekt zurück, dass wir mit Benjamin und Fabian durchgeführt haben. Zum einen war die Zusammenarbeit auf einer sehr sympathischen, zielorientierten Ebene. Zum anderen war die Beratung so ausgerichtet, dass wir direkt mit der Umsetzung loslegen konnten. Wir haben ganz konkrete Optimierungsvorschläge bekommen, die auf unsere internen Kapazitäten abgestimmt waren und daher auch realistisch umsetzbar waren. Auch wenn erst ein paar Monate vergangen sind, können wir jetzt schon erste Früchte unserer Arbeit in den Google-Rankings sehen. Der Traffic bei den für uns relevanten Keywords nimmt stetig zu und wir haben noch genug konkrete Arbeitspakete von Benjamin in der Pipeline, mit denen wir unsere Site boosten können. Außerdem haben wir durch die Beratung intern so viel SEO-Know-how erworben, dass wir inzwischen selbständig unsere Site optimieren können. Und das Wichtigste: Die Besucherzahlen haben sich verdoppelt – mit entsprechend positiven Auswirkungen auf den Umsatz.

Mark Mauderer
Digital Marketing Manager, Bierbaum Proenen

Vertiefe dein SEO-Wissen: Jeden Montag per Mail

GEO SEO Newsletter



Unsere Gespräche mit SEO-Profis aus der Branche

Neu in unserer GEO & LLMO Academy

GEO Case Study: 46,7% KI-Sichtbarkeit in einer Woche

Von 6,8 Prozent auf 46,7 Prozent KI-Sichtbarkeit – und das in einer Woche. Das haben wir für uns selbst umgesetzt – und zwar in einem extrem umkämpften Wettbewerbsumfeld. Wie haben wir das geschafft? Das stellen wir in diesem Academy Workshop vor. Von der Prompt-Auswahl über die konkreten Maßnahmen (Onpage, Offpage) bis zum Monitoring und Erfolgsauswertung.

Neue GEO Studien & Technik: Unser Roundup

Aktuell erscheinen zahlreiche Studien und Analysen rund um GEO. Wir filtern heraus: Was sind die wirklich wichtigen Erkenntnisse? Was bringt dich im Arbeitsalltag weiter? Außerdem machen wir ein Technik-Roundup. Auch hier werden viele Vorschläge und Empfehlungen ausgesprochen. Im Workshop ordnen wir ein, was wichtig ist und was nicht.

Wie mache ich eine belastbare GEO-Analyse?

Viele AI Monitoring Tools liefern invalide Daten, vor allem im Hinblick auf ChatGPT – dem größten und erfolgreichsten KI-System. Wie können wir damit umgehen? In dem Workshop diskutieren wir die aktuellen Herausforderungen in GEO und zeigen dir unseren Ansatz. Ein Deep Dive in die KI-Analyse mit einer Auswertung, die du so noch nie gesehen hast.

Über den Autor