Logfile Analyse: Wie KI-Bots deine Website verarbeiten

1374 Hörer*innen

Jede KI-Antwort basiert auf Quellen. Alle KI-Systeme – egal ob Google, ChatGPT oder Meta – bedienen sich am Internet, werten die Inhalte aus und verarbeiten sie.

Aber wie funktioniert das eigentlich genau? Dafür haben wir unsere Website Logfiles analysiert. Erste Erkenntnis: Es kommen täglich diverse KI-Bots auf unsere Website. Die Bots kommen für unterschiedliche Funktionen in den KI-Systemen.

Was diese Bots genau machen – das besprechen wir in unserem Podcast in der Tiefe. Die Zusammenfassung wie immer hier im Artikel.

Eine solche Logfile Analyse ist nicht nur aus technischer Sicht interessant. Es geht um viel mehr: Eine neue Form der Webanalyse.

Denn Unternehmen müssen verstehen, welche Rolle ihre Inhalte in KI-Systemen spielen. Wann sie zum Beispiel erwähnt werden und wann nicht. Wie etwa ChatGPT ihre Produkte beschreibt – und wie dafür auch die eigene Website als Quelle genutzt wird.

Apple Podcast Logo
Spotify Logo

Diese KI-Bots sind täglich auf unserer Website

Alle großen KI-Plattformen geben öffentlich an, welche Bots sie nutzen, um Websites zu analysieren (Beispiel OpenAI). Jeder Bot hat eine eindeutige Signatur, die in den Logfiles erkennbar ist.

Die KI-Bots haben unterschiedliche Funktionen:

  • Training des Sprachmodells: Spezifische KI-Bots wie etwa der GPTBot von ChatGPT werden dazu genutzt, das Sprachmodell zu trainieren. Auf dieser Basis werden dann die wahrscheinlichsten Antworten generiert, wenn User eine Frage stellen.
  • Search-Bots: Eine andere Art von KI-Bots ist dafür da, wenn das KI-System oder die User aktiv Inhalte im Internet suchen wollen. Dann wird eine Suche angeworfen und die konkreten Website-Ergebnisse vom Bot analysiert.
  • User-Bots (Direct): Die User-Bots werden genutzt, wenn User aktiv eine Website in ein KI-System eingeben und damit etwas machen wollen. Etwa, wenn ein User direkt eine Website eines Unternehmens in ChatGPT eingibt und das KI-System etwas dazu fragt.

Zugriffe auf unsere Webseite nach Typ, 30 Tage

Unsere KI Webanalyse (30 Tage)

Aus diesen Logfile Daten haben wir ein KI-Webanalyse-Tool entwickelt. Es sagt uns:

  • Welche KI-Bots wann vorbei kommen
  • Wie oft diese KI-Bots Inhalte abrufen
  • Welche Inhalte die KI-Bots auslesen

Das ist hoch-relevant: Denn wir wollen den KI-Systemen das richtige „Futter“ geben, damit sie uns so interpretieren, wie wir es wollen. Wir sehen, welche konkreten Inhalte eingespeist werden – oder auch aktiv von Usern genutzt werden.

Diese „Onpage Optimierung“, um einen typischen SEO-Begriff zu nutzen, wird eine zentrale Aufgabe sein, um KI-Systeme zu beeinflussen.

Schon jetzt zeigt sich: Unternehmen, die in SEO investiert haben und hochwertigen Content auf der Website haben, sind in KI-Systemen deutlich häufiger und besser vertreten. Wir sehen hier eine klare Korrelation. Der Grund liegt in den Keywords. Unternehmen, die sich mit SEO beschäftigen, tauchen tief in die Keywords und damit in das Suchverhalten ihrer Zielgruppen ein. Sie verstehen, was die User wissen wollen.

BotTypZugriffe
Meta ExternalAgenttraining57323
ClaudeBottraining1267
ChatGPT Useruser572
GPTBottraining441
OpenAI SearchBotsearch369
Claude Useruser242
ByteSpidertraining197
PerplexityBotsearch63
CCBottraining36
Perplexity Useruser4
Google-Extendedtraining1

Zugriffe pro Tag und Crawler

Relevanz statt Traffic: Die Metriken der Zukunft

Derzeit dreht sich in der SEO-Welt sehr viel um den Abstieg des SEO-Traffics. Weil Google mit seinen AI Overviews die Antworten selbst ausgibt, sinkt der SEO-Traffic. Websites werden zwar angezeigt – zu sehen in den Impressions in der Google Search Console. Aber sie erhalten eben weniger Klicks aus der Suchmaschine.

Dieser Trend wird sich auch in Zukunft fortsetzen. Denn Google plant mit dem AI Mode eine Art ChatGPT Oberfläche. Dann kann mit der KI gechattet werden. Die zehn blauen Links sind dann endgültig Geschichte. Einige Websites werden noch als Quellen angegeben – oft die Websites, die schon jetzt in den Top10 stehen und granulare, exakt passende Antworten und tiefere Inhalte bieten.

Die User werden aber auch viel spezifischer suchen, also ausführlich beschreiben und immer wieder aufs neue Chat-Fragen stellen. Die Antworten werden hoch-individuell. Hier kommt es darauf an, das Nutzerverhalten zu verstehen, mit neuen KI-Tools zu monitoren und daraus Content-Strategien zu entwickeln. Genau dazu führen wir Workshops mit unseren Kunden durch.

Denn auch wenn der Traffic sinkt: Der Bedarf an Produkten und Dienstleistungen ist nach wie vor vorhanden. Die User werden also nach Unternehmen und Lösungen suchen. Dafür werden sie sich leiten lassen – von KI-Antworten. Hauptaufgabe in Zukunft wird sein: Wie sieht die KI dein Unternehmen? Wie schätzt es dich ein und wie spricht es über dich?

Hintergrund-Video: Logfiles, Crawler und KI-Sichtbarkeit

Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Mehr Informationen

Wir beraten Marketing-Teams in SEO, Content und KI

Für alle, die einen SEO-Sparringspartner suchen oder eine umfassende SEO-Beratung benötigen, sind Fabian und Benjamin die perfekte Wahl. Als Inhouse-SEO-Expertin suchte ich nach kompetenter Unterstützung in Sachen SEO und wurde bei ihnen fündig. In einem äußerst angenehmen Kennenlerngespräch entwickelten wir gemeinsam ein Vorgehen, um das Thema SEO bei den einzelnen Stakeholdern zu etablieren und dadurch mehr interne Sichtbarkeit für das Thema zu gewinnen. Basierend auf diesem Erstgespräch und einem gemeinsamen Kick-Off mit den Stakeholdern wurde von den beiden eine fundierte SEO- und Content-Strategie für einen Produktbereich entwickelt. Seitdem begleiten mich beide als Sparringspartner bei der Umsetzung.

Die Zusammenarbeit mit Fabian und Benjamin bereitet mir und allen Projektbeteiligten große Freude, da sie ihr Handwerk verstehen und eine immense Leidenschaft für SEO mitbringen. Diese Kombination ist ansteckend und motiviert alle zu Höchstleistungen.

Regina Biskop
Search Engine Optimization Expert, Deutsche Kreditbank AG

Mit großer Zufriedenheit blicke ich auf das SEO-Projekt zurück, dass wir mit Benjamin und Fabian durchgeführt haben. Zum einen war die Zusammenarbeit auf einer sehr sympathischen, zielorientierten Ebene. Zum anderen war die Beratung so ausgerichtet, dass wir direkt mit der Umsetzung loslegen konnten. Wir haben ganz konkrete Optimierungsvorschläge bekommen, die auf unsere internen Kapazitäten abgestimmt waren und daher auch realistisch umsetzbar waren. Auch wenn erst ein paar Monate vergangen sind, können wir jetzt schon erste Früchte unserer Arbeit in den Google-Rankings sehen. Der Traffic bei den für uns relevanten Keywords nimmt stetig zu und wir haben noch genug konkrete Arbeitspakete von Benjamin in der Pipeline, mit denen wir unsere Site boosten können. Außerdem haben wir durch die Beratung intern so viel SEO-Know-how erworben, dass wir inzwischen selbständig unsere Site optimieren können. Und das Wichtigste: Die Besucherzahlen haben sich verdoppelt – mit entsprechend positiven Auswirkungen auf den Umsatz.

Mark Mauderer
Digital Marketing Manager, Bierbaum Proenen

Vertiefe dein SEO-Wissen: Jeden Montag per Mail

GEO SEO Newsletter



Unsere Gespräche mit SEO-Profis aus der Branche

Neu in unserer GEO & LLMO Academy

AI Brand Intelligence

Brand Sentiment: Wie spricht KI über euer Unternehmen?

Wie spricht ein KI-System über deine Marke? Was wird positiv und was negativ erwähnt? Was wird konkret kritisiert? In diesem Workshop erklären wir dir, wie du eine Brand Sentiment Analyse durchführst – und wie du daraus Maßnahmen ableitest. Hierfür haben wir neue Funktionen in unserem Tool JOE entwickelt, das du als Academy Mitglied nutzen kannst (Community Plan). Hier entsteht ein neues Arbeitsfeld: Markenführung in KI-Systemen.

GEO Academy Workshop

KI-Sichtbarkeit in der Finanzbranche

Unsere nächste Branchen-Analyse: Wir steigen ein in den Bereich Finanzen / Versicherungen. Hier setzen wir verschiedene Prompts Sets auf, weisen auf Muster und Best Practices hin und zeigen, wie Unternehmen in diesen Bereichen am besten vorgehen. Wie immer sind die Grenzen zwischen SEO und GEO fließend. Denn wer bei Google erfolgreich rankt, hat auch in KI-Systemen gute Chancen.

AI Visibility Tool – Eine Einführung

In unserer Academy bieten wir ein eigenes AI Visibility Tool namens J.O.E. an. In diesem Workshop gehen wir Schritt für Schritt durch die Funktionen. Wir erklären die Hintergründe. Wir zeigen anhand von Beispielen, wie du damit konkret arbeitest, wie du Maßnahmen für euch ableitest und sie intern kommunizieren kannst. Außerdem erklären wir, wie wir das Tool für dich in der Sommerpause weiterentwickelt haben.

Über den Autor