Logfile Analyse: Wie KI-Bots deine Website verarbeiten

755 Hörer*innen

Jede KI-Antwort basiert auf Quellen. Alle KI-Systeme – egal ob Google, ChatGPT oder Meta – bedienen sich am Internet, werten die Inhalte aus und verarbeiten sie.

Aber wie funktioniert das eigentlich genau? Dafür haben wir unsere Website Logfiles analysiert. Erste Erkenntnis: Es kommen täglich diverse KI-Bots auf unsere Website. Die Bots kommen für unterschiedliche Funktionen in den KI-Systemen.

Was diese Bots genau machen – das besprechen wir in unserem Podcast in der Tiefe. Die Zusammenfassung wie immer hier im Artikel.

Eine solche Logfile Analyse ist nicht nur aus technischer Sicht interessant. Es geht um viel mehr: Eine neue Form der Webanalyse.

Denn Unternehmen müssen verstehen, welche Rolle ihre Inhalte in KI-Systemen spielen. Wann sie zum Beispiel erwähnt werden und wann nicht. Wie etwa ChatGPT ihre Produkte beschreibt – und wie dafür auch die eigene Website als Quelle genutzt wird.

Apple Podcast Logo
Spotify Logo

Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Mehr Informationen

Diese KI-Bots sind täglich auf unserer Website

Alle großen KI-Plattformen geben öffentlich an, welche Bots sie nutzen, um Websites zu analysieren (Beispiel OpenAI). Jeder Bot hat eine eindeutige Signatur, die in den Logfiles erkennbar ist.

Die KI-Bots haben unterschiedliche Funktionen:

  • Training des Sprachmodells: Spezifische KI-Bots wie etwa der GPTBot von ChatGPT werden dazu genutzt, das Sprachmodell zu trainieren. Auf dieser Basis werden dann die wahrscheinlichsten Antworten generiert, wenn User eine Frage stellen.
  • Search-Bots: Eine andere Art von KI-Bots ist dafür da, wenn das KI-System oder die User aktiv Inhalte im Internet suchen wollen. Dann wird eine Suche angeworfen und die konkreten Website-Ergebnisse vom Bot analysiert.
  • User-Bots: Die User-Bots werden genutzt, wenn User aktiv eine Website in ein KI-System eingeben und damit etwas machen wollen. Etwa, wenn ein User eine Website eines Unternehmens in ChatGPT gibt und das KI-System etwas dazu fragt.
Logfile und KI Bots Signaturen

Unsere KI Webanalyse

Aus diesen Logfile Daten haben wir ein KI-Webanalyse-Tool entwickelt. Es sagt uns:

  • Welche KI-Bots wann vorbei kommen
  • Wie oft diese KI-Bots Inhalte abrufen
  • Welche Inhalte die KI-Bots auslesen

Das ist hoch-relevant: Denn wir wollen den KI-Systemen das richtige “Futter” geben, damit sie uns so interpretieren, wie wir es wollen. Wir sehen, welche konkreten Inhalte eingespeist werden – oder auch aktiv von Usern genutzt werden.

Diese “Onpage Optimierung”, um einen typischen SEO-Begriff zu nutzen, wird eine zentrale Aufgabe sein, um KI-Systeme zu beeinflussen.

Schon jetzt zeigt sich: Unternehmen, die in SEO investiert haben und hochwertigen Content auf der Website haben, sind in KI-Systemen deutlich häufiger und besser vertreten. Wir sehen hier eine klare Korrelation. Der Grund liegt in den Keywords. Unternehmen, die sich mit SEO beschäftigen, tauchen tief in die Keywords und damit in das Suchverhalten ihrer Zielgruppen ein. Sie verstehen, was die User wissen wollen.

Webanalyse von KI Systemen

Relevanz statt Traffic: Die Metriken der Zukunft

Derzeit dreht sich in der SEO-Welt sehr viel um den Abstieg des SEO-Traffics. Weil Google mit seinen AI Overviews die Antworten selbst ausgibt, sinkt der SEO-Traffic. Websites werden zwar angezeigt – zu sehen in den Impressions in der Google Search Console. Aber sie erhalten eben weniger Klicks aus der Suchmaschine.

Dieser Trend wird sich auch in Zukunft fortsetzen. Denn Google plant mit dem AI Mode eine Art ChatGPT Oberfläche. Dann kann mit der KI gechattet werden. Die zehn blauen Links sind dann endgültig Geschichte. Einige Websites werden noch als Quellen angegeben – oft die Websites, die schon jetzt in den Top10 stehen und granulare, exakt passende Antworten und tiefere Inhalte bieten.

Die User werden aber auch viel spezifischer suchen, also ausführlich beschreiben und immer wieder aufs neue Chat-Fragen stellen. Die Antworten werden hoch-individuell. Hier kommt es darauf an, das Nutzerverhalten zu verstehen, mit neuen KI-Tools zu monitoren und daraus Content-Strategien zu entwickeln. Genau dazu führen wir Workshops mit unseren Kunden durch.

Denn auch wenn der Traffic sinkt: Der Bedarf an Produkten und Dienstleistungen ist nach wie vor vorhanden. Die User werden also nach Unternehmen und Lösungen suchen. Dafür werden sie sich leiten lassen – von KI-Antworten. Hauptaufgabe in Zukunft wird sein: Wie sieht die KI dein Unternehmen? Wie schätzt es dich ein und wie spricht es über dich?

Wir beraten Marketing-Teams in SEO, Content und KI

Für alle, die einen SEO-Sparringspartner suchen oder eine umfassende SEO-Beratung benötigen, sind Fabian und Benjamin die perfekte Wahl. Als Inhouse-SEO-Expertin suchte ich nach kompetenter Unterstützung in Sachen SEO und wurde bei ihnen fündig. In einem äußerst angenehmen Kennenlerngespräch entwickelten wir gemeinsam ein Vorgehen, um das Thema SEO bei den einzelnen Stakeholdern zu etablieren und dadurch mehr interne Sichtbarkeit für das Thema zu gewinnen. Basierend auf diesem Erstgespräch und einem gemeinsamen Kick-Off mit den Stakeholdern wurde von den beiden eine fundierte SEO- und Content-Strategie für einen Produktbereich entwickelt. Seitdem begleiten mich beide als Sparringspartner bei der Umsetzung.

Die Zusammenarbeit mit Fabian und Benjamin bereitet mir und allen Projektbeteiligten große Freude, da sie ihr Handwerk verstehen und eine immense Leidenschaft für SEO mitbringen. Diese Kombination ist ansteckend und motiviert alle zu Höchstleistungen.

Regina Biskop
Search Engine Optimization Expert, Deutsche Kreditbank AG

Mit großer Zufriedenheit blicke ich auf das SEO-Projekt zurück, dass wir mit Benjamin und Fabian durchgeführt haben. Zum einen war die Zusammenarbeit auf einer sehr sympathischen, zielorientierten Ebene. Zum anderen war die Beratung so ausgerichtet, dass wir direkt mit der Umsetzung loslegen konnten. Wir haben ganz konkrete Optimierungsvorschläge bekommen, die auf unsere internen Kapazitäten abgestimmt waren und daher auch realistisch umsetzbar waren. Auch wenn erst ein paar Monate vergangen sind, können wir jetzt schon erste Früchte unserer Arbeit in den Google-Rankings sehen. Der Traffic bei den für uns relevanten Keywords nimmt stetig zu und wir haben noch genug konkrete Arbeitspakete von Benjamin in der Pipeline, mit denen wir unsere Site boosten können. Außerdem haben wir durch die Beratung intern so viel SEO-Know-how erworben, dass wir inzwischen selbständig unsere Site optimieren können. Und das Wichtigste: Die Besucherzahlen haben sich verdoppelt – mit entsprechend positiven Auswirkungen auf den Umsatz.

Mark Mauderer
Digital Marketing Manager, Bierbaum Proenen

Vertiefe dein SEO-Wissen: Jeden Montag per Mail

SEO Newsletter



Unsere Gespräche mit SEO-Profis aus der Branche

Neu in unserer SEO-Academy

Interne Verlinkung optimieren mit Crawling

Interne Verlinkung ist ein zentraler SEO-Hebel. Dafür musst du aber verstehen, welche Seiten und Artikel wie intern verlinkt sind. Wir zeigen dir in diesem Workshop, wie du mit Hilfe eines Crawls (Screaming Frog) ein zentrales Arbeitsdokument erstellst, mit dem du danach systematisch deine interne Verlinkung optimierst.

AI Visibility: User Journey und Prompt Research

Immer mehr User nutzen KI-Suchmaschinen. Aber was geben sie genau ein? Die Ki-Plattformen sagen dazu nichts. Aber wer seine Keywords kennt, kann daraus auch ableiten, welche Prompts wahrscheinlich eingegeben werden. Wir testen die AI Research Funktion von Sistrix und diskutieren, ob W-Fragen wirklich eine gute Prompt-Annäherung sind. Der Einstieg in unsere AI Visibility Reihe in der Academy.

Backlinks – was sind Erfolgsstrategien?

Ja, Backlinks sind und bleiben wichtig. Aber es kommt auf die Qualität an – und nicht mehr auf die Masse. Wir zeigen dir Strategien, wie du systematisch Backlinks aufbaust. Zum Beispiel durch Content-Formate oder durch Digitale PR-Kampagnen. Anhand inspirierender Beispiele, die wir gesehen haben.