KI-Systeme haben eigene Crawler, um Websites auszulesen. Wie gehen SEO-Verantwortliche damit um? Das kann man sich bei den Top200 Websites in Deutschland genauer anschauen.
Und zwar mit dem “AI Bot Blocker Monitoring” von Christian Rieber. In seinem Tool sieht man live, welche Unternehmen welche AI Bots aussperren und welche nicht. Daraus wiederum kann man viele Schlüsse ziehen. Welche genau – das erfahrt ihr in unserem Podcast-Interview mit Christian Rieber.
Unser Gast: Christian Rieber, Head of Search beim ADAC
Christian Rieber ist Head of Search & Analytics beim ADAC. Er arbeitet seit vielen Jahren in der SEO-Branche. Neben seiner Arbeit entwickelt er eigene Tools, zum Beispiel den “AI Bot Blocker”. Christian überwacht damit die Top200 der sichtbarsten Unternehmen in Deutschland, auf Basis des Rankings der SEO-Suite Sistrix. In seinem Tool prüft Christian, welche Anweisungen zu den AI Bots in den Robots.txt Dateien der Top200 Domains stehen.
Mit den neuen Aufgaben rund um Generative Engine Optimization (GEO) beschäftigt er sich intensiv und sieht große Überschneidungen zu SEO. “70 Prozent ist immer noch klassische SEO”, sagt er im Interview.
Ein Thema, das neu dazu gekommen ist: Der Umgang mit den neuen AI Bots. Bisher haben sich SEO-Verantwortliche vor allem nur mit dem Google Bot auseinandergesetzt – und ausgesperrt wurde nur sehr selten. Bei den AI Bots, die Websites zu Trainingszwecken auslesen, sieht das anders aus.
Tipp: Christian Rieber auf LinkedIn folgen. Dort teilt er aktuelle Erkenntnisse.
So gehen die Top200 Unternehmen mit AI Bots um
Grob gesprochen gibt es zwei Arten von AI Bots: Zum einen AI Bots, die für das Training des KI-Systems genutzt werden. So zum Beispiel der GPT Bot. Der GPT User Bot wiederum geht live auf die Website, wenn das KI-System groundet, also nach aktuellen und relevanten Informationen sucht, um seine KI-Antwort aufzuwerten.
Ganz oben in der Liste der blockierten Bots: Der Common Crawl Bot (CCBot). Hinter diesem Bot steht eine gemeinnützige Organisation, die vereinfacht das gesamte Internet crawlt, abspeichert und den Crawl bereitstellt. Ein Fundus, der von KI-Systemen vor allem zu Beginn stark genutzt wurde. „Wahrscheinlich denken viele, dass hier der geringste Schaden bzw. Impact für Unternehmen durch die Blockierung entsteht“, sagt Christian. Auch über den ominösen Google Extended Bot sprechen wir im Interview. Denn hier ist vielen nicht klar, was genau dahinter steckt.
Was in der Übersicht des AI Bot Blockers auffällt: Es gibt bestimmte Branchen, die besonders restriktiv sind. Hier fallen vor allem die Publisher ins Auge. Sie blockieren mit rund 30 Prozent die AI Bots. „Bei den Publishern sehe ich aber jede Woche Veränderungen. Offensichtlich wird hier viel getestet oder noch nach der richtigen Strategie gesucht“, sagt Christian. Vor allem die Trainingsbots werden dort ausgesperrt. Auch Wörterbücher blockieren mit rund 23 Prozent die AI Bots. Andere wiederum wie Behörden haben nur eine sehr niedrige Blockierungsrate von unter 1 Prozent.
Christian kann verstehen, dass viele Publisher so restriktiv sind – schließlich geht es um ihre Inhalte, die zu hohen Kosten erstellt worden sind. Bei E-Commerce-Unternehmen dagegen plädiert er für eine offene Haltung. „Jeder Shop sollte daran interessiert sein, dass man im Trainingsmaterial mit seinen Produkten relevant ist und assoziiert wird.“ Gleiches gilt für Behörden.
Kostenloses GEO Online-Training
- Aktuelle Entwicklung in KI Sichtbarkeit
- Von SEO zu GEO
- Wie du für KI-Systeme optimierst
Beispiel: So haben wir die AI Crawler im Blick
Als Berater für KI-Sichtbarkeit und GEO (Generative Engine Optimization) setzen wir auch für uns selbst zahlreiche Maßnahmen um. Fabian Jaeckert ist bei uns für alle technischen GEO- und SEO-Themen verantwortlich. Er hat ein AI Crawler Monitoring für uns entwickelt.
So können wir die verschiedenen AI Crawler filtern und analysieren, ob und wie die Zugriffe steigen. So sieht man in dem Chart zum Beispiel, dass die Grounding-Bots immer häufiger auf unsere Website zugreifen. Eine Metrik, die zeigt, dass wir als Quelle in KI-Systemen genutzt werden.
Wer dazu tiefer einsteigen will: Hier haben wir eine Logfile Analyse durchgeführt. Und hier unser Überblick zu GEO (Generative Engine Optimization).
Grundsätzlich ist es wichtig, dass Unternehmen einen Umgang mit AI Crawlern für sich definieren. Wir sehen immer wieder, dass hier keine klaren Linien in Unternehmen herrschen. So werden zum Beispiel wichtige AI Crawler per robots.txt per se ausgeschlossen – ohne dass Geschäftsführung und Marketing klar ist, welche negativen Konsequenzen dies hat.
Unsere Gespräche mit SEO- und GEO-Profis
Vertiefe dein GEO-Wissen: Jeden Montag per Mail
Wir beraten Marketing-Verantwortliche in SEO & GEO
Für alle, die einen SEO-Sparringspartner suchen oder eine umfassende SEO-Beratung benötigen, sind Fabian und Benjamin die perfekte Wahl. Als Inhouse-SEO-Expertin suchte ich nach kompetenter Unterstützung in Sachen SEO und wurde bei ihnen fündig. In einem äußerst angenehmen Kennenlerngespräch entwickelten wir gemeinsam ein Vorgehen, um das Thema SEO bei den einzelnen Stakeholdern zu etablieren und dadurch mehr interne Sichtbarkeit für das Thema zu gewinnen. Basierend auf diesem Erstgespräch und einem gemeinsamen Kick-Off mit den Stakeholdern wurde von den beiden eine fundierte SEO- und Content-Strategie für einen Produktbereich entwickelt. Seitdem begleiten mich beide als Sparringspartner bei der Umsetzung.
Die Zusammenarbeit mit Fabian und Benjamin bereitet mir und allen Projektbeteiligten große Freude, da sie ihr Handwerk verstehen und eine immense Leidenschaft für SEO mitbringen. Diese Kombination ist ansteckend und motiviert alle zu Höchstleistungen.
Mit großer Zufriedenheit blicke ich auf das SEO-Projekt zurück, dass wir mit Benjamin und Fabian durchgeführt haben. Zum einen war die Zusammenarbeit auf einer sehr sympathischen, zielorientierten Ebene. Zum anderen war die Beratung so ausgerichtet, dass wir direkt mit der Umsetzung loslegen konnten. Wir haben ganz konkrete Optimierungsvorschläge bekommen, die auf unsere internen Kapazitäten abgestimmt waren und daher auch realistisch umsetzbar waren. Auch wenn erst ein paar Monate vergangen sind, können wir jetzt schon erste Früchte unserer Arbeit in den Google-Rankings sehen. Der Traffic bei den für uns relevanten Keywords nimmt stetig zu und wir haben noch genug konkrete Arbeitspakete von Benjamin in der Pipeline, mit denen wir unsere Site boosten können. Außerdem haben wir durch die Beratung intern so viel SEO-Know-how erworben, dass wir inzwischen selbständig unsere Site optimieren können. Und das Wichtigste: Die Besucherzahlen haben sich verdoppelt – mit entsprechend positiven Auswirkungen auf den Umsatz.
Auch in diesen Artikeln sprechen wir über KI-Sichtbarkeit und „ChatGPT SEO“
|
AI Visibility Tools: Wie können Unternehmen ihre KI-Sichtbarkeit monitoren? Ein komplett neuer Markt, der sich sehr dynamisch entwickelt. |
|
Brand Monitoring in ChatGPT, Gemini und Co. Welche Prompts überwachst du? |
|
Die GEO-Sichtbarkeit von Favikon (Case Study) Wie bekommt man Klicks über KI-Systeme? |
|
Warum SEO ein Teil von GEO ist – und nicht umgekehrt Aus unserer Sicht wird maßlos unterschätzt, wie groß der Wandel ist. |
|
GEO Technik: So machst du deine Website KI-ready Spoiler: schema.org und llms.txt sind es nicht. |
|
Was KI-Crawler wirklich lesen [Studie]: Interview mit Julio C. Guevara Wie gut helfen strukturierte Daten für KI-Sichtbarkeit? |
|
Wer kümmert sich um KI-Quellen: PR, Social, SEO? ein neues Arbeitsfeld in der KI-Optimierung. |
|
Was bringt Gated Content in Zeiten von KI? Sind die gängigen Lead-Systeme noch zeitgemäß? |
|
Prompt Suchvolumen: Echte Daten oder alles geraten? Die Datenlage zu Prompts ist dürftig – und wird in der Branche hitzig diskutiert. |
|
Wie geht Prompt Research? Eine Einführung Wie sieht also ein konkretes Prompt-Set aus? Welche Prompts sind relevant – und welche nicht? |
|
Wir haben ein eigenes GEO Analyse Tool entwickelt So kannst du es nutzen. |
|
GEO Case Study: 46,7% KI-Sichtbarkeit in 7 Tagen KI Optimierung geht sehr schnell |
