Die Kunst des Crawlings: Interview mit SEO Markus Hövener

Linktipps

• Interview mit Sören Bendig von Audist im Search Camp Podcast
• Für Puristen: Xenu Web Crawler
• Screaming Frog Seminar von und mit Markus Hövener

Kommt mit uns ins Gespräch!

Unser Gast: Markus Hövener

SEO Crawl: Unsere Erfahrungen, Tipps und Beispiele

Benjamin: Herzlich Willkommen zum Content Performance Podcast mit Fabian Jaeckert und Benjamin O’Daniel, der Online Marketing Podcast für Fortgeschrittene. #00:00:17-6#

Fabian: Hi, Fabian! #00:00:18-0#

B: Hallo Benjamin! #00:00:19-5#

F: Und hallo, Markus! #00:00:20-1#

Markus Hoevener: Einen schönen guten Morgen! #00:00:22-2#

F: Heute reden wir über die Kunst des Crawlings und darüber sprechen wir mit Markus Hoevener. Der Markus ist seit vielen Jahren Speaker auf SEO-Konferenzen. Viele kennen ihn wahrscheinlich auch, weil er ein Podcast-Kollege ist mit dem Search Camp und ich würde mal sagen, Tekkie durch und durch, oder Markus? #00:00:39-4#

M: Ja und nein. Also ich habe Informatik studiert. Ich komme eher so aus dem Tekkie-Umfeld, aber ich merke so in den letzten Jahren immer mehr, dass, ja, da kommen wir ja heute wahrscheinlich noch dazu/ Ich finde, Content wird immer wichtiger oder ist eigentlich schon das Wichtigste, deswegen habt ihr da natürlich auch den vollkommen richtigen Podcast zu. Deswegen, ich hänge nicht mehr so sehr an dem ganzen technischen Zeug, aber natürlich brauchen wir es jeden Tag. #00:01:06-5#

“Wenn du überall 404-Fehler drin hast, dann siehst du das sofort.”

B: Aber ich meine, Technik ist ja auch nicht unwichtig, nicht? Also wir wollen das ja jetzt auch nicht unter den Schatten stellen. Darum sprechen wir heute auch über Crawling und da wäre jetzt meine erste Frage, einfach, um so ein bisschen reinzufinden auch für die, die jetzt das nicht jeden Tag machen: Wenn du jetzt ein neues Projekt auf den Tisch kriegst, jetzt vom Kunden oder auch von dir selber, warum ist Crawling sozusagen für uns SEOs das erste oder eins der ersten Dinge, die wir machen? #00:01:33-5#

SEO Crawl für den ersten Überblick

M: Na ja, jetzt gerade, wenn ich nichts über die Website weiß, dann ist es natürlich immer gut einen Überblick zu kriegen. Also wie viele Seiten hat die Website, wie gut ist sie auch gepflegt? Also wenn du jetzt überall 404-Fehler drin hast, dann siehst du das halt sofort da drin und es hilft mir, erstmal einen guten Überblick zu kriegen, überhaupt so, welche Arten von Seiten gibt es, aber auch so ein bisschen Technologie-Scan, also was hat der an Markup drin, gibt es Renderingprobleme. Klar muss man da später nochmal in die Tiefe gehen, aber eigentlich, wenn du dich mit deinem Crawler auskennst, kriegst du eigentlich in einer Viertelstunde schon einfach einen guten Überblick, wo auch schon mal so die Probleme der Website liegen. #00:02:09-8#

F: Ja, und ich finde auch, dass, auch so jetzt für die, die das nicht jeden Tag machen, das ist ein schöner Sidekick, so ein schöner Nebeneffekt ist ja: Also der Crawler sieht die Seite ja eigentlich, wie Google sie selber auch sieht. Das heißt, man simuliert sozusagen, wie Google sich von Link zu Link hangelt über die Webseite, das macht so ein Crawler ja auch, und das heißt, die Inhalte, die der Crawler nicht findet, die würde Google dann ja auch nicht finden.

Also man simuliert das ja sozusagen und ich finde, das ist auch noch so ein schöner Nebeneffekt, weil wie du ja auch schon sagtest, wenn du viel mit 404-Fehlern hast oder Dinge nicht erreichbar sind, dann kriegt Google die ja letztendlich auch nicht mit. #00:02:46-8#

M: Also das stimmt natürlich nicht immer hundertprozentig, weil es gibt dann ja auch noch die Sitemap und vielleicht kommt der Crawler dann da drüber dran. Es sollte aber trotzdem nicht so sein, also deswegen ist auch eine Sache, die ich immer empfehle, die Sitemap und den Crawl abzugleichen. Die meisten Tools können das mittlerweile. Also die Sitemap sagt ja, das sind meine ganzen wichtigen Seiten und dann zu gucken, sind die eigentlich alle in ein einem Crawl vorhanden, also kann eine Suchmaschine die über Links finden und das finde ich, ist so einer der wichtigsten Checks, die eigentlich mitlaufen sollten, weil klar, wenn du nur die Webseite crawlst und du kennst sie gar nicht und du findest vielleicht fünfhundert Seiten, freust du dich total, aber vielleicht hat sie fünftausend Seiten, die eben ein Crawler oder auch Google dann in dem Sinne gar nicht finden kann. #00:03:35-8#

B: Du machst so ein Crawling, das ist ja ein technischer Vorgang, und du bist sozusagen jemand, der das schon seit vielen Jahren macht. Wenn du als Experte so ein Crawling machst, was sind so die ersten zwei, drei Dinge, auf die du einfach schaust? #00:03:48-2#

Die ersten Dinge, auf die man im SEO Crawling schaut

M: Also erstmal gucke ich natürlich, ob der Crawler überhaupt an die Website herankommt, respektive viele Inhalte findet. Es passiert selten muss ich sagen, aber trotzdem passiert es, dass eine Website gerne mal komplett für Suchmaschinen gesperrt ist oder jetzt gerade hatte ich den Fall, jemand, der demnächst bei mir im Seminar sitzt, der hatte einfach ein No-Follow-Attribut reingesetzt, so dass der Crawler den Links nicht folgt. Und das sind Sachen, die siehst du natürlich nicht, wenn du jetzt nur mit einem Browser auf die Website gehst. Das zweite, was ich mir natürlich angucke erstmal so, ist: Sind so die ganzen wichtigen Basics erfüllt?

Also so Seitentitel, Meta Description, H1, also wie sieht der Content quasi aus? Ist der optimiert? URL-Schema und solche Sachen. Und das dritte ist natürlich, das, was die Tools hervorragend können, mir einfach einen Überblick über Warnungen, Empfehlungen und sowas zu geben. Wir können später nochmal dazu, welche SEO-Tools was können, aber die meisten Tools haben ja so ein Hintsystem, die mir einfach auch mal sagen: „Hallo! Wusstest du eigentlich schon, dass auf zweihundert Seiten überhaupt kein Seitentitel drauf ist?“ Und das schaue ich mir auf jeden Fall erstmal an.

Es ist übrigens auch ein Grund, warum ich in der Regel nicht einen Crawl mache, sondern mit zwei verschiedenen Tools drüber crawle, weil verschiedene Tools auch verschiedene Sachen finden können und ja, da nutze ich halt, wie gesagt, zwei verschiedene Crawler, die da drüber rennen, um mir erstmal einen Überblick zu verschaffen, was ist denn da so an Warnungen so erstmal oder auch an Fehlern zu finden. #00:05:18-6#

B: Super spannend. Die Toolfrage, die klären wir, glaube ich, später noch. Über SEO-Tools haben wir auch schon früher gesprochen. #00:05:22-5#

F: Ich wollte gerade sagen, ich habe noch eine Ergänzung, weil das finde ich noch total wichtig – so von der Content-Perspektive auch, wofür ein Crawl auch noch wichtig ist. Ich finde, man kriegt darüber auch ein, das hast du ja gerade schon mit der URL-Struktur, glaube ich, angesprochen oder auch gemeint, Gefühl, wo welcher Content sitzt, weil du ja auch eine Verzeichnisauflistung kriegst in der Regel, dass man zum Beispiel sagen kann, okay, da ist jemand, der hat normale Unterseiten, aber er hat halt auch einen Blog. So, und wieviel Content versteckt sich jetzt in diesem Blogverzeichnis zum Beispiel. #00:05:57-0#

“Du hast viertausend Blogartikel und zehn Ratgeberseiten. Und dann die Frage, womit willst du ranken?”

B: Das ist ziemlich viel, nicht? #00:05:58-8#

F: Ja. So, und dann kriegt man so ein Gefühl für die Masse einfach an Content, die irgendwo liegt. Es gibt ja auch Shops zum Beispiel, die haben Produkte, dann haben sie noch einen Blog und einen Ratgeber nebenbei. Dann kann man sagen, du hast irgendwie fünftausend Produkte, du hast viertausend Blogartikel und zehn Ratgeberseiten. Und dann die Frage, womit willst du ranken? Also man kriegt auch so ein bisschen ein Gefühl für die ursprüngliche Strategie, für die ursprüngliche Content-Strategie, die jemand hatte auf der Seite, wenn man so einen Crawl macht, jetzt unabhängig natürlich von den ganzen technischen Aspekten, die Markus gerade angesprochen hat. das wäre so der Punkt vier, den ich vielleicht noch hinzufügen würde an der Stelle. #00:06:38-6#

Problem Doppelte Inhalte

M: Ja, und du siehst natürlich auch relativ gut, ob es Inhalte gibt, die in Suchmaschinen nichts zu suchen haben. Also so der Klassiker: Jemand hat noch so eine Seite, um die Seite nochmal auszudrucken, also eine klassische Dublette. Oder jemand hat zu jedem Produkt in seinem Shop zwanzig Datenblätter hinterlegt und jede Seite hat zwanzig PDFs, die einfach irrelevant sind. Das siehst du auf der Website einfach nicht und für sowas brauchst du halt einen Crawl. #00:07:05-9#

Die Grenzen des Crawlings

B: Okay, und ein Crawling kann ziemlich viel. Das merkt man schon in den wenigen Minuten, in denen wir sprechen. Wo sind denn deiner Meinung nach die Grenzen des Crawlings? Also was kann ein Crawling nicht leisten? #00:07:20-9#

M: Also, was es leisten kann ist halt so klassisch technische Fehler zu finden. Dafür sind die echt großartig und sie können halt gut so Grenzen von etwas erkennen. Also bei einem Seitentitel zum Beispiel ist ja klar definiert, wie lang der eigentlich sein sollte und wenn er jetzt zu lang oder zu kurz ist, kriegst du das raus. Aber angenommen, der hat die richtige Länge, das heißt ja nicht das der Seitentitel deswegen richtig oder sinnvoll ist.

Das kann der Crawl halt leider nicht mehr machen. Das heißt, und das kommt leider immer raus, eine Seite haben, die null Warnungen oder Fehler generiert und trotzdem null SEO-Traffic hat und leider eben auch genau umgekehrt. Ich meine, in der Regel wird es da eine Korrelation dazwischen geben, aber das sehe ich als typisches Problem. Also die Frage war ja, was kann der nicht. Ich finde bei dem Thema Content oder auch beim Thema Sinnhaftigkeit von Sachen wird der Crawl natürlich enden. Du siehst vielleicht, du hast tausend Blogbeiträge, aber du siehst natürlich nicht über den Crawl, welche Themen du hättest abdecken können, die dich vielleicht viel weiter gebracht hätten. Und da muss man eben ganz klar sagen, da hört der Crawl auf und da fängt dann eben der gesunde Menschenverstand wieder an. #00:08:33-3#

B: Genau, die Qualität kann er nicht beurteilen? #00:08:35-8#

M: Also Qualität ist ohnehin so ein Problem. Ich meine, das können Menschen manchmal nicht ordentlich beurteilen. Wie soll das die Maschine können, aber eben auch so die Frage: Was sind meine Suchbegriffe? Was sind für mich relevante Suchbegriffe und habe ich die über Inhalte abgedeckt? Das kann der Crawl typischerweise erstmal nicht entdecken. #00:08:55-6#

F: Das finde ich super wichtig, was du jetzt angesprochen hast, dass du jetzt den gesunden Menschenverstand genannt hast. Also wir sind ja immer so ein bisschen praktisch orientiert. Du hast ja jetzt Crawls mit zwei Tools gemacht und da kommt jetzt ganz viel raus und das schmeißt du dem Kunden ja nicht/ das wirfst du dem ja nicht einfach so vor die Füße. Oder? Also was machst du dann damit? Du hast jetzt so ein Crawling gemacht, ganz viel schöne Informationen in einer Excel-Tabelle drin. Wie gehst du jetzt damit um? Was macht dein gesunder Menschenverstand auch im Umgang sozusagen mit demjenigen, ja, für den du den Crawl gemacht hast? #00:09:36-2#

Was bringen hunderte Charts und Listen eines SEO Crawlings ohne Ideen und Strategie?

M: Also erstmal könnte ich es dem Kunden natürlich vor die Füße werfen. Es gibt zum Beispiel einen Crawler-Tool, wir reden ja gleich noch über Tools, aber das heißt Sitebulb und das hat eine hervorragende PDF-Funktion. Das heißt, da kannst du wirklich hundert plus Seiten mit schönen Charts und URL-Listen generieren, was echt geil aussieht, aber dem Kunden natürlich keinen Mehr wert bringt. Weil grundsätzlich liegt der Wert natürlich immer in der Interpretation der Daten. Also wenn du irgendwann mal eine n Röntgenbild oder ein CT-Scan siehst, dann sehe ich vielleicht bestenfalls, ob da irgendwo ein Nagel drinsteckt, aber der Chirurg kann natürlich irgendwie konkrete Strukturen erkennen.

“Ich unterscheide immer gerne erst einmal Sachen zu finden, die tödlich sind.”

Und so sehe ich es eigentlich konkret auch, was so die meisten Kunden angeht. Ich meine, es gibt ja einen Grund, warum sie eine Agenturbetreuung haben, weil sie aus diesen daten einfach nichts schöpfen können. Und deswegen muss man sich das schon erstmal sehr genau angucken. Ich unterscheide immer gerne so erstmal Sachen zu finden, die tödlich sind. Also klassische Frage, du wirst in die Notaufnahme eingeliefert und du atmest nicht.

Das heißt, was kann tödlich sein, was du in so einem Crawl sehen kannst, zum Beispiel, wenn du wichtige Inhalte für Suchmaschinen gesperrt hast. ich würde mir Sachen angucken, die natürlich einfach falsch sind. das sind so diese ganzen technischen Sachen. Da muss man immer ein bisschen gucken, hat das überhaupt eine Konsequenz? Also nicht alles, was falsch ist oder was fehlerhaft ist, muss ich auch zwangsweise beheben. Also da kommt die Frage der Priorisierung dann dazu und dann natürlich, einfach zu gucken, was sind Sachen, wo Potenziale liegen? Also zum Beispiel: Ich kann mir über einen Crawl ja auch ermitteln lassen erstmal, wieviel Content habe ich eigentlich auf welchen Seiten, also einfach nur die Anzahl der Wörter zählen. Das ist zwar relativ stumpf, aber kann halt trotzdem funktionieren und darüber kann ich natürlich erstmal Potenziale ableiten. Also dem Kunden vor die Füße werfen definitiv nie, sondern da muss ja immer irgendwie so ein Destillieren stattfinden und dann auch Prioritäten herausarbeiten. Also in der Regel ist es ja so, dass die wenigsten Menschen zu viel Zeit und zu viel Geld haben, sondern du musst natürlich idealerweise gucken, was willst du jetzt wirklich angehen. Wenn einer jetzt/ dreißig Prozent der Meta Description sind zu lang, dann kann ich sagen, das kann ich ignorieren, weil Google schneidet sie dann hinten einfach ab. Das ist nicht das Optimum, da stimme ich zu, aber es ist auch nicht/ wenn du das behebst, geht der Traffic um hundert Prozent nach oben und da ist eben wieder wirklich Wissen und Erfahrung gefragt, das heißt, wir nehmen dann diese daten, also bei uns heißt das dann Action-Plan, wo wir in der Regel gruppiert nach Seitentypen dann konkret herausfinden, was läuft da schief und wo kannst du eben mit welcher Priorität angreifen, um dann was hinten herauszubekommen. #00:12:26-0#

“Das finde ich immer total wichtig: Dass man das Wichtige von dem Unwichtigen trennt.”

B: Markus, genau, das finde ich auch. Dieses Ableiten und Interpretieren das finde ich auch wahnsinnig wichtig. Das ist eine Arbeit, die man leisten muss, weil oft werden ja auch die SEO-Reports, die PFDs, die hundert Stück, die du gerade angesprochen hast, unkommentiert durchgeschickt, so friss oder stirb, Hauptsache ich habe einen coolen Report gemacht. Ich würde mit dir gerne mal was diskutieren, was mich bei dem Thema Crawl ein bisschen stört, weil ich sehe das eigentlich immer so, dass es eigentlich zwei zeitliche Ebenen bei Crawlings gibt. es gibt einmal so diesen Erstcrawl, wo man diese, ich nenne das immer Hausaufgaben, rausfindet. Du hast jetzt gesagt, tödliche Krankheiten mit denen man in die Notaufnahme kommt. Also sozusagen rauszufinden, ob irgendwas richtig krass im Argen liegt, wo man dann auch ganz schnell mit der IT dann Zusammenarbeit über die Priorisierung.

Das finde ich immer total wichtig, dass man das Wichtige von dem Unwichtigen trennt. Was ich jetzt persönlich nicht so wichtig finde, muss ich ganz ehrlich sagen, ist das, was die Leute immer so unter Qualitätssicherung meinen, verkaufen zu müssen. Weil ich finde, dass es übertrieben ist, dass man sich da die bunten Bildchen anguckt und irgendein Tool sagt mir ja, okay, du hast ja jetzt eine rote Ampel und die sagt: „Ich habe fünfhundert Bilder, bei denen der Alt-Tag fehlt“, oder sowas und dann beschäftigen uns jetzt zwei Jahre damit, jedem Bild einen Alt-Tag hinzuzufügen. Das ist so eine Sache, die kommt mir auch oft vor, wenn ich so mit Kollegen spreche oder mit Kunden spreche, die das dann auch in Frage stellen und sagen: „Warum soll ich das denn jetzt bearbeiten?“ Weil unser Ansatz ist ja auch immer: „Reduziere! mach weniger!“ Und wenn das Tool mir sagt, du hast da auf fünftausend URLs ein Riesenproblem, dann wäre es unser Ansatz zu sagen: „Ja, dann mach erstmal weniger URLs“, anstatt zu sagen, „versuch die Ampel hier auf grün zu kriegen, indem du in jedes Bild einen Alt-Tag reintust“. Das ist ein typischer SEO-Fehler. Also ich finde, da werden manchmal auch die falschen Anreize geschaffen. Wie siehst du das? #00:14:20-5#

M: Also ich finde es ein/ Vielleicht können wir uns an dem Beispiel ja mal abarbeiten. Also angenommen, du hast fünfhundert Bilder ohne Alt-Attribute. Jetzt müsste man ja erstmal herausfinden, ist die Bildersuche für dich überhaupt relevant. Das hängt eben immer davon ab, was du so betreibst und eine grundlegende Frage ist ja, welchen Aufwand würde das jetzt auch darstellen? Ich meine, wenn das schnell automatisiert auf irgendeinem Weg geht, gut, dann machen wir das halt, oder wenn jetzt wirklich ein Mensch sich hinsetzen muss und fünfhundert Alt-Attribute nachpflegt und pro Alt-Attribut fünf Minuten braucht, dann habe ich fünfundzwanzigtausend Minuten verballert. Das ist eine ganze Menge eigentlich für relativ wenig.

Hier kommt wieder halt das grundsätzliche Problem da raus. ich muss natürlich bei allem immer beurteilen können erstmal, welcher Aufwand entsteht eigentlich Kunden oder Agentur seitig und was bringt es mir hinten raus mehr an Traffic, noch idealerweise an Conversions. Und das ist eben leider echt wieder/ Das ist natürlich irgendwie Kaffeesatzleserei und da ist eben Wissen und Erfahrung dabei, wo du halt jetzt nicht einfach sagst: „Ja, du hast hier Alt-Tagg, die fehlen. Ja klar, wäre schön, wenn du die hättest“, aber du musst eben irgendwie beurteilen können, was dir das bringen kann. Und das kannst du leider nur relativ begrenzt auch mi Wissen abdecken, weil keiner kann dir sagen, was der reale Effekt ist, wenn du diese fünfhundert Alt-Attribute jetzt nachpflegst. dann ist es eben wirklich Erfahrung und dann in diesem Fall würde ich sagen: „Hey, wahrscheinlich gibt es noch Sachen, die jetzt wichtiger sind.“ Also einen Blogbeitrag schreiben, der richtig kracht, wäre wahrscheinlich wichtiger, als diese fünfhundert Alt-Attribute nachzupflegen. Aber nochmal: Das ist eine Sache von Erfahrung und das ist in meinen Augen auch ein Grund, warum, wenn du zu zehn SEOs gehst, du zehn unterschiedliche Empfehlungen kriegen wirst, weil eben an manchen Stellen weiß eben niemand, was der Effekt von etwas sein wird. #00:16:14-2#

F: Machst du denn generell die Qualitätssicherung, also beziehungsweise wenn ja, in welcher Frequenz crawlst du ein Projekt, was du betreust? #00:16:24-9#

SEO Crawls: Tools

M: Also wir trennen das eigentlich immer gedanklich. Also ich finde einmal, Crawlen hat diesen einen Vorteil, Qualitätssicherung sehe ich eher/ Das läuft bei uns unter Defense Parameter, also um zu gucken, ändert sich eigentlich was an Seiten. Und dafür gibt es halt Tools, wie URL-Monitor oder Testomato, die wir halt nutzen, um Seiten zu beobachten, um zu schauen, ob der Kunde oder die Agentur oder sonst jemand unabsichtlich etwas geändert hat an einer Seite. Dafür muss ich nicht crawlen, weil Crawlen heißt ja erstmal typischerweise, ich renne einmal über die ganze Website drüber. Das muss gar nicht so passieren, aber was ich eben nochmal einen wichtigen Baustein finde, ist zu gucken, ändert sich unabsichtlich etwas an einer Website. Der Klassiker: Jemand hat in die Robots-txt etwas falsch reingeschrieben. Kriege ich das eigentlich mit? #00:17:15-7#

F: Also sozusagen, dass er die komplette Webseite für Google gesperrt hat? #00:17:19-9#

M: Genau. Das wäre jetzt, ich sage mal, relativ schlecht. Das würde ich so nicht empfehlen und gleichwohl habe ich es in den ganzen achtzehn Jahren, die ich jetzt SEO mache, dreimal erlebt, dass jemand das während des laufenden Betriebes geschafft hat. #00:17:32-8#

F: Aber da gibt es noch einen besseren Indikator, an dem man das merkt. Das ist nämlich der Umsatz. #00:17:36-4#

M: Ja, aber das ist ja schon nachgelagert. #00:17:38-9#

F: Ja, das ist ein bisschen nachgelagert. Das stimmt, ja. #00:17:41-8#

M: Und deswegen gibt es halt dafür/ Also gerade, wenn es um Qualitätssicherung geht, finde ich, gibt es dafür bessere Tools, um einfach zu schauen, hat sich jetzt was geändert. #00:17:48-3#

F: Aber dann habe ich mich auch falsch ausgedrückt, weil ich glaube, wir wollen auch nicht über Qualitätssicherungstools in dem Sinne sprechen heute, sondern es soll schon auch um Crawling gehen. Aber die meisten Crawler, die man draußen findet oder die als Crawler bezeichnet werden, ob das jetzt Ryte ist oder Optimizer oder was weiß ich, was ich jetzt noch vergessen habe/ das ist ja eine Kernfunktionalität dieser Tools, dass sie regelmäßig eine Seite crawlen. #00:18:14-8#

M: Ja, genau. #00:18:14-6#

Nach dem Crawl: In guten Content investieren

F: Und das heißt, ich bekomme regelmäßig Informationen darüber, was auf meiner Seite zum Beispiel nicht funktioniert, aber eben auch, was sich ändert und davon wird dann gesagt: „Okay, das ist eine Qualitätssicherung, dass ich einen Crawl mache“. So, und das ist das, was ich ein bisschen kritisiere, weil das den Fokus immer wieder auf dieses Technische lenkt, wo dann diese Ampel dranhängt und ich kriege jede Woche vor die Füße geworfen: „Bei dir fehlen fünfhundert Alt-Tags.“ Jede Woche. So, und habe ich irgendwann einfach den Impuls, um das wegzukriegen, dass ich diese Dinger jetzt endlich da reinballere sozusagen, einfach nur, damit die Ampel auf grün geht, obwohl ich meine Arbeitszeit eigentlich in andere Dinge, wie zum Beispiel guten Content, investieren müsste. #00:18:53-8#

M: Da stimme ich dir hundertprozentig zu. Der Vorteil von Systemen wie (Ride?) ist ja wirklich, dass sie wöchentlich das Ding crawlen und du kriegst immer ein Delta: „Du hast jetzt zehn Prozent weniger Fehler hier und hier ist was neues aufgetaucht.“ Aber du guckst ja immer auf platte Daten. Also zehn Prozent weniger Warnungen heißt ja nicht, dass deine Website jetzt zehn Prozent besser ist. #00:19:16-8#

F: Genau. #00:19:15-1#

M: Das muss ja nichts bedeuten. Deswegen, also einem Kunden würde ich jetzt auf (Ride?) auch keinen Zugriff geben oder sowas, sondern nochmal: Du musst halt immer gucken, hat das eine Relevanz? Ich weiß nicht, ob es Tools gibt, wo man so Warnungen dann irgendwann auch mal wegklicken kann und sagen kann: „Okay, die will ich jetzt nicht mehr sehen.“ Das gibt es mit Sicherheit. Aber nein, das stört mich auch oder überhaupt diese ganze Score-Bildung, dass da irgendwo steht: „Deine Website ist zu 67 Prozent optimiert“. Das ist halt Bullshit. Aber trotzdem: Ich habe in Seminaren regelmäßig Leute, die sich das angucken und dann die falschen Schlüsse daraus ziehen, ähnlich wie Leute losrennen und die Feuerwehr rufen, wenn der Chart nach unten geht. Das kriegst du auch nicht weg und da greift eben wieder Wissen und Erfahrung leider. #00:20:02-5#

Crawling-Tools – Erfahrungen und Tipps

B: Kannst du denn mal so die Tool-Landschaft generell erklären? Wir haben jetzt so ein paar Tools schon so gedroppt. Wie würdest du die denn grundsätzlich so kategorisieren? #00:20:14-5#

M: Also ich würde erstmal trennen natürlich zwischen installiere ich auf meinem Server oder auf einem fremden Server natürlich. Auch das kann ich machen, und irgendwas, was in der Cloud liegt. Installationsmäßig/ Ich kenne jetzt die offiziellen Zahlen nicht, es gibt, glaube ich, auch keine, aber der Screaming Frog SEO Spider ist natürlich schon extrem weit verbreitet, ein kostenpflichtiges Tool. was ich immer sehe, auch in dieser Kategorie empfehle, ist Sitebulb, also wie Lightbulb, also das englische Wort für Glühbirne. Die installiere ich halt bei mir. Das hat natürlich erstmal Vorteile.

Das heißt, ich kann dem Crawl quasi zugucken. Das heißt, wenn ich zum Beispiel während des Crawls sehe, hier werden irgendwie hunderttausend irrelevante URLs geladen, könnte ich das ganze kurz pausieren und könnte den Crawl zum Beispiel nochmal neu starten oder ich kann es in der Regel auch zu Tode konfigurieren und im Gegensatz dazu, die Cloudlösung, würde ich als Marktführer schon Ryte sehen, aber es gibt auch Sachen wie Audisto für ganz große Websites. Es gibt einen Optimizer für, ich sage mal, eher die kleineren Websites. es gibt auch ein PageRangers und was weiß ich nicht noch alles, einen Oncrawl und sonst was.

Kosten von SEO-Crawling-Tools

Also da gibt es auf jeden Fall jede Menge. Die kosten erstmal alle Geld, relativ unterschiedlich Geld. da muss man natürlich sagen, mit der Installationslösung fährt man häufig besser, wenn man viele Websites crawlen möchte. Also gerade so als Agentur macht es natürlich Sinn. Ich crawle irgendwie ein paar hundert Websites im Jahr, da würde es jetzt keinen Sinn machen, in irgendeins dieser Tools zu investieren, weil du den Gegenwert eines Einfamilienhauses dafür hergeben müsstest und da ist natürlich so ein Screaming Frog, finde ich, schon ganz gut. man muss natürlich auch immer ein bisschen unterscheiden, wer das Ganze nutzt, weil auch da muss man sagen, ist die Schwelle bis man dieses Tool verstanden hat, natürlich unterschiedlich groß. Ein Ryte als Cloudlösung macht eigentlich alles, damit du dich mit nichts oder mit wenig beschäftigen musst, hat auch viele gute Hilfetexte dabei und Screaming Frog ist halt eher, ja, ich sage mal, ein Tekkietool, wo du auch schon relativ gut wissen musst, wie du das nutzen möchtest.

Du kannst alles konfigurieren, also du kannst das Tool zu Tode nutze, aber du musst dich eben auch wirklich damit beschäftigen und deswegen muss man da schon gucken, was man wirklich haben möchte. Gerade, wenn man nur eine Website hat oder zwei, dann ist ein Ryte, finde ich, gar nicht mal so schlecht, aber wenn man eben viel crawlt oder respektive auch viel mit den Crawls machen möchte, dann finde ich einen Screaming Frog eigentlich schon eine sehr gute Lösung. #00:22:54-4#

F: Ich finde vor allen Dingen spannend/ oder die Frage auch, wer nutzt das? Also wenn ich jetzt ein SEO bin in einem größeren Unternehmen, dann habe ich natürlich auch mein Toolset. Wenn ich aber jetzt Marketing Manager bin, dann bin ich wahrscheinlich eher froh/ oder auch Geschäftsführer von einem kleinen Unternehmen oder auch von einem größeren Unternehmen, dann bin ich wahrscheinlich froh, wenn einer für mich sozusagen die Analyse macht, das Crawling und die Analyse, und ich dann darüber rede, was wir jetzt wie priorisieren und welcher Aufwand dahinter steckt. oder? Das ist so ein bisschen die Frage, für wen dann die Tools interessant sind. #00:23:27-8#

M: Also ich glaube auch, ganz ehrlich, ein Marketing Manager von einem Unternehmen sollte da eigentlich keinen Zugriff auf so einen Ryte haben, weil ich eben immer die Sorge habe, dass jemand die falschen Schlüsse daraus zieht oder halt dann dreißig Mal am Tag bei der Agentur anruft und fragt: „ Hey, ich habe im Ryte hier das gesehen“, und die Agentur sagt irgendwann: „Ja, okay. Das sehen wir auch, aber das hat alles nichts zu bedeuten.“ Also das halte ich nicht immer für zielführend. Nochmal, einmal auf Agenturseite haben wir das natürlich, deswegen spreche ich da schon aus Erfahrung und in den Seminaren habe ich die Leute halt auch sitzen, die einfach die falschen Schlüsse daraus ziehen. #00:24:16-5#

B: Ich habe da auch noch zwei Sachen, die mir dazu einfallen und einmal eine Podcast-Empfehlung vom Markus, vom Search Camp. Und zwar hast du dich letztes Jahr, glaube ich, mal mit dem Geschäftsführer von Audisto unterhalten ziemlich lange. Das fand ich auch eine extrem spannende Folge. Also Audisto ist ja eher das Cloudtool für Profis, so wie ich das verstanden habe. Also dass man, wenn man wirklich sehr, sehr große Seiten hat, sehr, sehr große Shops zum Beispiel, und das dann mit einer Cloudlösung crawlen möchte, Stichwort Qualitätssicherung jetzt doch nochmal, dann ist, glaube ich, Audisto auch eine Möglichkeit, eine Option. #00:24:55-5#

M: Ja. #00:24:57-2#

B: Und spannend in dem Interview/ Also ich will jetzt auch nicht zu viel vorwegnehmen. Ihr solltet euch das auf jeden Fall anhören, wenn das für euch relevant ist. Da hat er erzählt, dass sie ein Projekt hatten, wo sie eine Facetten-Filter-Navigation im Shop hatten, die falsch konfiguriert war und wo der Crawler sich totgelaufen hat, weil die Parameter hintereinander geschrieben waren. das ist so ein Fall, das habe ich auch schon super oft gehabt, dass man, ja, durch so einen Crawl, durch so einen initialen Crawl, so einen richtig harten technischen Fehler im Online-Shop findet.

Crawl-Budget beachten

Und das finde ich, das war so ein klassisches Beispiel, fand ich, warum man einen Crawl macht, gerade für die Online-Shopper unter uns. das sind einfach Fehler, wenn die da sind, dann läuft der Crawler sich tot. das Crawl-Budget, das wird ausgenutzt und man hat ein richtig krasses, technisches Crawl-Problem bei Google. Also wir haben jetzt ein bisschen so gelästert über diese Cloudgeschichten oder nicht gelästert, aber gesagt, das hat so alles seine Relevanz oder eben auch nicht, aber da fand ich, das war so richtig schön konkret, warum man das definitiv also mindestens einmal machen muss, um halt solche richtig harten Fehler auch von der Webseite korrigieren zu können. #00:26:17-6#

M: Da stimme ich absolut zu. Hier könnte man auch nochmal argumentieren, ich meine, wir reden über Crawling heute, aber auch Logfile-Analyse, wenn ihr nochmal ein Thema braucht, ist natürlich auch ein spannendes Thema. Also womit beschäftigt sich der Crawler eigentlich, weil auch das wird/ Also der Google-Crawler, das muss nicht unbedingt das Gleiche sein, mit dem sich jetzt so ein Screaming Frog gerade auch beschäftigt. Ja, also da stimme ich dir absolut zu. Solche Fehler gibt es natürlich und es gibt sie auch nicht wirklich selten, aber trotzdem da wieder die kritische Frage: Wie schlimm ist das eigentlich? Und häufig ist es ja dann so, dass solche Filterseiten kanonisieren auf die nicht gefilterte Seite. das heißt, im Index passiert jetzt gar nicht so viel. der Crawler rennt sich da ziemlich tot dran, weil ich auch da die Erfahrung hätte, dass Google es eigentlich relativ gut hinbekommt, dass dann auch relativ schnell zu erkennen und dann solche Seiten einfach weniger zu crawlen.

“Nur weil ich ein technisches Problem habe, heißt das nicht, dass meine Website jetzt am Ende ist.”

Also nur weil ich ein technisches Problem habe, heißt das nicht, dass meine Website jetzt am Ende ist, sondern bei vielen Problemen hat Google einfach mittlerweile auch recht gute Heuristiken gefunden, damit solche Fehler jetzt auch nicht zu schlimm durchschlagen. Trotzdem, also da stimme ich dir absolut zu: Beseitigen würde ich den Fehler auf jeden Fall. #00:27:33-4#

F: Ja, cool. #00:27:33-1#

B: Vielleicht ja auch zum Abschluss: Wie haben ja so sehr unterschiedliche/ Aber manche, die winken ab und sagen: „Boah, bin ich froh, dass das wer anders für mich macht.“ Dazu gehöre ich zum Beispiel auch selbst. Ich wäre der Content-Mensch. Ich mache mir dann eher über das Ergebnis Gedanken, aber andere, die wollen halt wirklich da rein und die wollen das mal ausprobieren. Hast du irgendwie so einen Tipp für ein Tool, ja, wo ich nicht direkt eine vierstellige Zahl in der Rechnung habe. Also ein Tool, was man mal so zum Einstieg nutzen kann und das fände ich eine schöne Frage noch so zum Abschluss. #00:28:11-5#

Weitere Tool-Tipps

M: Ja, also zum einen gibt es ja eben/ Also, wer jetzt, ich sage mal, echt ein Low-Level-Tool haben möchte, der Sistrix-Optimizer, ich glaube, bis tausend URLs ist der kostenlos. Nein, das heißt anders. Irgendwie Sistrix Smart oder so. #00:28:30-8#

F: Wenn das der Johannes Beus hört, low Level. #00:28:34-0#

B: Den hast du direkt am Telefon. #00:28:36-2#

M: Ich schlage gleich noch den Bogen. nein also, quasi wenn du dich mit dem technischen Krempel nicht so sehr auseinandersetzen möchtest/ irgendjemand crawlt deine Website für dich, als der hat eine Cloudlösung, und der sagt dir später, siebzig Prozent deiner Seitentitel sind zu kurz, dann ist dieses Sistrix Smart eine gute Lösung. ich glaube, bis tausend URLs und damit kann man relativ gut starten. Ansonsten, auch der Screaming Frog SEO Spieder ist bis fünfhundert URLs kostenlos. Jetzt muss man sagen, fünfhundert URLs ist vielleicht erstmal nicht so wahnsinnig viel, gleichwohl gibt es da draußen schon viele Mittelständler, die die fünfhundert URLs nicht erreichen, plus, man muss ja sagen, die meisten Fehler, die man auf der Website hat, sind eher systematischer Natur.

Das heißt, selbst wenn man jetzt nur fünfhundert URLs von einer fünftausend URL-Website crawlt, also nur zehn Prozent der Seiten crawlt, hat man vielleicht trotzdem schon die meisten Fehler darauf identifiziert. Und vielleicht jetzt noch der letzte Tipp: Es gibt ein Haufen Russen, die haben den Screaming Frog nachgebaut für kostenlos und der heißt Site Analizer. Der ist gerade in der Version zwei erschienen. Ist natürlich ein Tool, wo du an manchen Stellen so diese russischen Einflüsse siehst. Also ab und zu wird Jandex mal erwähnt, wo du jetzt in Deutschland sagst: „Okay, interessiert mich jetzt nicht so.“ Aber trotzdem, du kannst damit erstmal crawlen. #00:29:51-1#

B: Oder der (unv.) rauf und runter, zufällig. (lacht) #00:29:55-3#

M: Genau. (lacht). Du kannst ja erstmal damit arbeiten. das Ding hat auch keine Volumenbegrenzung. Du kannst hunderttausend Seiten damit crawlen und kannst dann eben auch die typischen Filter machen, wie Seitentitel zu kurz, Seitentitel zu lang. das heißt, damit kannst du erstmal wirklich spielen und spielen meine ich damit jetzt gar nicht negativ. Klar gibt es Tools, die zu Recht kostenpflichtig sind und auch mehr bieten, keine Frage, aber gerade, wenn einer sagt: „Ich will jetzt kein Geld ausgeben“, finde ich den Site Analizer gar nicht mal so schlecht. Die haben sogar und das finde ich cool/ Die haben den Frog halt/ Also vom Interface her sieht der ziemlich gleich aus. Es gibt aber ein paar Funktionen, die haben die eingebaut, die sind besser als beim Frog und deswegen kann man eigentlich relativ gut erstmal damit starten. Und wie gesagt, für null Euro/ Einfach mal nach Site Analyzer suchen. Ich glaube, es ist Site minus Analizer Punkt ru. Damit kann man echt gut starten und erstmal gucken, was einem das da sagt, was dieses Tool eigentlich ausspuckt. #00:30:53-0#

F: Markus, ich habe auch noch einen Tipp. Kennst du noch Xenu? #00:30:57-9#

M: Ja, ich wollte es ja nicht sagen. #00:30:58-7#

F: X-E-N-U. Dann sage ich das jetzt. Ich muss ganz ehrlich sagen, ich benutze das immer noch. Das ist so krass einfach und so schnell zu installieren und tut eigentlich genau das, was ich brauche. Also, wenn ihr das ausprobieren wollt, dann googlet mal nach Xenu. dann kommt ihr auf eine URL, meistens auf Platz eins, woran ihr nicht gedacht habt, dass die zu dem Keyword rankt, weil das Tool aber dann doch noch so beliebt ist, glaube ich, steht das auch deswegen da oben. Das ist eine Windows-Anwendung, die könnt ihr euch runterladen und das Tool tut nichts anderes, als die Seite abzuspidern und das letztendlich in so eine animierte Excel-Tabelle reinzutun und das geht einfach wahnsinnig schnell. Das ist, finde ich, der große Vorteil. Man muss nichts runterladen. Also du musst was runterladen, aber musst nichts irgendwie Lizenz mäßig machen oder so. Man schmeißt das Ding einfach an und es crawlt dann einfach bis unendlich. Also wie du sagst, man kann es auch abbrechen, wenn man merkt, dass es tot läuft. Ich finde, das ist einfach schön, um ein erstes Gefühl zu kriegen und wenn man weiterarbeiten möchte, dann ist der Frog, denke ich, dann auch die bessere Alternative. Aber das wäre noch so mein Tipp. #00:32:07-9#

M: Ja, cool. #00:32:10-4#

B: Ja, also ich würde jetzt mal sagen, ein erstes Gefühl für das Crawling haben unsere Hörerinnen und Hörer jetzt auch bekommen, wenn sie sich nicht schon längst damit auseinandersetzen. Markus, vielen Dank, dass du dir die halbe Stunde genommen hast, um uns so ein bisschen in das Thema einzuführen. Ich glaube, du hältst dazu auch nochmal den einen oder anderen Vortrag dieses Jahr, oder? #00:32:28-4#

M: Auf jeden Fall. Also ich mache/ Jetzt muss ich aber selber überlegen. Jetzt bin ich total unvorbereitet. Auf der SMX halte ich einen Vortrag zu “The art of crawling” und auf der Campix weiß ich auch, dass ich zum Thema rede, aber ich habe den konkreten Titel jetzt gar nicht mehr im Kopf. #00:32:47-7#

B: Ja, okay. Das heißt, da sieht man dich ja auch und ja. Wir haben schon mal sozusagen den kleinen Vorab/ Wie sagt man? Die kleine Rundschau gemacht. #00:33:01-6#

M: Genau. #00:33:02-0#

B: Genau. Rundumschlag gemacht. danke, dass du dir die Zeit genommen hast. ja, und an alle anderen: Wir hören uns nächste Woche. #00:33:07-4#

M: Ja, vielen Dank. Tschüss! #00:33:09-7#

F: Markus, auch von mir nochmal vielen Dank! Bis dann! Tschüss! #00:33:15-4#