Woher weiß SEMrush, wie viel Traffic meine Website hat? SEMrush ist eine SEO- und Marketing-Plattform (https://semrush.com), die Unternehmen und Online-Marketing-Profis hilft, ihre Websites in den Suchmaschinen zu optimieren, ihre Sichtbarkeit zu steigern und ihre digitale Marketingstrategie zu verbessern. SEMrush bietet eine Vielzahl von Tools und Funktionen, die es Nutzern ermöglichen, tiefgehende Analysen durchzuführen, um ihre SEO-Leistung zu steigern, die Konkurrenz zu überwachen und ihre Online-Marketing-Maßnahmen zu optimieren. Doch wo kommen die Daten her? Woher weiß SEMrush, wie viel Traffic meine Website hat?

SEMrush und ähnliche Tools können den Traffic deiner Website durch verschiedene Methoden schätzen, die auf öffentlich verfügbaren Daten, Web-Crawling und fortgeschrittenen Algorithmen basieren. Obwohl sie keinen direkten Zugriff auf deine internen Analysedaten (wie Google Analytics) haben, können sie durch eine Vielzahl von Techniken gut geschätzte Werte für deinen Website-Traffic ermitteln. In diesem Beitrag zeige ich auf, woher SEMrush weiß, wie viel Traffic eine Website hat, wie die Traffic-Schätzungen zustande kommen, wie SEMrush Websites crawlt und wie du das Crawlen durch SEMrush verhindern kannst.

Wie SEMrush den Traffic für deine Website schätzt

1. Öffentlich Verfügbare Daten von Suchmaschinen

SEMrush stützt sich in erster Linie auf Daten, die von Suchmaschinen (wie Google, Bing usw.) gesammelt werden, um zu schätzen, wie viel Traffic eine Website erhält. So funktioniert es:

• Keyword-Rankings: SEMrush verfolgt die Keywords, für die deine Website rankt, und schätzt, wie viel Traffic du wahrscheinlich aufgrund deiner Position in den Suchergebnissen bekommst. Höher platzierte Keywords erhalten in der Regel mehr Klicks, was SEMrush eine Vorstellung vom Traffic verschafft.
• Suchvolumen und Klickrate (CTR): SEMrush hat Zugang zu großen Datensätzen über Suchvolumina (wie oft bestimmte Keywords gesucht werden) und typische Klickraten (wie viele Klicks eine Position in den Suchergebnissen erhält). Diese Daten kombiniert SEMrush mit deinen Keyword-Rankings, um den möglichen Traffic zu schätzen.
• Backlink-Analyse: Indem SEMrush die Backlinks zu deiner Website analysiert, kann es die Autorität deiner Seite ermitteln, was wiederum ein Indikator dafür ist, wie gut sie rankt und wie viel organischen Traffic sie vermutlich generiert.

2. Website Crawling und Ähnliche Seiten-Daten

• Crawling: SEMrush crawlt kontinuierlich das Web und analysiert die Struktur, den Inhalt und externe Signale von Websites, um Daten über deren Sichtbarkeit und Performance zu sammeln.
• Vergleich mit Wettbewerbern: SEMrush vergleicht deine Website mit anderen Websites in deiner Branche. Sie nutzen öffentlich zugängliche Traffic-Schätzungen und vergleichen diese mit ähnlichen Seiten, um zu extrapolieren, wie viel Traffic deine Website vermutlich erhält. Wenn mehrere ähnliche Seiten (z. B. inhaltlich oder hinsichtlich der Backlinks) eine bestimmte Menge an Traffic bekommen, nimmt SEMrush an, dass deine Website ebenfalls in diesem Bereich liegt.

3. Daten von Drittanbietern und Partnerschaften

• SEMrush hat Zugang zu Daten von Drittanbietern und Browser-Plugins, die anonymisierte Nutzerdaten sammeln. Einige dieser Quellen können beinhalten:
  • Alexa Internet (das den Traffic basierend auf Browser-Plugins und anderen Daten verfolgt).
  • SimilarWeb (das Schätzungen über Traffic, verweisende Seiten und Publikumsdaten bietet).
  • Internet Service Provider (ISPs) oder andere Datenanbieter, die aggregierte Internetnutzungsdaten sammeln.

SEMrush aggregiert diese Drittanbieterdaten, um Traffic-Modelle für deine Website zu erstellen, selbst wenn du ihnen keinen direkten Zugriff auf deine internen Analysedaten gewährst.

4. Browser-Plugins und Nutzerverhalten

SEMrush kann auch Browser-Plugins verwenden, wie zum Beispiel eigene oder von Drittanbietern, die anonyme Nutzerdaten sammeln. Diese Tools verfolgen das Surfverhalten der Nutzer auf verschiedenen Websites und senden diese Daten an SEMrush. Auf dieser Basis kann SEMrush den Traffic deiner Website schätzen.

5. Traffic-Schätzalgorithmen

Mit den gesammelten Daten über Suchmaschinen, Backlink-Profile, Keyword-Rankings und andere öffentliche Quellen verwendet SEMrush fortschrittliche Maschinelles Lernen-Modelle und Traffic-Schätzalgorithmen, um eine Schätzung des Traffic deiner Website zu erstellen. Diese Modelle wurden mit riesigen Datenmengen trainiert und verfeinern ihre Genauigkeit kontinuierlich, wenn neue Daten hinzukommen.

6. Social Media und Referral-Traffic

SEMrush kann den Traffic auch schätzen, basierend auf der Präsenz deiner Website in Social Media-Plattformen und dem Referral-Traffic, den sie von diesen Quellen erhält. Zum Beispiel:

• Das Engagement deiner Posts auf Plattformen wie Facebook, Twitter oder LinkedIn kann SEMrush eine Vorstellung davon geben, wie viel Traffic diese Quellen auf deine Website lenken.
• SEMrush kann auch verweisende Domains verfolgen und sehen, welche Seiten Traffic auf deine Seite schicken, was hilft, den gesamten Traffic deiner Website zu schätzen.

Warum du vorsichtig mit Traffic-Schätzungen sein solltest

Obwohl SEMrushs Traffic-Schätzungen oft ein nützlicher Referenzwert oder eine grobe Schätzung sind, sind sie keine exakten Zahlen. Der tatsächliche Traffic, den deine Website erhält, kann stark abweichen, je nach folgenden Faktoren:

• Die Genauigkeit der Keyword-Rankings-Daten.
• Schwankungen in den Klickraten (CTR) über die Zeit.
• Regionale Traffic-Schwankungen.
• Algorithmische Anpassungen durch Suchmaschinen.

Diese Schätzungen sind dazu gedacht, eine allgemeine Vorstellung von der Performance deiner Website zu liefern und sind oft hilfreicher, wenn sie im Vergleich zu den Performance-Daten von Wettbewerbern über einen Zeitraum hinweg betrachtet werden.

Wie du den tatsächlichen Traffic deiner Website verfolgen kannst

Um den tatsächlichen Traffic auf deiner Website zu verfolgen, musst du auf Google Analytics oder eine andere Analytics-Plattform zugreifen, die dir präzise Einblicke in:

• Gesamt-Traffic (Sitzungen, Nutzer).
• Traffic-Quellen (organisch, direkt, Referral, Social Media usw.).
• Absprungrate, Seitenaufrufe, Engagement und mehr bietet.

Während SEMrush eine Schätzung liefert, sind Google Analytics und Google Search Console die genauesten Quellen für die tatsächlichen Traffic-Daten deiner Website.

Wie SEMrush deine Website crawlt

SEMrush crawlt Websites wie deine mithilfe eines automatisierten Systems, das in vielerlei Hinsicht ähnlich funktioniert wie die Web-Crawler von Suchmaschinen wie Google. Diese Crawler besuchen Webseiten, analysieren deren Inhalte und sammeln Daten, die dann in ihren Tools zur Analyse von Website-Performance, SEO, Backlinks und Traffic verwendet werden.

Die genaue Funktionsweise von SEMrush’s Crawlern und die verwendeten Methoden sind nicht vollständig öffentlich dokumentiert, aber im Allgemeinen funktioniert es wie folgt:

1. Automatisierte Crawler (Bots)

SEMrush setzt automatisierte Crawler (Bots) ein, um Webseiten zu durchsuchen. Diese Crawler besuchen eine Website, „lesen“ die HTML-Inhalte, und folgen den Links auf der Seite, um andere Inhalte zu finden. Sie sammeln Daten über:

• Meta-Tags (Titel, Description, Keywords)
• Backlinks (Links zu und von deiner Seite)
• Inhalte (Text, Bilder, Videos)
• Technische Daten (Ladezeiten, Seitengeschwindigkeit, Fehlerseiten)
• SEO-spezifische Faktoren (Keyword-Dichte, interne Verlinkungen)

SEMrush-Bots analysieren dabei die Seitenstruktur, die Ladezeiten und andere technische Parameter, die zur SEO-Analyse wichtig sind.

2. Anwendung von Web-Scraping-Techniken

Web-Scraping bezieht sich auf die Technik, bei der Crawler (Bots) Inhalte von Webseiten extrahieren und analysieren. Die SEMrush-Bots scrapen im Wesentlichen die Webseiten und sammeln so viel öffentlich verfügbare Information wie möglich.

Sie extrahieren u. a. Daten zu:

• Backlinks und deren Qualität.
• Keyword-Rankings und Positionen in den SERPs.
• Verwendung von Tags, Alt-Texten und anderen SEO-relevanten Elementen.

3. Verwendung von HTTP-Requests (GET-Anfragen)

Der SEMrush-Bot sendet HTTP GET-Anfragen an deine Website-URLs und ruft die HTML-Daten ab. Diese Anfragen sind vergleichbar mit den Aufrufen, die ein normaler Benutzer beim Besuch der Seite tätigt, nur dass sie automatisiert und regelmäßig durchgeführt werden.

4. Externe und interne Verlinkungen

Die Crawler verfolgen Links auf deiner Website und auf externen Seiten (Backlinks). Dabei wird überprüft, wie gut deine Seiten miteinander verknüpft sind und welche externen Seiten auf deine Website verweisen. Dies ist eine wichtige Information, um den Backlink-Profil und den SEO-Score zu bewerten.

Welche Daten sammelt SEMrush beim Crawlen?

• SEO-Daten: SEMrush analysiert, welche Keywords deine Seite ranken könnte, und bewertet, wie gut du auf den wichtigsten Keywords positioniert bist.
• Backlinks: Alle Links, die auf deine Seite führen (intern oder extern), werden von SEMrush untersucht, um die Qualität und Quantität deiner Backlinks zu bewerten.
• Seitenstruktur: Die Crawler überprüfen die Hierarchie der Seiten auf deiner Website, um zu verstehen, wie gut die Seiten miteinander verbunden sind und wie einfach es für Suchmaschinen ist, deine Seite zu durchforsten.
• Ladezeiten und technische Faktoren: SEMrush prüft auch technische SEO-Faktoren wie Ladegeschwindigkeit, Fehlerseiten (404-Fehler), Redirects und Serverantwortzeiten.

Wie du das Crawlen durch SEMrush verhindern kannst

1. robots.txt Datei

• Die einfachste Methode, um Crawler wie den von SEMrush (und auch von Google, Bing und anderen Suchmaschinen) daran zu hindern, deine Website zu durchsuchen, ist die Verwendung der robots.txt-Datei. Diese Datei wird im Root-Verzeichnis deiner Website platziert und gibt an, welche Crawler auf deiner Seite zugreifen dürfen und welche nicht.
• Beispiel für eine robots.txt-Datei, die SEMrush blockiert: User-agent: SemrushBot Disallow: /
• Mit dieser Regel wird der SEMrush-Bot daran gehindert, die gesamte Website zu crawlen. Du kannst auch spezifische Seiten oder Verzeichnisse ausschließen, indem du den Pfad angibst.

2. Meta-Tag „noindex“ und „nofollow“

• Wenn du verhindern möchtest, dass bestimmte Seiten in den Index von Suchmaschinen aufgenommen werden (und auch von SEMrush analysiert werden), kannst du das Meta-Tag „noindex“ verwenden.
• Das Tag sieht so aus: <meta name="robots" content="noindex, nofollow">
• Dieses Tag sorgt dafür, dass SEMrush und andere Crawler die Seite nicht indexieren und auch keine Links auf der Seite verfolgen.

3. IP-basierte Blockierung

• Eine weitere Möglichkeit besteht darin, IP-Adressen zu blockieren, die von SEMrush verwendet werden. Diese Methode ist jedoch komplizierter und erfordert, dass du die IP-Adressen von SEMrush kennst, da diese sich regelmäßig ändern können.
• Diese Methode wird seltener verwendet, da sie die Leistung deiner Website nicht beeinträchtigt und gleichzeitig den Crawling-Zugriff effektiv blockiert.

4. CAPTCHA oder Bot-Schutz

• Eine extremere Methode wäre die Implementierung eines CAPTCHA-Systems oder eines Bot-Schutzes auf deiner Website, um den Zugriff für Crawler zu erschweren. Das könnte jedoch auch den Zugriff für echte Nutzer beeinträchtigen, weshalb es nicht die ideale Lösung ist.

5. Noarchive-Tag

• Wenn du nicht möchtest, dass SEMrush (oder andere Crawler) eine „Cache-Version“ deiner Seite speichert, kannst du das Noarchive-Tag verwenden. Dies verhindert, dass eine gecachte Version deiner Seite in den Suchmaschinen oder auf SEMrush angezeigt wird. <meta name="robots" content="noarchive">

6. Blocking via .htaccess (für Apache-Server)

• Du kannst auch das .htaccess-Konfigurationsdateiformat verwenden, um SEMrush-Crawler (und andere) basierend auf ihrer User-Agent-Zeichenfolge zu blockieren.
• Beispiel: SetEnvIf User-Agent "SemrushBot" BlockSemrush Order Allow,Deny Allow from all Deny from env=BlockSemrush

Wichtige Hinweise

• Verhindern des Crawlens durch SEMrush kann Auswirkungen auf SEO-Analysen haben: Wenn du das Crawlen von SEMrush blockierst, kannst du deren Analysen und Insights, die dir helfen können, deine Website in Bezug auf SEO zu optimieren, nicht mehr nutzen.
• Suchmaschinen-Crawler werden nicht blockiert: Das Blockieren von SEMrush verhindert nicht unbedingt, dass Suchmaschinen-Crawler wie Googlebot deine Website weiterhin crawlen. Wenn du also nur SEMrush blockieren möchtest, solltest du sicherstellen, dass du nur diesen User-Agent ausschließt.

Fazit

SEMrush schätzt den Traffic deiner Website durch eine Kombination aus Suchmaschinen-Daten, öffentlich verfügbaren Informationen, Crawling, Backlinks, Daten von Drittanbietern und fortschrittlichen Algorithmen. Während diese Traffic-Schätzungen in der Regel ziemlich genau sind, handelt es sich dabei um Schätzwerte, die nicht mit den exakten Daten aus internen Analysetools wie Google Analytics vergleichbar sind.

Wenn SEMrush den Traffic für deine Website oder den deiner Mitbewerber anzeigt, bedeutet das, dass sie relevante Daten aus öffentlichen Quellen und durch ihr eigenes Web-Crawling-System gesammelt haben.

SEMrush crawlt deine Website über automatisierte Bots, die öffentlich verfügbare Informationen über SEO, Traffic, Backlinks und technische Daten sammeln. Wenn du verhindern möchtest, dass SEMrush deine Website crawlt, kannst du dies durch verschiedene Methoden tun, wie z. B. das Hinzufügen eines robots.txt-Eintrags oder das Blockieren des Zugriffs über IP-Adressen oder Meta-Tags. Beachte jedoch, dass dies auch die Analyse durch SEMrush und möglicherweise deine Sichtbarkeit in SEO-Tools beeinträchtigen könnte.