robots.txt Tester
Ist eine URL für Googlebot, Bingbot & Co. erlaubt?
- robots.txt anzeigen & auf Fehler prüfen
- Erlaubt oder blockiert für Googlebot, Bingbot & Co.
Hat dir das Tool geholfen?
☕️ Buy Me a CoffeeDu hast keine Ahnung, wie man das interpretiert? Dann meld dich einfach.
Häufige Fragen
Verhindert Disallow, dass eine Seite bei Google erscheint?
Nein. Disallow verbietet nur das Crawlen. Wird die Seite verlinkt, kann sie trotzdem ohne Beschreibung im Index landen. Willst du eine Seite aus dem Index halten, nutze noindex und lass das Crawlen dafür zu.
Welche Regel gilt, wenn sich Allow und Disallow widersprechen?
Nach Googles Spezifikation gewinnt die spezifischste, also längste passende Regel. Sind beide gleich lang, gewinnt Allow. Das Tool zeigt dir die Regel, die am Ende entscheidet.
Funktioniert noindex in der robots.txt?
Nein, Google unterstützt das seit 2019 nicht mehr. noindex gehört ins Meta-Robots-Tag oder in den X-Robots-Tag-Header.
Gilt die robots.txt für Subdomains mit?
Nein, jede Subdomain und jedes Protokoll braucht eine eigene robots.txt. Die Datei von www.example.com gilt nicht für shop.example.com.
Wie groß darf die robots.txt sein?
Google liest maximal 500 KiB, alles darüber wird ignoriert. Wenn deine Datei so groß wird, lässt sie sich meist mit Platzhaltern wie * und $ deutlich kürzen.
Über den Autor
Ruslan Julbarissow ist seit 2008 selbstständig und berät seither Agenturen, Konzerne und E-Commerce-Shops, wenn es um das Thema SEO geht.
Seine Leidenschaft sind Problemkinder, die etwas Gehirnschmalz statt eines Button-Klicks eines Tools erfordern.
Feedback, Anregungen, Beleidigungen? Her damit!
Das Ganze soll hier keine Einbahnstraße sein. Um die Tools stetig zu verbessern, hätte ich gerne konstruktives Feedback. Als Dank gibt es auch einen dofollow-Link.
Aber: Das bedeutet nicht, dass ihr hier Backlinks für eure Hundesalon-Kunden platzieren sollt. Schreibt etwas mit Mehrwert, dann wird der Kommentar auch freigeschaltet.