robots.txt Tester
robots.txt abrufen, bearbeiten und validieren: Ist eine URL für Googlebot, Bingbot & Co. erlaubt?
- robots.txt anzeigen & auf Fehler prüfen
- Erlaubt oder blockiert für Googlebot, Bingbot & Co.
- Editor mit Live-Validierung & URL-Test vor dem Hochladen
Diese URL auch mit anderen Tools prüfen
URL:
Hat dir das Tool geholfen?
☕️ Buy Me a CoffeeDu hast keine Ahnung, wie man das interpretiert? Dann meld dich einfach.
Häufige Fragen
Verhindert Disallow, dass eine Seite bei Google erscheint?
Nein. Disallow verbietet nur das Crawlen. Wird die Seite verlinkt, kann sie trotzdem ohne Beschreibung im Index landen. Willst du eine Seite aus dem Index halten, nutze noindex und lass das Crawlen dafür zu.
Welche Regel gilt, wenn sich Allow und Disallow widersprechen?
Nach Googles Spezifikation gewinnt die spezifischste, also längste passende Regel. Sind beide gleich lang, gewinnt Allow. Das Tool zeigt dir die Regel, die am Ende entscheidet.
Funktioniert noindex in der robots.txt?
Nein, Google unterstützt das seit 2019 nicht mehr. noindex gehört ins Meta-Robots-Tag oder in den X-Robots-Tag-Header.
Gilt die robots.txt für Subdomains mit?
Nein, jede Subdomain und jedes Protokoll braucht eine eigene robots.txt. Die Datei von www.example.com gilt nicht für shop.example.com.
Kann ich meine robots.txt hier bearbeiten?
Ja, im Tab Bearbeiten & validieren. Jede Änderung wird sofort geprüft, und der URL-Test zeigt, welche Bots welche Seiten danach crawlen dürfen, inklusive Vergleich mit der Live-Datei. Die fertige Datei lädst du herunter und ersetzt damit die robots.txt auf deinem Server. Ohne Abruf kannst du auch eine Datei einfügen oder neu schreiben.
Wie groß darf die robots.txt sein?
Google liest maximal 500 KiB, alles darüber wird ignoriert. Wenn deine Datei so groß wird, lässt sie sich meist mit Platzhaltern wie * und $ deutlich kürzen.
Feedback, Anregungen, Beleidigungen? Her damit!
Das Ganze soll hier keine Einbahnstraße sein. Um die Tools stetig zu verbessern, hätte ich gerne konstruktives Feedback. Als Dank gibt es auch einen dofollow-Link.
Aber: Das bedeutet nicht, dass ihr hier Backlinks für eure Hundesalon-Kunden platzieren sollt. Schreibt etwas mit Mehrwert, dann wird der Kommentar auch freigeschaltet.