KI-Bot Checker
Dürfen GPTBot, ClaudeBot, PerplexityBot & Co. deine Seite crawlen?
- 15 KI-Crawler: GPTBot, ClaudeBot, PerplexityBot & Co.
- Getrennt nach Training, Suche & Nutzer-Abruf
- Zeigt die entscheidende Regel aus der robots.txt
Hat dir das Tool geholfen?
☕️ Buy Me a CoffeeDu hast keine Ahnung, wie man das interpretiert? Dann meld dich einfach.
Häufige Fragen
Was ist der Unterschied zwischen Training, Suche und Nutzer-Abruf?
Training: Der Crawler sammelt Inhalte, um KI-Modelle zu trainieren (z. B. GPTBot, ClaudeBot). Suche: Inhalte werden für KI-Suchen indexiert und als Quelle verlinkt (z. B. OAI-SearchBot). Nutzer-Abruf: Eine Seite wird live geladen, weil ein Nutzer im Chat danach fragt (z. B. ChatGPT-User). So kannst du etwa Training sperren, aber in KI-Suchen sichtbar bleiben.
Sperrt Google-Extended meine Seite für die Google-Suche?
Nein. Google-Extended regelt nur, ob deine Inhalte für Gemini genutzt werden dürfen. Die normale Suche und die AI Overviews laufen über den Googlebot. Wer den sperrt, verschwindet aus der Google-Suche.
Halten sich KI-Crawler an die robots.txt?
Die großen Anbieter sagen das für ihre Crawler zu. Bei Nutzer-Abrufen behalten sich manche Anbieter vor, die robots.txt nicht anzuwenden, weil ein Mensch die Seite angefordert hat. Eine harte Sperre geht nur per Firewall oder CDN.
Warum zeigt das Tool erlaubt, obwohl ich den Bot blockiere?
Das Tool liest nur die robots.txt. Sperren per Firewall, CDN (etwa der KI-Bot-Schutz von Cloudflare) oder Server-Konfiguration sieht es nicht.
Ich habe etwas geändert, das Ergebnis ist aber noch alt. Warum?
Ergebnisse werden 15 Minuten zwischengespeichert. Prüfe nach einer Änderung also nach einer Viertelstunde erneut. Sitzt vor deiner Seite ein Cache oder CDN, musst du den ggf. zusätzlich leeren.
Über den Autor
Ruslan Julbarissow ist seit 2008 selbstständig und berät seither Agenturen, Konzerne und E-Commerce-Shops, wenn es um das Thema SEO geht.
Seine Leidenschaft sind Problemkinder, die etwas Gehirnschmalz statt eines Button-Klicks eines Tools erfordern.
Feedback, Anregungen, Beleidigungen? Her damit!
Das Ganze soll hier keine Einbahnstraße sein. Um die Tools stetig zu verbessern, hätte ich gerne konstruktives Feedback. Als Dank gibt es auch einen dofollow-Link.
Aber: Das bedeutet nicht, dass ihr hier Backlinks für eure Hundesalon-Kunden platzieren sollt. Schreibt etwas mit Mehrwert, dann wird der Kommentar auch freigeschaltet.