Geben Sie einfach die gewünschte URL ein und testen Sie, ob sie von der robots.txt blockiert wird.
Die robots.txt ist eine simple Textdatei, in der man hinterlegen kann, welche Verzeichnisse und Unterverzeichnisse einer Webseite gelesen werden dürfen und welche nicht. Denn die Suchmaschinen-Bots, die Websites zur Indexierung crawlen, suchen diese Datei zuerst und lesen die darin enthaltenen Anweisungen aus.
Da die robots.txt die Indexierungsreglen für die Suchmaschinen- Bots enthält, stellt sie sicher, dass Websites korrekt gecrawlt und nur die gewünschten Inhalte indiziert werden. So beinflusst sie folgende Aspekte:
Ranking ermöglichen: Probleme mit der robots.txt-Datei können dazu führen, dass bestimmte Seiten nicht indexiert oder nur schlecht gerankt werden.
Private Verzeichnisse schützen: Indem man den entsprechenden Befehl nutzt, wird verhindert, dass Suchmaschinen privat Verzeichnisse indexieren.
Ressourcen schonen: Das Crawling von Websites verbraucht Hosting-Ressourcen, was bei sehr großen Websites mit viel Content problematisch werden kann.
Sitemap-Standort kommunizieren: Damit die Suchmaschinen-Bots die Sitemap und damit die Website-Struktur schnell erfassen können, lässt sich der Standort in der robots.txt angeben.
Duplicate Content minimieren: Indem man die Indexierung bestimmter Seiten verhindert, kann man doppelt Inhalten bei den Suchmaschinen vorbeugen.
Der Robots.txt Tester überprüft die Domain einer Website darauf, ob sie von der dazugehörigen robots.txt-Datei blockiert ist. So erhalten Anwender einen Hinweis darauf, ob die Datei korrekt und fehlerfrei angelegt ist. Dazu reicht es, die vollständige URL einer Website einzugeben und die Prüfung zu starten.
Stimmt etwas nicht, kann man die robots.txt selbstständig darauf überprüfen, ob es Tipp-, Syntax- und Logikfehler und Optimierungsmöglichkeiten gibt.
Die robots.txt ist eine simple Textdatei, die aus mehreren Elementen besteht: Erst spricht man den User-Agenten an und nennt seinen Namen (z. B. Googlebot, Bingbot etc.). Dann folgt der Befehl mit dem Namen des Verzeichnisses, das gelesen werden soll oder nicht.
Es besteht auch die Möglichkeit, die Sitemap.xml Datei in der robots.txt Datei zu hinterlegen und somit sicherzugehen, dass der Crawler diese überhaupt aufruft.
User-Agent-Befehl: Die ersten Zeilen widmen sich dem User- Agenten, der den jeweiligen Bot der Suchmaschine anspricht. Man kann eine genaue Bezeichnung einfügen oder mit * kennzeichnen, dass man alle Bots ansprechen möchte.
Disallow-Befehl: Die weiteren Zeilen definieren, auch welche Verzeichnisse und Unterverzeichnisse der Bot nicht zugreifen darf. Ist hier nichts angegeben, gibt es auch keine Einschränkungen.
Allow-Befehl: Alternativ kann der Allow-Befehl auch angeben, welche Verzeichnisse und Unterverzeichnisse zuerst von den Bots gecrawlt werden sollen.
Sitemap-Befehle: Hier wird den Crawlern mitgeteilt, wo die XML-Sitemap und damit die „Landkarte“ einer Website zu finden ist.
Zum einen kann man die robots.txt-Datei ganz einfach im Browserfenster aufrufen, indem man die URL und dahinter „/robots.txt“ in die Adresszeile eintippt. Zum anderen lässt sich die Datei auch über einen gewöhnlichen Texteditor aufrufen.
Sie sollte sich - auch damit sie von den Suchmaschinen-Bots überhaupt gefunden wird - im Hauptverzeichnis der Domain befinden. Wichtig ist auch, dass es pro Hauptdomain nur eine robots.txt Datei geben kann.
Trotz ihrer geringen Größe von wenigen Bytes, ist die robots.txt- Datei ein mächtiges Tool, um sich Suchmaschinen wie Google so darzustellen, wie man es möchte. Richtig eingesetzt kann sie nicht nur das Crawling verbessern und damit das Website- Ranking erhöhen, sondern auch verhindern, dass unerwünschter Inhalt in den Index der Suchmaschinen gelangt.