text: » Foren Übersicht » HowTo » Thema: mit robots.txt das indizieren von Webseiten verhindern « Select a Forum » Foren Übersicht » FAQ » HowTo » Allgemeines
  Gesendet am 20/04/06 15:01:21
  mit robots.txt das indizieren von Webseiten verhindern
  Ist es nicht erwünscht, das bestimmte Unterverzeichnisse oder Ihr gesamter Webauftritt in Suchmaschinen erscheint, so kann man versuchen dieses mit Hilfe der Datei "robots.txt" zu verhindern. Versuchen deshalb, da nicht jeder Robot (Suchmaschine) sich an diese Regel hält.
  Sie müssen dazu eine Datei mit dem Namen "robots.txt" im root-Verzeichnis Ihres Webauftrittes ablegen.
  Ist diese Datei nicht vorhanden oder ist diese leer, so ist es allen Robots erlaubt ihre Webseiten zu indizieren.
  Die Datei enthält folgende Parameter:
  Mit "User-agent:" wird der Robot angegeben, für den die folgenden "Disallow:" Zeilen gelten. Wildcard's wie "*" sind möglich. Eine leere robots.txt entspricht einer mit folgendem Inhalt:
  Hier wird allen Suchmaschinen (*) nichts verboten.
  Möchte man dem robot von Google explizit ausschließen, so ist folgender Eintrag richtig:
  Es reicht dabei aus, einen Teilstring des tatsächlichen User Agents des Robots anzugeben. Bei google ist es "googlebot", aber google reicht vollkommen aus.
  Beispiel für eine robots.txt-Datei:
  #meine robots.txt Datei
  Das Zeichen "#" leidet einen Kommentar ein. Dieses wird von Suchmaschinen nicht gelesen. Hier wird dem robot "lycra" alles Verboten und allen anderen nur der Zutritt für die Verzeichnisse "test" und "logfiles" untersagt.
  Nun sollten Sie also in der Lage sein Ihre eigene robots.txt Datei zu Basteln. Bitte beachten Sie noch einmal den Hinweis, das nicht alle Suchmaschinen sich an dieses halten - zum Glück aber fast alle.