# # Stand: 01.05.2007 # Copyright: Dipl.-Ing R. Kellner IBK-Ingenieurbüro Kellner # Referenz: Internet Professionell Heft 6/06 Seite 68 # sowie: http://www.robotstxt.org/wc/exclusion-admin.html # Syntax-Check unter: http://www.sxw.org.uk/computing/robots/check.html # # Disallow: /xxx/ schhließt Ordner mit dem Namen xxx aus # Disallow: /xyz schliest Ordner und Dateien aus, die mit # der Buchstabenkombination xyz beginnen # # User-agent: * # Folgende Anweisungen gelten für alle Suchmaschinen-Bots Disallow: /admin/ # Admin-Ordner nicht indizieren Disallow: /autobackup/ # AutoBackup-Ordner nicht indizieren Disallow: /autogen/ # Autogen-Ordner nicht indizieren Disallow: /assets/ # Net-Objects assets-Ordner nicht indizieren Disallow: /baustelle/ # Baustelle-Ordner nicht indizieren Disallow: /Bilder/ # Bilder-Ordner nicht indizieren Disallow: /css/ # Style Sheets Ordner nicht indizieren Disallow: /fonts/ # Fonts-Ordner nicht indizieren Disallow: /formularmailer/ # IBK Mail-Ordner nicht indizieren Disallow: /ibkmailer/ # IBK Mail-Ordner nicht indizieren Disallow: /functions/ # Functions-Ordner nicht indizieren Disallow: /gfx/ # gfx Bilder-Ordner nicht indizieren Disallow: /images/ # Bilder-Ordner nicht indizieren Disallow: /include/ # Include-Ordner nicht indizieren Disallow: /js_suggest/ # JavaScript-Ordner nicht indizieren Disallow: /languages/ # Languages-Ordner nicht indizieren Disallow: /log/ # Log-Ordner nicht indizieren Disallow: /phpmyadmin/ # Admin-Ordner nicht indizieren Disallow: /settings/ # Settings-Ordner nicht indizieren Disallow: /sql/ # SQL-Ordner nicht indizieren Disallow: /themailer/ # Bot-Falle nicht betreten Disallow: /themailer # Bot-Falle nicht betreten Disallow: /tmp/ # TMP-Ordner nicht indizieren # # User-agent: Googlebot # Folgende Anweisungen gelten nur für den Googlebot # Die Anderen verstehen das wegen des '*' (noch) nicht # * gilt als Wildcard # $ gilt als Ende des Suchstrings # Disallow: *.cgi$ # alle CGI Scripte ausschließen Disallow: *.class$ # alle Ticker-Tapes von NetObjects ausschließen Disallow: *.css$ # alle Style-Sheet Dateien ausschließen Disallow: *.db$ # alle PaintShop Thumbs ausschließen Disallow: *.doc$ # alle Word Dokumente ausschließen Disallow: *.ini$ # alle INI-Dateien ausschließen Disallow: *.jbf$ # alle PaintShop Ordnerübersichten Disallow: *.js$ # alle Java-Scripte ausschließen Disallow: *.log$ # alle Log-Dateien ausschließen Disallow: *.sql$ # alle SQL Anweisungen ausschließen Disallow: *.ttf$ # alle Font-Dateien ausschließen Disallow: *.txt$ # alle Textdokumente ausschließen # # Ende der Datei