# robots.txt fuer http://www.erik-manfred-stauner.de/ User-agent: EmailCollector Disallow: / # Ganze Site für alle Robots sperren # User-agent: * # Disallow: / # Massendownloader vom CGI Verzeichnis fernhalten User-agent: wget User-agent: webzip User-agent: webmirror User-agent: webcopy Disallow: / # Sonstige Crawler für Verzeichnisse sperren User-agent: * Disallow: /admin/ Disallow: /banners/ Disallow: /blocks/ Disallow: /images/ Disallow: /bilder/ Disallow: /inc/ Disallow: /lang/ Disallow: /pages/ Disallow: /templates/ Disallow: /temp/ # Die Dateien sind sehr kurzlebig Disallow: /logfiles/ # Die ändern sich jeden Tag Disallow: /Anztool portal/ Disallow: /install/ Disallow: /HTML_Code/ # Verzeichniss sperren, aber angegebene Datei erlauben # Disallow: /temp/ # Allow: /temp/daily.html # robots.txt for http://www.home4money.de/ # Zugriff auf alle Dateien erlauben # User-agent: * # Disallow: