# Datei robots.txt für Finanzcafe # # Alle Roboter ausschließen # User-agent: * # Disallow: / # # Alle Roboter einladen | Eine leere Datei erfüllt den gleichen Zweck # User-agent: * # Disallow: # # Alle Roboter von bestimmten Verzeichnissen fernhalten # User-agent: * # Disallow: /unwichtig/ # Disallow: /cgi-local/ # # Einen bestimmten Robot ausschließen # # User-agent: Sidewinder # Disallow: / # # Einen bestimmten Robot einladen # User-agent: WebCrawler # Disallow: # # Mehrere Dateien ausschließen # User-agent: * # Disallow: /diesunddas.html # Disallow: /unddiesehier.html # Disallow: /verbotenr.html # # Kommentare fügen Sie so ein: # # Mein Kommentar User-agent: fast Disallow: / User-agent: * Disallow: /admin/* Disallow: /css/* Disallow: /frisch/* Disallow: /kaffeeklatsch/* Disallow: /kontakt/* Disallow: /module/* Disallow: /module_alt/* Disallow: /start/* Disallow: /sub1/* Disallow: /sub2/* Disallow: /css/* # Ende robots.txt