# robots.txt für www.dsl-today.de
# alte Indexseiten für Google sperren
User-agent: googlebot
Disallow: /01-dsl.php
Disallow: /02-dsl.php
Disallow: /03-dsl.php
Disallow: /04-dsl.php
Disallow: /05-dsl.php
Disallow: /06-dsl.php
Disallow: /07-dls.php
Disallow: /1*
Disallow: /2*
Disallow: /3*
Disallow: /4*
Disallow: /5*
Disallow: /6*
Disallow: /7*
Disallow: /8*
Disallow: /9*
Disallow: /logs/
Disallow: /skripte/
Disallow: /suche/
Disallow: /usage/

# Rest bis auf Skripte, Suche und Logs freigeben
User-agent: *
Disallow: /logs/
Disallow: /skripte/
Disallow: /suche/
Disallow: /usage/

# unerwünschte Spider aussperren
User-agent: thesubot
Disallow: /