# robots.txt fuer http://www.beispiel.de/
User-agent: *
Disallow: /logs/       # Die ändern sich jeden Tag
Disallow: /images/     # Bilder nicht downloaden
Disallow:
Allow: /index.php

User-agent: Slurp
Disallow: /
Allow: /index.php