Reading Time: < 1 minute
- Met het bestand robots.txt (te plaatsen in de root van je website) kan je een deel van je website afschermen van spiders, of slechte robots (die bv. op zoek zijn naar e-mailadressen).
- Bjoernsworld (DE)
- Jasoft: robots that visit your website
- robotstxt.org