Reading Time: < 1 minute
- Met het bestand robots.txt (te plaatsen in de root van je website) kan je een deel van je website afschermen van spiders, of slechte robots (die bv. op zoek zijn naar e-mailadressen).
- Bjoernsworld (DE)
- How to keep bad robots, spiders and web crawlers away (Fleiner)
- How to Set Up a robots.txt to Control Search Engine Spiders (The Site Wizard)
- Jasoft: robots that visit your website
- robotstxt.org
- Sitepoint: the problem with ROBOTS.TXT