Файл robots.txt и управление сканированием

Узнайте, как robots.txt управляет доступом поисковых роботов и каковы его ограничения.