Ограничение нагрузки от поисковых машин

Что делать, если у вас обширный сайт с очень большим количеством страниц, допустим, какой-то каталог и хостинг сайта не справляется с нагрузкой, идуйщей в основной массе от поисковых машин.

В действительности, поисковых роботов есть достаточно много (Google, Yahoo, Yandex, Mail.RU, MSN, …), и плохо ограничивать им доступ к сайту, так как, по большому счету они приносят пользу вашему ресурсу. Но, тоже не хорошо когда сайт тормозит или вообще падает на некоторое время, и пользователи не могут получить информацию. Если некоторые поисковые роботы можно настроить (к примеру от Google), указав им частоту сканирования, то у других малоизвестных даже сайт сложно найти.

В общем, проблему можно решить, указав в файле robots.txt, который должно находится в корне сайта, следующую запись:

Crawl-delay: 10

Она «говорит» роботам, что запрашивать каждую новую страницу сайта для анализа нужно не чаще чем раз в 10 секунд. Все «порядочные» поисковые роботы должны понимать эту запись. Можно экспериментировать с этим числом, увеличивая или уменьшая его. Чем оно меньше — тем сайт будет быстрее обработан поисковым роботом. Нужно найти золотую середину.

Полное содержимое файла robots.txt может выглядеть примерно так:

User-agent: *
Crawl-delay: 10

Если проблема все же осталась, и вы решились заблокировать доступ некому поисковому роботу к своему сайту во избежание зависаний и падений, а соответственно — во благо пользователей, то можно в файле .htaccess добавить такие завести:

order allow,deny
allow from all
deny from xxx.xxx.xxx.xxx
deny from xxx.xxx.xxx.xxx
....

Где xxx.xxx.xxx.xxx — это IP-адреса, с которых идет больше всего нагрузки.

Кстати, это могут быть совсем не поисковые боты, а обычные люди, которые парсят ваш сайт по каким либо причинам.