Наверх
 

Навигация
Опрос
Есть ли на этом сайте что-нибудь полезное для Вас?
Да, конечно есть
Нет
Пока еще не нашел

База уроков » » » Ограничение нагрузки от поисковых машин

Ограничение нагрузки от поисковых машин

27 мая 2014 | Комментариев: 0 | Просмотров: 866
Что делать, если у вас обширный сайт с очень большим количеством страниц, допустим, какой-то каталог и хостинг сайта не справляется с нагрузкой, идуйщей в основной массе от поисковых машин.

В действительности, поисковых роботов есть достаточно много (Google, Yahoo, Yandex, Mail.RU, MSN, …), и плохо ограничивать им доступ к сайту, так как, по большому счету они приносят пользу вашему ресурсу. Но, тоже не хорошо когда сайт тормозит или вообще падает на некоторое время, и пользователи не могут получить информацию. Если некоторые поисковые роботы можно настроить (к примеру от Google), указав им частоту сканирования, то у других малоизвестных даже сайт сложно найти.

В общем, проблему можно решить, указав в файле robots.txt, который должно находится в корне сайта, следующую запись:

Crawl-delay: 10


Она «говорит» роботам, что запрашивать каждую новую страницу сайта для анализа нужно не чаще чем раз в 10 секунд. Все «порядочные» поисковые роботы должны понимать эту запись. Можно экспериментировать с этим числом, увеличивая или уменьшая его. Чем оно меньше — тем сайт будет быстрее обработан поисковым роботом. Нужно найти золотую середину.

Полное содержимое файла robots.txt может выглядеть примерно так:

User-agent: *
Crawl-delay: 10


Если проблема все же осталась, и вы решились заблокировать доступ некому поисковому роботу к своему сайту во избежание зависаний и падений, а соответственно — во благо пользователей, то можно в файле .htaccess добавить такие завести:

order allow,deny
allow from all
deny from xxx.xxx.xxx.xxx
deny from xxx.xxx.xxx.xxx
....


Где xxx.xxx.xxx.xxx — это IP-адреса, с которых идет больше всего нагрузки.

Кстати, это могут быть совсем не поисковые боты, а обычные люди, которые парсят ваш сайт по каким либо причинам.



Теги: robots

Ссылка на новость:

    html-cсылка на публикацию
    BB-cсылка на публикацию
    Прямая ссылка на публикацию

ЕЩЕ НА ЭТУ ТЕМУ:

Редирект в зависимости от IP-адреса пользователя

Редирект в зависимости от IP-адреса пользователя

Идея такова: по IP-адресу пользователя определяем его страну и перенаправляем на ту страничку сайта, которая ему подойдёт больше всего.
Редирект в зависимости от языка в браузере

Редирект в зависимости от языка в браузере

В данной статье расскажу как перенаправить пользователя на другую языковую версию сайта, которая подходит ему. Определения языка берется из браузера, и
Делаем правильный редирект через файл .htaccess

Делаем правильный редирект через файл .htaccess

Расскажу как правильно сделать редирект 301 на сайта с www на без www и на оборот через файл .htaccess
Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.