Наверх
 

Навигация
Опрос
Какие виды уроков Вы хотите видеть на сайте?
Битрикс
DLE
CSS
Joomla
Wordpress
Все для хостинга
Все для фотошопа
Другое

База уроков » » » Запрет на индексирование всего сайта - robots.txt

Запрет на индексирование всего сайта - robots.txt

23 июн 2014 | Комментариев: 0 | Просмотров: 1130

В этой статье расскажу как запретить индексацию роботам всего вашего сайта через файл .robots.txt. Что нам для этого нужно это только создать сам файл, который должен лежать в корне всего сайта и в него добавить вот эти строчки:

User-agent: *
Disallow: /

 

User-agent: * - означает для всех роботов, так же можно ограничить только определеным роботом, как например Яндексу или Гуглу




Теги: robots

Ссылка на новость:

    html-cсылка на публикацию
    BB-cсылка на публикацию
    Прямая ссылка на публикацию

ЕЩЕ НА ЭТУ ТЕМУ:

Индексный файл

Индексный файл

В этой статье расскажу что такое индексный файл и дя чего он нужен и как правильно его подключать.
Русская кодировка через .htaccess

Русская кодировка через .htaccess

В этой статье расскажу как сделать русскую кодировку через файл .htaccess
Ограничение нагрузки от поисковых машин

Ограничение нагрузки от поисковых машин

В этой статье расскажу как ограничить нагрузку от поисковых машин.
Редирект в зависимости от IP-адреса пользователя

Редирект в зависимости от IP-адреса пользователя

Идея такова: по IP-адресу пользователя определяем его страну и перенаправляем на ту страничку сайта, которая ему подойдёт больше всего.
Редирект в зависимости от языка в браузере

Редирект в зависимости от языка в браузере

В данной статье расскажу как перенаправить пользователя на другую языковую версию сайта, которая подходит ему. Определения языка берется из браузера, и
Делаем правильный редирект через файл .htaccess

Делаем правильный редирект через файл .htaccess

Расскажу как правильно сделать редирект 301 на сайта с www на без www и на оборот через файл .htaccess
Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.