Наверх
 

Навигация
Опрос
Какие виды уроков Вы хотите видеть на сайте?
Битрикс
DLE
CSS
Joomla
Wordpress
Все для хостинга
Все для фотошопа
Другое

База уроков » » » » Правильный Robots.txt файл для Datalife Engine

Правильный Robots.txt файл для Datalife Engine

20 янв 2014 | Комментариев: 0 | Просмотров: 1358

 

 

Каким же должен быть правильный robots.txt, файл сайта работающего на Datalife Engine. Этим вопросом задаются многие администраторы сайтов работающих на движке Datalife Engine. И это правильно, это действительно волнующий вопрос.

На сайте яндекса, в разделе помощи для вебмастера есть вся подробная инструкция по созданию файла robots.txt.
Но эта инструкция не касается какого-то каких либо конкретных CMS, а общие правила создания файла. Информация по файлу robots.txt находится здесь. Вот именно там Вы и узнаете как правильно и где лучше поставить знак *, директивы и многое другое.

 

 

Пример правильного robots.txt

 

User-agent: *
	Disallow: /*print
	Disallow: /user/
	Disallow: /backup/
	Disallow: /engine/
	Disallow: /favorites/
	Disallow: /newposts/
	Disallow: /lastnews/
	Disallow: /catalog/
	Disallow: /language/
	Disallow: /tags/
	Disallow: /*subaction=userinfo
	Disallow: /*subaction=newposts
	Disallow: /*do=lastcomments
	Disallow: /*do=feedback
	Disallow: /*do=register
	Disallow: /*do=lostpassword
	Disallow: /*do=addnews
	Disallow: /*do=pm
	Disallow: /*do=search
	Disallow: /*group=*
	Disallow: /addnews.html
	Disallow: /search.html
	Disallow: /rules.html

 

User-agent: *, это вариант для всех! Но есть индивидуальные варианты для Google, Yandex и других.
Плюс и минусы в том, что яндекс придирчив к дублям, а гугл нет! Например для гугла указав юзерагента GoogleBot, можно открыть не которые страницы! Это плюс у гугла. При раскрутке сайта под гугл нужно учитывать не мало важный фактор, это авторитет собственных страниц и сайта в целом. Чем больше страниц, тем больше перелинкованы страница, тем больше веса передается на все страницы сайта. PR у каждой страницы, а не у всего сайта, как тИЦ!

В файле robots.txt закрыты обратная связь, страница регистрации, статистика, добавление новостей, поиск и другие не нужные поисковой системе страницы. А особенно я хочу отметить две директивы:

 

Disallow: /engine/go.php
	Disallow: /engine/download.php

 

Ну, а такое /engine/download.php? Зачем это роботам поисковых систем? Кто-нибудь может объяснить? 90% DLE-сайтов не закрывают, но я уверен, что из них не более 20% смогут дать нормальное объяснение этому фактору! Ну, а название файла можно и с поста подцепить! А больше им там делать не чего! В Zip-архивах боты поисковых систем не роются!

 




Теги: хак, robots

Ссылка на новость:

    html-cсылка на публикацию
    BB-cсылка на публикацию
    Прямая ссылка на публикацию

ЕЩЕ НА ЭТУ ТЕМУ:

Количество непрочитанных писем в favicon.ico

Количество непрочитанных писем в favicon.ico

  Данный ХАК DLE выводит в favicon количество не прочитанных новых сообщений.
Убрать лишний title для DataLife Engine

Убрать лишний title для DataLife Engine

В полной новости или же на странице категории, кроме самого названия страницы в title присутствует название сайта, это не хорошо влияет на индексацию сайтов.
Адаптирование шаблона dle 9.6 на 9.7

Адаптирование шаблона dle 9.6 на 9.7

Представляем список изменений в шаблонах между версиями DLE 9.6 и 9.7 которые нужно выполнить для обновления сайта под актуальную версию движка.
Похожие новости в 2 колонки для DLE

Похожие новости в 2 колонки для DLE

Данный хак выводит похожие новости в 2 колонки, Выглядит очень красиво.
Ссылки на следующую и предыдущую новость для DLE

Ссылки на следующую и предыдущую новость для DLE

  Небольшой Хак ссылка на следующую и предыдущую новость для DLE. Ссылки на следующую и предыдущую новости, будет полезен для перелинковки внутренних
Обрезание количество символов в TITLE в блоке Популярные новости

Обрезание количество символов в TITLE в блоке Популярные новости

  Я вам расскажу как в блоке популярные новости ограничить количество символов в названии новости (TITLE).
Чередование фона для краткой новости для DLE

Чередование фона для краткой новости для DLE

Небольшой хак позволяет сделать на сайте чередование заднего фона краткой новости.
Авторизация на сайте через Логин и Email для DLE

Авторизация на сайте через Логин и Email для DLE

  Небольшой Хак для DLE, который немного переделывает авторизацию на сайте, что обеспечивает вход на сайт через Логин и Email
Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.