Правильный Robots.txt файл для Datalife Engine

Каким же должен быть правильный robots.txt, файл сайта работающего на Datalife Engine. Этим вопросом задаются многие администраторы сайтов работающих на движке Datalife Engine. И это правильно, это действительно волнующий вопрос.

На сайте яндекса, в разделе помощи для вебмастера есть вся подробная инструкция по созданию файла robots.txt.
Но эта инструкция не касается какого-то каких либо конкретных CMS, а общие правила создания файла. Информация по файлу robots.txt находится здесь. Вот именно там Вы и узнаете как правильно и где лучше поставить знак *, директивы и многое другое.

Пример правильного robots.txt

User-agent: *
	Disallow: /*print
	Disallow: /user/
	Disallow: /backup/
	Disallow: /engine/
	Disallow: /favorites/
	Disallow: /newposts/
	Disallow: /lastnews/
	Disallow: /catalog/
	Disallow: /language/
	Disallow: /tags/
	Disallow: /*subaction=userinfo
	Disallow: /*subaction=newposts
	Disallow: /*do=lastcomments
	Disallow: /*do=feedback
	Disallow: /*do=register
	Disallow: /*do=lostpassword
	Disallow: /*do=addnews
	Disallow: /*do=pm
	Disallow: /*do=search
	Disallow: /*group=*
	Disallow: /addnews.html
	Disallow: /search.html
	Disallow: /rules.html

User-agent: *, это вариант для всех! Но есть индивидуальные варианты для Google, Yandex и других.
Плюс и минусы в том, что яндекс придирчив к дублям, а гугл нет! Например для гугла указав юзерагента GoogleBot, можно открыть не которые страницы! Это плюс у гугла. При раскрутке сайта под гугл нужно учитывать не мало важный фактор, это авторитет собственных страниц и сайта в целом. Чем больше страниц, тем больше перелинкованы страница, тем больше веса передается на все страницы сайта. PR у каждой страницы, а не у всего сайта, как тИЦ!

В файле robots.txt закрыты обратная связь, страница регистрации, статистика, добавление новостей, поиск и другие не нужные поисковой системе страницы. А особенно я хочу отметить две директивы:

Disallow: /engine/go.php
	Disallow: /engine/download.php

Ну, а такое /engine/download.php? Зачем это роботам поисковых систем? Кто-нибудь может объяснить? 90% DLE-сайтов не закрывают, но я уверен, что из них не более 20% смогут дать нормальное объяснение этому фактору! Ну, а название файла можно и с поста подцепить! А больше им там делать не чего! В Zip-архивах боты поисковых систем не роются!