Robots.txt - способ управлять поисковыми роботами.
Вопрос первый и основной. Зачем он ... нужен?)
Что, первым делом, делает поисковый робот, заходя к вам на сайт? Любой "правильный" поисковый робот(к таким относятся все роботы с поисковых систем) при попадании на ваш сайт, первым делом смотрит на наличие файла robots.txt в корневой директории. Из него он узнает, какие разделы сайта ему можно индексировать, а какие нет. К примеру, у вас есть сайт vasya.ru в нем есть панель администратора vasya.ru/administrator/ естественно вы не хотите, чтобы поисковая система узнала об этом. Именно для этих целей и существует файл robots.txt.
Основы
Данный файл представляет собой список директив типа:
Параметр:значение. И дает поисковому роботу исчерпывающую информацию о поведении на вашем сайте. При всем следует учесть, что не допускается для одного параметра указывать несколько значений.
Основные параметры
UserAgent - указывает на имя поискового робота, к которому будут применены ограничения. Если поставить в, в качестве значения * то правила будут распространятся на всех роботов. Названия роботов можно узнать на сайтах поисковых систем. Например робота Rambler зовут StackRambler, Yandex - Yandex Disallow - указывает на те разделы сайта, которые запрещены к индексации роботом. Например для админки сайта vasya.ru необходимо создать правило
Disallow: /administrator
Если ничего не указывать после параметра, то робот посчитает, что ему разрешены все разделы для индексации. Но если указать в качестве параметра / , то это запретит индексацию сайта роботом.
Так же не стоит забывать, что для одного параметра может быть только одно значение. Если же вы хотите закрыть несколько разделов, то следует создать несколько параметров. Например помимо раздела администрирования мы хотим закрыть раздел с каталогом ссылок vasya.ru/links, то мы должны создать два правила.
Disallow: /administrator
Disallow: /links Allow - параметр полностью противоположный Disallow. Host - очень важный параметр, он позволяет указать к какому имени домена относится ваш сайт. К примеру если сайт supervasya.ru является зеркалом сайта vasya.ru, то на сайте supervasya.ru для параметра Host необходимо прописать значение vasya.ru
Host:vasya.ru
Это укажет роботу дорогу на основной сайт. Если у сайта нет зеркал, либо он является основным, то, в качестве значения Host, следует написать имя домена. Это закроет дорогу для "нечестных" вебмастеров, которые могут попытаться скопировать контент с вашего сайта и тем самым понизить вас в выдаче поисковой системы(в настоящее вермя участились случаи увода посетителей с сайта таким способом).
Пример готового файла
UserAgent:*
Disalow:
Host:moy_sait.ru
Этот пример является типовым, если нет никаких ограничений для поискового робота.
Послесловие
Совсем недавно, Яндекс, расширил возможности файла robots.txt для своих поисковых роботов.При указании путей директив Allow-Disallow можно использовать спецсимволы * и $, задавая, таким образом, определенные регулярные выражения. Спецсимвол * означает любую (в том числе пустую) последовательность символов.
User-agent: Yandex
Disallow: /*.asp # запрещает /users.asp и /administrator/test.asp
Disallow: /*admin # запрещает не только /admin, но и /forum/admin
Данное расширение действительно только для робота Yandex. Подробнее можно прочитать на
Опубликовано: 2008-02-04 22:36:28 ShadX
Комментарии
maks131313
Подскажите пожалуйста, возможен вариант в robots.txt запретить к индексации весь сайт, кроме страниц которые указаны в карте сайта. А то у моего сайта очень много мусорных страниц (профильных, страниц внутреннего поиска, и дублей страниц разного рода), по отдельности запрещать эти страницы в роботсе не реально. заранее спасибо! ;-(
AjcuiVd289
Аренда автобусов,Прокат-заказ автобусов и микроавтобусов,Киев,Пассажирские перевозки.
Материалы
Изучаем robots.txt